Einstieg in lokale Artificial Intelligence (AI) mit Ollama (Teil 2)

Dr.-Ing. Erhard Henkes, Stand: 23.09.2025

Zurück

Ollama unter Windows: Download, Installation, erster Start

1) Download & Installation (ganz normal wie jede App)

1. Öffne ollama.com → Download → wähle Windows 10/11.

2. Starte die Setup-Datei (.exe) und folge dem Assistenten.

3. Nach der Installation läuft im Hintergrund ein kleiner Dienst; du findest „Ollama“ im Startmenü.

Hinweis (neu seit 2025): Es gibt eine grafische Ollama-App für Windows/macOS. Damit kannst du Modelle direkt in der App laden und chatten, ohne Terminal. Fortgeschrittene Dinge gehen weiterhin über Befehle.

2) Was ist PowerShell – und wie öffne ich sie?

PowerShell ist ein Eingabefenster, in das man kurze Befehle tippt. Man nennt ein solches Fenster auch "Terminal".

So öffnest du diese PowerShell:

• Drücke Windows-Taste, tippe PowerShell und drücke Enter
  (unter Win11 heißt es oft „Windows Terminal (PowerShell)“ – das ist genauso richtig).

Für alles in diesem Kapitel reicht normale PowerShell; keine Administratorrechte nötig.

3) Erster Check: Läuft Ollama korrekt?

Öffne PowerShell und tippe:

• Erscheint eine Versionsnummer → alles gut.

• Meldung „Command not found“ / „ollama ist nicht erkannt“ → PowerShell schließen und neu öffnen. Notfalls Windows einmal neu anmelden.

4) „Wo liegt das auf der Platte?“ – Ordner für Modelle

Standard-Speicherort (automatisch angelegt, pro Benutzer):

Kopiere das in die Adresszeile des Explorers:

Dort siehst du später große Dateien (mehrere GB je nach Modell).
Falls C: zu klein ist, kannst du den Ort ändern, z. B. auf D:\Ollama\models, über die Umgebungsvariable OLLAMA_MODELS (siehe Schritt 7 unten).

5) Erstes Modell laden – zwei Wege

A) Ohne PowerShell (einfach in der App)

1. Ollama App öffnen (Startmenü → „Ollama“).

2. Modelle durchsuchen → Modell auswählen (z. B. „Llama 3“ oder ein kleineres Einsteigermodell).

3. Download klicken → danach kannst du direkt in der App chatten.
   (Die App kann Modelle laden/aktualisieren; Spezialfunktionen bleiben im Terminal.)

B) Mit PowerShell (klassisch & immer verfügbar)

1. Kleines Modell zum Testen (schneller Download), z. B. Gemma 3 (1B):

   ollama run gemma3:1b

   – Ollama lädt das Modell automatisch und startet sofort einen Chat.
   – Zum Beenden: Ctrl + C.

2. Beliebtes, etwas größeres Modell:

   ollama run llama3.1:8b

3. Modelle nur herunterladen, ohne gleich zu chatten:

   ollama pull llama3.1:8b

4. Installierte Modelle auflisten:

   ollama list

(Tipp: Beim allerersten Download brauchst du Internet; danach läuft es offline.)

6) Typische Stolpersteine & schnelle Lösungen

• „Zu wenig Speicherplatz auf C:“
  Modelle sind groß (oft mehrere GB). Leere Downloads/Temp-Ordner oder verschiebe den Modellordner per Schritt 7.

• „Befehl nicht gefunden“
  PowerShell neu öffnen; ggf. einmal ab-/anmelden, damit die PATH-Änderungen der Installation greifen.

• Firewall-Nachfrage
  Erlauben – Ollama lauscht lokal (für die App/Tools).

• Langsam?
  Kleine Modelle probieren (z. B. gemma3:1b). GPU beschleunigt, ist aber nicht Pflicht. Die GPU wird zusammen mit der CPU genutzt (Hybridbetrieb).

7) Modelle auf ein anderes Laufwerk speichern (z. B. D:\)

So änderst du den Speicherort dauerhaft:

1. Ollama beenden
   – App schließen
   – Sicherstellen, dass im Task-Manager (Ctril + Alt + Entf --> Task-Manager auswählen) kein „ollama“ mehr läuft.

2. Zielordner anlegen, z.B. D:\Ollama\models.

3. Umgebungsvariable setzen

   • Win-Taste → „Umgebungsvariablen“ suchen → „Umgebungsvariablen für Ihr Konto bearbeiten“ öffnen.

   • Unter Benutzervariablen: Neu…

     • Name: OLLAMA_MODELS

     • Wert: D:\Ollama\models

   • Mit OK schließen.

4. (Optional) Vorhandene Modelle umziehen

   • Den bisherigen Ordner %USERPROFILE%\.ollama\models\ komplett nach D:\Ollama\models verschieben.

5. PowerShell neu öffnen und testen:

   ollama pull tinyllama explorer D:\Ollama\models

   – Die neuen Dateien sollten jetzt unter D:\… erscheinen.

8) Bonus: Grafische Oberflächen zusätzlich (optional)

Wenn du lieber immer per Oberfläche arbeitest, kannst du Open WebUI installieren. Es verbindet sich mit Ollama und bietet einen „ChatGPT-ähnlichen“ Browser-Chat inkl. Modellverwaltung. Open WebUI

Mini-Spickzettel (Befehle)

Hier geht es weiter