Dr.-Ing. Erhard Henkes, Stand: 23.09.2025
Was ist
Ollama?
Viele Menschen kennen
Künstliche Intelligenz bisher nur aus fertigen Chat-Oberflächen wie ChatGPT oder
anderen Online-Diensten. Man tippt eine Frage ein, und die KI antwortet. Was im
Hintergrund passiert, bleibt dabei verborgen.
Ollama ist ein Werkzeug, mit dem man selbst solche KI-Modelle lokal auf dem eigenen Computer nutzen kann, und zwar ohne dass jede Anfrage über einen fremden Server läuft. Man kann sich Ollama wie eine kleine „Schaltzentrale“ vorstellen: Es lädt die gewünschten Sprachmodelle herunter und stellt sie bereit, damit man mit ihnen direkt arbeiten kann.
Das hat gleich mehrere Vorteile:
Unabhängigkeit vom Internet: Viele Modelle können komplett offline genutzt werden. Das schafft Vertraulichkeit.
Datenschutz: Die Eingaben bleiben auf dem eigenen Rechner. Externe Server werden nicht benötigt!
Flexibilität: Man kann verschiedene Modelle ausprobieren, kombinieren und bei Bedarf sogar selbst konfigurieren.
Offenheit: Ollama ist so gebaut, dass es mit offenen KI-Modellen zusammenarbeitet, die von frei zur Verfügung gestellt werden.
Während ein
reiner Chat-Dienst wie ChatGPT für Endnutzer gedacht ist, ist Ollama eher ein
„Unterbau“ – ein Programm, das Entwicklern und Neugierigen die Tür öffnet, um
KI-Technologie direkt auf ihrem eigenen Rechner auszuprobieren. Doch auch ohne
Vorkenntnisse ist der Einstieg leicht: Nach der Installation kann man sofort
loslegen und mit einem ersten Modell chatten – ganz ähnlich wie man es aus dem
Browser gewohnt ist.
Wenn man zum ersten Mal von „Modellen“ in der Künstlichen Intelligenz hört, klingt das abstrakt. Man kann es sich aber recht einfach vorstellen:
Ein KI-Modell ist im Grunde eine sehr große Datei, in der Wissen und Sprachmuster gespeichert sind. Dieses Wissen hat die KI durch ein aufwendiges Training mit riesigen Mengen an Texten, Dialogen und Beispielen erworben.
Man kann es vergleichen mit einem Kochbuch:
In einem Kochbuch stehen Rezepte für viele Gerichte.
In einem KI-Modell sind Regeln und Wahrscheinlichkeiten gespeichert, wie Wörter und Sätze zusammenhängen.
Mit dem Kochbuch kann man viele verschiedene Mahlzeiten kochen – mit dem Modell kann die KI viele verschiedene Antworten erzeugen.
Es gibt verschiedene Arten von Modellen:
Kleine Modelle brauchen weniger Rechenleistung und sind schneller heruntergeladen. Sie eignen sich für einfache Aufgaben und für Computer mit schwächerer Hardware.
Große Modelle sind genauer und „intelligenter“, benötigen aber mehr Speicherplatz und eine stärkere Grafikkarte (GPU) oder CPU.
Ollama kümmert sich darum, dass man diese Modelle einfach herunterladen, starten und wechseln kann. So wird die Auswahl des Modells ähnlich wie die Wahl einer App: je nach Bedarf, Geschwindigkeit und Genauigkeit wählt man das passende Modell.
Der Einstieg in Ollama ist nicht kompliziert. Man lädt das Programm herunter, installiert es – und schon kann man ein erstes KI-Modell starten.
Ollama gibt es
kostenlos auf der offiziellen Website:
ollama.com.
Dort findet man Installationspakete für
Windows,
macOS und
Linux.
Die Installation läuft wie bei anderer Software auch:
Windows: Doppelklick auf
die heruntergeladene
.exe-Datei,
den Anweisungen folgen.
macOS: Die
.dmg-Datei
öffnen und Ollama in den Programme-Ordner ziehen.
Linux: Ein Terminal öffnen und den Installationsbefehl von der Ollama-Seite kopieren.
Nach der Installation läuft im Hintergrund ein kleiner Ollama-Dienst. Man bemerkt das z.B. daran, dass im Task-Manager (Windows) oder im Aktivitätsmonitor (Mac) ein „ollama“-Prozess zu sehen ist.
Ollama legt einen eigenen Ordner an, in dem alle Modelle gespeichert werden.
Unter
Windows findet man ihn
meist im Benutzerverzeichnis, z. B.
C:\Users\<Name>\.ollama\models.
Unter
macOS/Linux liegt er im
Home-Verzeichnis:
~/.ollama/models.
Dieser Ordner ist am Anfang noch leer – dort landen später die Modelle, die man herunterlädt.
Nach der Installation öffnet man ein Terminal (unter Windows z. B. „PowerShell“). Mit einem einfachen Befehl kann man ein Modell herunterladen:
Damit lädt Ollama
automatisch das Modell Llama 3
herunter, speichert es im Modellordner und startet eine Chat-Sitzung. Ab jetzt
kann man Fragen stellen – fast so, wie man es von ChatGPT gewohnt ist.
Hier geht es weiter