Ollama lokal nutzen — KI auf dem eigenen Rechner

Stell dir Ollama als Docker für Sprachmodelle vor. Ein kleines Programm, das im Hintergrund läuft, Modelle verwaltet und eine einfache API bereitstellt. Du startest es einmal, lädst dir ein Modell (z.B. Mistral 7B), und dann sprichst du es entweder im Terminal an oder über die API.

• Einfach: Ein Befehl installiert, ein Befehl lädt das Modell, ein Befehl startet den Dialog.
• Sicher: Alles läuft lokal. Keine Daten verlassen deine Maschine.
• Flexibel: Du kannst zwischen Modellen wechseln — Mistral, Llama 3, Gemma, CodeLlama und Dutzende mehr.

Voraussetzungen: Ein halbwegs moderner Computer mit mindestens 16 GB RAM (für 7B-Modelle). Eine GPU ist nicht zwingend nötig, beschleunigt aber die Antworten deutlich. Auf Apple Silicon (M1/M2/M3) läuft Ollama dank Metal-Beschleunigung von Haus aus sehr flott.

Auf macOS am schnellsten via Homebrew:

brew install ollama
ollama --version

Auf Linux (Debian, Ubuntu, Fedora) gibt es einen offiziellen Installer:

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Wenn der Befehl `ollama --version` eine Nummer ausgibt (z.B. `ollama version 0.5.x`), ist die Installation fertig. Der Server läuft automatisch im Hintergrund auf Port 11434.

Für Windows gibt es inzwischen einen nativen Installer auf ollama.com/download — kein WSL mehr nötig. Die folgenden Befehle funktionieren auf allen drei Plattformen gleich.

Jetzt lädst du dir ein Modell. Ich empfehle für den Einstieg Mistral 7B — klein genug für 16 GB RAM, stark genug für die meisten Aufgaben, multilingual (Deutsch, Französisch, Italienisch):

ollama pull mistral

Das dauert einmalig 3-5 Minuten (ca. 4 GB Download). Danach startest du den Dialog:

ollama run mistral

Und schon bist du im Chat. Tipp zum Ausprobieren:

„Schreib mir eine höfliche Absage-Mail an einen Lieferanten, der zu teuer ist. Max. 4 Sätze, deutsch, freundlich-direkt."

Du merkst: Das Ding ist kein ChatGPT-4, aber für Standardaufgaben (Mails, Zusammenfassungen, Recherche-Hilfe) vollkommen brauchbar. Und alles, was du tippst, bleibt auf deinem Rechner.

Welches Modell wofür?

• Mistral 7B — universell, mehrsprachig, ~4 GB RAM
• Llama 3 8B — etwas stärker in Logik, ~5 GB RAM
• CodeLlama — spezialisiert auf Code
• Llama 3 70B — nur mit 64+ GB RAM oder dicker GPU sinnvoll

Sobald Ollama läuft, steht auf Port 11434 eine HTTP-API bereit. Damit kannst du von eigenen Scripts, n8n-Workflows, LangChain oder einfachen curl-Aufrufen auf das Modell zugreifen:

curl http://localhost:11434/api/generate \
  -d '{
    "model": "mistral",
    "prompt": "Erkläre KI in 2 Sätzen."
  }'

Noch spannender: Viele bestehende Tools, die für OpenAI gebaut wurden, kannst du auf Ollama umleiten — du setzt einfach die API-URL um. Damit funktionieren Dutzende Clients (z.B. Cursor, Continue.dev, LibreChat) sofort mit lokalen Modellen.

Das ist die eigentliche Stärke: Ollama ist kein geschlossenes System, sondern die Grundlage für alles was du darauf aufbauen willst — RAG mit eigenen Dokumenten, Automatisierungen in n8n, Assistenten für dein Team.

Mit dem Terminal zu arbeiten ist für den Start okay, aber nicht alltagstauglich. Die Lösung: Open WebUI. Eine Oberfläche, die aussieht wie ChatGPT, aber mit deinem lokalen Ollama spricht. Voraussetzung ist Docker:

docker run -d -p 3000:8080 \
  -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \
  ghcr.io/open-webui/open-webui:main

Danach erreichst du das Interface unter http://localhost:3000. Du kannst Gespräche speichern, zwischen Modellen wechseln, eigene System-Prompts hinterlegen — das volle Programm, nur eben lokal.

Wenn mehrere Leute im Team auf dieselbe Ollama-Instanz zugreifen sollen (z.B. ein kleiner Server im Büro), lässt sich die API-URL auf die Netzwerkadresse umstellen. Damit hat dein Team einen eigenen „Firmen-ChatGPT" — Daten bleiben intern, keine Abo-Kosten pro Nutzer.