Was lokale KI ist — und warum Ollama dein DSG-Problem löst

Die Entscheidung, die du jeden Tag triffst

Die kurze Prüfung vor jedem Prompt kostet dich mehr, als du denkst. Nicht Zeit — Sicherheit. Denn du entscheidest ohne Grundlage, unter Zeitdruck, und in einem Moment, in dem du eigentlich an etwas anderes denkst.

Wer als Treuhänder, Anwalt oder im Gesundheitsbereich arbeitet, kennt das Gefühl besonders gut: Der Fall wäre perfekt für eine KI — aber er gehört nicht ins Internet. Berufsgeheimnisse und ein Upload vertragen sich schlecht, ganz unabhängig davon, wie gut die Antwort wäre.

Bei lokaler KI stellt sich diese Frage nicht mehr. Und zwar nicht, weil du sie besser beantwortest, sondern weil es nichts mehr zu beantworten gibt: Es geht nichts hinaus, das du freigeben müsstest.

Der Unterschied ist nicht die bessere Regel. Der Unterschied ist ein Aufbau, in dem die Regel nicht mehr gebraucht wird.

Was lokale KI technisch ist

Ein Sprachmodell ist am Ende eine Datei. Eine grosse Datei — aber eine Datei. Alles Weitere ist die Frage, wo diese Datei liegt und wer sie rechnen lässt.

Bei einer Cloud-KI liegt sie bei einem Anbieter, irgendwo in einem Rechenzentrum. Du schickst deinen Text hin, dort wird gerechnet, die Antwort kommt zurück. In dem Moment, in dem du auf Senden drückst, hat dein Text den Betrieb verlassen.

Bei lokaler KI liegt genau so eine Datei auf deinem eigenen Gerät. Deine Anfrage bewegt sich nicht. Sie geht vom Programm auf deinem Rechner an das Modell auf deinem Rechner und wieder zurück.

• Kein Upload — es gibt keine Übertragung, die man absichern müsste.
• Kein fremder Anbieter — niemand, dessen Bedingungen du lesen müsstest.
• Kein Konto — nichts, was mit einer Identität verknüpft wird.

Und damit auch niemand, dem du erklären müsstest, was er mit deinen Daten tut. Das ist der ganze Mechanismus — mehr Architektur braucht es für den Einstieg nicht.

Ollama ist nicht die KI

Das ist der Punkt, an dem die meisten hängenbleiben, und er entscheidet darüber, ob der Rest des Themas Sinn ergibt: Ollama ist nicht die künstliche Intelligenz. Ollama ist das Programm, das die künstliche Intelligenz laufen lässt.

Stell dir ein Auto vor. Das Modell ist der Motor — es leistet die eigentliche Arbeit. Ollama ist der Motorraum: die Halterung, die Leitungen, alles, was den Motor überhaupt betreiben kann. Den Motor kannst du austauschen. Der Motorraum bleibt.

Genau so verhält es sich hier. Du entscheidest dich für ein Modell und kannst es später gegen ein anderes tauschen — Ollama bleibt dasselbe Programm. Dieselbe Bedienung, dieselbe Ablage, dieselbe Umgebung.

Wer diese Trennung einmal verstanden hat, kann ab sofort zwei Fragen sauber auseinanderhalten, die sonst dauernd durcheinandergeraten:

1. Welches Modell will ich? — eine Frage nach Aufgabe, Sprache und Grösse.
2. Womit lasse ich es laufen? — eine Frage nach dem Programm, das es betreibt.

Auf dieser Unterscheidung baut der ganze restliche Lehrgang auf. Ohne sie klingt jede Diskussion über lokale KI wie ein Streit über Automarken, bei dem niemand sagt, ob er den Motor oder das Auto meint.

Wie ein solcher Aufbau in der Praxis aussieht

Damit das nicht nach Laborszenario klingt, hier mein eigener Aufbau — bewusst nur in der Struktur, nicht in der Konfiguration.

Ich betreibe eine eigene Wissensdatenbank auf einem Server bei mir im Haus. Die Anfragen darauf laufen über ein Modell auf meiner eigenen Hardware. Das heisst: Meine Daten bleiben bei mir, auch wenn ich meine gesamte Dokumentation durchsuchen lasse. Laufen lasse ich das Ganze mit Ollama.

Wichtig, damit daraus kein falscher Eindruck entsteht: Ein Server ist keine Voraussetzung. Bei mir ist es einer, weil die Wissensdatenbank ohnehin dort liegt. Für den Einstieg genügt der Rechner, an dem du sowieso arbeitest — ein Laptop reicht.

Zwei Dinge sind daran wichtiger, als sie auf den ersten Blick wirken:

• Es ist produktiv im Einsatz, nicht als Versuch aufgesetzt. Das ist der eigentliche Beleg — nicht die Technik dahinter.
• Die Einrichtung war unspektakulär. Homepage aufrufen, den Anweisungen folgen. Mehr war es nicht.

Genau dieser zweite Punkt hält die meisten unnötig auf. Die Vorstellung, lokale KI sei ein Projekt für Spezialisten mit schwarzem Terminalfenster, stammt aus einer Zeit, die vorbei ist. Wie das konkret abläuft, ist Inhalt einer der nächsten Lektionen — hier geht es nur darum, dass es geht.

Der ehrliche Preis — und warum es zwei Spuren braucht

Damit du es hier liest und nicht später selbst merkst: Lokale KI ist kein Gratis-Mittagessen.

Ein Modell, das bei dir im Haus läuft, ist kleiner als die grossen Modelle in der Cloud. Es weiss weniger. Bei breitem Allgemeinwissen und bei sehr langen, verschachtelten Aufgaben merkst du diesen Unterschied.

Und genau deshalb ist lokale KI kein Ersatz, sondern eine zweite Spur:

• Die Cloud für alles Unkritische — Formulierungen, Recherche, Struktur, öffentlich zugängliche Inhalte.
• Das lokale Modell für das, was den Betrieb nicht verlassen darf — Mandate, Patientendaten, Lohnfragen, alles unter Berufsgeheimnis.

Wer daraus ein Entweder-Oder macht, verliert in jedem Fall: Er gibt entweder Daten weg, die er nicht weggeben dürfte, oder er verzichtet auf Leistung, die er problemlos nutzen könnte. Die richtige Frage lautet deshalb nicht «Cloud oder lokal», sondern «was gehört auf welche Spur».