Dein erstes lokales Modell: Welches du wählst und warum

Die Zahl, die du mitgebracht hast

In der ersten Lektion dieses Lehrgangs stand ein Satz, der ab hier zur Arbeitsanweisung wird: «Ab jetzt kannst du zwei Fragen sauber auseinanderhalten: Welches Modell will ich — und womit lasse ich es laufen?» Die zweite Frage ist beantwortet. Diese Lektion beantwortet die erste.

Der Ausgangspunkt ist deine Arbeitsspeicher-Zahl. Entscheidend ist, was sie nicht ist: Sie ist keine Note — sie ist eine Obergrenze. Sie sagt nicht, welches Modell für dich das richtige ist. Sie sagt, wie gross es höchstens sein darf.

Das ist eine andere Frage als in Lektion 2. Dort ging es darum, was dein Gerät kann. Hier geht es darum, was du darauf auswählst. Deshalb enthält dieser Artikel keine Geräteempfehlung und keine Kaufberatung — die Hardware-Frage ist abgeräumt, und was du hast, hast du.

Wenn du die Zahl nicht zur Hand hast: Sie steht in den Systeminformationen deines Geräts, unter Arbeitsspeicher oder RAM. Notiere sie einmal — du brauchst sie danach nie wieder nachzuschlagen.

Was die Zahl im Modellnamen bedeutet

Modellnamen sehen kryptisch aus. Sie sind es nicht. Da steht ein Name, und dahinter eine Zahl mit einem B: 8B, 14B, 70B.

Das B steht für Milliarden. Die Zahl sagt, aus wie vielen Milliarden Parametern das Modell besteht. Parameter sind, stark vereinfacht, die Stellschrauben des Modells — mehr Stellschrauben bedeuten eine grössere Datei. Das ist der einzige Fachbegriff, den du in dieser Lektion brauchst.

Und aus dieser einen Zahl lässt sich der Platzbedarf abschätzen. In der Standard-Kompression, in der Ollama Modelle ausliefert, gilt als Faustregel:

0,6 – 0,7 GB pro Milliarde Parameter

8B-Modell  →  rund 5 GB
            +  Luft fuer alles andere auf dem Geraet

Prüfen kannst du das jederzeit selbst: In der Modellübersicht von Ollama steht bei jeder Ausgabe die Dateigrösse daneben. Ein 7B-Modell liegt dort bei rund 4,4 Gigabyte — das sind 0,63 Gigabyte pro Milliarde Parameter und damit genau die Faustregel.

Und die Luft ist kein Sicherheitszuschlag ins Blaue. Ollama braucht neben der Modelldatei Speicher für den Text, den das Modell gleichzeitig im Blick behalten soll — je mehr davon, desto mehr Speicher. Deshalb rechnest du nie bis an die Kante.

Das ist eine Faustregel, kein exakter Wert — und es ist die einzige Rechnung in diesem Artikel. Sie reicht vollkommen: Damit weisst du in zehn Sekunden, ob ein Modell auf dein Gerät passt oder nicht. Passt es nicht, brauchst du gar nicht weiterzulesen, was es angeblich kann.

Die Aufgabe entscheidet, nicht die Rangliste

Hier biegen die meisten falsch ab. Sie suchen das beste Modell — und diese Frage hat keine Antwort.

Denk an deinen Werkzeugkasten. Dort fragt niemand nach dem besten Werkzeug. Man fragt: Was habe ich vor? Für eine Schraube nimmst du keinen Hammer, nicht weil der Hammer schlecht wäre, sondern weil er für etwas anderes gebaut ist. Bei Modellen ist es dasselbe.

• Alltagstext — Mails, Zusammenfassungen, Formulierungen: der Standardfall, und für die meisten der einzige Fall.
• Zahlen und Rechnen — dafür gibt es eigene Ausgaben, die das Aufgabenwort math im Namen tragen.
• Lange Dokumente — andere Anforderung als eine kurze Mail, weil mehr Text gleichzeitig im Blick bleiben muss.
• Code — eine eigene Spur, erkennbar am Aufgabenwort coder im Namen.

Das erkennst du am Namen — und zwar nicht an der Familie, sondern am Wort im Namen. Der Name hat drei Teile: die Familie, die Aufgabe und eine Nummer. Familien sind Llama, Qwen, Gemma, Hermes. Die Aufgabe steht als Wort daneben: Steht dort coder, ist es für Code gebaut; steht dort math, fürs Rechnen; steht gar kein Aufgabenwort, ist es für Alltagstext — und das ist der Fall, den die meisten brauchen.

Merk dir die Familie und das Aufgabenwort, nicht die Nummer dahinter. Die Nummer ist in einem halben Jahr eine andere; die beiden anderen bleiben. Aus demselben Grund steht in diesem Artikel keine Versionsempfehlung: Sie wäre veraltet, bevor du sie brauchst.

Der Platzhalter aus Lektion 3 wird aufgelöst

In der letzten Lektion stand der Satz: «Nimm für den Moment einfach das erste, das dir vorgeschlagen wird.» Das war bewusst ein Platzhalter — er sollte dich nicht in eine Auswahl schicken, bevor überhaupt etwas lief. Hier ist die Auflösung.

1. Rechne, was passt. Arbeitsspeicher minus das, was dein Gerät ohnehin braucht, geteilt durch 0,7. Das Ergebnis ist die grösste Parameterzahl in Milliarden, die realistisch läuft.
2. Nimm eines, dessen Name zu deiner häufigsten Aufgabe passt. Steht kein Aufgabenwort drin, ist es der Alltagsfall. Und gemeint ist nicht die Aufgabe, die du dir für später vorstellst — sondern die, die du diese Woche dreimal hattest.
3. Lade genau eines und arbeite damit. Kein Vergleich, keine Testreihe, keine Liste zum Abarbeiten.

Mehr ist es nicht. Und danach gilt derselbe Satz wie beim Installieren, nur eine Ebene weiter: Wechsle erst, wenn dich etwas stört. Nicht, wenn du irgendwo liest, es gebe etwas Besseres — sondern wenn dich in deiner eigenen Arbeit konkret etwas stört.

Der Grund ist derselbe wie beim Konfigurieren: Wer vorher wechselt, optimiert gegen ein Problem, das er noch gar nicht hat. Und verliert dabei die Aufgabe aus dem Blick, für die er das Ganze aufgesetzt hat.

Angefangen hat es mit einem einzigen

Zum Schluss der Teil, der die Sache leichter macht — aus der eigenen Praxis.

Beim allerersten Mal lief hier ein Llama-Modell, und es lief schleppend. Trotzdem war es ein Meilenstein: zum ersten Mal eine KI auf der eigenen Maschine. Es hat sich angefühlt wie Jarvis bei Iron Man. Gemacht wurde damit dann ein bisschen Text. Mehr nicht.

Heute läuft hier für jede Aufgabe ein anderes Modell: die Qwen-Reihe für laufende Projekte, die Gemma-Reihe für private Schriftstücke, ein eigenes Rechen-Modell für Zahlen, Hermes für den eigenen Assistenten. Aber angefangen hat es mit einem einzigen, langsamen.

Für Wissensdatenbanken und ähnliche Aufbauten gibt es übrigens eigene Spezialmodelle — das ist ein Thema für später, und es ändert an dieser Lektion nichts.

Wer heute anfängt, steht nicht vor einer Auswahl, sondern vor einem Anfang. Ein Modell reicht. Die Vielfalt kommt von selbst, sobald konkrete Aufgaben danach verlangen — und dann weisst du auch, wonach du suchst.