So vermeidest du Halluzinationen in deinem lokalen RAG

Woher die erfundene Antwort kommt

Dein RAG sucht zuerst in deiner Ablage und legt dem Sprachmodell die passenden Stellen vor. So weit kennst du das aus diesem Modul.

Jetzt stellst du eine Frage, zu der nichts Passendes in der Ablage liegt. Die Suche bringt nichts Brauchbares zurück. Das Modell antwortet trotzdem — das hast du schon in der Lektion zum firmeninternen Jargon gesehen. Nur hat es diesmal keine Stelle aus deinen Dokumenten, auf die es sich stützen kann.

Also antwortet es mit dem, was es allgemein weiss. Das klingt richtig, oft sogar sehr überzeugend. Aber es stammt nicht aus deinen Dokumenten. Genau so entsteht die erfundene Antwort: nicht aus bösem Willen, sondern weil niemand dem Modell gesagt hat, dass es in diesem Fall schweigen darf.

Der eine Satz in die Systemanweisung

Die Lösung ist ein einziger Satz — und der Ort, an dem er steht. Dieser Ort heisst Systemanweisung, auf Englisch System-Prompt. Das ist der Text, den dein Bot vor jeder Frage mitliest. Du schreibst ihn einmal, er gilt immer.

In meiner eigenen Systemanweisung steht:

Wenn du etwas nicht weisst, sag es immer. Alle Behauptungen müssen Quellenangaben haben — aus dem RAG und auch aus dem Internet, immer.

Einmal hinterlegt, gilt dieser Satz für jede Frage und für jeden, der den Bot benutzt. Auch für die Kollegin, die einfach drauflos fragt und nie auf die Idee käme, eine Regel in ihre Frage zu schreiben.

Das ist der Unterschied zur Lektion zu den Zahlen aus PDFs. Dort stand die Regel im Prompt, für eine Aufgabe. Beim eigenen Bot steht sie einmal in der Systemanweisung, für jede Frage.

Neun von zehn reicht nicht

Mein eigenes RAG hat früher erfunden. In der Systemanweisung stand, dass es nichts erfinden darf. Meistens hat sich das Modell daran gehalten — in etwa neun von zehn Fällen. Das war zu wenig. Bei einem Bot, dem du vertrauen willst, ist die zehnte Antwort die, die dich später einholt.

Das Modell war zu klein. Es hat die Vorgaben für die Suche nicht genau gelesen. Ich musste mein RAG anpassen und die Systemanweisung für die Suchfunktion. Heute läuft bei mir ein grösseres Modell. Zusammen mit meiner Systemanweisung hält es das ein — auch, weil ein Prüfer, auf Englisch Reranker, schlechte Funde aussortiert, bevor sie beim Modell landen. Und das Modell sagt mir, dass es die Information nicht hat.

Wenn du etwas nicht weisst, sag es. Dieser Satz gehört in die Systemanweisung, nicht in jede Frage. Und dein Modell muss gross genug sein, ihn zu halten.

In der Lektion zum HR-Handbuch hiess es: Das Modell, das deine Dokumente liest, darf klein sein. Das stimmt weiterhin. Das Modell, das antwortet, nicht — es muss deine Regel halten. Nicht das grösste. Aber gross genug. Und aus der Lektion zum ersten lokalen Modell gilt der Satz «Wechsle erst, wenn dich etwas stört». Hier stört etwas.

Wo es trotzdem kippt

Eine Ausnahme sehe ich bis heute: das lange Gespräch. Wenn ich schon rund eine Stunde im selben Chat bin, kommt es vor, dass mein Bot doch wieder etwas erfindet — obwohl derselbe Satz in der Systemanweisung steht.

Die Konsequenz ist einfach: Für eine neue Frage öffnest du einen neuen Chat. Das kostet dich einen Klick und nimmt dem Bot den ganzen Ballast des bisherigen Gesprächs ab — derselbe Gedanke wie in der Lektion zum Vergiss-alles-bisherige-Prompt.

Der Leer-Test: Frag, was nicht drin steht

Ob der Satz sitzt, prüfst du mit einer Frage, deren Antwort sicher nicht in deiner Ablage steht. Nimm etwas, das zu deinem Betrieb passt, aber nirgends dokumentiert ist.

• Kommt «dazu habe ich keine Information», sitzt der Satz.
• Kommt eine Antwort, hat er erfunden — dann liegt es an der Systemanweisung oder am Modell.

Das ist das Gegenstück zur Testfrage aus der Lektion zum HR-Handbuch. Dort stand die Antwort drin, und du hast geprüft, ob der Bot sie findet. Beim Leer-Test steht sie bewusst nicht drin — und du prüfst, ob er das zugibt. Er kennt nur, was drin liegt. Jetzt weisst du, ob er es auch sagt.