DIE KURZE ANTWORT

Prüfen Sie zuerst die Suche. RAG gibt einem Modell zum Antworten passende Dokumentauszüge mit. Fine-Tuning verändert das Modell anhand von Beispielen, etwa für eine bestimmte Ausgabeform. Testen Sie eine Frage nach einer aktuellen Kondition und prüfen Sie, welche Quelle für die Antwort genutzt wurde.

Nehmen Sie eine Frage zu einer aktuellen Kondition und prüfen Sie, ob Ihr Team die gültige Quelle schon zuverlässig findet.

Suche bleibt ein sinnvoller Ausgangspunkt

Wenn Mitarbeitende das richtige Dokument schnell finden können, muss ein System nicht jede Antwort automatisch formulieren. Prüfen Sie zuerst, ob eine bessere Struktur und Suche den Bedarf bereits deckt.

Was RAG tatsächlich macht

Beim Retrieval-Augmented Generation sucht das System passende Inhalte und gibt sie als Kontext an ein Modell. Das Modell kann daraus eine Antwort formulieren. Ein gefundener Text ist jedoch nicht automatisch aktuell, korrekt oder für den Nutzer freigegeben.

Wo Fine-Tuning einen anderen Zweck hat

Fine-Tuning kann für konsistente Aufgabenformate oder spezialisiertes Verhalten geeignet sein. Es ist kein Ersatz für die laufende Pflege wechselnder Preislisten oder Kundendaten. Ob es sich lohnt, hängt von Aufgabe, Daten, Modell und Tests ab.

Ein Rechteproblem löst keine Vektordatenbank

Zugriffsfilter müssen beim Abruf greifen. Ein Dokument, das eine Rolle nicht sehen darf, gehört nicht in ihren Modellkontext. Prüfen Sie auch abgeleitete Zusammenfassungen und Zwischenspeicher.

Qualität wird am Vorgang geprüft

Testen Sie, ob die richtigen Quellen gefunden werden, die Antwort durch diese Quellen gedeckt ist und Unklarheit sichtbar bleibt. Trennen Sie Suchqualität, Antwortqualität und erlaubte Folgeaktionen. So lässt sich gezielt verbessern.

Ein Beispiel: Welche Kondition gilt für diese Anfrage?

Illustrative Ausgangslage: Eine freigegebene Konditionenliste gilt ab November; eine ältere Fassung liegt noch im Archiv. Eine berechtigte Person fragt nach der aktuellen Regel für eine Kundenanfrage. Vergleichen Sie alle Varianten mit derselben Frage, derselben Rolle und demselben Quellenstand.

Suche: Die Person erhält die gültige Fundstelle und liest die Kondition selbst nach. RAG: Der Abruf liefert den passenden erlaubten Abschnitt; das Modell formuliert daraus eine Antwort mit Quellenverweis. Fine-Tuning: Trainierte Formulierungsbeispiele allein liefern keinen verlässlichen Abruf der gerade geänderten Liste. Auch ein angepasstes Modell benötigt für diese Aufgabe den aktuellen Kontext.

Die Entscheidung lautet hier: zunächst Suche oder RAG prüfen, wenn die aktuelle Firmeninformation fehlt. Ist die richtige Information bereits vorhanden, aber die Antwort hält ein gewünschtes Format nicht zuverlässig ein, prüfen Sie zuerst klare Anweisungen und Beispiele; eine Modellanpassung ist ein weiterer möglicher Weg. Die Verfahren können kombiniert werden.

Wie vergleichen Sie die Wege, ohne sich von einer Demo täuschen zu lassen?

Notieren Sie vor dem Test das erwartete Ergebnis: gültige Kondition und passende Quelle; bei fehlender Angabe eine Rückfrage; bei gesperrter Quelle keine Preisangabe. Prüfen Sie zusätzlich eine geänderte und eine gelöschte Quelle. Halten Sie Abruf, Antwort und Berechtigung getrennt fest, damit eine falsche Quelle nicht bloß durch schönere Sprache kaschiert wird.

Tragen Sie anschließend die tatsächliche Beobachtung, nötige Korrektur, Bearbeitungsdauer und Nutzungskosten je Variante ein. Dieser Leitfaden liefert den Vergleichsplan, keine gemessenen Testergebnisse. Die Prüfung von Antwort, Quelle und Zugriff hilft bei der Abnahme.

PRAKTISCHE ENTSCHEIDUNGSHILFE

Derselbe Fall: Welche Kondition gilt?

Alle Spalten sehen: Tabelle seitlich verschieben.

VarianteWas bereitstehtErwartung vor dem Test
SucheDie gültige freigegebene FundstelleEine Person kann die Kondition selbst nachlesen.
RAGAbruf derselben Quelle plus ModellantwortAntwort nennt die gültige Angabe und die Fundstelle.
Fine-Tuning ohne aktuellen AbrufTrainierte Aufgabenbeispiele, kein aktueller ListenstandNicht als zuverlässige Quelle der neuen Kondition behandeln.
RAG plus angepasstes VerhaltenAktueller Abruf plus geprüfte ModellanpassungQuellenrichtigkeit und gewünschtes Format getrennt prüfen.

Illustratives Vergleichsszenario, keine durchgeführten Modelltests. Nutzen Sie vorab dieselben Normal-, Änderungs- und Zugriffsfälle. Tragen Sie Beobachtung und Kosten erst nach dem tatsächlichen Test ein.

FÜR IHREN NÄCHSTEN SCHRITT

Den Zugriff auf aktuelles Wissen prüfen

  • Denselben Vorgang mit gleicher Rolle und Quellenfassung vergleichen
  • Aktuelle Information von gewünschtem Antwortverhalten unterscheiden
  • Geänderte, gelöschte und gesperrte Quelle prüfen
  • Beobachtung und Kosten erst nach einem tatsächlichen Test dokumentieren

Quellen & Vertiefung

OpenAI: RetrievalMicrosoft: RAG, Wissensabruf und Zugriff auf erlaubte InhalteOpenAI: Evaluation, Anweisungen und Modellanpassung unterscheiden

Wenn Ihre KI mit aktuellen Konditionen arbeiten soll, lohnt sich zuerst der Blick auf Quellen, Suche und Zugriffsrechte.

Company Brain aufbauen lassen