DIE KURZE ANTWORT

Legen Sie vor dem Test fest, welche Antwort, Quelle und Folgeaktion Sie erwarten. Prüfen Sie diese drei Punkte getrennt. Testen Sie zusätzlich fehlende Informationen, unterschiedliche Rollen und widersprüchliche Dokumente.

Testen Sie dieselbe Frage mit zwei Rollen. Prüfen Sie jeweils Antwort, Quelle und Zugriffsrecht getrennt.

Was soll der Brain in Ihrem Fall leisten?

Beginnen Sie mit einer Aufgabe, die eine fachverantwortliche Person beurteilen kann. „Kennt unsere Firma“ ist kein prüfbares Ziel. „Beantwortet Fragen zur freigegebenen Projektübergabe mit den erforderlichen Unterlagen und Zuständigkeiten“ grenzt die Erwartung ein. Dazu gehören die anwendbare Regel, der betroffene Vorgang und die Rolle der fragenden Person.

Beschreiben Sie auch, was außerhalb des ersten Umfangs liegt. Eine Antwort mit Quellen, ein Checklistenentwurf und das Schreiben in ein Projektsystem sind unterschiedliche Leistungen. Im Company-Brain-Aufbau werden diese Entscheidungen vor der Umsetzung vereinbart. Halten Sie die Erwartung vor dem Test fest, damit eine überzeugend formulierte Antwort das Prüfkriterium nicht nachträglich verändert.

Welche Fragen gehören in die Prüfung?

Sammeln Sie typische Fragen aus dem Arbeitsalltag und erlaubte, fachlich geprüfte Beispieldaten. Eine Quelle muss eine bekannte Antwort tragen können. Nehmen Sie zusätzlich Fälle auf, in denen die richtige Reaktion eine Rückfrage, ein Hinweis auf fehlendes Wissen oder eine verweigerte Ausgabe ist. Nur einfache beantwortbare Fragen auszuwählen würde die Prüfung verzerren.

Im fiktiven Atlas-Beispiel lässt sich fragen, welche Übergabeunterlagen nötig sind. Eine Gegenprobe verwendet ein anderes Projekt, für das keine gültige Regel freigegeben wurde. Dann darf die anwendbare Atlas-Regel nicht ohne Grundlage übertragen werden. Beides sind Prüffälle, keine auf dieser Website gemessenen Modellergebnisse.

Warum Quellenabruf und Antwort getrennt beurteilen?

Alle Spalten sehen: Tabelle seitlich verschieben.

Drei unterschiedliche Fehlerstellen
EbenePrüffrageMögliche Folge
AbrufWar die gültige erlaubte Quelle im Kontext?Ohne sie fehlt eine Grundlage für die Antwort.
AntwortWird die Quelle richtig und ausreichend wiedergegeben?Eine gefundene Quelle kann falsch interpretiert werden.
AktionIst der nächste Schritt im vereinbarten Umfang erlaubt?Eine richtige Antwort erlaubt keinen eigenmächtigen Versand.

Notieren Sie, welche Quelle verwendet wurde und auf welchen Inhalt sich die konkrete Aussage stützt. Eine bloße Linkliste neben einem Text reicht nicht, wenn der relevante Absatz die Aussage nicht trägt. Umgekehrt kann ein System die richtige Stelle abrufen und anschließend eine wichtige Einschränkung auslassen.

Diese Trennung hilft bei der Verbesserung. Ein unpassender Abruf, ein veralteter Quellenbestand und eine fehlerhafte Formulierung brauchen unterschiedliche Korrekturen. Das Quelleninventar schafft dafür die fachliche Ausgangslage.

Wie werden Rollen, Änderungen und Manipulation geprüft?

Führen Sie dieselbe Frage mit einer erlaubten und einer nicht erlaubten Rolle aus. Prüfen Sie auch Quellverweise, Ausschnitte und abgeleitete Entwürfe. Ein Zugang darf nicht nur auf der sichtbaren Startseite eingeschränkt sein, während dieselbe Information über die Suche oder einen Quellenlink erreichbar bleibt. Der Leitfaden zu Zugriffsrechten vertieft diese Abgrenzung.

Ändern oder entfernen Sie anschließend eine freigegebene Testquelle und entziehen Sie einer Testrolle den Zugriff. Beobachten Sie nach dem vereinbarten Aktualisierungsweg erneut das Ergebnis. Dokumentieren Sie, welche Verzögerung fachlich akzeptiert wird. Ein erfolgreicher Test vor einer Änderung beantwortet diese Frage nicht.

Eine weitere Gegenprobe enthält eine fremde Handlungsanweisung im Quelldokument. Das System soll sie als Inhalt behandeln und daraus keine zusätzlichen Rechte für Versand oder Änderungen gewinnen. Eine solche Stichprobe belegt keine vollständige Absicherung gegen Prompt Injection.

Wie wird aus einer Antwort ein bewertbarer Befund?

Alle Spalten sehen: Tabelle seitlich verschieben.

Vorher definieren, anschließend beobachten
FeldWas Sie eintragen
Aufgabe / RolleFrage und berechtigter Nutzungskontext
QuellenstandVerwendete Fassung und freigegebene Grundlage
ErwartungErforderliche Angaben, Grenzen und erlaubter nächster Schritt
BeobachtungTatsächlicher Text, Quellenbezug und Verhalten
BefundErfüllt, nicht erfüllt oder nicht prüfbar; mit Begründung und Zuständigkeit

Ein nicht ausführbarer Zugriffstest ist kein bestandener Fall. Auch eine unklare fachliche Referenz gehört zunächst als offene Voraussetzung in den Bericht. Werden schwerwiegende Fehler mit vielen leichten Fällen zu einem einzigen Mittelwert vermischt, können relevante Risiken unsichtbar werden.

Vereinbaren Sie deshalb pro Aufgabe, welche Fehler eine Nutzung ausschließen und welche im begrenzten Pilot toleriert werden. Es gibt keinen allgemeinen Prozentwert, der jeden Company Brain einsatzbereit macht. Die zuständige Fachperson beurteilt, ob die Antwort im konkreten Ablauf verwendbar ist.

Was muss nach einer Änderung erneut geprüft werden?

Halten Sie eine feste Auswahl relevanter Fälle zurück, die bei Verbesserungen erneut ausgeführt wird. Ergänzen Sie neue beobachtete Fehler. Änderungen an Quellen, Suche, Modell, Anweisungen oder Rollen können das Ergebnis beeinflussen. Bei variablen KI-Ausgaben sollte nicht nur die bequemste einzelne Antwort betrachtet werden.

Vergleichen Sie denselben Aufgaben- und Quellenstand und ändern Sie möglichst gezielt. Dokumentieren Sie Revision, Prüfdatum und verbleibende Einschränkungen. Ein automatischer Auswerter kann dabei unterstützen, ersetzt aber keine geklärte fachliche Erwartung. Für Betrieb und Weiterentwicklung braucht es eine zuständige Person und einen vereinbarten Umgang mit Fehlern.

Wie beginnen Sie mit einem kleinen prüfbaren Pilot?

Wählen Sie einen wiederkehrenden Vorgang, eine begrenzte erlaubte Quellenauswahl und eine fachlich zuständige Person. Definieren Sie Normalfall und Gegenproben, bevor Sie weitere Systeme anbinden. Ziel ist ein nachvollziehbarer erster Umfang, keine Demonstration mit beliebigen Fragen an das gesamte Unternehmen.

Die CSV-Abnahmevorlage enthält vorbereitete Kategorien sowie leere Felder für Ihre Fragen, Quellen, Beobachtungen und den tatsächlichen Status. Der Pilotbrief ergänzt Aufgabe, Umfang und Übergabe. Beide Vorlagen beschreiben mögliche Prüfarbeit. Sie enthalten keine bereits bestandenen Tests und senden keine Angaben an V1.

Häufige Fragen

Reicht eine richtige Antwort in der Demo?
Sie belegt höchstens diesen beobachteten Fall. Weitere Aufgaben, Rollen, Quellenstände und Fehlerfälle brauchen eigene Prüfungen. Die Atlas-Szene dieser Website ist zudem eine feste Illustration und kein frei antwortender KI-Test.
Ist eine Quelle neben der Antwort schon ein Qualitätsbeleg?
Sie schafft einen Prüfzugang. Ob die konkrete Aussage von der Quelle gedeckt ist, vollständig wiedergegeben wird und zur Aufgabe passt, muss zusätzlich beurteilt werden.
Muss die Auswertung automatisch erfolgen?
Nicht zwingend. Fachlich definierte Erwartung und dokumentierte Beobachtung können der Anfang sein. Automatische Auswertung kann später helfen und muss mit den tatsächlichen Anforderungen abgeglichen werden.
Brauchen wir dafür die OpenAI-Evals-Plattform?
Nein. Hier geht es um eine herstellerunabhängige Prüfmethode. Die verlinkte OpenAI-Quelle erläutert Grundsätze; sie ist keine Empfehlung, eine neue Abhängigkeit von der dort abgekündigten Evals-Plattform aufzubauen.
FÜR IHREN NÄCHSTEN SCHRITT

Antworten, Quellen und Rechte abnehmen

  • Eine konkrete Aufgabe und ihre Grenzen festhalten
  • Fragen, Rollen und gültige Quellenstände auswählen
  • Abruf, Antwort und erlaubte Folgeaktion getrennt beobachten
  • Lücken, Konflikte, Rollenwechsel und Änderungen einbeziehen
  • Nicht ausführbare Fälle offen lassen; keine Ergebnisse vorwegnehmen
  • Prüfverantwortung und Wiederholungen nach Änderungen vereinbaren

Quellen & Vertiefung

OpenAI: Grundsätze für aufgabenspezifische EvaluationOWASP: Prompt Injection und Grenzen einzelner Schutzmaßnahmen

Mit ein paar echten Fragen und bekannten Soll-Antworten lässt sich ein erster Aufbau fachlich prüfen.

Company Brain aufbauen lassen