Legen Sie vor dem Test fest, welche Antwort, Quelle und Folgeaktion Sie erwarten. Prüfen Sie diese drei Punkte getrennt. Testen Sie zusätzlich fehlende Informationen, unterschiedliche Rollen und widersprüchliche Dokumente.
Testen Sie dieselbe Frage mit zwei Rollen. Prüfen Sie jeweils Antwort, Quelle und Zugriffsrecht getrennt.
Was soll der Brain in Ihrem Fall leisten?
Beginnen Sie mit einer Aufgabe, die eine fachverantwortliche Person beurteilen kann. „Kennt unsere Firma“ ist kein prüfbares Ziel. „Beantwortet Fragen zur freigegebenen Projektübergabe mit den erforderlichen Unterlagen und Zuständigkeiten“ grenzt die Erwartung ein. Dazu gehören die anwendbare Regel, der betroffene Vorgang und die Rolle der fragenden Person.
Beschreiben Sie auch, was außerhalb des ersten Umfangs liegt. Eine Antwort mit Quellen, ein Checklistenentwurf und das Schreiben in ein Projektsystem sind unterschiedliche Leistungen. Im Company-Brain-Aufbau werden diese Entscheidungen vor der Umsetzung vereinbart. Halten Sie die Erwartung vor dem Test fest, damit eine überzeugend formulierte Antwort das Prüfkriterium nicht nachträglich verändert.
Welche Fragen gehören in die Prüfung?
Sammeln Sie typische Fragen aus dem Arbeitsalltag und erlaubte, fachlich geprüfte Beispieldaten. Eine Quelle muss eine bekannte Antwort tragen können. Nehmen Sie zusätzlich Fälle auf, in denen die richtige Reaktion eine Rückfrage, ein Hinweis auf fehlendes Wissen oder eine verweigerte Ausgabe ist. Nur einfache beantwortbare Fragen auszuwählen würde die Prüfung verzerren.
Im fiktiven Atlas-Beispiel lässt sich fragen, welche Übergabeunterlagen nötig sind. Eine Gegenprobe verwendet ein anderes Projekt, für das keine gültige Regel freigegeben wurde. Dann darf die anwendbare Atlas-Regel nicht ohne Grundlage übertragen werden. Beides sind Prüffälle, keine auf dieser Website gemessenen Modellergebnisse.
Warum Quellenabruf und Antwort getrennt beurteilen?
Alle Spalten sehen: Tabelle seitlich verschieben.
| Ebene | Prüffrage | Mögliche Folge |
|---|---|---|
| Abruf | War die gültige erlaubte Quelle im Kontext? | Ohne sie fehlt eine Grundlage für die Antwort. |
| Antwort | Wird die Quelle richtig und ausreichend wiedergegeben? | Eine gefundene Quelle kann falsch interpretiert werden. |
| Aktion | Ist der nächste Schritt im vereinbarten Umfang erlaubt? | Eine richtige Antwort erlaubt keinen eigenmächtigen Versand. |
Notieren Sie, welche Quelle verwendet wurde und auf welchen Inhalt sich die konkrete Aussage stützt. Eine bloße Linkliste neben einem Text reicht nicht, wenn der relevante Absatz die Aussage nicht trägt. Umgekehrt kann ein System die richtige Stelle abrufen und anschließend eine wichtige Einschränkung auslassen.
Diese Trennung hilft bei der Verbesserung. Ein unpassender Abruf, ein veralteter Quellenbestand und eine fehlerhafte Formulierung brauchen unterschiedliche Korrekturen. Das Quelleninventar schafft dafür die fachliche Ausgangslage.
Wie werden Rollen, Änderungen und Manipulation geprüft?
Führen Sie dieselbe Frage mit einer erlaubten und einer nicht erlaubten Rolle aus. Prüfen Sie auch Quellverweise, Ausschnitte und abgeleitete Entwürfe. Ein Zugang darf nicht nur auf der sichtbaren Startseite eingeschränkt sein, während dieselbe Information über die Suche oder einen Quellenlink erreichbar bleibt. Der Leitfaden zu Zugriffsrechten vertieft diese Abgrenzung.
Ändern oder entfernen Sie anschließend eine freigegebene Testquelle und entziehen Sie einer Testrolle den Zugriff. Beobachten Sie nach dem vereinbarten Aktualisierungsweg erneut das Ergebnis. Dokumentieren Sie, welche Verzögerung fachlich akzeptiert wird. Ein erfolgreicher Test vor einer Änderung beantwortet diese Frage nicht.
Eine weitere Gegenprobe enthält eine fremde Handlungsanweisung im Quelldokument. Das System soll sie als Inhalt behandeln und daraus keine zusätzlichen Rechte für Versand oder Änderungen gewinnen. Eine solche Stichprobe belegt keine vollständige Absicherung gegen Prompt Injection.
Wie wird aus einer Antwort ein bewertbarer Befund?
Alle Spalten sehen: Tabelle seitlich verschieben.
| Feld | Was Sie eintragen |
|---|---|
| Aufgabe / Rolle | Frage und berechtigter Nutzungskontext |
| Quellenstand | Verwendete Fassung und freigegebene Grundlage |
| Erwartung | Erforderliche Angaben, Grenzen und erlaubter nächster Schritt |
| Beobachtung | Tatsächlicher Text, Quellenbezug und Verhalten |
| Befund | Erfüllt, nicht erfüllt oder nicht prüfbar; mit Begründung und Zuständigkeit |
Ein nicht ausführbarer Zugriffstest ist kein bestandener Fall. Auch eine unklare fachliche Referenz gehört zunächst als offene Voraussetzung in den Bericht. Werden schwerwiegende Fehler mit vielen leichten Fällen zu einem einzigen Mittelwert vermischt, können relevante Risiken unsichtbar werden.
Vereinbaren Sie deshalb pro Aufgabe, welche Fehler eine Nutzung ausschließen und welche im begrenzten Pilot toleriert werden. Es gibt keinen allgemeinen Prozentwert, der jeden Company Brain einsatzbereit macht. Die zuständige Fachperson beurteilt, ob die Antwort im konkreten Ablauf verwendbar ist.
Was muss nach einer Änderung erneut geprüft werden?
Halten Sie eine feste Auswahl relevanter Fälle zurück, die bei Verbesserungen erneut ausgeführt wird. Ergänzen Sie neue beobachtete Fehler. Änderungen an Quellen, Suche, Modell, Anweisungen oder Rollen können das Ergebnis beeinflussen. Bei variablen KI-Ausgaben sollte nicht nur die bequemste einzelne Antwort betrachtet werden.
Vergleichen Sie denselben Aufgaben- und Quellenstand und ändern Sie möglichst gezielt. Dokumentieren Sie Revision, Prüfdatum und verbleibende Einschränkungen. Ein automatischer Auswerter kann dabei unterstützen, ersetzt aber keine geklärte fachliche Erwartung. Für Betrieb und Weiterentwicklung braucht es eine zuständige Person und einen vereinbarten Umgang mit Fehlern.
Wie beginnen Sie mit einem kleinen prüfbaren Pilot?
Wählen Sie einen wiederkehrenden Vorgang, eine begrenzte erlaubte Quellenauswahl und eine fachlich zuständige Person. Definieren Sie Normalfall und Gegenproben, bevor Sie weitere Systeme anbinden. Ziel ist ein nachvollziehbarer erster Umfang, keine Demonstration mit beliebigen Fragen an das gesamte Unternehmen.
Die CSV-Abnahmevorlage enthält vorbereitete Kategorien sowie leere Felder für Ihre Fragen, Quellen, Beobachtungen und den tatsächlichen Status. Der Pilotbrief ergänzt Aufgabe, Umfang und Übergabe. Beide Vorlagen beschreiben mögliche Prüfarbeit. Sie enthalten keine bereits bestandenen Tests und senden keine Angaben an V1.
Häufige Fragen
Reicht eine richtige Antwort in der Demo?
Ist eine Quelle neben der Antwort schon ein Qualitätsbeleg?
Muss die Auswertung automatisch erfolgen?
Brauchen wir dafür die OpenAI-Evals-Plattform?
Antworten, Quellen und Rechte abnehmen
- Eine konkrete Aufgabe und ihre Grenzen festhalten
- Fragen, Rollen und gültige Quellenstände auswählen
- Abruf, Antwort und erlaubte Folgeaktion getrennt beobachten
- Lücken, Konflikte, Rollenwechsel und Änderungen einbeziehen
- Nicht ausführbare Fälle offen lassen; keine Ergebnisse vorwegnehmen
- Prüfverantwortung und Wiederholungen nach Änderungen vereinbaren
Quellen & Vertiefung
OpenAI: Grundsätze für aufgabenspezifische EvaluationOWASP: Prompt Injection und Grenzen einzelner SchutzmaßnahmenMit ein paar echten Fragen und bekannten Soll-Antworten lässt sich ein erster Aufbau fachlich prüfen.
Company Brain aufbauen lassen