DIE KURZE ANTWORT

Prüfen Sie denselben Angebotsablauf mit vollständigen und unvollständigen Daten. Ergänzen Sie veraltete Quellen, fehlende Rechte, manipulierte Eingaben, doppelte Ausführung und Ausfälle. Legen Sie je Fall vorher fest, was das System ausgeben oder zur Prüfung zurückgeben soll.

Stellen Sie eine vollständige und eine lückenhafte Anfrage gegenüber. Legen Sie das erwartete Ergebnis vor dem Test fest.

Acht Gegenproben für Angebotsautomation: Normalfall, fehlende Daten, alter Stand, Widerspruch, fehlender Zugriff, Manipulation, Doppelereignis und Ausfall.
Prüfplan: Erwartetes Verhalten und tatsächlich beobachtetes Ergebnis getrennt erfassen.

Was wird geprüft und was bleibt außerhalb?

Unser Beispiel beginnt mit einer Anfrage und endet mit einem Angebotsentwurf zur menschlichen Prüfung. Preisfreigabe, Empfängerauswahl und tatsächlicher Versand bleiben gesonderte Schritte. Dieser Umfang macht die Erwartungen überschaubar: Passende Angaben sollen übernommen, offene Punkte sichtbar und erlaubte Quellen nachvollziehbar werden.

Schreiben Sie diese Grenze vor dem Test auf. Ein System, das nur Entwürfe vorbereiten soll, darf nicht dadurch als erfolgreich gelten, dass es eine Nachricht versendet hat. Umgekehrt ist eine fachliche Rückfrage kein Fehler, wenn eine notwendige Information fehlt. Die Zielbeschreibung bestimmt, was geprüft wird.

Der illustrierte Angebotsablauf zeigt die vier Schritte. Dieser Artikel liefert einen fachlichen Prüfplan dazu. Er ist keine Aussage, dass bei einem Kunden diese Fälle bereits bestanden wurden. Auch die Website-Demo besitzt keine Verbindung zu einem echten CRM oder Versanddienst.

Wie beschreiben Sie einen reproduzierbaren Testfall?

Alle Spalten sehen: Tabelle seitlich verschieben.

Ein Testfall braucht mehr als einen Beispieltext
FeldWas hineingehörtFiktives Beispiel
EingabeAnfrage und zulässiger KontextIT-Wartung für zwölf Arbeitsplätze
QuellenstandGültige Versionen und RechteFreigegebene Leistungsübersicht
ErwartungPrüfbares SollverhaltenMenge übernehmen; Preis offenlassen
BeobachtungTatsächlich gesehenes ErgebnisVor Durchführung noch unbekannt
EntscheidungVerantwortliche BewertungBestanden, überarbeiten oder Umfang ändern

Ein identischer Text kann bei anderem Quellenstand zu einem anderen berechtigten Ergebnis führen. Dokumentieren Sie deshalb nicht nur den Prompt, sondern auch die erlaubten Quellen und die wesentliche Konfiguration. Bei einer späteren Änderung bleibt erkennbar, was sich tatsächlich geändert hat.

Automatische Auswertungen können unterstützen. Fachliche Kriterien müssen trotzdem definiert und mit menschlicher Bewertung abgeglichen werden. Eine pauschale Erfolgsquote über sehr unterschiedliche Fälle kann einen kritischen Fehler verdecken.

Fälle eins und zwei: vollständig oder unvollständig?

Im vollständigen Normalfall ist die Anfrage klar genug, um passende Leistungsbausteine und Menge in einen Entwurf zu übernehmen. Das erwartete Ergebnis enthält die richtigen Angaben, Quellenbezug und die vereinbarte Prüfaufgabe. Es muss nicht besonders lang oder werblich formuliert sein.

Im zweiten Fall fehlt die Menge oder der gewünschte Leistungsumfang. Das System soll die Lücke markieren oder eine Rückfrage vorbereiten. Es darf keine Zahl ergänzen, nur weil ähnliche Anfragen oft dieselbe Menge enthalten. Die Erwartung lautet hier gerade nicht „vollständiges Angebot“, sondern „brauchbarer Entwurf mit offenem Punkt“.

Testen Sie beide Fälle mit derselben Fachrolle. So lässt sich erkennen, ob fehlendes Wissen oder eine andere Berechtigung das Ergebnis verursacht. Eine sichtbare offene Frage ist im zweiten Fall ein erwünschtes Verhalten und sollte nicht durch ein rein formales Vollständigkeitskriterium bestraft werden.

Fälle drei und vier: veraltete oder widersprüchliche Quellen?

Eine alte Preisliste liegt neben einer neu freigegebenen Fassung. Vor dem Test muss feststehen, welche Quelle maßgeblich ist und ob die Rolle Preise überhaupt abrufen darf. Wenn die Anwendung gültige Konditionen nicht verlässlich bestimmen kann, soll sie den Preis offenlassen. Ein plausibel wirkender Betrag ist kein Ersatz für den Quellenentscheid.

Im vierten Fall widersprechen sich zwei Leistungsbeschreibungen. Beispielsweise nennt eine Fassung Fernwartung, während eine andere nur Vor-Ort-Service umfasst. Die Anwendung sollte nicht unbemerkt beide zu einer umfassenderen Leistung zusammensetzen. Die Zuständigkeit für die fachliche Klärung gehört in den Ablauf.

Diese Fälle zeigen, warum ein Quelleninventar mit Freigabestand vor dem Modellaufruf wichtig ist. Ein größerer Dokumentenbestand allein verbessert die Entscheidung nicht. Ohne eine nachvollziehbare Rangfolge vergrößert er unter Umständen nur die Auswahl widersprüchlicher Aussagen.

Fälle fünf und sechs: fehlende Rechte oder manipulierte Inhalte?

Nutzen Sie eine Testrolle, die den betreffenden Kundenkontext nicht lesen darf. Erwartet werden keine geschützten Angaben im Modellkontext, im Entwurf oder in einer Zusammenfassung. Auch eine Quelle darf nicht so zitiert werden, dass vertraulicher Inhalt über den Quellenhinweis sichtbar wird. Die technische Architektur muss dieses Verhalten durchsetzen.

Der sechste Fall enthält einen harmlosen manipulierten Satz in einem Quelldokument, etwa die Aufforderung, den normalen Prüfweg zu überspringen. Dieser Inhalt ist keine Autorisierung. Er darf keine zusätzliche Systemaktion oder Freigabe auslösen. OWASP beschreibt diese Risikoklasse als Prompt Injection; Retrieval allein beseitigt sie nicht.

Solche fachlichen Gegenproben ersetzen keinen umfassenden Sicherheitstest. Sie ergänzen ihn um den konkreten Arbeitsvorgang. Der Leitfaden zu Zugriffsrechten im Company Brain erläutert die Trennung zwischen Identität, Abruf und erlaubter Aktion.

Fälle sieben und acht: doppelte Ausführung oder Systemausfall?

Eine Anfrage kann mehrfach eintreffen oder ein Lauf nach einem Fehler wiederholt werden. Legen Sie fest, wie die Anwendung denselben Vorgang erkennt. Wenn der vereinbarte Ablauf einen Entwurf in einem Fachsystem erzeugt, darf eine bloße Wiederholung nicht ungeprüft mehrere konkurrierende Folgeaktionen auslösen.

Im achten Fall ist eine Schnittstelle nicht erreichbar. Eine leere Rückmeldung darf nicht als erfolgreich verarbeiteter Auftrag erscheinen. Der vereinbarte Fehlerweg sollte sichtbar machen, was bereits geschehen ist, was aussteht und wer reagieren muss. Ein manueller Rückfallweg kann Bestandteil des Auftrags sein.

Auch hier hängen die Kriterien vom Umfang ab. Ein rein lokaler Textentwurf besitzt andere Seiteneffekte als ein Workflow mit schreibendem CRM-Zugriff. Testen Sie Wiederholung und Wiederanlauf in einer geeigneten Umgebung mit freigegebenen Testdaten. Die Grenze zwischen Simulation und echter Systemänderung muss vor dem Start klar sein.

Wie wird aus dem Prüfplan eine Abnahmeentscheidung?

Alle Spalten sehen: Tabelle seitlich verschieben.

Erwartung und Beleg getrennt dokumentieren
FallgruppeErwartungBenötigter Nachweis
NormalfallAngaben korrekt zugeordnetEntwurf mit nachvollziehbaren Quellen
Fehlende oder strittige DatenLücke beziehungsweise Konflikt sichtbarOffener Punkt statt erfundener Ergänzung
Rechte und ManipulationKeine unzulässige Offenlegung oder AktionFachlicher und technischer Prüfbeleg
Wiederholung und AusfallKein unerlaubter doppelter Effekt; Fehler sichtbarLaufzustand und vereinbarter Wiederanlauf

Diese Tabelle beschreibt Sollverhalten. Ein Haken wird erst nach einer beobachteten Durchführung gesetzt. Halten Sie Abweichung, Ursache und Entscheidung getrennt fest. Nicht jede Abweichung bedeutet dieselbe Schwere: Ein falscher Zeilenumbruch ist anders zu behandeln als ein Preis aus einer unzulässigen Quelle.

OpenAIs allgemeine Evaluationsmethodik unterstützt aufgabenspezifische Ziele und repräsentative Fälle. Eine bestimmte Plattform ist für diesen Plan nicht erforderlich. Die Abnahmekriterien für Ihre Anwendung werden im tatsächlichen Auftrag festgelegt; aus einem Anbieterbeispiel werden keine V1-Genauigkeitswerte übernommen.

Wie beurteilen zwei Prüfende denselben Entwurf?

Zwei Personen können denselben Text unterschiedlich bewerten, wenn Kriterien wie „gut formuliert“ oder „vollständig“ offenbleiben. Geben Sie ihnen dieselbe Eingabe, denselben Quellenstand und dieselbe fachliche Erwartung. Prüfen Sie einzelne Eigenschaften: Wurde die Menge korrekt übernommen? Ist eine fehlende Angabe sichtbar? Stammt eine Preisangabe aus einer zulässigen Quelle? Solche Kriterien lassen sich nachvollziehbarer besprechen als ein einziger Gesamteindruck.

Unterschiedliche Bewertungen werden zunächst als offener Punkt behandelt. Klären Sie, ob die Fachregel unpräzise ist, der Testfall mehrere berechtigte Antworten zulässt oder tatsächlich ein Fehler vorliegt. Ändern Sie eine Erwartung nicht still nachträglich, damit ein vorhandener Entwurf besteht. Dokumentieren Sie die neue Entscheidung und prüfen Sie betroffene frühere Fälle erneut.

Ein automatischer Prüfer kann beispielsweise fehlende Pflichtfelder finden. Er erkennt dadurch noch nicht jede fachliche falsche Aussage. Ein menschlicher Prüfer kann wiederum eine falsche Menge übersehen, weil der Text überzeugend wirkt. Kombinieren Sie geeignete technische Kontrollen mit fachlicher Sichtung und prüfen Sie, wo beide zu denselben Ergebnissen kommen. Der notwendige Aufwand richtet sich nach den möglichen Folgen des Vorgangs. Hier wird weder eine feste Prüferzahl für jedes Unternehmen noch eine universelle Genauigkeitsschwelle festgelegt.

Wie bleibt der Prüfplan nach dem Start nützlich?

Bewahren Sie die wichtigen Fälle zusammen mit dem freigegebenen Stand auf. Ändern sich Quellen, Modell, Prompt, Fachregel oder Schnittstelle, wiederholen Sie die betroffenen Prüfungen. Ergänzen Sie neue Fehlerfälle aus dem Betrieb, ohne unnötige personenbezogene Originaldaten in eine allgemeine Testsammlung zu übernehmen.

Ordnen Sie jedem relevanten Fehler eine zuständige Rolle und einen Hilfeweg zu. Eine Automatisierung kann technisch erreichbar sein und dennoch fachlich falsche Ergebnisse liefern. Beobachten Sie deshalb den Vorgang und seine Ausgabe, nicht nur den Serverstatus. Der Betriebsleitfaden verbindet Fehlerbehandlung mit Pflegeverantwortung.

Für die Übergabe sollte Ihr Team einen Normalfall und einen Fehlerfall selbst nachvollziehen können. Eine Übergabecheckliste macht daraus einen konkreten Nachweis. Wenn Sie eine solche Lösung entwickeln lassen möchten, klären Sie den abgegrenzten Umfang über Ihren Angebotsablauf automatisieren.

Häufige Fragen

Sind acht Fälle ausreichend für jede Automation?
Nein. Die acht Fallgruppen sind ein Ausgangspunkt. Umfang, Risiken und Architektur bestimmen weitere Prüfungen.
Wurden hier echte Modelltests durchgeführt?
Nein. Der Beitrag beschreibt einen illustrativen Prüfplan und erwartetes Verhalten. Er enthält keine gemessenen Modell- oder Kundenergebnisse.
Muss die Automation immer selbst versenden?
Nein. Ein überprüfbarer Entwurf kann der vereinbarte Endpunkt sein. Versand ist eine gesondert erlaubte Aktion.
Wann müssen die Fälle erneut geprüft werden?
Bei relevanten Änderungen an Quellen, Regeln, Modellen, Prompts, Schnittstellen oder beobachtetem Fehlerverhalten.
FÜR IHREN NÄCHSTEN SCHRITT

Angebotsentwürfe vor dem Start prüfen

  • Sollverhalten vor dem Test festlegen
  • Normalfälle und Gegenfälle getrennt bewerten
  • Quellen, Rollen und Konfiguration festhalten
  • Beobachtung nicht durch Annahme ersetzen
  • Kritische Abweichungen vor Weiterführung beheben

Quellen & Vertiefung

OpenAI: repräsentative aufgabenspezifische EvaluationOWASP: Risiken durch Prompt Injection

Wenn Sie Ihre Angebotsvorbereitung testen wollen, sehen Sie hier den Ablauf von der Anfrage bis zum prüfbaren Entwurf.

Angebotsablauf mit Ihrem Firmenwissen automatisieren