In einer Zubehörliste stehen „USB-C-Stecker“, „USB-A-Stecker“ und lediglich „Kabel“. Soll ein Assistent jeden Eintrag als USB-C oder USB-A einordnen, lädt die letzte Zeile zum Raten ein. Eine vollständig beschriftete Tabelle kann unvollständige Angaben verdecken.
Festlegen, was die Kategorie aussagt
In diesem Beispiel soll genau der eine Steckertyp erfasst werden, der ausdrücklich in der Beschreibung steht. Ergänzen Sie Unbekannt für fehlende Angaben und Prüfung nötig für mehrere genannte Typen oder Widersprüche. Die beiden eindeutig beschriebenen Stecker lassen sich zuordnen; „Kabel“ bleibt Unbekannt. „USB-A-auf-USB-C-Kabel“ benötigt nach dieser Regel mit nur einer Kategorie eine Prüfung, obwohl die Beschreibung aussagekräftig ist.
Fordern Sie drei Spalten an: Originaleintrag, zugewiesene Kategorie und die Wörter, die die Entscheidung stützen. Behalten Sie eine Datensatznummer bei, um jedes Ergebnis zur Quelle zurückverfolgen zu können. Eine plausible Erklärung genügt nicht, wenn die genannten Belege im Original fehlen.
Auch sichere Antworten prüfen
Bewahren Sie einige Beispiele mit erwarteten Antworten auf. Vergleichen Sie die Ergebnisse erneut, wenn Sie Kategorien oder Anweisungen ändern. Prüfen Sie außerdem eine Stichprobe der scheinbar sicheren Zuordnungen. Selbstsichere Formulierungen sind keine gemessene Genauigkeit.
NIST beschreibt, dass generative Systeme falsche Inhalte überzeugend formulieren oder von Eingaben abweichen können. Die Steckeraufgabe veranschaulicht dieses Risiko; sie ist kein dokumentierter Produkttest. Eine Kategorie Unbekannt macht fehlende Angaben sichtbar, garantiert aber nicht die richtige Verwendung durch das Modell.
Lassen Sie ungeklärte Zeilen im Ergebnis und ergänzen Sie die fehlenden Informationen. Sie nur für eine fertig wirkende Tabelle zu löschen, würde den verbleibenden Prüfbedarf verbergen.