„Die meisten Nutzer hatten Schwierigkeiten bei der Einrichtung“ klingt eindeutig. Doch wie viele Menschen haben die ausgewerteten Kommentare geschrieben? Eine Person kann sich mehrfach gemeldet haben. Entscheiden Sie vor der KI-Zusammenfassung, ob Sie Nachrichten, Personen oder Themennennungen zählen wollen. Diese Zahlen beantworten unterschiedliche Fragen.
Die Zählung nachvollziehbar machen
Dieses fiktive Beispiel enthält vier Kommentare von drei Teilnehmenden:
- C01, P01: Einrichtung.
- C02, P01: Einrichtung.
- C03, P02: Einrichtung und Geschwindigkeit.
- C04, P03: Geschwindigkeit.
Einrichtung wird in drei Kommentaren von zwei Personen genannt. Geschwindigkeit kommt in zwei Kommentaren vor, ebenfalls von zwei Personen. Bei der Frage, wie viele Befragte das jeweilige Thema nennen, lautet das Ergebnis beide Male 2/3. Die Summe übersteigt die gesamte Gruppe, weil P02 zu beiden Kategorien gehört. Diese Überschneidung ist eine Information und kein Rundungsfehler.
Vergeben Sie einen beständigen Personencode und eine eigene Kennung für jeden Kommentar. Lässt sich eine Person nicht zuverlässig zuordnen, kennzeichnen Sie die Unsicherheit. Ähnliche Namen oder Schreibweisen reichen nicht für eine Zusammenführung. Verwenden Sie nur Material, das für den gewählten KI-Dienst geeignet ist: Personencodes entfernen nicht automatisch alle identifizierenden Angaben aus Freitext.
Erst Belege, dann die Zusammenfassung
Lassen Sie zu jedem Kommentar Themen, zugehörige Kennungen sowie getrennte Zahlen für Kommentare und Personen ausgeben. Prüfen Sie die Zuordnungen anschließend am Originaltext. „Einrichtung“ ist in diesem Beispiel eine inhaltliche Einordnung, keine durch eine KI-Tabelle bewiesene Tatsache.
Das NIST-Profil zu generativer KI beschreibt das Risiko selbstsicher formulierter falscher Inhalte. Unser Zahlenbeispiel ist eine eigene Veranschaulichung, kein Zählverfahren des NIST. Auch eine flüssige Zusammenfassung braucht überprüfte Zahlen und Belege.
Begrenzen Sie die Aussage auf die Daten: „Zwei der drei Antwortenden in diesem Datensatz nannten die Einrichtung.“ Machen Sie aus drei Personen nicht die gesamte Kundschaft und deuten Sie fehlende Antworten nicht als Zufriedenheit. Schreiben Sie die Bezugsgröße direkt zum Ergebnis, damit erkennbar bleibt, was die Zahl aussagt.