KI & Informationen

Ähnliche Zeilen sind nicht automatisch Duplikate

Legen Sie die eindeutige Identität eines Datensatzes fest, bevor eine KI ähnliche Einträge gruppiert oder zusammenführt.

Zwei Lieferdatensätze enthalten denselben Artikel und dieselbe Menge. Vielleicht wurde eine Lieferung doppelt importiert; vielleicht fanden beide tatsächlich statt. Ähnliche Formulierungen reichen nicht aus, um eine Zeile zu entfernen.

Erst die Identität festlegen

Bestimmen Sie die Felder, die einen Datensatz in dieser Liste kennzeichnen. Bestellkennung und Positionsnummer können geeignet sein, wenn diese Kombination im Quellsystem eindeutig ist. Der Produktname beantwortet dagegen die Frage, was bestellt wurde, nicht welcher Vorgang gemeint ist.

Bitten Sie die KI zunächst um Gruppen möglicher Duplikate und behalten Sie alle ursprünglichen Zeilen samt Kennungen. Trennen Sie exakte von ungefähren Übereinstimmungen und lassen Sie Zweifelsfälle offen. NIST beschreibt das Risiko selbstsicherer, aber falscher generativer Ausgaben. Die folgende Prüfroutine ist eine praktische Anwendung, keine getestete Garantie für ein bestimmtes Modell.

Legen Sie vor der Auswertung Beispiele mit erwarteten Entscheidungen fest:

  • Dieselbe Bestellung und Position zweimal importiert: möglicher Doppelimport, der geprüft werden muss.
  • Unterschiedliche Bestellkennungen bei gleichem Artikel und gleicher Menge: beide Vorgänge behalten.
  • Abweichende Schreibweise ohne gemeinsame Kennung: untersuchen statt automatisch zusammenführen.

Mögliche Verluste sichtbar machen

Vergleichen Sie alle Felder jeder Gruppe. Unterschiedliche Notizen, Daten oder Mengen brauchen eine bewusste Entscheidung, auch bei gleicher Kennung. Ein abweichendes Feld kann eine Korrektur darstellen.

Arbeiten Sie in einer separaten Ausgabedatei. Halten Sie fest, welche Originalzeilen zu jedem erhaltenen Datensatz gehören und warum Sie die Zusammenführung freigegeben haben. Vergleichen Sie Zeilenzahlen und relevante Summen und erklären Sie jede erwartete Änderung. Bleibt eine Differenz unklar, bewahren Sie die Quelle unverändert und prüfen Sie die Gruppe erneut. Eine kürzere Liste muss die ursprünglichen Vorgänge weiterhin korrekt abbilden.

Quellen und weitere Informationen

  1. NIST AI 600-1 — Generative Artificial Intelligence Profile, section 2.2

Die Quellen belegen die technischen Erläuterungen. Beispiele und vorgeschlagene Prüfungen sind redaktionelle Empfehlungen.