«Большинству пользователей было сложно настроить приложение» — понятный вывод, пока не спросишь, сколько человек оставили комментарии. Один участник мог написать несколько раз. Перед сводкой с помощью ИИ определите, что вы считаете: сообщения, людей или упоминания темы. Эти числа отвечают на разные вопросы.
Сделайте подсчёт проверяемым
В этом вымышленном примере четыре комментария принадлежат трём участникам:
- C01, P01: настройка.
- C02, P01: настройка.
- C03, P02: настройка и скорость.
- C04, P03: скорость.
Настройка упоминается в трёх комментариях двух человек. Скорость — в двух комментариях, тоже от двух человек. Если вопрос в том, какая доля ответивших упомянула каждую тему, оба результата равны 2/3. Их сумма больше целой группы, потому что P02 входит в обе категории. Это полезное пересечение, а не ошибка округления, которую нужно исправить.
Сохраняйте постоянный код участника и отдельный идентификатор комментария. Если человека нельзя надёжно определить, отметьте неопределённость: похожих имён или стиля письма недостаточно для объединения записей. Используйте только материалы, подходящие для выбранного сервиса ИИ. Замена имён кодами сама по себе не убирает все сведения, по которым человека можно узнать в свободном тексте.
Попросите обоснование до красивого вывода
Запросите темы каждого комментария, подтверждающие идентификаторы и раздельные итоги по сообщениям и людям. Затем сравните классификацию с исходными формулировками. «Настройка» в примере — результат содержательной оценки, а не факт, доказанный появлением слова в таблице ИИ.
В профиле NIST по генеративному ИИ описан риск уверенно сформулированных ошибок. Числовой пример здесь придуман редакцией для объяснения; это не методика подсчёта NIST. Даже хорошо написанной сводке нужна проверка арифметики и исходных данных.
Укажите границы вывода: «Двое из трёх ответивших в этой выборке упомянули настройку». Не превращайте трёх участников во всех клиентов и не считайте молчание признаком удовлетворённости. Оставьте основание расчёта рядом с результатом, чтобы следующий читатель понимал, что именно измерено.