ИИ и информация

При классификации оставьте ИИ вариант «неизвестно»

Задайте правила категорий, попросите опору на исходный текст и не заставляйте ИИ угадывать недостающие сведения.

В списке аксессуаров указаны «штекер USB-C», «штекер USB-A» и просто «кабель». Если потребовать от помощника отнести каждую запись к USB-C или USB-A, последнюю строку придётся угадывать. Полностью заполненная таблица может скрывать неполные данные.

Определите, что означает категория

В этом примере нужно указать единственный тип разъёма, прямо названный в описании. Добавьте «Неизвестно», если тип не указан, и «Нужна проверка», если типов несколько или сведения противоречат друг другу. Два конкретных штекера получают понятные категории, «кабель» остаётся неизвестным. Запись «кабель USB-A — USB-C» при таком правиле единственной категории требует проверки, хотя само описание информативно.

Попросите три столбца: исходная запись, присвоенная категория и слова, на которых основан выбор. Сохраните идентификатор строки, чтобы можно было вернуться к источнику. Правдоподобного объяснения недостаточно, если указанных слов в оригинале нет.

Проверяйте и уверенные ответы

Храните небольшой набор примеров с ожидаемыми результатами. Сравнивайте ответы после изменения категорий или инструкций. Просмотрите также несколько записей, которые ИИ классифицировал уверенно: уверенный тон не является измеренной точностью.

NIST описывает, как генеративные системы могут уверенно выдавать неверные сведения или отклоняться от входных данных. Пример с разъёмами иллюстрирует этот риск и не является отчётом об испытании сервиса. Вариант «Неизвестно» помогает заметить нехватку информации, но не гарантирует, что модель выберет его правильно.

Оставьте нерешённые строки в результате и соберите недостающие сведения. Удалять их только ради законченного вида таблицы — значит прятать работу, которую ещё нужно выполнить.

Источники и подробности

  1. NIST AI 600-1 — Generative Artificial Intelligence Profile, section 2.2

Источники подтверждают технические объяснения. Примеры и предлагаемые проверки подготовлены для этой статьи.