Тест кажется полезным, когда сразу показывает оценку. Но если в ответах ошибка, повторение может лишь помочь её запомнить. Уверенное объяснение ещё не доказывает, что выбранный ответ следует из изучаемого материала.
Дайте помощнику конкретный источник
Возьмите небольшой отрывок, которым можно делиться, и попросите несколько вопросов с указанием места, подтверждающего каждый ответ. Название учебника не заменяет нужного издания или самого фрагмента. NIST описывает риск ответов генеративных систем, которые звучат уверенно, но содержат ошибки или отклоняются от исходного текста.
Проверяйте вместе вопрос, предложенный ответ и все остальные варианты. Если правильный ответ должен быть один, формулировка должна исключать другие обоснованные варианты. Открытый вопрос для обсуждения требует иной оценки, чем простое «верно» или «неверно».
Проверьте, меняет ли исключение ответ
Возьмём выдуманный пример: «Мастерская открывается в 09:00 с понедельника по пятницу и в 10:00 по субботам». Вопрос «Во сколько открывается мастерская?» неполон. Отметить только 09:00 правильным — значит потерять условие. Спросите именно о буднях или укажите день в небольшой ситуации.
Если источник не позволяет ответить однозначно, уберите вопрос или перепишите его. Ещё одно уверенное объяснение того же помощника не заменит недостающего основания. Сначала проверьте небольшой набор, затем каждый вопрос, который собираетесь использовать. Храните исправленные ответы вместе с вопросами и заменяйте устаревшие копии. Оценка полезна, только когда самим заданиям и правилам проверки можно доверять.