Как проверить ответы ИИ-бота перед запуском: репетиция на модели

У проверки программы и проверки ответов разные задачи. Можно убедиться, что сообщение дошло до бота, и всё же не знать, что он ответит человеку. Поэтому перед запуском полезно прочитать настоящие ответы модели.

Помощник предложил разыграть вымышленные диалоги, без отправки сообщений людям. Для пробы нужно было ограничить расходы на ответы модели. Я согласовал общий бюджет:

Моё согласие на общий бюджет репетиции

Да, общий лимит 100 ₽

Ситуации и условия проверки подготовил помощник. В ответах искали конкретные ошибки: придуманные обещания, путаницу в предложениях и лишние действия. Сам факт, что бот ответил, ещё не делал ответ правильным.

В одном вымышленном разговоре человек спросил о дополнительной подписке. Бот должен был отделить её от основного продукта и объяснить, обязательна ли покупка. Вместо этого он написал: «доступ приобретается один раз».

Проверка ответов ИИРабочий фрагмент

Так в ответе появилось условие покупки, которого не было в исходных сведениях. Из цены нельзя узнать срок доступа и необходимость продления. Бот также не объяснил разницу между основным продуктом и дополнительным сервисом.

На общее впечатление ответ звучал спокойно и убедительно. Ошибка стала заметнее, когда его сравнили с вопросом и подтверждёнными условиями. Именно это сравнение полезно повторить для своего бота.

Для своего бота можно начать с нескольких обычных случаев: первый вопрос, сомнение в оплате, неизвестное условие, просьба подключить владельца, отказ от продолжения. Рядом с каждой ситуацией запишите признаки допустимого поведения. Смысл важнее совпадения с красивой образцовой репликой.

Пример разговора с помощником

Помоги составить ситуации, в которых наш бот может пообещать лишнее. Для каждой запиши, что он должен уточнить, чего не должен утверждать без источника и когда нужно передать вопрос мне. Сначала покажи этот список, потом будем проверять ответы.

Список нужно проверить самому: помощник тоже может неверно понять условия. Для каждой ситуации достаточно коротко записать, что должно быть в ответе:

В другом примере человек просил напомнить о разговоре завтра после 19:00 по Москве. Бот сохранил просьбу и время для передачи владельцу. Он не утверждал, что напоминание уже создано. Это была репетиция: настоящих сообщений владельцу не отправляли.

Однако в конце появился вопрос: «Что именно вы хотели бы обсудить?» В этой ситуации все нужные сведения уже были, и по условиям проверки новые вопросы задавать не следовало. Поэтому ответ потребовал правки. В других разговорах уточняющий вопрос может быть уместен.

Проверка ответов ИИРабочий фрагмент

В более позднем ответе лишнего вопроса уже не было. На иллюстрации сохранён прежний пример, чтобы показать, что именно проверяли. По одному такому исправлению нельзя судить о готовности всего бота.

Выяснилось и ещё одно: во время репетиции бот получал не совсем те инструкции, с которыми должен был работать у пользователя. Настоящие ответы модели показывали ошибку, но для следующей проверки сначала понадобилось привести условия в соответствие.

Перед новой пробой проверьте сведения, цель и правила, которые получает бот. Иначе можно исправлять отдельную фразу, пока причина остаётся в его задании. После смены модели или инструкций ответы нужно проверить снова.

• Сохраните вопрос, ожидаемое поведение и полный ответ. Подчеркните конкретную ошибку
• Проверьте исходные сведения и инструкции бота. Исправьте найденную причину
• Повторите тот же случай и несколько соседних: правка может повлиять на другие ответы
• Проверьте само действие в рабочей программе. Слова «передам» или «напомню» ещё не означают, что просьба выполнена

Эта репетиция помогла найти ошибки до разговора с людьми. Она не подтверждает, что обновлённый бот полностью готов к работе или уже испытан на клиентах. Начать можно с одного вопроса: сравнить ответ с условиями и точно назвать, что в нём нужно исправить.