Как я проверяю обновление AI-помощника перед запуском
Новая версия отвечает красивее, но перестала уточнять важные детали. Разбираю сравнение версий, условия допуска, ограниченный запуск и подготовку возврата.
Обновление AI-помощника может выглядеть небольшим: поменяли модель, сократили инструкцию или иначе настроили поиск. Но сотрудник работает с результатом всей системы. Поэтому перед запуском я хочу понять, что именно стало лучше и какие привычные свойства могли потеряться.

Разберу это на условном примере. Помощник сервисной компании извлекает из обращения вид работ, адрес выезда и желаемую дату. Он готовит карточку заявки и черновик уточняющего вопроса; назначать выезд может только сотрудник. Компания и ситуация вымышлены — это способ объяснить проверку, а не рассказ о клиентском проекте.
Представим, что после обновления ответы стали короче и приятнее. При этом на просьбу «приезжайте туда же, куда в прошлый раз» помощник подставляет адрес из неподтверждённого контекста. Раньше он просил уточнение. Для меня это достаточная причина остановить выпуск и разобраться, даже если остальные ответы выглядят убедительнее.
Записываю, что меняю и ради чего
Формулировка «улучшаем помощника» слишком широкая. Я предлагаю начинать с одного наблюдаемого результата: например, сократить время подготовки карточки, сохранив обязательные уточнения и правила подтверждения выезда.
Рядом фиксирую состав изменения. Новая модель, другая инструкция, обновлённый поиск и новая форма карточки — разные изменения. Если включить их одновременно, причину неожиданного поведения будет сложнее найти. По возможности проверяю их отдельно; если они связаны, явно обозначаю комплект, который сравниваю.
Мне нужна сохранённая рабочая версия: код и настройки, инструкция, состав доступных инструментов, версия источников. Для внешней модели записываю доступный идентификатор версии. Если поставщик не даёт закрепить её или впоследствии отключит старый вариант, это ограничивает возможность точного повторения и возврата. Такое ограничение следует знать до запуска.
Из записи должно быть понятно, на какую пользу рассчитываем и какое ухудшение недопустимо. Критерии, придуманные уже после просмотра ответов, слишком легко подогнать под понравившийся результат.
Сравниваю версии на одинаковом материале
Для старой и новой версии беру одни и те же обращения. Сохраняю доступные им документы и ответы подключённых систем. Если одной версии показать вчерашний справочник, а другой сегодняшний, сравнение будет отвечать сразу на несколько вопросов.
В примере с выездом нужны не только полные заявки. Включаю обращения без адреса, с несколькими адресами, с отменой прежней просьбы, с желаемой датой без подтверждения и с недоступным справочником. Порядок подготовки таких примеров отдельно разобран в статье о контрольной выборке для AI-пилота.
Повторные прогоны задаю заранее и сохраняю все попытки. Один удачный ответ показывает возможность правильного поведения, но не его устойчивость. Если результат колеблется, это тоже часть сравнения, а не повод оставить в отчёте лучший вариант.
В рекомендациях OpenAI по оценке проверку предлагается повторять при изменениях и дополнять набор примеров по мере обнаружения новых ситуаций. Для меня практический вывод такой: после запуска первой версии контрольная выборка продолжает жить вместе с помощником.
Разделяю удобство и обязательные условия
Я не свожу решение к одному общему баллу. Более приятный текст не компенсирует неверный адрес или действие без подтверждения. Сначала проверяю условия, без которых версию нельзя допускать к работе, затем сравниваю качество в разрешённых границах.
В нашем условном процессе таблица проверки может выглядеть так:
| Ситуация | Что должно сохраниться после обновления |
|---|---|
| Адрес не указан или неоднозначен | Помощник просит уточнение и не подставляет догадку в карточку |
| Клиент назвал желаемую дату | Дата остаётся пожеланием, выезд не объявляется подтверждённым |
| Справочник недоступен | Причина обозначена, заявка передаётся сотруднику без выдуманных данных |
| Карточка передаётся в рабочую систему | Обязательные поля и их значения распознаются правильно |
| Запрос выходит за доступные полномочия | Помощник останавливается на границе и запрашивает нужное подтверждение |
Последний пункт проверяю через фактическое поведение системы. Обещание в ответе «ничего не отправляю» не доказывает отсутствие вызова инструмента. Если помощнику разрешено только готовить черновик, это ограничение должно действовать и в доступах к рабочим операциям.
После обязательных условий оцениваю, сколько сотруднику приходится читать, сверять и исправлять, а также задержку и затраты на обработку. Такой взгляд согласуется с документацией Anthropic о критериях успеха: качество приложения рассматривается по нескольким измерениям, включая выполнение задачи, согласованность, время ответа и стоимость. Конкретные допустимые значения определяет наш процесс, а не чужой пример из документации.
Разбираю расхождения до решения о выпуске
Для каждого значимого отличия сохраняю входные данные, оба результата и нарушенное или улучшенное правило. «Новая версия хуже» недостаточно конкретно. «При отсутствии адреса она заполнила поле без уточнения» уже даёт предмет для исправления.
Там, где можно проверить структуру карточки автоматически, использую формальную проверку полей. Там, где нужно оценить смысл уточняющего вопроса, нужен человек, понимающий рабочий процесс. Если привлекаю другую модель к оценке, сверяю её суждения с человеческой проверкой. Её уверенная оценка сама по себе не закрывает спорный случай.
Ответы полезно показывать проверяющему без подсказки, какой из них новый. Так меньше соблазна принять более гладкую формулировку за улучшение. Но саму рабочую версию тоже нельзя считать эталоном без проверки: совпадение двух ошибочных ответов не делает их правильными.

Начинаю с ограниченного режима
После успешной проверки на сохранённых примерах я предлагаю ограничить первый рабочий запуск. Для помощника из нашего примера это может быть подготовка черновиков для небольшой заранее выбранной группы сотрудников с обязательной проверкой каждой карточки.
Если новую версию сравниваем параллельно с рабочей, она не должна повторно назначать выезд, отправлять сообщение или создавать вторую заявку. Для такой проверки нужны разрешённые копии входных данных и отключённые операции записи. Доступность данных и их допустимое использование проверяются отдельно от качества ответов.
Важно различать два режима: в параллельной проверке результат кандидата не участвует в работе; при ограниченном запуске часть сотрудников уже им пользуется. У второго режима есть реальные последствия, поэтому заранее назначаю ответственного, способ наблюдения и условия остановки.
В главе Google SRE о поэтапных выпусках описано ограничение воздействия новой версии до широкого развёртывания. Переношу здесь сам принцип. Маленькая группа пользователей не гарантирует низкий риск, если ей уже разрешены необратимые действия.
Готовлю возврат до переключения
Фраза «если что, откатим» должна превращаться в проверенный порядок. Кто отключает новую версию? Куда переключается обработка? Доступна ли прежняя модель? Совместимы ли старый обработчик и новые карточки? Если возврат невозможен, какой ручной порядок позволит продолжить работу?
При обновлении может измениться не только ответ, но и формат сохранённых данных. Возвращать старую программу, не проверив, сможет ли она их прочитать, я бы не предлагал. Такой выпуск требует отдельного плана совместимости.
И ещё одно различие: возврат версии прекращает дальнейшую работу по новым правилам, но не отменяет уже отправленные письма или созданные записи. Их нужно найти и разобрать отдельно. Для этого полезно связывать результат с версией помощника и конкретным обращением, сохраняя только необходимые сведения.
Если в ограниченном запуске обнаружен неверный адрес, остановка и разбор последствий важнее спора о среднем качестве ответов. Порядок таких действий описан в материале об ошибках AI-помощника.
Оставляю короткую запись о выпуске
Перед переключением мне нужна запись, которую поймёт человек, не участвовавший во всех обсуждениях:
- что меняем и какую пользу ожидаем;
- какие версии и примеры сравнивали;
- какие обязательные условия проверены и где осталась неопределённость;
- кому доступна новая версия на первом этапе;
- кто наблюдает за результатом и что вызывает остановку;
- как вернуться к прежнему или ручному порядку;
- кто принял решение и когда нужно повторно посмотреть на результат.
Успешная проверка относится к конкретной версии, условиям и набору ситуаций. Она даёт основание для ограниченного решения, а не обещание отсутствия любых будущих ошибок.
Поэтому перед выпуском я задаю простой вопрос: можем ли мы объяснить, что улучшили, чем это проверили и как поступим, если в реальной работе окажется иначе? Если ответов пока нет, обновление ещё требует работы — даже когда его демонстрация выглядит лучше прежней.