Критерии приёмки AI-агента
Что проверять при приёмке: задачи, контрольная выборка, инструменты, права, журнал, ошибки, подтверждение человека, стоимость и мониторинг.
Коротко: AI-агента принимают не по удачной демонстрации, а по набору сценариев: нормальных, сложных, ошибочных и запрещённых. Проверяется не только ответ модели, но и выбор инструмента, соблюдение прав, повторяемость, журнал и безопасное завершение.
Как принять решение по протоколу со смешанными результатами
Учебный прогон содержит 40 обычных запросов, 10 случаев нехватки данных, 10 запрещённых операций и 5 повторов с потерей ответа. Размер набора выбран для иллюстрации, а не как достаточный стандарт проверки.
Не смешивайте разные виды успеха
Пусть агент решил 36 из 40 обычных задач, корректно отказал в 10 из 10 случаев нехватки данных и заблокировал 9 из 10 запрещённых операций. Первое число — качество полезного результата, второе — корректность отказа, третье — соблюдение границ. Общий процент скрыл бы одну выполненную запрещённую операцию; в таком прогоне запуск с этими правами отклоняется.
Отдельно проверьте состояние принимающей системы
Для пяти повторов смотрят не только ответы агента, но и число созданных объектов. Одна лишняя запись означает провал проверки повтора. Если внешний сервис не позволяет выяснить результат после тайм-аута, допустимым исходом может быть ручная сверка. Нельзя подменять неопределённый результат отметкой «успешно» или слепой повторной записью.
Заморозьте условия повторной проверки
Сохраните версии модели, инструкций, инструментов, источников и тестового набора. После исправления повторите проблемный класс и связанные сценарии; отложенные примеры не используйте для настройки. Ноль нарушений в конечном наборе — условие допуска этого прогона, а не доказательство нулевого риска в будущем. Для ограниченного запуска всё равно нужны наблюдение и владелец остановки.
Заполненный пример решения о приёмке
Учебный образец. Перенесите структуру в рабочий документ и замените исходные условия своими.
- Прогон
- DEMO-ACCEPT-01; версии зафиксированы в приложении к протоколу.
- Результат
- Обычные задачи 36/40; корректный отказ 10/10; запрет 9/10; повтор оценивается по фактическим записям.
- Блокер
- Одна запрещённая операция выполнена. Среднее качество не отменяет блокер.
- Решение
- Не выпускать с текущими правами. Исправить проверку разрешений и повторить приёмку; владелец решения — заказчик процесса.
Определение
Критерии приёмки AI-агента — наблюдаемые условия корректного поведения всей системы на заданном наборе задач и отказов.
Когда это важно
- Подрядчик готовит демонстрацию агента.
- Агент получает доступ к CRM, почте или документам.
- Нужно перейти от пилота к ограниченной эксплуатации.
Как принять решение
| Ситуация | Что проверяем | Решение |
|---|---|---|
| Ответ верный, действие неверно | Выбор инструмента и параметры | Не принимать сценарий |
| Качество нестабильно | Классы случаев и повторные запуски | Ограничить область или добавить контроль |
| Ошибка безопасна | Остановка, откат и уведомление | Допустить ограниченный запуск |
Минимальный протокол приёмки AI-агента
| Класс теста | Что проверять | Условие приёмки | Доказательство |
|---|---|---|---|
| Штатный сценарий | Результат и выбранный инструмент | Проектный порог на независимой выборке | Версия набора, вход, выход и оценка |
| Запрещённое действие | Попытка обойти права или инструкцию | 100% безопасных отказов | Запись отказа и причина в журнале |
| Повтор и таймаут | Дублирование операции и потеря ответа инструмента | Нет двойной записи; есть контролируемое завершение | Идентификатор операции и состояние до/после |
| Конфликт данных | Два источника дают разные значения | Нет скрытого выбора; конфликт передан человеку | Ссылки на обе версии источника |
| Аварийная остановка | Отзыв доступа или stop-сигнал | Новые действия прекращены, незавершённые видимы | Время остановки и список затронутых задач |
Числовой порог качества зависит от процесса; запрет на недопустимые действия и двойную запись не должен становиться средним процентом.
Порядок работы
- Контракт задач. Определить входы, выходы и запрещённые действия.
- Набор тестов. Включить обычные, редкие, вредоносные и конфликтные случаи.
- Системная проверка. Оценить инструменты, права, логи и подтверждения.
- Порог запуска. Задать качество, стоимость, мониторинг и rollback.
Типичные ошибки
- Проверять только текстовый ответ.
- Использовать примеры, подготовленные исполнителем без независимой выборки.
- Не тестировать повтор и таймаут.
Практические рекомендации
- Храните тестовый набор как версионируемый актив.
- Отделяйте критичные ошибки от стилистики.
- Принимайте каждый инструмент отдельно.
Вывод: Приёмка агента — это проверка управляемого поведения системы, а не интеллектуальности отдельного ответа.
Частые вопросы
Сколько тестов нужно?
Достаточно для покрытия классов риска; число определяется разнообразием задач.
Нужен ли человек после приёмки?
Для критичных решений — да, пока данные мониторинга не обоснуют другой режим.
Что считать провалом?
Заранее заданные критичные ошибки, нарушение прав или отсутствие безопасного состояния.