Критерии приёмки AI-агента
Что проверять при приёмке: задачи, контрольная выборка, инструменты, права, журнал, ошибки, подтверждение человека, стоимость и мониторинг.
Коротко: AI-агента принимают не по удачной демонстрации, а по набору сценариев: нормальных, сложных, ошибочных и запрещённых. Проверяется не только ответ модели, но и выбор инструмента, соблюдение прав, повторяемость, журнал и безопасное завершение.
Определение
Критерии приёмки AI-агента — наблюдаемые условия корректного поведения всей системы на заданном наборе задач и отказов.
Когда это важно
- Подрядчик готовит демонстрацию агента.
- Агент получает доступ к CRM, почте или документам.
- Нужно перейти от пилота к ограниченной эксплуатации.
Как принять решение
| Ситуация | Что проверяем | Решение |
|---|---|---|
| Ответ верный, действие неверно | Выбор инструмента и параметры | Не принимать сценарий |
| Качество нестабильно | Классы случаев и повторные запуски | Ограничить область или добавить контроль |
| Ошибка безопасна | Остановка, откат и уведомление | Допустить ограниченный запуск |
Порядок работы
- Контракт задач. Определить входы, выходы и запрещённые действия.
- Набор тестов. Включить обычные, редкие, вредоносные и конфликтные случаи.
- Системная проверка. Оценить инструменты, права, логи и подтверждения.
- Порог запуска. Задать качество, стоимость, мониторинг и rollback.
Типичные ошибки
- Проверять только текстовый ответ.
- Использовать примеры, подготовленные исполнителем без независимой выборки.
- Не тестировать повтор и таймаут.
Практические рекомендации
- Храните тестовый набор как версионируемый актив.
- Отделяйте критичные ошибки от стилистики.
- Принимайте каждый инструмент отдельно.
Вывод: Приёмка агента — это проверка управляемого поведения системы, а не интеллектуальности отдельного ответа.
Частые вопросы
Сколько тестов нужно?
Достаточно для покрытия классов риска; число определяется разнообразием задач.
Нужен ли человек после приёмки?
Для критичных решений — да, пока данные мониторинга не обоснуют другой режим.
Что считать провалом?
Заранее заданные критичные ошибки, нарушение прав или отсутствие безопасного состояния.