Как провести аудит AI-подрядчика
Проверка постановки, данных, тестовой выборки, модели, интеграций, прав, логов, стоимости, артефактов и независимости заказчика.
Коротко: AI-подрядчика проверяют по воспроизводимому контуру: что обещано, на каких данных измерено качество, какие ошибки критичны, кто контролирует модель и инфраструктуру, сколько стоит эксплуатация и какие активы переданы заказчику.
Определение
Аудит AI-подрядчика — независимая проверка технических и управленческих доказательств проекта относительно согласованных обязательств и рисков.
Когда это важно
- Качество подтверждается выбранными примерами.
- Архитектура и расходы понятны только исполнителю.
- Заказчик планирует оплату, масштабирование или смену команды.
Как принять решение
| Ситуация | Что проверяем | Решение |
|---|---|---|
| Качество заявлено | Независимая выборка, метрики и классы ошибок | Подтвердить или ограничить вывод |
| Решение работает | Права, логи, мониторинг и отказ | Оценить готовность к эксплуатации |
| Активы у подрядчика | Код, данные, аккаунты и документация | План передачи до следующего этапа |
Порядок работы
- Вопрос аудита. Зафиксировать решение собственника и границы доступа.
- Доказательства. Собрать договор, код, тесты, архитектуру и расходы.
- Воспроизведение. Проверить выборку, сборку и критичные сценарии.
- Варианты. Сформировать продолжение, исправление, передачу или остановку.
Типичные ошибки
- Оценивать только выбор модели.
- Принимать метрику без состава выборки.
- Игнорировать стоимость токенов, наблюдения и ручного контроля.
Практические рекомендации
- Проверяйте права на данные и результаты.
- Разделяйте подтверждённое и неизвестное.
- Требуйте журнал архитектурных решений.
Вывод: Независимый аудит нужен не для поиска виноватого, а для восстановления проверяемого основания следующего решения собственника.
Частые вопросы
Нужно ли участие подрядчика?
Желательно для демонстрации и пояснений, но выводы должны опираться на проверяемые артефакты.
Можно проверить SaaS-решение?
Да в доступной части: контракт, данные, интеграции, качество, права и выход из зависимости.
Проверяется ли безопасность?
Проверяются согласованные контуры; полноценный pentest является отдельной работой.