Как провести аудит AI-подрядчика
Проверка постановки, данных, тестовой выборки, модели, интеграций, прав, логов, стоимости, артефактов и независимости заказчика.
Коротко: AI-подрядчика проверяют по воспроизводимому контуру: что обещано, на каких данных измерено качество, какие ошибки критичны, кто контролирует модель и инфраструктуру, сколько стоит эксплуатация и какие активы переданы заказчику.
Как проверить одно обещание подрядчика от требования до результата
Учебное обещание: «Ассистент отвечает по действующим регламентам с учётом прав сотрудника». Его нельзя подтвердить одним удачным ответом на демонстрации. Нужна цепочка независимых наблюдений.
Выберите проверяемое требование
Запросите согласованный сценарий, версию системы, перечень разрешённых документов и правило актуальности. Возьмите два регламента разных версий и две тестовые роли. Для вопроса заранее укажите ожидаемый источник и допустимый отказ. Исполнитель может помочь запустить систему, но ожидаемый результат и оценку фиксирует сторона заказчика.
Пройдите цепочку доказательств
Проверьте, какая версия документа попала в индекс, какие фрагменты получены для каждой роли и на что ссылается итоговый ответ. Смена формулировки вопроса не должна раскрыть недоступный документ. Затем исключите единственный разрешённый источник: система должна показать недостаток данных. Запись экрана подтверждает интерфейс; журнал и состояние источника нужны для проверки причины результата.
Не путайте отсутствие доступа с найденным дефектом
Если команда не получила доступ к журналу или сборке, требование остаётся неподтверждённым; это не доказательство, что код отсутствует. Если запрещённый документ появился в ответе при воспроизводимых условиях, есть наблюдаемое несоответствие. Укажите шаги, ожидаемый и фактический исход, границу проверенной версии и условия повторного теста.
Зафиксируйте границу воспроизведения
Выберите согласованный тест, сохраните вход, версию кода или доступной конфигурации, ожидаемый результат и список зависимостей. Повтор выполняют в разрешённой тестовой среде. Недостающий доступ отмечают как ограничение аудита; секреты не копируют в протокол.
Образец строки заключения
Учебный образец. Перенесите структуру в рабочий документ и замените исходные условия своими.
- Требование
- Ответ содержит только действующий документ, разрешённый тестовой роли.
- Доказательства
- Версии документов и сборки, вопрос, роль, цитата, идентификатор прогона; без паролей и полных клиентских данных.
- Статус
- Подтверждено / частично / несоответствие / не проверено — выбрать по наблюдаемому результату.
- Граница вывода
- Проверен один класс документов в указанной версии. Остальные источники и право записи отдельно не проверялись.
Независимое воспроизведение одного обещанного результата
Учебная проверка: заказчик получает пакет для повторения одного сценария без личного аккаунта подрядчика. Это упражнение по проверяемости передачи, а не юридическая оценка договора. Одна успешная проверка подтверждает конкретный сценарий в указанных условиях. Для общего вывода об эксплуатации нужны отдельные доказательства по другим согласованным критериям.
| Проверка | Наблюдение в учебном примере | Решение и доказательство |
|---|---|---|
| Пакет неполон | Есть инструкция, но не указана версия зависимости. | Результат не воспроизведён; запросить точную зависимость, не додумывать её. |
| Повтор с тем же входом | Получен иной результат, чем в демонстрации. | Сохранить оба выхода и версии; проверить допустимый диапазон и критичные ошибки. |
| Требуется личный аккаунт | Запуск зависит от учётной записи конкретного исполнителя. | Зафиксировать зависимость и план передачи управляемого компанией доступа. |
| Ошибка исправлена | Подрядчик сообщил о новом выпуске. | Повторить исходный тест и связанные проверки на новой версии, приложить результат. |
Определение
Аудит AI-подрядчика — независимая проверка технических и управленческих доказательств проекта относительно согласованных обязательств и рисков.
Когда это важно
- Качество подтверждается выбранными примерами.
- Архитектура и расходы понятны только исполнителю.
- Заказчик планирует оплату, масштабирование или смену команды.
Как принять решение
| Ситуация | Что проверяем | Решение |
|---|---|---|
| Качество заявлено | Независимая выборка, метрики и классы ошибок | Подтвердить или ограничить вывод |
| Решение работает | Права, логи, мониторинг и отказ | Оценить готовность к эксплуатации |
| Активы у подрядчика | Код, данные, аккаунты и документация | План передачи до следующего этапа |
Реестр доказательств аудита AI-подрядчика
| Контур | Артефакт | Как воспроизвести | Красный флаг |
|---|---|---|---|
| Обязательства | Договор, backlog и критерии приёмки | Связать оплату с переданным результатом | Процент готовности без строк реестра |
| Качество | Версионируемая выборка и протокол теста | Повторить метрику на независимом наборе | Только выбранные удачные примеры |
| Архитектура | Схема данных, моделей, инструментов и прав | Проследить один запрос до источника и действия | Ключевые зависимости известны только подрядчику |
| Эксплуатация | Логи, мониторинг, лимиты, backup и stop-процедура | Смоделировать отказ и восстановление | Нет владельца инцидента и времени реакции |
| Независимость | Код, аккаунты, лицензии, документация и передача | Собрать или запустить без личного доступа исполнителя | Нельзя сменить команду без потери системы |
Аудит ограничен предоставленными материалами. Юридические, лицензионные и security-выводы требуют соответствующей профильной проверки.
Порядок работы
- Вопрос аудита. Зафиксировать решение собственника и границы доступа.
- Доказательства. Собрать договор, код, тесты, архитектуру и расходы.
- Воспроизведение. Проверить выборку, сборку и критичные сценарии.
- Варианты. Сформировать продолжение, исправление, передачу или остановку.
Типичные ошибки
- Оценивать только выбор модели.
- Принимать метрику без состава выборки.
- Игнорировать стоимость токенов, наблюдения и ручного контроля.
Практические рекомендации
- Проверяйте права на данные и результаты.
- Разделяйте подтверждённое и неизвестное.
- Требуйте журнал архитектурных решений.
Вывод: Независимый аудит нужен не для поиска виноватого, а для восстановления проверяемого основания следующего решения собственника.
Частые вопросы
Нужно ли участие подрядчика?
Желательно для демонстрации и пояснений, но выводы должны опираться на проверяемые артефакты.
Можно проверить SaaS-решение?
Да в доступной части: контракт, данные, интеграции, качество, права и выход из зависимости.
Проверяется ли безопасность?
Проверяются согласованные контуры; полноценный pentest является отдельной работой.