Как подготовить документы для RAG-системы
Инвентаризация источников, владельцы, версии, права, очистка, структура, фрагментация, метаданные и контрольный набор вопросов.
Коротко: Подготовка начинается с реестра источников и правил актуальности. Документ должен иметь владельца, версию, область доступа и понятную структуру; только после этого выбираются фрагментация и индексирование.
Определение
Подготовленный корпус RAG — управляемый набор источников с происхождением, версиями, правами, структурой и проверяемым покрытием пользовательских вопросов.
Когда это важно
- Ответы должны основываться на внутренних регламентах.
- Документы дублируются и противоречат друг другу.
- Права зависят от роли, проекта или клиента.
Как принять решение
| Ситуация | Что проверяем | Решение |
|---|---|---|
| Есть несколько версий | Владелец и правило актуальности | Индексировать действующую, архив сохранить отдельно |
| Документ плохо распознан | Цена ошибки и качество OCR | Исправить или исключить |
| Смешаны права | Можно ли разделить на безопасные единицы | Декомпозировать до индексации |
Порядок работы
- Реестр. Собрать источник, владельца, версию и аудиторию.
- Очистка. Удалить дубли, устаревшее и технический шум.
- Структура. Сохранить заголовки, таблицы, связи и метаданные.
- Проверка. Собрать вопросы, ожидаемые источники и сложные случаи.
Типичные ошибки
- Загружать общий сетевой диск целиком.
- Терять номер версии и заголовок при chunking.
- Применять права после формирования ответа.
Практические рекомендации
- Начните с одного класса документов.
- Назначьте владельца актуальности.
- Сохраните ссылку на оригинальный фрагмент.
Вывод: Качество RAG ограничено управляемостью корпуса: актуальностью, структурой, правами и возможностью проверить источник.
Частые вопросы
Какой формат лучше?
Тот, где можно сохранить структуру и происхождение; PDF сам по себе не гарантирует качество.
Нужно ли переписывать документы?
Иногда достаточно очистки и метаданных, но слабая структура может потребовать редакции.
Как часто обновлять?
По событию изменения источника и регламенту владельца.