Семантический поиск по документам и ИИ-поиск по базе знаний на заказ

Чтение

Из Word и PDF с текстовым слоем текст достаётся напрямую, скан сначала распознаётся (смотрите интеллектуальную обработку документов). Таблицы и колонки часто дают мусор: в двухколоночном PDF порядок чтения легко сбивается, и фрагмент склеивается из двух разных мест.

Разбиение на фрагменты

Документ режется на куски. Слишком мелкие теряют контекст, слишком крупные размывают смысл. Мы режем по структуре (заголовки, пункты, абзацы), а не по числу знаков, и к каждому фрагменту прикладываем заголовок раздела и название документа. Размер подбираем замером на ваших вопросах.

Метаданные

Тип документа, подразделение, дата, версия, статус («действует» или «утратил силу»), уровень доступа. По ним фильтруют и сортируют, а без них поиск легко возвращает отменённый регламент.

Векторы и хранилище

Фрагмент превращается в вектор открытой многоязычной моделью эмбеддингов, которая работает на вашем сервере (например, из семейств E5 или BGE). На русском с профессиональной лексикой модели ведут себя по-разному, поэтому кандидатов сравниваем на ваших документах. Векторы лежат в pgvector, Qdrant или Weaviate: выбор зависит от объёма и от того, что уже есть в вашей инфраструктуре, подробнее в статье о векторных базах. Облачные сервисы вроде Pinecone остаются внешними, и для документов ограниченного доступа они чаще не подходят по требованиям заказчика.

Дубли и версии

Один приказ в трёх копиях вытесняет из выдачи остальное. Дубли находим по содержанию, устаревшую версию понижаем или скрываем.

• Права хранятся рядом с фрагментом. Группы, подразделения, уровень доступа записаны в метаданных, и запрос к индексу уже содержит условие по пользователю. Фильтр после выдачи ломает порядок результатов и может оставить пустую страницу.
• Источник прав один. Это каталог пользователей (Active Directory, LDAP) либо права самой системы-источника. Копия прав в поиске обновляется по событию, а не раз в месяц. О едином входе — на странице SSO и MFA для корпоративных систем.
• Увольнение и перевод. Права отзываются с задержкой, записанной в регламенте. Чем она короче, тем меньше окно, в котором уволенный ещё что-то находит.
• Подсказки, сниппеты и счётчики. Автодополнение запроса, фрагменты и надпись «найдено N результатов» тоже не должны раскрывать закрытое.

Проверка при приёмке: из-под каждой роли ищем фразы из закрытых документов и убеждаемся, что их нет ни в списке, ни в подсказках, ни в счётчиках. Тот же принцип описан для личных кабинетов на странице разработки личного кабинета.

Набор вопросов

Собираем настоящие вопросы сотрудников: из обращений в поддержку, из рабочих чатов, из журнала старого поиска. Для каждого эксперт отмечает документы и фрагменты, где лежит ответ. Начинаем с нескольких десятков вопросов и расширяем набор по ходу работы.

Что считаем

• Нашёлся ли нужный документ в первых результатах: на первом месте, в первых трёх, в первых десяти.
• На каком месте списка он стоит.
• Доля вопросов, для которых нужного документа в выдаче нет.
• Для ответов с цитатой: подтверждён ли ответ найденным фрагментом.

Сравнение режимов

Один набор вопросов прогоняется через полнотекстовый, смысловой и гибридный поиск, с переранжированием и без. Режим выбираем по цифрам. Сами цифры называются на вашем наборе, заранее мы их не обещаем.

После запуска

Журнал запросов показывает, что искали и где ничего не нашли: запросы без результата превращаются в список недостающих документов. Набор вопросов остаётся регрессионным тестом при смене модели или настроек. Как устроена цепочка «поиск, затем ответ», описано в статье о RAG-пайплайне.

Если пользователю нужен документ или абзац, достаточно поиска. Если нужен связный ответ с цитатами из нескольких документов, поверх поиска добавляется языковая модель: это RAG-система и ИИ-ассистент по документам. Поиск в этом случае остаётся основой, и его качество определяет качество ответов.

Если документ нужно не найти, а разобрать на поля (счёт, договор, акт), это интеллектуальная обработка документов. Если искать нужно в расшифровках звонков, смотрите речевую аналитику. Общая картина — на страницах LLM-приложений и разработки ИИ на заказ.

Типовые задачи разобраны в материалах о поиске по технической документации и по регламентам в закрытом контуре: это разборы, а не описание выполненных проектов.