Проверка материалов и полнота извлечения

Тест на полноту поиска напрямую проверяет, «можно ли найти нужный фрагмент», без предварительной полировки чат-моделью. Он помогает понять, в чём проблема: в материалах, парсинге, разбиении на фрагменты или в настройках поиска.

Подготовьте 3–5 реальных вопросов, на которые вы уже знаете ответы, и повторно используйте их после каждого обновления материалов, модели или разбиения на фрагменты. Фиксированные вопросы легче выявляют деградацию, чем случайные проверочные.

Подготовка тестовых вопросов

Рекомендуется одновременно охватить три типа вопросов:

• Точные факты, например: «Каков лимит на проживание в городах первой линии в стране?»
• Правила по условиям, например: «В каких случаях можно компенсировать аренду автомобиля за рубежом?»
• Легко путающиеся, например: «Кто даёт дополнительное согласование для командировок свыше 5000 юаней?»

Не тестируйте только по заголовкам материалов или по целым исходным абзацам — это завысит реальную эффективность использования.

Выполнить один тест на полноту поиска

1

1. Откройте тест на полноту поиска

Откройте левую навигацию【База знаний】→ выберите базу знаний → перейдите в【Тест на полноту поиска】.

2

2. Введите реальный вопрос

Введите вопрос с однозначным ответом и запустите тест. Вопрос должен быть близок к повседневной формулировке, не копируйте специально текст из материала.

3

3. Проверьте источник и фрагмент

Убедитесь, что источник верный, а фрагмент содержит и условия, и вывод, необходимые для ответа.

Смотрите не только на наличие результата — проверьте источник, полноту фрагмента и порядок.

4

4. Сопоставьте симптомы, чтобы локализовать проблему

Если вообще нет правильного фрагмента, сначала проверьте материалы, парсинг и разбиение; если правильный фрагмент появляется, но порядок нестабилен, тогда рассмотрите эмбеддинги, rerank или Top K.

5

5. Меняйте только один параметр и повторно тестируйте

За один цикл изменяйте только одну настройку. Если затрагиваются парсинг, разбиение или индекс, сначала выполните【Переиндексацию】, затем повторно проверьте той же группой вопросов.

Как читать результаты

Симптом	Описание	Следующий шаг
Правильный источник стоит в начале, фрагмент полный	Полнота поиска в целом в порядке	Проверьте ещё несколько вариантов формулировок
Вообще нет правильного результата	Материалы не готовы, контент отсутствует, формулировка слишком отличается или порог слишком высокий	Проверьте по очереди материалы, основной текст, Chunks и настройки поиска
Источник верный, но во фрагменте не хватает ключевого предложения	Парсинг или границы разбиения на фрагменты неудачны	Посмотрите Chunks, скорректируйте и переиндексируйте
Одновременно присутствуют старая и новая версии	Все материалы с одинаковым названием сохранены	Удалите старые записи или повторно импортируйте с помощью【Замена】
Правильный вариант часто оказывается ближе к концу	Слишком много кандидатов или нестабильная сортировка	Приведите материалы в порядок, рассмотрите эмбеддинги или rerank-модель
Поиск верный, но ответ чата неточный	Проблема, скорее всего, в промпте или чат-модели	Сохраните настройки поиска, но скорректируйте формулировку вопроса и чат-модель

Чат-модель не может восполнить ту важную информацию, которую не нашёл этап поиска. Если результаты поиска неудовлетворительны, не пытайтесь сначала отлаживать это постоянной заменой чат-модели.

Замкнутый цикл настройки

Фиксированные вопросы → проверка результатов → определение уровня проблемы → изменение одного параметра → при необходимости переиндексация → повторный тест.

Рекомендуемый порядок:

1. Убедитесь, что материалы верны, без дубликатов и устаревших версий.
2. Проверьте основной текст и Chunks после парсинга.
3. Если формулировка сильно отличается от исходного текста, рассмотрите эмбеддинг-модель.
4. Если кандидаты в целом верны, но порядок нестабилен, затем рассмотрите rerank-модель.
5. После настройки выполните переиндексацию и повторите ту же группу тестов.

Если фрагменты неполные, ещё раз проверьте настройки разбиения; изменения влияют только на новые материалы, старые нужно переиндексировать.

Описание конфигурации

Параметр конфигурации	Значение по умолчанию в продукте	Рекомендуемая отправная точка	Роль	Сценарий применения	Примечания
Количество тестовых вопросов	—	3–5	Создать повторяемую базовую линию качества	Все базы знаний	Охватывает точные факты, правила по условиям и легко путающиеся вопросы
Top K	6, можно выбрать 1–50	Сначала оставьте 6	Контролировать количество финальных фрагментов	Компромисс между покрытием и шумом	Увеличение может занять больше контекста
Порог сходства	0.0, отображается только при настройке rerank	Начните с 0.0	Фильтрация низкооценённых результатов после rerank	Шум сохраняется даже после rerank	Слишком высокое значение может удалить правильные фрагменты
Способ повторного тестирования	—	За один цикл меняйте только один параметр	Определить, откуда произошло изменение настройки	Настройка, обновление материалов или модели	После изменения разбиения или модели сначала выполните переиндексацию

Ожидаемый результат

• Правильный источник стабильно появляется в первых нескольких результатах.
• Фрагмент содержит условия и вывод, необходимые для ответа на вопрос.
• После переформулировки естественным языком результат остаётся стабильным.
• После обновления материалов или настроек фиксированные вопросы не показывают заметной деградации.

Пример пользователя

Сяолинь заметил, что по «стандарту расходов на проживание» запрос с исходной формулировкой попадает в цель, но «сколько максимум можно возместить за отель» работает нестабильно. Сначала он проверил, что материалы и Chunks в порядке, затем настроил эмбеддинг-модель и повторно протестировал. После того как правильный фрагмент начал появляться, он иногда оказывался ближе к концу, и тогда уже была добавлена rerank-модель.

Критерий завершения: по трём разным формулировкам в первых нескольких результатах находится один и тот же стандарт проживания, а фрагмент содержит применимый город и верхний предел суммы.

Частые вопросы

Если вообще нет правильного фрагмента, сначала увеличить Top K?

Сначала проверьте основной текст материалов и Chunks. Если есть ошибка парсинга или разбиения, увеличение Top K лишь вернёт больше неверных или неполных фрагментов.

Почему не видно порога сходства?

Поле【Порог сходства】в настройках базы знаний отображается только после выбора rerank-модели.

Поиск верный, а ответ чата всё равно неточен — что делать?

Оставьте текущие настройки поиска, проверьте формулировку вопроса, контекст диалога и чат-модель. В этом случае проблема обычно уже не на уровне поиска по материалам.

Читать далее

Настройки модели и поиска

Настройка эмбеддингов, rerank, Top K и разбиения на фрагменты.

Парсинг документов и OCR

Работа с отсутствующим основным текстом, искажениями и отсканированным содержимым.

Использование в диалоге

После успешной полноты поиска используйте базу знаний для вопросов.