Проверка материалов и выдачи
Тест на полноту извлечения напрямую проверяет, «можно ли найти правильный фрагмент», без предварительной шлифовки чат-моделью. Он помогает понять, в чем проблема: в материалах, парсинге, разбиении на фрагменты или настройках поиска.
Подготовить тестовые вопросы
Рекомендуется одновременно охватить три типа вопросов:
Точные факты, например: «Каков максимальный лимит на проживание в городах первого уровня в Китае?»
Условные правила, например: «В каких случаях можно возместить аренду автомобиля за границей?»
Легко путающиеся вопросы, например: «Кто должен дополнительно утверждать командировку на сумму свыше 5000 юаней?»
Не тестируйте только по заголовкам материалов или по полному исходному тексту — это завысит реальную эффективность использования.
Выполнить один тест на полноту извлечения
Как читать результаты
Правильный источник находится в начале, фрагмент полный
Полнота извлечения в основном приемлема
Еще раз протестируйте с несколькими разными формулировками
Совсем нет правильных результатов
Материалы не готовы, контент отсутствует, формулировка сильно отличается или порог слишком высок
Последовательно проверьте материалы, основной текст, Chunks и настройки поиска
Источник верный, но во фрагменте не хватает ключевого предложения
Пограничные условия парсинга или разбиения на фрагменты неидеальны
Посмотрите Chunks, внесите изменения и переиндексируйте
Старые и новые версии появляются одновременно
Все материалы с одинаковым именем сохранены
Удалите старые записи или импортируйте заново через【Заменить】
Правильные результаты часто оказываются ниже
Слишком много кандидатов или нестабильная сортировка
Очистите материалы, рассмотрите embedding-модель или reranking-модель
Извлечение верное, но ответ чат-модели неточный
Проблема, скорее всего, в промпте или чат-модели
Сохраните настройки извлечения, скорректируйте формулировку запроса и чат-модель
Замкнутый цикл настройки

Рекомендуемый порядок:
Убедитесь, что материалы корректны, нет дубликатов или устаревших версий.
Проверьте распарсенный основной текст и Chunks.
Если формулировка сильно отличается от исходного текста, рассмотрите embedding-модель.
Если кандидаты в целом верны, но порядок нестабилен, тогда рассмотрите reranking-модель.
После изменений переиндексируйте и повторите тот же набор тестов.

Описание конфигурации
Количество тестовых вопросов
—
3–5
Создать повторяемую базу качества
Все базы знаний
Охват точных фактов, условных правил и легко путающихся вопросов
Top K
6, можно выбрать от 1 до 50
Сначала оставьте 6
Контроль количества итоговых фрагментов
Баланс между полнотой и шумом
Увеличение может занять больше контекста
Порог сходства
0.0, отображается только при настройке reranking
Начните с 0.0
Фильтрация низкооцененных результатов после reranking
Шум сохраняется даже после reranking
Слишком высокое значение может удалить правильные фрагменты
Способ повторного тестирования
—
Меняйте только один параметр за цикл
Определить, откуда происходят изменения настроек
Настройка, обновление материалов или модели
После изменения разбиения или модели сначала выполните переиндексацию
Ожидаемый результат
Правильный источник стабильно появляется в первых нескольких результатах.
Фрагмент содержит и условия, и вывод, необходимые для ответа на вопрос.
После переформулировки естественным образом результат по-прежнему стабилен.
После обновления материалов или настроек фиксированные вопросы не показывают заметной деградации.
Кейс пользователя
Сяо Лин заметил, что по запросу «норматив на проживание» исходный текст находился, а по формулировке «сколько максимум можно возместить за отель» результат был нестабилен. Сначала он проверил, что материалы и Chunks в порядке, затем настроил embedding-модель и повторил тест. После появления правильного фрагмента он иногда оказывался ниже, и только тогда была добавлена reranking-модель.
Критерий завершения: по трем разным формулировкам один и тот же стандарт проживания должен находиться в первых нескольких результатах, а фрагмент должен содержать применимый город и верхний лимит суммы.
Частые вопросы
Читать далее
Последнее обновление
Это было полезно?
