> For the complete documentation index, see [llms.txt](https://docs.cherryai.com.cn/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.cherryai.com.cn/docs/jp/knowledge-base/recall-test.md).

# 資料と検索結果を確認する

再現率テストは、まずチャットモデルで整えることなく、「質問が正しい断片を見つけられるか」を直接確認します。問題が資料、解析、分割、それとも検索設定のどこにあるかを判断するのに役立ちます。

{% hint style="info" %}
すでに答えが分かっている実際の質問を3～5個用意し、資料・モデル・分割を更新するたびに繰り返し使います。固定した質問のほうが、臨時の試し質問より劣化を見つけやすいです。
{% endhint %}

## テスト問題を準備する

次の3種類を同時にカバーすることを推奨します：

* 正確な事実、たとえば「国内の一線都市での宿泊費上限はいくらですか？」
* 条件規則、たとえば「海外レンタカーはどんな場合に精算できますか？」
* 混同しやすいもの、たとえば「5000元以上の出張は誰が追加承認する？」

資料のタイトルや全文そのままでテストしないでください。それでは実際の使用効果を過大評価してしまいます。

## 再現率テストを1回実施する

{% stepper %}
{% step %}

### 1. 再現率テストを開く

左側ナビゲーションの【ナレッジベース】を開く → ナレッジベースを選択 → 【再現率テスト】へ入る。
{% endstep %}

{% step %}

### 2. 実際の質問を入力する

答えが明確な質問を入力し、テストを実行します。質問は日常の言い方に近くし、資料原文を意図的にコピーしないでください。
{% endstep %}

{% step %}

### 3. ソースと断片を確認する

ソースが正しいかを確認し、断片に回答に必要な条件と結論の両方が含まれているか確認します。

<figure><img src="/files/d8982815154240ab637b79f323235a39b82f910b" alt="召回测试中的命中来源、相关度、片段内容和排序"><figcaption><p>結果があるかどうかだけでなく、ソース、断片の完全性、順序も確認してください。</p></figcaption></figure>
{% endstep %}

{% step %}

### 4. 現象を照合して問題を特定する

正しい断片がまったく出ない場合は、まず資料・解析・分割を確認します。正しい断片は出るが順序が安定しない場合は、埋め込み・再ランキング・Top K を検討します。
{% endstep %}

{% step %}

### 5. 個別に調整して再テストする

各回で変更する設定は1つだけにします。解析、分割、インデックスに関わる場合は、まず【再インデックス】を実行し、その後同じ問題セットで再テストします。
{% endstep %}
{% endstepper %}

## 結果の読み方

| 現象                    | 説明                                   | 次のステップ                       |
| --------------------- | ------------------------------------ | ---------------------------- |
| 正しいソースが前にあり、断片が完全     | 再現率は概ね合格                             | もう少し異なる聞き方でテストする             |
| 正しい結果がまったくない          | 資料が未準備、内容不足、質問の言い回しの差が大きい、または閾値が高すぎる | 順に資料、本文、Chunks、検索設定を確認する     |
| ソースは正しいが、断片に重要な文が足りない | 解析または分割の境界が理想的ではない                   | Chunks を確認し、調整後に再インデックスする    |
| 旧バージョンと新バージョンが同時に出る   | 同名の資料がすべて残っている                       | 旧エントリを削除するか、【置換】で再インポートする    |
| 正しい項目がいつも後ろに来る        | 候補が多いか、順位が安定しない                      | 資料を整理し、埋め込みまたは再ランキングモデルを検討する |
| 再現率は正しいが、チャット回答が不正確   | 問題はプロンプトかチャットモデルにある可能性が高い            | 再現率設定は維持し、質問の仕方とチャットモデルを調整する |

{% hint style="warning" %}
チャットモデルは、再現段階で見つからなかった重要資料を後から補うことはできません。再現率の結果が不十分な場合、先に何度もチャットモデルを入れ替えて切り分けしないでください。
{% endhint %}

## チューニングの閉ループ

<figure><img src="/files/89938946bde77a08fd907ff8c4b20ae279466e34" alt="用固定问题检查召回、定位问题、单项调整、重新索引并复测的质量调优闭环"><figcaption><p>固定質問 → 結果確認 → 階層特定 → 個別調整 → 必要なら再インデックス → 再テスト。</p></figcaption></figure>

推奨順序：

1. 資料が正しく、重複や古いバージョンがないことを確認する。
2. 解析された本文と Chunks を確認する。
3. 質問の言い回しが原文と大きく異なる場合は、埋め込みモデルを検討する。
4. 候補がおおむね正しいが順序が安定しない場合は、再ランキングモデルを検討する。
5. 調整後に再インデックスし、同じテストセットを繰り返す。

<figure><img src="/files/e937624cc6e341c8a99acc957007adf8d1f9a94f" alt="知识库高级设置中的智能分段、分隔符、分段大小和重叠大小"><figcaption><p>断片が不完全な場合は、再度分割設定を確認する。変更は新しい資料にのみ影響し、古い資料は再インデックスが必要。</p></figcaption></figure>

## 設定説明

| 設定項目   | 製品のデフォルト値         | 推奨開始値        | 役割                       | 適用シーン              | 注意事項                            |
| ------ | ----------------- | ------------ | ------------------------ | ------------------ | ------------------------------- |
| テスト問題数 | —                 | 3～5個         | 再現可能な品質ベースラインを作る         | すべてのナレッジベース        | 正確な事実、条件規則、混同しやすい問題をカバーする       |
| Top K  | 6、オプション 1～50      | まずは6を維持する    | 最終的な断片数を制御する             | カバレッジとノイズのトレードオフ   | 大きくしすぎると、より多くのコンテキストを占有する可能性がある |
| 類似度閾値  | 0.0、再ランキング設定時のみ表示 | 0.0から始める     | 再ランキング後の低スコア結果をフィルタリングする | 再ランキング後もノイズが残る     | 高くしすぎると正しい断片が除外される              |
| 再テスト方法 | —                 | 各回で1項目だけ変更する | 設定変更の出所を判断する             | チューニング、資料更新、またはモデル | 分割やモデルを変更したら先に再インデックスする         |

## 期待される結果

* 正しいソースが安定して最初の数件に表示される。
* 断片に質問回答に必要な条件と結論が含まれている。
* 別の自然な言い方に変えても、結果は安定している。
* 資料や設定を更新しても、固定質問に明らかな劣化がない。

## ユーザー事例

小林さんは「宿泊費基準」は原文だとヒットするが、「ホテル代は最大いくらまで精算できるか」は不安定だと気づいた。まず資料と Chunks に問題がないことを確認し、その後埋め込みモデルを設定して再テストした。正しい断片は出るものの、時々後ろに並ぶため、そこで初めて再ランキングモデルを追加した。

完了基準は、3種類の異なる聞き方すべてで最初の数件の結果の中に同じ宿泊基準が見つかり、かつ断片に適用都市と金額上限が含まれていること。

## よくある質問

<details>

<summary>正しい断片がまったくない場合、まず Top K を上げますか？</summary>

まず資料本文と Chunks を確認してください。解析や切り分けに誤りがある場合、Top K を上げても不正確または不完全な断片がさらに増えるだけです。

</details>

<details>

<summary>なぜ類似度閾値が見えないのですか？</summary>

再ランキングモデルを選択した場合のみ、ナレッジベース設定に【類似度閾値】が表示されます。

</details>

<details>

<summary>再現率は正しいのに、チャット回答がまだ不正確な場合は？</summary>

現在の再現率設定は維持し、質問の表現、会話コンテキスト、チャットモデルを確認してください。この段階では、問題はすでに資料検索層にないことが多いです。

</details>

## 続きを読む

<table data-view="cards"><thead><tr><th></th><th></th><th data-hidden data-card-target data-type="content-ref"></th></tr></thead><tbody><tr><td><strong>モデルと検索設定</strong></td><td>埋め込み、再ランキング、Top K、分割を調整する。</td><td><a href="/pages/552981e5e3388b3c03d9768a3befa7afa506edbe">/pages/552981e5e3388b3c03d9768a3befa7afa506edbe</a></td></tr><tr><td><strong>ドキュメント解析とOCR</strong></td><td>本文の欠落、文字化け、スキャン内容を処理する。</td><td><a href="/pages/4a183fc375a74312acee8cc1115baf07eeaacdf2">/pages/4a183fc375a74312acee8cc1115baf07eeaacdf2</a></td></tr><tr><td><strong>会話で使用する</strong></td><td>再現率が合格したら、ナレッジベースを質問に使う。</td><td><a href="/pages/158ee40a85b9b879ef36382fea8b074795b0a56d">/pages/158ee40a85b9b879ef36382fea8b074795b0a56d</a></td></tr></tbody></table>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.cherryai.com.cn/docs/jp/knowledge-base/recall-test.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.