モデルと検索設定

知識ベースはまず資料を解析してチャンクに分割し、その後、これらのチャンクから質問に答えられる可能性が最も高い内容を見つけます。埋め込みモデル、再ランキングモデル、Top K は「どう探すか、どう並べるか、最後にどれだけ残すか」を決めるもので、本文の欠落や分割ミスを補うことはできません。

最初の調整では、まず現在の設定で一度召回テストを行います。その後は毎回1つのパラメータだけを変更し、必ず同じ質問セットで再テストして、どの設定が変化をもたらしたのかを判断します。

まず検索の流れを理解する

BM25 は単独でも常に動作します。埋め込みモデルを設定するとベクトル検索が追加され、再ランキングは候補を統合した後の任意のステップです。

図の各層は最終結果に影響します。資料内容は「答えがあるか」を決め、解析と分割は「答えが完全か」を決め、検索と再ランキングは「正しいチャンクを前に出せるか」を決めます。

3つの一般的な組み合わせ

組み合わせ	実際の検索方式	どんな資料に適しているか	いつアップグレードするか
埋め込みモデルを使わない	BM25 キーワード検索のみ	条項番号、製品名、専門用語が多い	言い換えるとヒットしにくい場合は、埋め込みモデルを追加する
埋め込みモデル	BM25 とベクトル検索を並行させ、その後候補結果を統合する	ユーザーの聞き方が資料原文と大きく異なる	正しいチャンクは出るが順位が安定しない場合は、再ランキングモデルを追加する
埋め込みモデル + 再ランキングモデル	ハイブリッド検索後に再度スコアリングして並べ替える	候補チャンクが似通っており、安定した順位付けが必要	まずしきい値を 0.0 のままにし、その後ノイズに応じて徐々に調整する

埋め込みモデルを設定しなくても、知識ベースは動作します。再ランキングモデルを選択した場合にのみ、設定パネルに【類似度しきい値】が表示されます。

設定を開いて現在の構成を確認する

左側ナビゲーションの【知識ベース】→ 知識ベースを選択 → 右上の【設定】をクリックします。

デフォルト領域には【文書処理】、【埋め込みモデル】、【再ランキングモデル】、【Top K】が含まれます。最初のテストでは、まず Top K を 6 のままにし、類似度しきい値は一旦上げないことをおすすめします。

まずモデルと Top K を確認し、その後【詳細設定】に入って分割を確認します。

推奨の出発点

設定項目	画面の初期値	推奨の開始値	役割と注意点
埋め込みモデル	使用しない	キーワードで安定してヒットするなら、まずは使わない	追加するとキーワード検索とベクトル検索を同時に行います。クラウドモデルの課金とデータ処理方法はサービス提供者によって異なります
リランキングモデル	使用しない	正しいチャンクは再現できるが順位が安定しない場合に再度有効化する	モデルのスコアリングが1回増え、待ち時間も増える
Top K	6、オプションで1～50	まずは6のままにする	小さすぎると答えを見逃す可能性があり、大きすぎるとノイズが増えて対話コンテキストも圧迫します
類似度しきい値	0.0、再ランキングを設定した場合のみ表示	0.0から開始する	再ランキング後の低スコア結果だけを除外します。高く設定しすぎると正しいチャンクまで一緒に除外される可能性があります

固定の質問でベースラインを作る

始める前に、答えが明確な実際の質問を 3～5 個用意します。質問には、資料内の専門用語、口語的な聞き方、文脈がないと答えられないケースを含めるようにします。

1

1. まず資料本文と Chunks を確認する

答えが実際に資料内に存在し、条件や結論が誤って分断されていないことを確認します。この層に問題がある場合は、モデルを急いで調整せず、まず解析や分割を処理します。

2

2. 最初の召回テストを完了する

【召回テスト】を開き、用意した質問を1つずつ入力して、ヒット元、チャンク内容、順序、所要時間を記録します。

「結果があるか」だけでなく、出典が正しいこと、チャンクが完全であること、並び順が妥当であることも確認します。

3

3. 問題がある層を特定する

• 正しいチャンクがまったくない：まず資料内容、解析、分割を確認する。
• キーワードでは見つかるが、言い換えると見つからない：埋め込みモデルを試す。
• 正しいチャンクは出るが、しばしば後ろに並ぶ：再ランキングモデルを試す。
• 正しいチャンクが除外される：類似度しきい値を下げる。
• 上位数件が関連内容でも答えがまだ不完全なら、Top K を少しだけ増やす。

4

4. 毎回1項目だけ変更する

たとえば、まず Top K を調整して保存し、埋め込みモデルと分割サイズを同時に変更しないでください。既存資料の分割や既存ベクトルに関わる場合は、以下の説明に従って再インデックスまたは再構築します。

5

5. 同じ質問セットで再テストする

調整前後の出典、チャンクの完全性、順位、所要時間を比較します。改善がない場合は元の設定に戻し、次の項目をテストします。

分割が不完全なときの調整方法

【詳細設定】を展開すると、【スマート分割】、【区切り記号】、【チャンクサイズ】、【オーバーラップサイズ】が表示されます。

汎用的な資料は、スマート分割をオン、チャンクサイズ 1024、オーバーラップサイズ 200 から始められます。

設定項目	画面の初期値	いつ調整するか	よくある副作用
スマート分割	有効にする	資料に明確な見出しと段落構造がある場合はオンのままにする	オフにすると区切り記号のみに基づいて分割する
区切り記号	\n\n	資料に安定した独自の段落境界がある場合に調整する	スマート分割をオフにする場合、区切り記号は空にできません
チャンクサイズ	1024トークン	1つのチャンクに複数の話題が混ざるなら小さくし、条件と結論がいつも分かれてしまうなら大きくする	大きすぎるとノイズが増え、小さすぎると文脈が失われる
オーバーラップサイズ	200トークン	重要情報がチャンク境界をまたぐことが多い場合は少し増やす	チャンクサイズより小さくする必要があり、大きすぎると重複内容が発生します

分割設定はその後に新しく追加される内容にのみ影響します。既存資料に新設定を反映するには、資料行メニューで【再インデックス】を実行し、その後同じ質問セットで再テストしてください。

モデルの変更と知識ベースの再構築

BM25 のみを使っている知識ベースで埋め込みモデルを有効にすると、ベクトル索引を直接作成できます。既にベクトルがある知識ベースで埋め込みモデルを変更する場合、画面は【知識ベースを再構築】の手順に入ります。異なる埋め込みモデルが生成したベクトルは混在できないためです。

再構築を始める前に、新しい埋め込みモデルが正常に呼び出せることを確認してください。再構築後は召回ベースラインを再度取り直します。同じ回でモデルも変更し、分割も変更すると、結果の変化がどこから来たのか判断できません。

ローカル環境で埋め込みを行う必要がある場合は、【設定】→【ローカルモデル】を開き、【埋め込みモデル】領域で利用可能なモデルをダウンロードしてから、知識ベース設定に戻って選択します。

まずローカルモデルのダウンロードを完了し、その後知識ベースに戻って選択し、インデックスを作成します。

チューニングの閉ループ

固定した質問 → 結果を確認 → 階層を特定 → 1項目ずつ調整 → 必要なら再インデックス → 再テスト。

毎回、固定テスト問題を安定して改善する変更だけを残します。結果が改善しない場合は、さらに変更を重ねるのではなく、前の設定に戻します。

完全な例

小林さんは従業員出張規程を管理しています。資料には「宿泊費基準」と書かれているのに、従業員は「ホテル代はいくらまで精算できるのか」とよく尋ねます。

1. 彼はまずデフォルト設定でテストし、原文のキーワードならヒットするが、口語的な聞き方では安定しないことを確認しました。
2. 彼は埋め込みモデルを設定してインデックスを作成し、同じ質問で再テストしました。
3. 正しいチャンクは安定して出るものの、時々後ろに並ぶため、さらに再ランキングモデルを設定しました。
4. Top K は 6、しきい値は 0.0 のままにし、無関係な結果が明らかな場合にのみしきい値を段階的に上げました。

完了基準は、3種類の異なる聞き方すべてで、上位の結果から同じ宿泊基準を見つけられ、かつそのチャンクに適用条件と精算上限の両方が含まれていることです。

よくある質問

埋め込みモデルを使わなくても、知識ベースは検索できますか？

はい。知識ベースは BM25 キーワード検索を使用し、条項番号、専門用語、原文に近い聞き方に適しています。

なぜ【類似度しきい値】が表示されないのですか？

再ランキングモデルを選択した場合にのみ、設定パネルに【類似度しきい値】が表示されます。

チャンクサイズを変更した後、なぜ既存資料は変わらないのですか？

分割設定はその後に新しく追加される内容にのみ影響します。既存資料に対して【再インデックス】を実行し、その後同じ質問で再テストしてください。

正しいチャンクがまったく出てこない場合、まず Top K を大きくすべきですか？

まず資料本文とChunksを確認してください。解析や分割に誤りがあると、Top Kを増やしても不正確または不完全な断片がさらに増えるだけです。

続きを読む

知識ベース入門

まず知識ベースの動作全体を理解します。

文書解析とOCR

本文の欠落や認識ミスがある場合は、資料処理層から確認します。

資料を追加・整理する

再インデックス、資料状態、コンテンツ管理を理解します。

資料と再現を確認する

召回テストと結果判断の練習を続けます。