モデルと検索設定

ナレッジベースはまず資料を解析して断片に分割し、その後これらの断片から質問に最も答えられそうな内容を探します。埋め込みモデル、再ランキングモデル、Top K は「どう探すか、どう並べるか、最終的にいくつ残すか」を決めます。これらでは欠落した本文や誤った分割を補うことはできません。

最初のチューニングでは、まず現在の設定で一度再現テストを行います。その後は毎回ひとつだけパラメータを変更し、常に同じ質問セットで再テストして、どの設定が変化をもたらしたのかを判断します。

まず検索の流れを理解する

BM25 は常に単独で動作できます。埋め込みモデルを設定するとベクトル検索が追加され、再ランキングは候補を統合した後の任意のステップです。

図の各層はすべて最終結果に影響します。資料内容は「答えがあるか」を決め、解析と分割は「答えが完全か」を決め、検索と再ランキングは「正しい断片を前に出せるか」を決めます。

3つのよくある組み合わせ

組み合わせ	実際の検索方法	どのような資料に適しているか	いつアップグレードするか
埋め込みモデルを使用しない	BM25 キーワード検索のみ	条項番号、製品名、固有名詞が多い	言い換えると当たりにくい場合は、埋め込みモデルを追加する
埋め込みモデル	BM25 とベクトル検索を並行して実行し、その後候補結果を統合する	ユーザーの言い方と資料原文の差が大きい	正しい断片は出るが順位が安定しない場合は、再ランキングモデルを追加する
埋め込みモデル + 再ランキングモデル	ハイブリッド検索の後に再度スコアリングして並べ替える	候補断片が似ていて、安定した順位付けが必要	まず閾値を 0.0 のままにし、ノイズに応じて徐々に調整する

埋め込みモデルを設定しなくても、ナレッジベースは動作します。再ランキングモデルを選択した場合のみ、設定画面に【類似度閾値】が表示されます。

設定を開いて現在の構成を確認する

左側ナビゲーションの【ナレッジベース】を開く → ナレッジベースを選択 → 右上の【設定】をクリックします。

デフォルト領域には【文書処理】、【埋め込みモデル】、【再ランキングモデル】、【Top K】が含まれます。初回テストでは、まず Top K を 6 のままにし、類似度閾値は一時的に上げないことをおすすめします。

まずモデルと Top K を確認し、その後【詳細設定】で分割を確認します。

推奨の出発点

設定項目	画面の初期値	推奨開始値	役割と注意点
埋め込みモデル	使わない	キーワードで安定してヒットするなら、まずは使わない	追加するとキーワード検索とベクトル検索を同時に行います。クラウドモデルの課金とデータ処理方法はサービス提供者によって異なります
再ランキングモデル	使わない	正しい断片は再現できるが、順位が安定しないときに有効化する	モデルの採点と待ち時間が1回増える
Top K	6、オプション 1～50	まずは6を維持する	小さすぎると答えを見逃し、大きすぎるとノイズが増えて会話コンテキストを圧迫します
類似度閾値	0.0、再ランキング設定時のみ表示	0.0から始める	再ランキング後の低スコア結果のみを除外します。高くしすぎると正しい断片まで一緒に削除してしまう可能性があります

固定の質問でベースラインを作る

開始前に、答えが明確な実際の質問を3～5個用意します。質問は資料内の固有名詞、口語的な言い方、文脈がないと答えられないケースを含めます。

1

1. まず資料本文と Chunks を確認する

答えが確かに資料内に存在するか、また条件や結論が誤って分割されていないかを確認します。この層に問題がある場合は、モデルを急いで調整せず、まず解析や分割を処理します。

2

2. 最初の再現テストを完了する

【再現テスト】を開き、準備した質問を1つずつ入力し、ヒット元、断片内容、順序、所要時間を記録します。

「結果があるか」だけでなく、出典が正しいか、断片が完全か、並び順が妥当かも確認します。

3

3. 問題のある階層を特定する

• 正しい断片がまったくない：まず資料内容、解析、分割を確認する。

• キーワードでは見つかるが、言い換えると見つからない：埋め込みモデルを試す。

• 正しい断片は出るが、しばしば後ろに並ぶ：再ランキングモデルを試す。

• 正しい断片がフィルタされる：類似度閾値を下げる。

• 上位数件は関連内容だが、答えがまだ不完全：Top K をもう少し上げる。

4

4. 毎回1項目だけ変更する

たとえばまず Top K を調整して保存し、埋め込みモデルと分割サイズを同時に変更しないでください。古い資料の分割や既存ベクトルに関わる場合は、下記の説明に従って再インデックスまたは再構築します。

5

5. 同じ質問セットで再テストする

調整前後で、出典、断片の完全性、順位、所要時間を比較します。改善がなければ元の設定に戻し、次の項目をテストします。

分割が不完全なときの調整方法

【詳細設定】を展開すると、【スマート分割】、【区切り記号】、【分割サイズ】、【重複サイズ】が表示されます。

一般的な資料なら、スマート分割をオン、分割サイズ 1024、重複サイズ 200 から始められます。

設定項目	画面の初期値	いつ調整するか	よくある副作用
スマート分割	オン	資料に明確な見出しや段落構造がある場合はオンのままにする	オフにすると区切り記号のみで分割する
区切り記号	\n\n	資料に安定したカスタム段落境界がある場合に調整する	スマート分割をオフにした場合、区切り記号は空欄にできません
分割サイズ	1024 トークン	1つの断片に複数のテーマが混ざるときは小さくし、条件と結論が常に分かれてしまうときは大きくする	大きすぎるとノイズが増え、小さすぎると文脈を失う
重複サイズ	200 トークン	重要情報がしばしば断片の境界をまたぐ場合は少し増やす	分割サイズより小さくする必要があり、大きすぎると重複内容が生じます

分割設定は、その後に新しく追加される内容にのみ影響します。既存資料に新しい設定を適用するには、資料行メニューで【再インデックス】を実行し、同じ質問セットで再テストしてください。

モデルの切り替えとナレッジベースの再構築

BM25 のみを使用するナレッジベースで埋め込みモデルを有効にする場合は、ベクトルインデックスを直接作成できます。すでにベクトルを持つナレッジベースで埋め込みモデルを切り替える場合、画面は【ナレッジベースの再構築】の流れに入ります。異なる埋め込みモデルが生成するベクトルは混在できないためです。

再構築を始める前に、新しい埋め込みモデルが正常に呼び出せることを確認してください。再構築後は再現ベースラインをやり直してください。同じ回でモデルも変え、分割も変えると、結果の変化がどこから来たのか判断できません。

ローカルで埋め込みを完了する必要がある場合は、【設定】→【ローカルモデル】を開き、【埋め込みモデル】領域で利用可能なモデルをダウンロードしてから、ナレッジベース設定に戻って選択します。

まずローカルモデルをダウンロードし、その後ナレッジベースに戻って選択し、インデックスを作成します。

チューニングの閉ループ

固定質問 → 結果確認 → 階層特定 → 個別調整 → 必要なら再インデックス → 再テスト。

固定のテスト質問に対して安定して改善する変更だけを毎回残します。結果が改善しない場合は、さらに変更を重ねるのではなく、前の設定に戻します。

完全な例

小林さんは社員の出張規程を管理しています。資料には「宿泊費基準」と書かれていますが、社員はよく「ホテル代はいくらまで精算できますか」と尋ねます。

1. 彼はまずデフォルト設定でテストし、原文キーワードならヒットするが、口語的な質問では不安定だと分かりました。

2. 彼は埋め込みモデルを設定してインデックスを作成し、同じ質問で再テストしました。

3. 正しい断片は安定して出るものの、時々後ろに並ぶため、さらに再ランキングモデルを設定しました。

4. 彼は Top K を 6、閾値を 0.0 のまま維持し、無関係な結果が明らかに出ると確認できた場合にのみ、徐々に閾値を上げました。

完了基準は、3つの異なる言い方のどれでも上位結果の中に同じ宿泊基準が見つかり、かつ断片に適用条件と精算上限の両方が含まれていることです。

よくある質問

埋め込みモデルを使わなくても、ナレッジベースは検索できますか？

はい。ナレッジベースは BM25 キーワード検索を使用し、条項番号、固有名詞、原文に近い言い方に適しています。

なぜ【類似度閾値】が見えないのですか？

再ランキングモデルを選択した場合のみ、設定パネルに【類似度閾値】が表示されます。

分割サイズを変更したのに、古い資料はなぜ変わらないのですか？

分割設定は、その後に新しく追加される内容にのみ影響します。既存資料に【再インデックス】を実行してから、同じ質問で再テストしてください。

正しい断片がまったく出ない場合、まず Top K を大きくするべきですか？

まず資料本文と Chunks を確認してください。解析や切り分けに誤りがある場合、Top K を上げても不正確または不完全な断片がさらに増えるだけです。

続きを読む

ナレッジベース入門

まずナレッジベースの動作全体を理解します。

ドキュメント解析とOCR

本文の欠落や認識ミスがある場合は、資料処理層から確認します。

資料を追加・整理する

再インデックス、資料ステータス、内容管理を理解します。

資料とリコールを確認する

再現テストと結果の判断の練習を続けます。