ドキュメント解析とOCR

ナレッジベースは、すでに解析されたテキストのみ検索できます。スキャンPDF、二段組み論文、複雑な表、画像形式のページは、まず本文を正しく解析してから、モデルとリコールパラメータを調整してください。

解析が合格かどうかは、「インポート成功」の4文字を見るのではなく、本文の順序、重要な表、金額・日付、スキャン文字が正しく読み取れるかで判断します。

まず資料タイプを判断する

資料タイプ	推奨の出発点	必ず確認する内容
Markdown、TXT、HTML	デフォルトで読み取る	見出し階層、文字コード、改行
コピー可能なテキストのPDF、DOCX、PPTX	まずはデフォルト処理を使う	段落順、ヘッダーとフッター、表
スキャンPDF、スクリーンショット、画像形式のページ	ローカルまたはシステムOCR	認識言語、金額、日付、番号
複数列、数式、または複雑な表のPDF	専用文書プロセッサ	読み取り順序、表構造、脚注

解析は検索チェーンの中のどこにあるか

解析エラーは分割とリコールにも引き継がれます。下流モデルは、本文からすでに失われた内容を復元できません。

サンプル文書を1件設定して検証する

1

1. 代表的なサンプルを選ぶ

まず一括で資料をインポートしないでください。表付きのスキャンPDFや二段組みのマニュアルなど、問題を最も顕在化させる文書を1つ選びます。

2

2. 処理能力を設定する

【設定】→【文書処理】を開き、必要に応じて文書解析サービスとOCRを設定します。クラウドサービスでは通常、APIキーまたはサービスアドレスが必要です。ローカル機能では、先にモデルのダウンロードが必要な場合があります。

使うサービスをまず利用可能な状態に設定してから、ナレッジベースに戻ってプロセッサを選びます。

3

3. インポートして準備完了を待つ

サンプル文書をナレッジベースに追加します。処理完了後、本文を開いて、見出し、段落、ページ番号、表、OCRテキストを確認します。

4

4. チャンクを確認する

重要な条件と結論が分断されないことを確認します。ヘッダー、フッター、目次がチャンクを大量に占めないようにします。

本文が正しくなってから分割を確認します。解析エラーは、チャンクを大きくしても修復できません。

5

5. 実際の問題で再テストする

【リコールテスト】で、この文書内に答えがある質問を入力します。結果には、正しい出典、完全な条件、重要な数値が含まれているはずです。

6

6. 方案を固定してから一括インポートする

サンプルが合格したら、同じ種類の資料を分けてインポートします。プロセッサ、OCR、または分割設定を変更した後は、古い資料に対して【再インデックス】を実行し、テストを繰り返します。

プロセッサやOCRを切り替えても、すでにインデックスされた古い資料は自動では修復されません。新旧の結果を比較するには、関連項目を再インデックスする必要があります。

プロセッサとOCRの選び方

選択	適用ケース	利点	注意事項
デフォルトで読み取る	テキスト主体の一般的な形式	設定が少なく、速度が速い	複雑なレイアウトやスキャンページでは内容が失われる場合がある
システムOCR	システムが対応しており、画像が鮮明	追加のAPIキーが不要で、速度が速い	精度はOS、言語、画像品質に左右される
ローカルPaddleOCR	オフライン認識が必要	文書が端末外に出ない	初回使用前にローカルモデルのダウンロードが必要
クラウドまたはセルフホストのプロセッサ	二段組み、複雑な表、数式が多い	レイアウト解析能力が通常より強い	クラウド方式では、処理のために文書内容が送信される

機密資料にクラウド文書プロセッサを使う前に、まずサービス利用規約、データ保持ポリシー、アカウント権限を確認してください。完全オフラインにするには、解析、OCR、埋め込み、再ランキング、チャットの各段階でローカル機能を使う必要があります。

典型的な問題の切り分け方

症状	まず確認する	対応方針
本文が空、または非常に短い	ファイルがスキャン文書かどうか	OCRを有効にするか、プロセッサを変更する
二段組みの文字が交錯する	本文の読み取り順序	レイアウト解析に強いプロセッサを使う
表が断片的な文字になる	表の見出し、行列関係	プロセッサを変更するか、重要なルールをMarkdownメモとして整理する
ヘッダーとフッターが繰り返し出る	チャンク内の重複ノイズ	元ファイルを整理するか解析器を変え、Top Kを上げるだけにしない
OCRで数字が誤る	金額、日付、番号	画像をより鮮明にし、リスクの高い項目は手動で確認する

設定説明

設定項目	推奨の出発点	いつ調整するか	調整後の動作
文書プロセッサ	まずはデフォルト処理を使う	本文の順序が乱れる、表が失われる、スキャンページが空になる	サンプル文書を再インデックスする
OCR	鮮明なスキャン文書はローカルまたはシステム機能を優先する	画像形式のページに文字がない、または誤字が多い	再インデックスして重要項目を確認する
チャンクサイズとオーバーラップ	まずはナレッジベースのデフォルト設定を維持する	条件と結論が分断される	1回につき1項目だけ変更し、再インデックスする
検証問題	3～5個の実際の質問	プロセッサ、OCR、または分割を変更した後	同じ問題セットで比較する

ユーザー事例

小林さんは二段組みの出張規程PDFをインポートしました。状態はすでに準備完了でしたが、本文で左右の2カラムが交錯しており、リコール結果の承認条件も不完全でした。彼はまずTop Kを上げるのではなく、レイアウト解析により適したプロセッサに切り替え、同じファイルを再インデックスしてから、本文とチャンクを確認しました。

合格基準は、承認条件が原文の順序どおりに読めること、金額と日付が正しいこと、固定問題で完全な条件を含むチャンクをリコールできることです。

よくある質問

本文が正しくても、チャンクも見る必要がありますか？

必要です。本文が正しいのは解析が合格したことを示すだけです。条件と結論は、分割時にまだ分かれてしまう可能性があります。

Top Kを増やせば解析問題は修復できますか？

できません。Top Kは返すチャンク数を制御するだけで、本文ですでに失われたり順序が乱れたりした内容は復元できません。

プロセッサを変更しても結果が変わらないのはなぜですか？

古い資料はまだ元のインデックスを使っています。関連項目に【再インデックス】を実行してから、同じ問題で再テストしてください。

続きを読む

資料を追加・整理する

ソースを選び、処理状態を確認する。

資料とリコールを確認する

固定した問題で解析と分割を検証する。

データ、プライバシー、保守

ローカルとクラウドのデータ境界を確認する。