> For the complete documentation index, see [llms.txt](https://docs.cherryai.com.cn/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.cherryai.com.cn/docs/jp/question-contact/knowledge.md).

# 知識解説

## トークンとは何ですか？

Tokens は、AI モデルがテキストを処理するための基本単位で、モデルが「考える」最小単位と理解できます。これは私たちが理解する文字や単語と完全に同じではなく、モデル独自の特別なテキスト分割方法です。

#### 1. 中国語の分かち書き

* 漢字1文字は通常 1〜2 個の tokens としてエンコードされます
* 例えば：`「こんにちは」` ≈ 2〜4 tokens

#### 2. 英語の分かち書き

* よく使われる単語は通常 1 token です
* 長い単語やあまり一般的でない単語は複数の tokens に分解されます
* 例えば：
  * `「hello」` = 1 token
  * `「indescribable」` = 4 tokens

#### 3. 特殊文字

* スペースや句読点なども tokens を消費します
* 改行文字は通常 1 token です

{% hint style="info" %}
各サービス提供者の Tokenizer はそれぞれ異なり、同じサービス提供者でもモデルによって Tokenizer に差があります。この知識は token の概念を明確にするためのものです。
{% endhint %}

***

## Tokenizer とは何ですか？

Tokenizer（トークナイザー）は、AI モデルがテキストを tokens に変換するためのツールです。入力テキストを、モデルが理解できる最小単位にどう切り分けるかを決定します。

### なぜモデルごとに Tokenizer が異なるのですか？

#### 1. 学習データが異なる

* 異なるコーパスにより最適化の方向も異なる
* 多言語対応の程度の違い
* 医療、法律など特定分野向けの専用最適化

#### 2. 分かち書きアルゴリズムが異なる

* BPE (Byte Pair Encoding) - OpenAI GPT シリーズ
* WordPiece - Google BERT
* SentencePiece - 多言語シーンに適する

#### 3. 最適化目標が異なる

* 圧縮効率を重視するものもある
* 意味保持を重視するものもある
* 処理速度を重視するものもある

### 実際の影響

同じテキストでも、モデルが違うと token 数は異なる場合があります：

```
入力：「Hello, world!」
GPT-3: 4 tokens
BERT: 3 tokens
Claude: 3 tokens
```

***

## 埋め込みモデル（Embedding Model）とは何ですか？

**基本概念：** 埋め込みモデルは、高次元の離散データ（テキスト、画像など）を低次元の連続ベクトルへ変換する技術です。この変換により、機械は複雑なデータをよりよく理解し、処理できるようになります。たとえば、複雑なパズルをシンプルな座標点に簡略化するようなものですが、その点にはパズルの重要な特徴がなお保たれています。大規模モデルのエコシステムでは、「翻訳者」として、人間が理解できる情報を AI が計算可能な数値形式に変換します。

**動作原理：** 自然言語処理を例にすると、埋め込みモデルは単語をベクトル空間内の特定の位置にマッピングできます。この空間では、意味の近い単語が自動的に集まります。たとえば：

* 「王」と「女王」のベクトルは非常に近い
* 「猫」と「犬」のようなペット関連の単語も距離が近い
* 一方で、「車」と「パン」のような意味的に無関係な単語は距離が遠くなります

**主な適用シーン：**

* テキスト分析：文書分類、感情分析
* 推薦システム：パーソナライズされたコンテンツ推薦
* 画像処理：類似画像検索
* 検索エンジン：意味検索の最適化

**主な利点：**

1. 次元削減効果：複雑なデータを扱いやすいベクトル形式に簡略化
2. 意味保持：元データの重要な意味情報を保持
3. 計算効率：機械学習モデルの学習と推論の効率を大幅に向上

**技術的価値：** 埋め込みモデルは現代の AI システムの基礎コンポーネントであり、機械学習タスクに高品質なデータ表現を提供します。自然言語処理、コンピュータビジョンなどの分野の発展を推進する重要な技術です。

***

## Embedding モデルの知識検索における動作原理

**基本的なワークフロー：**

1. **知識ベースの前処理段階**

* 文書を適切なサイズの chunk（テキストブロック）に分割する
* embedding モデルを使って各 chunk をベクトルに変換する
* ベクトルと原文をベクトルデータベースに保存する

2. **クエリ処理段階**

* ユーザーの質問をベクトルに変換する
* ベクトルデータベース内で類似コンテンツを検索する
* 検索された関連コンテンツをコンテキストとして LLM に提供する

***

## **MCP（Model Context Protocol）とは何ですか？**

MCP は、標準化された方法で大規模言語モデル（LLM）にコンテキスト情報を提供することを目的としたオープンソースプロトコルです。

* **たとえで理解する：** MCP を AI 分野の「USBメモリ」だと考えるとよいでしょう。USBメモリはいろいろなファイルを保存でき、PC に挿せばすぐ使えます。同様に、MCP Server にはコンテキストを提供するさまざまな「プラグイン」を「挿す」ことができ、LLM は必要に応じて MCP Server にそれらのプラグインを要求することで、より豊かなコンテキスト情報を取得し、自身の能力を高められます。
* **Function Tool との比較：** 従来の Function Tool（関数ツール）も LLM に外部機能を提供できますが、MCP はより高次の抽象化に近いものです。Function Tool は主に特定タスク向けのツールですが、MCP はより汎用的でモジュール化されたコンテキスト取得メカニズムを提供します。

### **MCP のコアな利点**

1. **標準化：** MCP は統一されたインターフェースとデータ形式を提供し、異なる LLM とコンテキスト提供者がシームレスに協力できるようにします。
2. **モジュール化：** MCP により、開発者はコンテキスト情報を独立したモジュール（プラグイン）に分解でき、管理や再利用がしやすくなります。
3. **柔軟性：** LLM は自身のニーズに応じて必要なコンテキストプラグインを動的に選択でき、より賢く、より個別化された対話を実現します。
4. **拡張性：** MCP の設計は、将来的にさらに多くの種類のコンテキストプラグインを追加することを想定しており、LLM の能力拡張に無限の可能性を提供します。

***


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.cherryai.com.cn/docs/jp/question-contact/knowledge.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.