カスタムプロバイダー

Cherry Studioは主要なAIモデルサービスを統合しているだけでなく、強力なカスタマイズ機能も備えています。通じて カスタム AI サービスプロバイダー 機能を使えば、必要なAIモデルを簡単に接続できます。

なぜカスタム AI サービスプロバイダーが必要なのですか？

柔軟性： あらかじめ用意されたプロバイダー一覧に縛られず、ニーズに最も合ったAIモデルを自由に選べます。
多様性： さまざまなプラットフォームのAIモデルを試し、それぞれの独自の強みを見つけられます。
制御性： APIキーとアクセス先アドレスを直接管理し、安全性とプライバシーを確保できます。
カスタマイズ性： オンプレミス展開されたモデルに接続し、特定の業務シーンのニーズに対応できます。

カスタム AI サービスプロバイダーを追加するには？

簡単な手順で、Cherry Studio にカスタム AI サービスプロバイダーを追加できます：

設定を開く： Cherry Studio 画面左側のナビゲーションバーで、「設定」（歯車アイコン）をクリックします。
モデルサービスに入る： 設定ページで「モデルサービス」タブを選択します。
プロバイダーを追加： 「モデルサービス」ページでは、既存のプロバイダー一覧が表示されます。リスト下の「+ 追加」ボタンをクリックすると、「プロバイダーを追加」ダイアログが開きます。
情報を入力： ダイアログで、以下の情報を入力する必要があります：
- プロバイダー名： カスタムプロバイダーに、識別しやすい名前を付けます（例：MyCustomOpenAI）。
- プロバイダーの種類： ドロップダウンからプロバイダーの種類を選択します。現在対応しているのは：
  - OpenAI
  - Gemini
  - Anthropic
  - Azure OpenAI
設定を保存： 入力が完了したら、「追加」ボタンをクリックして設定を保存します。

カスタム AI サービスプロバイダーを設定する

追加が完了したら、一覧で先ほど追加したプロバイダーを見つけ、詳細設定を行います：

有効状態 カスタムプロバイダー一覧の右端に有効化スイッチがあり、オンにするとそのカスタムサービスが有効になります。
APIキー：
- AI サービスプロバイダーから提供された API キー（API Key）を入力します。
- 右側の「確認」ボタンをクリックすると、キーの有効性を検証できます。
APIアドレス：
- AI サービスの API アクセスアドレス（Base URL）を入力します。
- 必ず、利用する AI サービスプロバイダーの公式ドキュメントを参照し、正しい API アドレスを確認してください。
モデル管理：
- 「+ 追加」ボタンをクリックして、このプロバイダーで使用したいモデルIDを手動で追加します。例： gpt-3.5-turbo、gemini-pro など。
- 具体的なモデル名がわからない場合は、AI サービスプロバイダーの公式ドキュメントを参照してください。
- 「管理」ボタンをクリックすると、追加済みのモデルを編集または削除できます。

使い始める

以上の設定が完了したら、Cherry Studio のチャット画面でカスタムの AI サービスプロバイダーとモデルを選択し、AI との会話を始められます！

vLLM をカスタム AI サービスプロバイダーとして使用する

vLLM は Ollama に似た、高速で使いやすい LLM 推論ライブラリです。以下は、vLLM を Cherry Studio に統合する手順です：

vLLM をインストール： vLLM の公式ドキュメント（https://docs.vllm.ai/en/latest/getting_started/quickstart.html）に従って vLLM をインストールします。
```
pip install vllm # pip を使用する場合
uv pip install vllm # uv を使用する場合
```
vLLM サービスを起動： vLLM が提供する OpenAI 互換インターフェースでサービスを起動します。主に2つの方法があります。
- 使用 vllm.entrypoints.openai.api_server 起動
```
python -m vllm.entrypoints.openai.api_server --model gpt2
```
- 使用 uvicorn 起動
```
vllm --model gpt2 --served-model-name gpt2
```

サービスが正常に起動し、デフォルトポートで待ち受けていることを確認してください 8000 上。もちろん、パラメータ --port で vLLM サービスのポート番号を指定することもできます。

Cherry Studio に vLLM サービスプロバイダーを追加：
- 前述の手順に従って、Cherry Studio に新しいカスタム AI サービスプロバイダーを追加します。
- プロバイダー名： vLLM
- プロバイダーの種類： 選択 OpenAI。
vLLM サービスプロバイダーを設定：
- APIキー： vLLM には API キーが不要なため、この欄は空欄のままにするか、任意の内容を入力できます。
- APIアドレス： vLLM サービスの API アドレスを入力します。デフォルトでは、アドレスは： http://localhost:8000/（別のポートを使う場合は、それに応じて変更してください）。
- モデル管理： vLLM で読み込んだモデル名を追加します。上記の例で実行した python -m vllm.entrypoints.openai.api_server --model gpt2 場合は、ここに gpt2
会話を開始： これで、Cherry Studio で vLLM サービスプロバイダーと gpt2 モデルを選択し、vLLM 駆動の LLM との会話を始められます！

ヒントとコツ

ドキュメントをよく読む： カスタムプロバイダーを追加する前に、利用する AI サービスプロバイダーの公式ドキュメントを必ずよく読み、API キー、アクセスアドレス、モデル名などの重要情報を確認してください。
API キーを確認： 「確認」ボタンを使えば、API キーの有効性をすばやく検証でき、キーの誤りによる利用不能を避けられます。
API アドレスに注意： AI サービスプロバイダーやモデルによって API アドレスが異なる場合があります。必ず正しいアドレスを入力してください。
モデルは必要に応じて追加： 実際に使うモデルだけを追加し、不要なモデルを大量に追加しないようにしてください。

ヘルプの取得とフィードバックの送信

設定または使用中に不明点、バグ、機能改善の提案がある場合は、フィードバックと提案に記載の公式チャネルをご参照ください。

前へVolcano Engine 次へソフトウェア設定

最終更新 5 日前

役に立ちましたか？