Пользовательский поставщик

Cherry Studio не только интегрирует основные сервисы моделей ИИ, но и предоставляет вам мощные возможности настройки. С помощью настраиваемых AI-поставщиков функции вы можете легко подключить любую нужную вам модель ИИ.

Зачем нужен настраиваемый AI-поставщик?

• Гибкость: Больше не ограничивайтесь заранее заданным списком поставщиков — свободно выбирайте модель ИИ, которая лучше всего подходит вашим потребностям.
• Разнообразие: Пробуйте модели ИИ с разных платформ и открывайте их уникальные преимущества.
• Контроль: Непосредственно управляйте своими API-ключами и адресами доступа, обеспечивая безопасность и конфиденциальность.
• Настраиваемость: Подключайте модели с приватным развертыванием, чтобы удовлетворить потребности конкретных бизнес-сценариев.

Как добавить настраиваемого AI-поставщика?

Всего за несколько простых шагов вы можете добавить своего настраиваемого AI-поставщика в Cherry Studio:

1. Откройте настройки: На левой боковой панели интерфейса Cherry Studio нажмите «Настройки» (значок шестерёнки).
2. Перейдите в раздел моделей: На странице настроек выберите вкладку «Сервисы моделей».
3. Добавьте провайдера: На странице «Сервисы моделей» вы увидите список уже добавленных поставщиков. Нажмите кнопку «+ Добавить» под списком, чтобы открыть окно «Добавить поставщика».
4. Заполнение информации: В окне вам нужно заполнить следующую информацию:

   • Название поставщика: Придумайте для вашего настраиваемого поставщика легко узнаваемое название (например: MyCustomOpenAI).
   • Тип поставщика: Выберите тип поставщика из выпадающего списка. На данный момент поддерживаются:

     • OpenAI
     • Gemini
     • Anthropic
     • Azure OpenAI
5. Сохранение конфигурации: После заполнения нажмите кнопку «Добавить», чтобы сохранить вашу конфигурацию.

Настройка настраиваемого AI-поставщика

После добавления вам нужно найти только что добавленного поставщика в списке и выполнить детальную настройку:

1. Статус включения Справа в самом конце списка настраиваемых поставщиков есть переключатель включения; если он включён, этот настраиваемый сервис активирован.
2. API-ключ:

   • Введите API-ключ (API Key), предоставленный вашим AI-поставщиком.
   • Нажатие кнопки «Проверить» справа позволяет проверить действительность ключа.
3. Адрес API:

   • Введите адрес API-доступа к AI-сервису (Base URL).
   • Обязательно сверяйтесь с официальной документацией, предоставленной вашим AI-поставщиком, чтобы получить правильный адрес API.
4. Управление моделями:

   • Нажмите кнопку «+ Добавить», чтобы вручную добавить ID моделей, которые вы хотите использовать у этого поставщика. Например gpt-3.5-turbo、gemini-pro и т. д.

   

   • Если вы не уверены в точном названии модели, обратитесь к официальной документации вашего AI-поставщика.
   • Нажав кнопку «Управление», можно редактировать или удалять уже добавленные модели.

Начните использовать

После завершения всех настроек вы сможете в интерфейсе чата Cherry Studio выбрать своего настраиваемого AI-поставщика и модель и начать разговор с ИИ!

Использование vLLM в качестве настраиваемого AI-поставщика

vLLM — это быстрая и простая в использовании библиотека для инференса LLM, похожая на Ollama. Ниже приведены шаги по интеграции vLLM в Cherry Studio:

1. Установка vLLM: Следуйте официальной документации vLLM (https://docs.vllm.ai/en/latest/getting_started/quickstart.html) для установки vLLM.

   pip install vllm # если вы используете pip
   uv pip install vllm # если вы используете uv

2. Запуск сервиса vLLM: Используйте OpenAI-совместимый интерфейс, предоставляемый vLLM, для запуска сервиса. Есть два основных способа, которые описаны ниже:

   • Использование vllm.entrypoints.openai.api_server Запуск

   python -m vllm.entrypoints.openai.api_server --model gpt2

   • Использование uvicorn Запуск

   vllm --model gpt2 --served-model-name gpt2

Убедитесь, что сервис успешно запущен и слушает на порту по умолчанию 8000 . Конечно, вы также можете с помощью параметра --port указать номер порта для сервиса vLLM.

1. Добавление сервиса vLLM в Cherry Studio:

   • Следуя шагам, описанным ранее, добавьте в Cherry Studio новый настраиваемый AI-поставщик.
   • Название поставщика: vLLM
   • Тип поставщика: Выбор OpenAI.
2. Настройка поставщика vLLM:

   • API-ключ: Поскольку vLLM не требует API-ключа, это поле можно оставить пустым или заполнить любым содержимым.
   • Адрес API: Введите адрес API-сервиса vLLM. По умолчанию адрес: http://localhost:8000/(если используется другой порт, измените его соответствующим образом).
   • Управление моделями: Добавьте имя модели, загруженной вами в vLLM. В приведённом выше примере следует ввести здесь python -m vllm.entrypoints.openai.api_server --model gpt2 для gpt2
3. Начало диалога: Теперь вы можете в Cherry Studio выбрать поставщика vLLM и gpt2 модель и начать разговор с LLM, работающей на vLLM!

Подсказки и советы

• Внимательно прочитайте документацию: Перед добавлением настраиваемого поставщика обязательно внимательно прочитайте официальную документацию используемого AI-поставщика, чтобы узнать важные сведения об API-ключе, адресе доступа, названии модели и т. д.
• Проверьте API-ключ: Кнопка «Проверить» позволяет быстро проверить действительность API-ключа и избежать проблем, вызванных неправильным ключом.
• Обратите внимание на адрес API: У разных AI-поставщиков и моделей адрес API может отличаться, обязательно указывайте правильный адрес.
• Добавляйте модели по необходимости: Пожалуйста, добавляйте только те модели, которые вы действительно будете использовать, чтобы избежать лишних ненужных моделей.

---

Получить помощь и отправить отзыв

Если у вас в процессе настройки или использования возникнут какие-либо вопросы, баги или предложения по улучшению функций, пожалуйста, обратитесь к Отзывы и предложения официальным каналам, указанным там.