Ollama

Ollama — это отличный инструмент с открытым исходным кодом, который позволяет легко запускать и управлять различными большими языковыми моделями (LLM) локально. Cherry Studio теперь поддерживает интеграцию с Ollama, позволяя вам в привычном интерфейсе напрямую взаимодействовать с локально развернутой LLM без необходимости полагаться на облачные сервисы!

Что такое Ollama?

Ollama — это инструмент, упрощающий развертывание и использование больших языковых моделей (LLM). Он обладает следующими особенностями:

• Локальный запуск: Модель полностью работает на вашем локальном компьютере, без необходимости подключения к интернету, что защищает вашу конфиденциальность и безопасность данных.
• Простота использования: С помощью простых команд в командной строке можно скачивать, запускать и управлять различными LLM.
• Богатый выбор моделей: Поддерживает многие популярные открытые модели, такие как Llama 2, Deepseek, Mistral, Gemma и другие.
• Кроссплатформенность: Поддерживает системы macOS, Windows и Linux.
• Открытый API：Поддерживает интерфейсы, совместимые с OpenAI, и может интегрироваться с другими инструментами.

Зачем использовать Ollama в Cherry Studio?

• Без облачных сервисов: Больше не нужно ограничиваться квотами и расходами облачного API — в полной мере используйте мощные возможности локальной LLM.
• Конфиденциальность данных: Все ваши данные переписки остаются локально, без риска утечки конфиденциальной информации.
• Работает офлайн: Даже без подключения к сети вы сможете продолжать взаимодействовать с LLM.
• Настраиваемость: Вы можете выбрать и настроить наиболее подходящую для вас LLM в соответствии со своими потребностями.

Настройка Ollama в Cherry Studio

1. Установите и запустите Ollama

Сначала вам нужно установить и запустить Ollama на вашем компьютере. Выполните следующие шаги:

• Скачайте Ollama: Перейдите на официальный сайт Ollama (https://ollama.com/), и скачайте соответствующий установочный пакет для вашей операционной системы. В Linux можно напрямую установить ollama с помощью команды:

  curl -fsSL https://ollama.com/install.sh | sh

• Установите Ollama: Следуйте указаниям установщика, чтобы завершить установку.
• Скачайте модель: Откройте терминал (или командную строку) и используйте ollama run команду, чтобы скачать модель, которую вы хотите использовать. Например, чтобы скачать модель Llama 2, можно выполнить:

  ollama run llama3.2

  Ollama автоматически скачает и запустит эту модель.
• Оставьте Ollama запущенной: Во время взаимодействия с моделью Ollama в Cherry Studio убедитесь, что Ollama остается запущенной.

2. Добавьте провайдера Ollama в Cherry Studio

Далее добавьте Ollama в Cherry Studio как пользовательского AI-провайдера:

• Откройте настройки: На левой боковой панели интерфейса Cherry Studio нажмите «Настройки» (значок шестерёнки).
• Перейдите в раздел моделей: На странице настроек выберите вкладку «Сервисы моделей».
• Добавьте провайдера: Нажмите на Ollama в списке.

3. Настройте провайдера Ollama

В списке провайдеров найдите только что добавленный Ollama и выполните подробную настройку:

1. Статус включения:

   • Убедитесь, что переключатель справа от провайдера Ollama включён, что означает активацию.
2. API-ключ:

   • Ollama по умолчанию не требует API-ключа. Вы можете оставить это поле пустым или ввести любое значение.
3. Адрес API:

   • Укажите локальный адрес API, предоставляемый Ollama. Обычно адрес такой:

     http://localhost:11434/

     Если вы изменили порт, внесите соответствующие изменения.
4. Время активности: Этот параметр задает время сохранения сеанса, в минутах. Если в течение заданного времени не будет новых сообщений, Cherry Studio автоматически отключит соединение с Ollama, освобождая ресурсы.
5. Управление моделями:

   • Нажмите кнопку «+ Добавить», чтобы вручную добавить названия моделей, уже загруженных в Ollama.
   • Например, если вы уже через ollama run llama3.2 скачали llama3.2 модель, то здесь можно указать llama3.2
   • Нажав кнопку «Управление», вы можете редактировать или удалять добавленные модели.

Начните использовать

После завершения настройки вы сможете в чате Cherry Studio выбрать провайдера Ollama и загруженную модель и начать общение с локальной LLM!

Советы и подсказки

• Первый запуск модели: При первом запуске какой-либо модели Ollama необходимо скачать файлы модели, что может занять довольно много времени. Пожалуйста, подождите.
• Просмотр доступных моделей: Выполните в терминале ollama list команду, чтобы посмотреть список загруженных вами моделей Ollama.
• Требования к оборудованию: Для работы больших языковых моделей требуются определённые вычислительные ресурсы (CPU, память, GPU); убедитесь, что конфигурация вашего компьютера соответствует требованиям модели.
• Документация Ollama: можно нажать на Просмотреть документацию и модели Ollama ссылку, чтобы быстро перейти к документации на официальном сайте Ollama.

---

Получить помощь и отправить отзыв

Если у вас в процессе настройки или использования возникнут какие-либо вопросы, баги или предложения по улучшению функций, пожалуйста, обратитесь к Отзывы и предложения официальным каналам, указанным там.