Ollama

Ollama 係一款優秀嘅開源工具，令你可以喺本地輕鬆運行同管理各種大型語言模型（LLMs）。Cherry Studio 現已支援 Ollama 整合，令你可以喺熟悉嘅界面中，直接同本地部署嘅 LLM 互動，唔使依賴雲端服務！

乜嘢係 Ollama？

Ollama 係一個簡化大型語言模型（LLM）部署同使用嘅工具。佢有以下特點：

• 本地運行： 模型完全喺你本地電腦上運行，唔使連網，保護你嘅私隱同數據安全。
• 簡單易用： 透過簡單嘅命令列指令，即可下載、運行同管理各種 LLM。
• 模型豐富： 支援 Llama 2、Deepseek、Mistral、Gemma 等多種流行嘅開源模型。
• 跨平台： 支援 macOS、Windows 同 Linux 系統。
• 開放 API：支援同 OpenAI 相容嘅介面，可以同其他工具整合。

點解要喺 Cherry Studio 入面使用 Ollama？

• 唔使雲端服務： 唔再受限於雲端 API 嘅配額同費用，盡情體驗本地 LLM 嘅強大功能。
• 數據私隱： 你所有對話數據都會保留喺本地，唔使擔心私隱洩露。
• 離線可用： 就算冇網絡連接嘅情況下，都可以繼續同 LLM 互動。
• 自訂化： 可以根據你嘅需要，選擇同配置最適合你嘅 LLM。

喺 Cherry Studio 中配置 Ollama

1. 安裝同運行 Ollama

首先，你需要喺你嘅電腦上安裝同運行 Ollama。請按照以下步驟操作：

• 下載 Ollama： 瀏覽 Ollama 官網（https://ollama.com/），根據你嘅操作系統下載對應嘅安裝包。 喺 Linux 下，可以直接執行命令安裝 ollama：

  curl -fsSL https://ollama.com/install.sh | sh

• 安裝 Ollama： 按照安裝程式嘅指引完成安裝。
• 下載模型： 打開終端機（或命令提示字元），使用 ollama run 命令下載你想用嘅模型。例如，要下載 Llama 2 模型，可以執行：

  ollama run llama3.2

  Ollama 會自動下載並運行該模型。
• 保持 Ollama 運行： 喺你使用 Cherry Studio 同 Ollama 模型互動期間，請確保 Ollama 保持運行狀態。

2. 喺 Cherry Studio 中添加 Ollama 服務商

跟住，喺 Cherry Studio 中添加 Ollama 做為自訂 AI 服務商：

• 打開設定： 喺 Cherry Studio 界面左側導航欄中，撳「設定」（齒輪圖示）。
• 進入模型服務： 喺設定頁面中，選擇「模型服務」分頁。
• 添加提供商： 撳列表入面嘅 Ollama。

3. 配置 Ollama 服務商

喺服務商列表中搵返啱啱添加嘅 Ollama，並進行詳細配置：

1. 啟用狀態：

   • 確保 Ollama 服務商最右側嘅開關已經開咗，表示已啟用。
2. API 金鑰：

   • Ollama 預設 唔需要 API 金鑰。你可以將呢個欄位留空，或者填寫任何內容。
3. API 地址：

   • 填寫 Ollama 提供嘅本地 API 地址。通常情況下，地址係：

     http://localhost:11434/

     如果改咗埠口，請自行更改。
4. 保持活躍時間： 呢個選項係設定會話嘅保持時間，單位係分鐘。如果喺設定時間內冇新對話，Cherry Studio 會自動斷開同 Ollama 嘅連線，釋放資源。
5. 模型管理：

   • 撳「+ 添加」按鈕，手動添加你喺 Ollama 入面已經下載嘅模型名稱。
   • 例如你已經透過 ollama run llama3.2 下載咗 llama3.2 模型，咁呢度可以填入 llama3.2
   • 撳「管理」按鈕，可以對已添加嘅模型進行編輯或刪除。

開始使用

完成以上配置後，你就可以喺 Cherry Studio 嘅聊天界面中，選擇 Ollama 服務商同你已下載嘅模型，開始同本地 LLM 對話喇！

技巧同提示

• 首次運行模型： 第一次運行某個模型時，Ollama 需要下載模型檔案，可能要較長時間，請耐心等候。
• 查看可用模型： 喺終端機中執行 ollama list 命令，可以查看你已下載嘅 Ollama 模型列表。
• 硬件要求： 運行大型語言模型需要一定嘅計算資源（CPU、內存、GPU），請確保你嘅電腦配置符合模型要求。
• Ollama 文檔：可以撳配置頁面入面嘅 查看Ollama文檔和模型 連結快速跳轉至 Ollama 官網文檔。

---

攞幫助同提交意見

如果您喺配置或使用過程中遇到任何疑問、Bug 或有功能改善建議，請參考 反饋與建議 入面提供嘅官方渠道。