跳至主要内容
五折优惠 全部方案,限时优惠。起价 $2.48/mo
Ollama

Ollama

Ollama 在你的 VPS 上本地运行 LLM。一条命令即可拉取并部署 Llama 3、Mistral、Phi、Gemma 和 Qwen。无需 API 密钥,兼容 OpenAI 客户端,REST API 可直接接入。私有推理的最简方案,已有 20 万余名开发者在用。

快速概览

175k

GitHub star 数

31

页面浏览量

许可 MIT 版本 Latest OS Ubuntu Server 24.04 LTS Min RAM 8 GB IP IPV4,IPV6

已安装的组件

  1. Ollama → 一个用于在本地运行 LLM 的轻量、可扩展框架。
  2. Open WebUI → 用于与 Ollama 交互的 Web 界面。

安装目录

Open WebUI 的 Docker Compose 文件位于:

/root/open-webui/docker-compose.yml

systemd 服务的工作目录: /root/open-webui

访问信息

网络界面:

  • Open WebUI: http://<server-ip>:8080
  • UI 启动可能需要几分钟。
  • 尽早访问以完成初始设置并创建管理员用户。

Ollama API:

  • Base URL: http://127.0.0.1:11434
  • 可在服务器内部本地访问。

Ollama 使用

直接在终端中运行以下命令:

# Pull a model
ollama pull <model_name>

# Run a model
ollama run <model_name>

例子:

ollama pull llama3.1
ollama run llama3.1

服务管理

# Open WebUI
systemctl status open-webui
systemctl restart open-webui

# Ollama
systemctl status ollama
systemctl restart ollama

更多数据科学内容

相关应用。

立即部署 Ollama。 起价 $2.48/月。