Ollama

Ollama 在你的 VPS 上本地运行 LLM。一条命令即可拉取并部署 Llama 3、Mistral、Phi、Gemma 和 Qwen。无需 API 密钥，兼容 OpenAI 客户端，REST API 可直接接入。私有推理的最简方案，已有 20 万余名开发者在用。