Ollama

Ollama は LLM を VPS 上でローカル実行できるツールです。Llama 3、Mistral、Phi、Gemma、Qwen をコマンド一発で取得・配信。API キー不要のセルフホスト AI で、OpenAI クライアントとも REST API 互換。プライベート推論への最短ルートとして、200,000 人以上の開発者が利用しています。