Ollama

Ollama executa LLMs localmente em seu VPS. Puxe e sirva Llama 3, Mistral, Phi, Gemma e Qwen com um comando. IA auto-hospedada sem chave de API, API REST compatível com clientes OpenAI. O caminho mais simples para inferência privada, usado por mais de 200.000 desenvolvedores.