Ollama

Ollama executa LLMs localmente no seu VPS. Baixe e sirva Llama 3, Mistral, Phi, Gemma e Qwen com um único comando. AI self-hosted sem chave de API, REST API compatível com clientes OpenAI. O caminho mais direto para inferência privada, usado por mais de 200.000 desenvolvedores.