Ollama

Ollama esegue LLM localmente sul tuo VPS. Tira e servi Llama 3, Mistral, Phi, Gemma e Qwen con un solo comando. IA self-hosted senza chiave API, API REST compatibile con i client OpenAI. Il percorso più semplice per l'inferenza privata, utilizzato da oltre 200.000 sviluppatori.