Ollama

Ollama exécute LLMs en local sur votre VPS. Téléchargez et servez Llama 3, Mistral, Phi, Gemma et Qwen en une seule commande. AI auto-hébergée sans clé API, REST API compatible avec les clients OpenAI. La solution la plus directe pour l'inférence privée, adoptée par plus de 200 000 développeurs.