Ollama

Ollama kører LLMs lokalt på din VPS. Hent og server Llama 3, Mistral, Phi, Gemma og Qwen med én kommando. Self-hosted AI uden en API-nøgle, REST API-kompatibel med OpenAI-klienter. Den direkte vej til privat inferens, brugt af 200.000+ udviklere.