Ollama

Ollama kører LLM'er lokalt på din VPS. Træk og server Llama 3, Mistral, Phi, Gemma og Qwen med én kommando. Selvhostet AI uden en API-nøgle, REST API kompatibel med OpenAI-klienter. Den enkleste vej til privat slutning, brugt af 200.000+ udviklere.