Ollama

Ollama führt LLMs lokal auf deinem VPS aus. Llama 3, Mistral, Phi, Gemma und Qwen mit einem Befehl laden und bereitstellen. Self-hosted AI ohne API-Key, REST API-kompatibel mit OpenAI-Clients. Der direkteste Weg zu privater Inferenz – genutzt von über 200.000 Entwicklern.