Ollama

Ollama spouští LLMy lokálně na vašem VPS. Stáhněte a provozujte Llama 3, Mistral, Phi, Gemma a Qwen jediným příkazem. AI na vlastním serveru bez API klíče, REST API kompatibilní s OpenAI klienty. Nejpřímější cesta k soukromé inferenci, kterou používá přes 200 000 vývojářů.