Ollama

Ollama menjalankan LLM secara lokal di VPS Anda. Pull dan sajikan Llama 3, Mistral, Phi, Gemma, dan Qwen hanya dengan satu perintah. AI yang di-host sendiri tanpa API key API, kompatibel dengan REST API dan klien OpenAI. Cara paling mudah untuk inferensi privat, digunakan oleh lebih dari 200.000 developer.