Ollama

Az Ollama helyileg futtat LLM-okat a VPS-eden. Llama 3, Mistral, Phi, Gemma és Qwen modellek egyetlen paranccsal tölthetők be és szolgáltathatók. Saját üzemeltetésű AI API kulcs nélkül, REST API kompatibilis az OpenAI kliensekkel. A legegyszerűbb út a privát inferenciához – több mint 200 000 fejlesztő használja.