Ollama
Az Ollama helyileg futtat LLM-okat a VPS-eden. Llama 3, Mistral, Phi, Gemma és Qwen modellek egyetlen paranccsal tölthetők be és szolgáltathatók. Saját üzemeltetésű AI API kulcs nélkül, REST API kompatibilis az OpenAI kliensekkel. A legegyszerűbb út a privát inferenciához – több mint 200 000 fejlesztő használja.
Egy pillantásra
Licenc MIT Verzió Latest OS Ubuntu Server 24.04 LTS Min RAM 8 GB IP IPV4,IPV6
Az aktív telepítések mintaadatok (előnézet); az igazi metrika az indítás előtt lesz bekötve.
