Ollama

Az Ollama helyi LLM-eket futtat a VPS-en. Húzza ki és szolgálja ki Llama 3-at, Mistral-t, Phit, Gemmát és Qwent egyetlen paranccsal. Önkiszolgáló AI API-kulcs nélkül, OpenAI-kliensekkel kompatibilis REST API. A privát következtetés legegyszerűbb módja, több mint 200 000 fejlesztő használja.