Ollama

Ollama запускает LLMs локально на вашем VPS. Скачайте и разверните Llama 3, Mistral, Phi, Gemma и Qwen одной командой. AI на собственном сервере без ключа API, REST API совместим с OpenAI-клиентами. Самый простой способ организовать приватный инференс — им пользуются более 200 000 разработчиков.