Ollama
Ollama запускает LLMs локально на вашем VPS. Скачайте и разверните Llama 3, Mistral, Phi, Gemma и Qwen одной командой. AI на собственном сервере без ключа API, REST API совместим с OpenAI-клиентами. Самый простой способ организовать приватный инференс — им пользуются более 200 000 разработчиков.
Кратко
Лицензия MIT Версия Latest OS Ubuntu Server 24.04 LTS Min RAM 8 GB IP IPV4,IPV6
Активные установки — пример данных (предпросмотр); реальная метрика будет подключена до запуска.
