Ollama

Ollama는 VPS에서 LLM를 로컬로 실행합니다. 명령어 하나로 Llama 3, Mistral, Phi, Gemma, Qwen을 불러와 서빙할 수 있습니다. API 키 없이 직접 호스팅하는 AI이며, OpenAI 클라이언트와 REST API 호환됩니다. 프라이빗 추론을 위한 가장 간단한 방법으로, 200,000명 이상의 개발자가 사용하고 있습니다.