올라마

Ollama는 VPS에서 로컬로 LLM을 실행합니다. 명령 하나로 Llama 3, Mistral, Phi, Gemma, Qwen을 끌어서 서빙하세요. API 키가 없는 자체 호스팅 AI, OpenAI 클라이언트와 호환되는 REST API. 200,000명 이상의 개발자가 사용하는 비공개 추론에 대한 가장 간단한 경로입니다.