본문으로 건너뛰기
50% 할인 모든 플랜, 기간 한정. 시작 가격 $2.48/mo
Ollama

Ollama

Ollama는 VPS에서 LLM를 로컬로 실행합니다. 명령어 하나로 Llama 3, Mistral, Phi, Gemma, Qwen을 불러와 서빙할 수 있습니다. API 키 없이 직접 호스팅하는 AI이며, OpenAI 클라이언트와 REST API 호환됩니다. 프라이빗 추론을 위한 가장 간단한 방법으로, 200,000명 이상의 개발자가 사용하고 있습니다.

한눈에 보기

175k

GitHub 스타

29

페이지 조회수

324

활성 설치

라이선스 MIT 버전 Latest OS Ubuntu Server 24.04 LTS Min RAM 8 GB IP IPV4,IPV6

활성 설치 수는 샘플 데이터(미리보기)입니다. 출시 전 실제 지표로 교체됩니다.

설치된 구성 요소

  1. Ollama → 로컬에서 LLM을 실행하기 위한 가볍고 확장 가능한 프레임워크.
  2. Open WebUI → Ollama와 상호작용하기 위한 웹 인터페이스.

설치 디렉토리

Open WebUI용 Docker Compose 파일 위치:

/root/open-webui/docker-compose.yml

systemd 서비스의 작업 디렉터리: /root/open-webui

접근 정보

웹 인터페이스:

  • Open WebUI: http://<server-ip>:8080
  • UI가 시작되기까지 몇 분 정도 걸릴 수 있습니다.
  • 초기 설정을 완료하고 관리자 사용자를 생성하려면 일찍 접근하세요.

Ollama API:

  • 기본 URL: http://127.0.0.1:11434
  • 서버 내부에서 로컬로 접근 가능합니다.

Ollama 사용법

터미널에서 이 명령들을 직접 실행하세요:

# Pull a model
ollama pull <model_name>

# Run a model
ollama run <model_name>

예시:

ollama pull llama3.1
ollama run llama3.1

서비스 관리

# Open WebUI
systemctl status open-webui
systemctl restart open-webui

# Ollama
systemctl status ollama
systemctl restart ollama

데이터 사이언스 더 보기

관련 앱.

지금 Ollama를 배포하세요. 월 $2.48부터.