본문으로 건너뛰기
50% 할인 모든 플랜, 기간 한정. 시작 가격 $2.48/mo
LiteLLM

LiteLLM

LiteLLM은 100개가 넘는 LLM API를 OpenAI 형식으로 호출하는 AI 게이트웨이로, 비용 추적, 로드 밸런싱, 가드레일, 로깅을 제공합니다. 하나의 기본 URL로 Bedrock, Azure, Anthropic, VertexAI, vLLM을 모두 다룹니다. GitHub 스타 56,700개 이상.

한눈에 보기

56.7k

GitHub 스타

1

페이지 조회수

버전 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

접속

LiteLLM 대시보드를 엽니다: http://<SERVER_IP>:4000/ui

다음 정보로 로그인하세요:

  • 사용자 이름: admin
  • 비밀번호: LITELLM_MASTER_KEY 부터 /root/litellm/.env

비밀번호를 확인하세요:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

중요한 파일 및 디렉토리

  • 설치 경로: /root/litellm
  • Compose 파일: /root/litellm/docker-compose.yml
  • 환경 파일: /root/litellm/.env
  • PostgreSQL 데이터: /var/lib/docker/volumes/litellm_postgres_data

Docker 관리

상태 보기:

docker ps

로그 보기:

cd /root/litellm
docker compose logs -f

서비스 재시작:

cd /root/litellm
docker compose restart

서비스 중지:

cd /root/litellm
docker compose down

서비스 시작:

cd /root/litellm
docker compose up -d

셀프 호스팅의 더 보기

관련 앱.

지금 LiteLLM를 배포하세요. 월 $2.48부터.