Gå til hovedindhold
50% rabat alle planer, tidsbegrænset. Fra $2.48/mo
LiteLLM

LiteLLM

LiteLLM er en AI-gateway, der kalder over 100 LLM-API'er i OpenAI-format med omkostningssporing, load balancing, guardrails og logning. Én base-URL dækker Bedrock, Azure, Anthropic, VertexAI og vLLM. Over 56.700 GitHub-stjerner.

Overblik

56.7k

GitHub-stjerner

1

Sidevisninger

Udgave 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

Adgang

Åbn LiteLLM-dashboardet: http://<SERVER_IP>:4000/ui

Log ind med:

  • Brugernavn: admin
  • Adgangskode: LITELLM_MASTER_KEY fra /root/litellm/.env

Hent adgangskoden:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

Vigtige filer og mapper

  • Installationssti: /root/litellm
  • Compose-fil: /root/litellm/docker-compose.yml
  • Miljøfil: /root/litellm/.env
  • PostgreSQL-data: /var/lib/docker/volumes/litellm_postgres_data

Docker-administration

Se status:

docker ps

Se logs:

cd /root/litellm
docker compose logs -f

Genstart tjenester:

cd /root/litellm
docker compose restart

Stop tjenester:

cd /root/litellm
docker compose down

Start tjenester:

cd /root/litellm
docker compose up -d

Mere i Self-hosted

Relaterede apps.

Deploy LiteLLM nu. Fra 2,48 $/md.