LiteLLM

LiteLLM je AI gateway, která volá více než 100 LLM API ve formátu OpenAI, včetně sledování nákladů, load balancingu, guardrails a logování. Jedna základní URL pokrývá Bedrock, Azure, Anthropic, VertexAI a vLLM. Více než 56 700 hvězd na GitHubu.

Na první pohled

56.7k

Hvězdičky na GitHubu

Zobrazení stránky

Verze 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

Nasaďte LiteLLM na VPS ← Všechny aplikace

Přístup

Otevřete dashboard LiteLLM: http://<SERVER_IP>:4000/ui

Přihlaste se pomocí:

Uživatelské jméno: admin
Heslo: LITELLM_MASTER_KEY z /root/litellm/.env

Získejte heslo:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

Důležité soubory a adresáře

Cesta k instalaci: /root/litellm
Soubor Compose: /root/litellm/docker-compose.yml
Soubor prostředí: /root/litellm/.env
Data PostgreSQL: /var/lib/docker/volumes/litellm_postgres_data

Správa Dockeru

Zobrazit stav:

docker ps

Zobrazit logy:

cd /root/litellm
docker compose logs -f

Restartovat služby:

cd /root/litellm
docker compose restart

Zastavit služby:

cd /root/litellm
docker compose down

Spustit služby:

cd /root/litellm
docker compose up -d

Více v Self Hosted

Související aplikace.

9Router

Ackee

Actual

AFFiNE

Nasaďte LiteLLM hned. Od 2,48 $/měs.

Nasadit VPS Zobrazit všechny plány