LiteLLM

LiteLLM è un gateway AI che chiama oltre 100 API di LLM in formato OpenAI, con monitoraggio dei costi, bilanciamento del carico, guardrail e logging. Un solo URL di base copre Bedrock, Azure, Anthropic, VertexAI e vLLM. Oltre 56.700 stelle su GitHub.

In breve

56.7k

Stelle su GitHub

Visualizzazioni di pagina

Versione 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

Esegui il deploy di LiteLLM su un VPS ← Tutte le app

Accesso

Apri la dashboard di LiteLLM: http://<SERVER_IP>:4000/ui

Accedi con:

Nome utente: admin
Password: LITELLM_MASTER_KEY da /root/litellm/.env

Recupera la password:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

File e directory importanti

Percorso di installazione: /root/litellm
File Compose: /root/litellm/docker-compose.yml
File di ambiente: /root/litellm/.env
Dati PostgreSQL: /var/lib/docker/volumes/litellm_postgres_data

Gestione di Docker

Visualizzare lo stato:

docker ps

Visualizza i log:

cd /root/litellm
docker compose logs -f

Riavvia i servizi:

cd /root/litellm
docker compose restart

Arrestare i servizi:

cd /root/litellm
docker compose down

Avviare i servizi:

cd /root/litellm
docker compose up -d

Altro in Self hosted

App correlate.

9Router

Ackee

Actual

AFFiNE

Installa LiteLLM ora. Da 2,48 $/mese.

Distribuisci una VPS Vedi tutti i piani