LiteLLM

LiteLLM adalah gateway AI yang memanggil 100+ API LLM dalam format OpenAI, lengkap dengan pelacakan biaya, load balancing, guardrail, dan logging. Satu base URL mencakup Bedrock, Azure, Anthropic, VertexAI, dan vLLM. 56.700+ bintang GitHub.

Sekilas

56.7k

Bintang GitHub

Tampilan halaman

Versi 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

Deploy LiteLLM di sebuah VPS ← Semua aplikasi

Akses

Buka dasbor LiteLLM: http://<SERVER_IP>:4000/ui

Masuk dengan:

Nama pengguna: admin
Kata sandi: LITELLM_MASTER_KEY dari /root/litellm/.env

Ambil kata sandinya:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

File dan Direktori Penting

Jalur instalasi: /root/litellm
File Compose: /root/litellm/docker-compose.yml
File Lingkungan: /root/litellm/.env
Data PostgreSQL: /var/lib/docker/volumes/litellm_postgres_data

Manajemen Docker

Lihat status:

docker ps

Lihat log:

cd /root/litellm
docker compose logs -f

Mulai ulang layanan:

cd /root/litellm
docker compose restart

Hentikan layanan:

cd /root/litellm
docker compose down

Jalankan layanan:

cd /root/litellm
docker compose up -d

Lebih banyak di Self Hosted

Aplikasi terkait.

9Router

Ackee

Actual

AFFiNE

Deploy LiteLLM sekarang. Mulai $2,48/bln.

Deploy sebuah VPS Lihat semua paket