Ugrás a fő tartalomra
50% kedvezmény minden csomagra, korlátozott ideig. Már $2.48/mo
LiteLLM

LiteLLM

A LiteLLM egy AI-átjáró, amely több mint 100 LLM API-t hív OpenAI-formátumban, költségkövetéssel, terheléselosztással, korlátokkal és naplózással. Egyetlen alap-URL fedi le a Bedrock, Azure, Anthropic, VertexAI és vLLM szolgáltatásokat. Több mint 56 700 GitHub-csillag.

Egy pillantásra

56.7k

GitHub-csillagok

1

Oldalmegtekintések

Verzió 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

Hozzáférés

Nyissa meg a LiteLLM irányítópultját: http://<SERVER_IP>:4000/ui

Jelentkezzen be ezzel:

  • Felhasználónév: admin
  • Jelszó: LITELLM_MASTER_KEY től /root/litellm/.env

Kérd le a jelszót:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

Fontos fájlok és könyvtárak

  • Telepítési útvonal: /root/litellm
  • Compose fájl: /root/litellm/docker-compose.yml
  • Környezeti fájl: /root/litellm/.env
  • PostgreSQL adatok: /var/lib/docker/volumes/litellm_postgres_data

Docker kezelése

Állapot megtekintése:

docker ps

Naplók megtekintése:

cd /root/litellm
docker compose logs -f

Szolgáltatások újraindítása:

cd /root/litellm
docker compose restart

Szolgáltatások leállítása:

cd /root/litellm
docker compose down

Szolgáltatások indítása:

cd /root/litellm
docker compose up -d

Több az Önállóan üzemeltetett kategóriában

Kapcsolódó alkalmazások.

LiteLLM telepítése most. Már 2,48 $/hó-tól.