Przejdź do treści głównej
50% zniżki wszystkie plany, oferta limitowana. Od $2.48/mo
LiteLLM

LiteLLM

LiteLLM to brama AI, która wywołuje ponad 100 API modeli LLM w formacie OpenAI, z monitorowaniem kosztów, równoważeniem obciążenia, mechanizmami zabezpieczeń i logowaniem. Jeden podstawowy adres URL obsługuje Bedrock, Azure, Anthropic, VertexAI i vLLM. Ponad 56 700 gwiazdek na GitHubie.

Na pierwszy rzut oka

56.7k

Gwiazdki na GitHub

1

Wyświetlenia strony

Wersja 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

Dostęp

Otwórz panel LiteLLM: http://<SERVER_IP>:4000/ui

Zaloguj się za pomocą:

  • Nazwa użytkownika: admin
  • Hasło: LITELLM_MASTER_KEY z /root/litellm/.env

Pobierz hasło:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

Ważne pliki i katalogi

  • Ścieżka instalacji: /root/litellm
  • Plik Compose: /root/litellm/docker-compose.yml
  • Plik środowiskowy: /root/litellm/.env
  • Dane PostgreSQL: /var/lib/docker/volumes/litellm_postgres_data

Zarządzanie Dockerem

Wyświetl stan:

docker ps

Zobacz logi:

cd /root/litellm
docker compose logs -f

Uruchom ponownie usługi:

cd /root/litellm
docker compose restart

Zatrzymaj usługi:

cd /root/litellm
docker compose down

Uruchom usługi:

cd /root/litellm
docker compose up -d

Więcej w Self-hosted

Powiązane aplikacje.

Wdróż LiteLLM teraz. Od $2,48/mies.