LiteLLM

LiteLLM — ИИ-шлюз, который вызывает более 100 API языковых моделей в формате OpenAI, с учётом расходов, балансировкой нагрузки, ограничителями и логированием. Один базовый URL охватывает Bedrock, Azure, Anthropic, VertexAI и vLLM. Более 56 700 звёзд на GitHub.

Кратко

56.7k

Звёзды на GitHub

Просмотры страниц

Версия 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

Развернуть LiteLLM на VPS ← Все приложения

Доступ

Откройте панель управления LiteLLM: http://<SERVER_IP>:4000/ui

Войдите, используя:

Имя пользователя: admin
Пароль: LITELLM_MASTER_KEY от /root/litellm/.env

Получите пароль:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

Важные файлы и директории

Путь установки: /root/litellm
Файл Compose: /root/litellm/docker-compose.yml
Файл среды: /root/litellm/.env
Данные PostgreSQL: /var/lib/docker/volumes/litellm_postgres_data

Управление Docker

Просмотр статуса:

docker ps

Посмотреть логи:

cd /root/litellm
docker compose logs -f

Перезапустить службы:

cd /root/litellm
docker compose restart

Остановить службы:

cd /root/litellm
docker compose down

Запустить службы:

cd /root/litellm
docker compose up -d

Ещё в Self Hosted

Развернуть LiteLLM. От $2,48/мес.

Развернуть VPS Все планы

LiteLLM

Похожие приложения.

9Router

Ackee

Actual

AFFiNE

Развернуть LiteLLM. От $2,48/мес.