Chuyển đến nội dung chính
Giảm 50% tất cả các gói, có thời hạn. Khởi điểm từ $2.48/mo
LiteLLM

LiteLLM

LiteLLM là một cổng AI gọi hơn 100 API LLM theo định dạng OpenAI, kèm theo dõi chi phí, cân bằng tải, guardrail và ghi log. Một base URL duy nhất bao trùm Bedrock, Azure, Anthropic, VertexAI và vLLM. Hơn 56.700 sao GitHub.

Tổng quan

56.7k

Sao GitHub

1

Lượt xem trang

Phiên bản 1.95.1 OS Ubuntu Server 24.04 LTS Min RAM 2 GB IP IPV4,IPV6

Truy cập

Mở bảng điều khiển LiteLLM: http://<SERVER_IP>:4000/ui

Đăng nhập bằng:

  • Tên người dùng: admin
  • Mật khẩu: LITELLM_MASTER_KEY từ /root/litellm/.env

Lấy mật khẩu:

grep '^LITELLM_MASTER_KEY=' /root/litellm/.env

File và thư mục quan trọng

  • Đường dẫn cài đặt: /root/litellm
  • Tệp Compose: /root/litellm/docker-compose.yml
  • Tệp môi trường: /root/litellm/.env
  • Dữ liệu PostgreSQL: /var/lib/docker/volumes/litellm_postgres_data

Quản lý Docker

Xem trạng thái:

docker ps

Xem log:

cd /root/litellm
docker compose logs -f

Khởi động lại các dịch vụ:

cd /root/litellm
docker compose restart

Dừng các dịch vụ:

cd /root/litellm
docker compose down

Khởi động các dịch vụ:

cd /root/litellm
docker compose up -d

Thêm trong Self Hosted

Ứng dụng liên quan.

Triển khai LiteLLM ngay. Từ $2.48/tháng.