suy luận LLM
Phục vụ Llama 3, Mistral, DeepSeek hoặc Qwen với vLLM hoặc Suy luận tạo văn bản. RTX 4090 xử lý 70B ở 4 bit, RTX 5090 xử lý 70B ở 8 bit, A100 xử lý không lượng tử hóa.
Lưu trữ VPS GPU
RTX 6000 Pro. A100. RTX 5090.
Dành riêng, không cắt lát.
Thông qua GPU đầy đủ. RTX 6000 Pro, A100, RTX 5090, RTX 4090. Đã cài đặt sẵn CUDA, cuDNN, PyTorch.
Mạng NVMe + 40 Gbps. Đám mây độc lập từ năm 2008.
Khởi điểm từ $506.35/mo · Giảm 35% hàng năm · Không cần thẻ tín dụng
~ ssh root@gpu-train-001
đã kết nối
root@gpu-train-001:~# nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
name, memory.total, driver_version
NVIDIA RTX 6000 Pro, 49152 MiB, 560.94
root@gpu-train-001:~# python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"
True NVIDIA RTX 6000 Pro
root@gpu-train-001:~# python train.py --model llama-3-8b --epochs 3
→ Training step 1/2400 · 4.2s/step · loss=2.143
root@gpu-train-001:~# _
Sơ lược về GPU VPS
Cloudzy bán các gói GPU VPS chuyên dụng RTX 6000 Pro, Nvidia A100, RTX 5090, Và RTX 4090 thẻ trong 1× đến 4× cấu hình, bắt đầu từ $506.35 per month. Mỗi gói đều được cài đặt sẵn phiên bản mới nhất CUDA, cuDNN, và trình điều khiển Nvidia, chạy trên AMD EPYC + DDR5 với Chỉ dành cho NVMe lưu trữ và 40 Gbps đường lên và các quy định trong 60 giây. GPU là chuyển tiếp chuyên dụng, không phải vGPU, không MIG, không chia sẻ. Cloudzy đã hoạt động độc lập kể từ 2008 và được đánh giá 4.6 / 5 by 713+ reviewers trên Trustpilot.
- Giá khởi điểm
- $506.35 / mo
- các loại GPU
- 6000 Pro · A100 · 5090 · 4090
- Cấu hình
- 1× đến 4×
- CUDA
- Được cài đặt sẵn
- Giảm giá hàng năm
- giảm giá 35%
- Hoàn tiền
- 14 ngày
Tại sao các đội ML chọn Cloudzy
GPU tính toán cách không nhàm chán.
Bốn lý do khiến các nhóm chuyển sang Cloudzy từ GPU AWS / GCP / hyperscaler.
Thông qua GPU chuyên dụng
Card vật lý đầy đủ là của bạn, không cắt vGPU, không phân vùng MIG, không tranh chấp với người thuê khác. Các lõi CUDA, VRAM, làn PCIe, tất cả đều chuyên dụng.
Hình ảnh sẵn sàng cho CUDA
Trình điều khiển Nvidia mới nhất, bộ công cụ CUDA và cuDNN được cài sẵn vào hình ảnh Ubuntu. PyTorch, TensorFlow, JAX, Hugging Face, cài đặt pip và bạn đang đào tạo.
NVMe + 40Gbps
Bộ lưu trữ NVMe thuần túy nên việc tải tập dữ liệu không phải là trở ngại. Kết nối mạng 40 Gbps có nghĩa là mô hình Ôm Mặt 100 GB sẽ kết thúc sau vài giây chứ không phải vài phút.
Hỗ trợ con người 24/7
Kỹ sư thực sự trên trò chuyện. Chúng tôi đã giúp đủ nhóm thiết lập chương trình đào tạo đa GPU, gỡ lỗi CUDA OOM và điều chỉnh suy luận Llama để có câu trả lời nhanh chóng.
Dòng GPU
Bốn gia đình.
Chín cách để mở rộng quy mô.
RTX 6000 Pro để suy luận và hiển thị cấp độ chuyên nghiệp với 48 GB ECC VRAM. A100 dành cho đào tạo và khối lượng công việc VRAM lớn. RTX 5090 để có suy luận mới nhất. RTX 4090 để suy luận hiệu quả về mặt chi phí lên tới 70B (4-bit). Có sẵn các gói Multi-GPU, hãy chọn ngân sách VRAM của bạn cần bao nhiêu.
Truyền qua GPU đầy đủ, không bị cắt, không được chia sẻ
RTX 6000 Pro
48 GB GDDR6 ECC · Pro-grade
Nvidia A100
80 GB HBM2e · ML training
RTX 5090
32 GB GDDR7 · Blackwell
RTX 4090
24 GB GDDR6X · cost-effective
GPU 1× đến 4×
Có sẵn gói đa GPU
CUDA được cài đặt sẵn
PyTorch · TF · JAX đã sẵn sàng
NVMe thuần túy
I/O tập dữ liệu nhanh
40 Gbps uplink
Kéo các mô hình 100 GB trong 30 giây
Trường hợp sử dụng
Khối lượng công việc của chúng tôi
khách hàng thực sự đào tạo.
Khuếch tán ổn định · gen hình ảnh
Chạy các điểm kiểm tra Khuếch tán ổn định SDXL, Flux hoặc được tinh chỉnh với ComfyUI hoặc Automation1111. RTX 4090 đạt hơn 30 hình ảnh/phút trên 1024×1024 SDXL tiêu chuẩn.
Đào tạo ML + tinh chỉnh
LoRA, QLoRA, tinh chỉnh đầy đủ. A100 là điểm phù hợp cho việc tinh chỉnh không lượng tử hóa 7B-13B; 4× A100 xử lý lên tới 70B với khả năng phân chia thích hợp (FSDP / DeepSpeed).
Kết xuất 3D · Máy xay sinh tố
Cycles + OptiX trên thẻ RTX là con đường nhanh nhất cho các xưởng phim hoạt hình. VRAM 24 GB trên RTX 4090 đáp ứng phần lớn các cảnh sản xuất khung hình đơn.
Đường dẫn lời nói + tầm nhìn
Thì thầm lớn, thì thầm nhanh hơn, YOLO, phân đoạn bất cứ điều gì. Ngay cả gói RTX 4090 cũng chạy suy luận theo thời gian thực trên những mẫu máy này với khoảng không gian thoải mái.
Công việc hàng loạt kéo dài
Nhúng thế hệ, đường dẫn truy xuất, tiền xử lý dữ liệu. Trả lương theo giờ, chạy công việc, chụp nhanh đầu ra, hủy hộp, rẻ hơn so với thuê AWS/GCP cho cùng một khối lượng công việc.
80 GB
VRAM A100
40 Gbps
Đường lên
CUDA đã sẵn sàng
Hình ảnh
4 ×
GPU tối đa
35%
Nghỉ hàng năm
14 ngày
Hoàn tiền
Định giá
Các gói GPU nổi bật. Hàng giờ hoặc hàng năm.
Thanh toán hàng năm hiện tại là giảm giá 35% trên mọi gói GPU.
Phổ biến nhất
1× RTX 6000 Pro
48 GB GDDR6 ECC VRAM
$845 /tháng
$1300/mo -35%
Triển khai ngay
Hoàn tiền trong 14 ngày
- 200 GB DDR5
- 24 vCPU
- 1.3 TB NVMe NVMe
- 20 TB · 40 Gbps
- CUDA được cài đặt sẵn
Câu hỏi thường gặp. VPS GPU
Câu hỏi thường gặp, câu trả lời thẳng thắn.
Cloudzy cung cấp những GPU nào?
Bốn dòng: RTX 6000 Pro (1×, 48 GB GDDR6 ECC VRAM, cấp độ chuyên nghiệp cho suy luận và kết xuất), Nvidia A100 (1× / 2× / 4×, dành cho đào tạo ML, khối lượng công việc fp16/bf16 và 80 GB HBM2e trên mỗi thẻ), RTX 5090 (1× / 2×, kiến trúc Blackwell mới hơn, lý tưởng cho suy luận khối lượng công việc và kết xuất) và RTX 4090 (1× / 2× / 4×, tiết kiệm chi phí cho Khuếch tán ổn định, suy luận LLM và kết xuất 3D).
GPU được dành riêng hay chia sẻ?
Tận tụy. Mỗi gói là sự chuyển tiếp của (các) GPU vật lý đầy đủ, không phải một lát, không phải vGPU, không phải MIG. Các lõi CUDA, VRAM, băng thông PCIe, tất cả đều là của bạn. Các gói Multi-GPU sử dụng NVLink trong đó phần cứng vật lý hỗ trợ nó (các gói A100 multi-GPU).
CUDA có được cài đặt sẵn không?
Đúng. Mỗi VPS GPU đều được trang bị bộ công cụ CUDA ổn định mới nhất, cuDNN và trình điều khiển Nvidia được cài sẵn vào hình ảnh Ubuntu. PyTorch, TensorFlow, JAX và ngăn xếp Ôm Mặt đã hết hộp. Bạn có thể tạo lại hình ảnh cho Ubuntu sạch mà không cần CUDA nếu bạn muốn cài đặt một phiên bản cụ thể.
Tôi nhận được bao nhiêu VRAM?
Mỗi GPU: RTX 6000 Pro = 48 GB GDDR6 ECC, A100 = 80 GB HBM2e, RTX 5090 = 32 GB GDDR7, RTX 4090 = 24 GB GDDR6X. Các gói Multi-GPU tổng hợp rằng, gói 4× A100 có tổng VRAM là 320 GB. Danh sách gói ở trên hiển thị riêng RAM hệ thống.
Tôi có thể chạy Stable Diffusion/Llama/Whisper trên VPS GPU không?
Đúng. Gói 1× RTX 4090 là điểm khởi đầu tốt: đủ VRAM cho suy luận SDXL, Llama 3 70B (lượng tử hóa 4 bit) hoặc Whisper Large. Hãy chuyển sang RTX 5090 hoặc A100 nếu bạn cần chạy các mô hình 70B không được lượng tử hóa hoặc huấn luyện LoRA.
Giá cả so với AWS / Google Cloud / Lambda Labs như thế nào?
Nhìn chung, rẻ hơn đối với khối lượng công việc ở trạng thái ổn định, chúng tôi không phân biệt giá giữa 'theo yêu cầu' và 'giao ngay' và chúng tôi không tính phí đầu ra. Chúng tôi sẽ không trích dẫn số liệu của đối thủ cạnh tranh (những số liệu này thay đổi hàng tháng). Bảo đảm hoàn lại tiền trong 14 ngày cho phép bạn A/B so với nhà cung cấp hiện tại bằng điểm chuẩn của riêng bạn.
Có giảm giá hàng năm không?
Có, giảm 35% khi thanh toán hàng năm cho mỗi gói GPU (thấp hơn mức 50% của CPU thông thường vì phần cứng GPU có chi phí khấu hao cao hơn). Không tự động gia hạn; bạn sẽ nhận được hóa đơn trước mỗi chu kỳ hàng năm để bạn có thể hạ cấp, nâng cấp hoặc hủy mà không bị tính phí bất ngờ.
Còn mạng thì sao? Có thực sự là 40 Gbps?
Đúng. Đường liên kết lên có tốc độ 40 Gbps tương tự như Cloud VPS hàng đầu của chúng tôi, không tính phí chuyển khoản hàng tháng lên đến mức cho phép của gói. Hữu ích khi di chuyển các tập dữ liệu lớn vào và ra khỏi nút GPU, việc kéo mô hình Khuôn mặt ôm 100 GB mất khoảng 30 giây ở tốc độ đường truyền.
Tôi có thể chạy đào tạo nhiều nút (nhiều GPU VPS cùng nhau) không?
Có trong một khu vực. VPS trong cùng một trung tâm dữ liệu chia sẻ mạng cục bộ với độ trễ dưới một phần nghìn giây. Chúng tôi hiện không cung cấp kết nối InfiniBand, đào tạo nhiều nút qua Ethernet tiêu chuẩn phù hợp cho các công việc tinh chỉnh và phân tán quy mô nhỏ nhưng không cạnh tranh với HPC kim loại trần cho đào tạo trước quy mô lớn.
Đảm bảo hoàn lại tiền cho các gói GPU?
14 ngày không có câu hỏi nào được hỏi. Hoàn tiền trong một chu kỳ thanh toán. Có nhiều thời gian để đánh giá thông lượng CUDA, thực hiện bước đào tạo thực tế và quyết định xem Cloudzy có phù hợp với khối lượng công việc của bạn hay không.
Ngừng trả giá siêu tỷ lệ.
Đào tạo trên GPU chuyên dụng.
Chọn một thẻ, chọn một khu vực, nhấp chuột. CUDA đã được cài đặt.
Không cần thẻ tín dụng · Hoàn tiền trong 14 ngày · Hủy bất cứ lúc nào