Sản phẩm của bạn xuất xưởng, nó gọi một API LLM, và hóa đơn cứ nhích lên mỗi tháng. Nên bạn làm cái điều mà rốt cuộc mọi builder đều làm: bạn mở một tab mới và tự hỏi liệu thuê một GPU rồi tự chạy Llama có rẻ hơn không.
Câu hỏi về chi phí tự host LLM có một câu trả lời, nhưng không phải là con số duy nhất mà các kết quả tìm kiếm hàng đầu và AI Overview cứ lặp đi lặp lại. Nó phụ thuộc vào ba thứ mà những bài viết ấy làm phẳng đi: bạn đang so sánh với API nào, GPU của bạn bận rộn đến đâu, và chi phí vận hành mà chẳng ai đưa vào bảng tính.
Đây là phiên bản ngắn trước khi vào chi tiết: với hầu hết các solo builder, tự host hiện tại không thắng về chi phí. Nhưng có một lằn ranh cụ thể nơi cục diện đảo chiều, và bạn có thể tự tính trên hóa đơn của mình trong khoảng hai phút. Bên dưới là phép toán năm 2026 (giá hiện tại, con số VRAM theo mô hình, và một công thức bạn có thể chạy).
Phiên bản ngắn gọn
- Điểm hòa vốn không phải một con số. Nó là ba, tùy theo bạn đang so sánh với API nào. So với một API tiên phong (GPT-5.x, Claude Sonnet 5 / Opus 4.8, Gemini Pro), tự host hòa vốn sớm nhất. So với một API open-weight giá rẻ (DeepSeek, DeepInfra, Together ở mức khoảng $0.14–$0.50 mỗi triệu token), nó gần như không bao giờ thắng chỉ về chi phí.
- Mức sử dụng là hệ số nhân giết chết bài toán solo. Một GPU thuê tốn như nhau dù nhàn rỗi hay chạy hết tải, nên một GPU chạy ở mức sử dụng 10% tốn khoảng 10× mỗi token so với khi chạy hết tải. Các workload solo mang tính bùng nổ mặc định nằm ở mức sử dụng thấp.
- Dưới điểm hòa vốn, cách thắng về chi phí thường là chuyển sang một API open-weight giá rẻ, không phải tự host. Tự host xứng đáng với công sức khi khối lượng ổn định so với giá tiên phong vượt qua lằn ranh ở mức sử dụng 60%+, hoặc khi bạn có một lý do phi chi phí (quyền riêng tư, độ trễ, khả năng kiểm soát fine-tuning).
- Hãy chạy công thức trên chính con số của bạn trước khi thuê bất cứ thứ gì. Token hòa vốn ≈ chi phí GPU VPS hàng tháng ÷ giá API pha trộn của bạn mỗi token.
Bài Viết Này Không Đề Cập Đến Điều Gì
- Các cụm GPU nhiều node hoặc quy mô datacenter. Đây là một quyết định chi phí solo, không phải một đội máy.
- Kinh tế học của fine-tuning ở bất kỳ chiều sâu nào (một phép tính riêng với những đánh đổi riêng của nó).
- Một hướng dẫn thiết lập Ollama-vs-vLLM từng bước. Phạm vi ở đây là câu hỏi về tiền, không phải việc cài đặt.
- Phần cứng sở hữu như phương tiện chính của bạn. Giả định xuyên suốt là một GPU thuê, vì đó là con đường thực tế cho một builder chưa có sẵn một GPU đang nằm trên bàn.
Điều Gì Định Đoạt Chi Phí (và Chỗ Nào Các Con Số Phổ Biến Bị Sai)
Tìm "self host LLM vs API cost" và bạn sẽ gặp một con số hòa vốn gọn gàng: kiểu như 11 tỷ token một tháng, hoặc khoảng $4,200 chi phí API hàng tháng, được trích dẫn bởi phân tích chi phí của braincuber và được lặp lại gần như nguyên văn trong phần AI Overview ở đầu trang. Đó là một con số sạch sẽ. Nó cũng gần như vô dụng nếu đứng một mình, vì nó che giấu hai biến số quyết định câu trả lời của bạn.
Lý do điều này trơn tuột là vì hai vế của phép so sánh có hình dạng chi phí khác nhau. Một hóa đơn API là chi phí biến đổi: bạn trả theo token, nên hóa đơn tăng giảm theo mức bạn dùng nó. Một GPU thuê là chi phí cố định: bạn trả cùng một mức hàng tháng dù đẩy một tỷ token qua nó hay để nó nằm nhàn rỗi. So sánh một chi phí biến đổi với một chi phí cố định bằng một con số duy nhất đòi hỏi bạn phải giả vờ như biết chính xác bao nhiêu token sẽ chảy qua, và ở quy mô solo, thường thì bạn không biết.
Điều đó để lại ba đòn bẩy làm dịch chuyển điểm hòa vốn:
- Bạn đang so sánh với API nào. Một API tiên phong và một API open-weight giá rẻ cách nhau khoảng hai bậc độ lớn về giá. Điểm hòa vốn so với mỗi cái khác nhau một trời một vực.
- Mức sử dụng GPU của bạn. Chi phí cố định chỉ đền đáp nếu GPU bận rộn. Thời gian nhàn rỗi là tiền bạn bỏ ra chẳng để làm gì.
- Chi phí vận hành ẩn. Số giờ của bạn, sự xáo trộn khi cập nhật mô hình, và những bất ngờ về VRAM không lộ ra cho đến khi bạn đã ở trong môi trường production.
Định giá từng thứ đó và màn sương tan đi. Đó là phần còn lại của bài viết này.
Điểm rút ra của mục này: điểm hòa vốn không phải một con số duy nhất. Nó là ba con số, mỗi con cho một cấp API, và chọn sai cấp để so sánh là chỗ hầu hết các ước tính chi phí đi chệch hướng.
Điểm Hòa Vốn Ba Chiều: API Tiên Phong vs. Cấp Trung vs. Giá Rẻ
Tự host một LLM open-weight trên một GPU VPS đánh bại một API tiên phong (lớp GPT-5, Claude Sonnet 5 / Opus 4.8, Gemini Pro) ở mức khoảng vài triệu token mỗi ngày, với điều kiện bạn giữ GPU ở mức sử dụng lành mạnh (chẳng hạn 60% trở lên). So với một API open-weight giá rẻ ở mức khoảng $0.14–$0.50 mỗi triệu token, nó hiếm khi thắng về chi phí. Khác biệt đó là toàn bộ câu chuyện, và đó là lý do một con số hòa vốn duy nhất không thể đúng được.
Đây là hình dung tổng thể qua ba cấp. Hãy xem các ngưỡng này như những khoảng có tính định hướng, không phải những lằn ranh cứng. Chúng đến từ các ước tính của cộng đồng và giá năm 2026, cả hai đều thay đổi nhanh.
| Bạn đang so sánh với | Giá ví dụ (mỗi 1M token, tính đến July 2026) | Khối lượng hàng tháng xấp xỉ nơi một GPU cao cấp đơn lẻ bắt đầu thắng | Phán quyết cho một solo builder |
|---|---|---|---|
| API Tiên Phong | GPT-5.5 $5 in / $30 out; GPT-5.4 $2.50 / $15; Claude Opus 4.8 $5 / $25; Claude Sonnet 5 $2 / $10 đến hết Aug. 31, sau đó $3 / $15; Gemini 3.1 Pro Preview $2 / $12; Gemini 2.5 Pro $1.25 / $10 | ~160–256M token/tháng (~5–8M/ngày) ở mức sử dụng 60–70% | Đạt được nếu bạn có khối lượng ổn định |
| Cấp trung / tiên phong nhỏ hơn | GPT-5.4-mini $0.75 / $4.50; Claude Haiku 4.5 $1 / $5; Gemini 2.5 Flash $0.30 / $2.50 | Khoảng 3–5× cao hơn điểm hòa vốn tiên phong, tùy theo tỷ trọng output và lựa chọn mô hình | Hiếm khi đáng về chi phí |
| API open-weight giá rẻ | DeepInfra Llama 3.1 70B ~$0.40 đồng giá; Together Llama 3 8B Lite $0.14; DeepSeek V4 Flash $0.14 / $0.28; DeepSeek V4 Pro $0.435 / $0.87 | ~2.5B–7B+ token/tháng, tùy theo mô hình và tỷ trọng output | Về cơ bản không thể đạt được khi làm solo |
Giá lấy từ các trang giá của OpenAI, Anthropic, Google, DeepInfra, Together, và DeepSeek tính đến July 2026. Mỗi con số trong số này có tuổi thọ đo bằng tháng, nên hãy kiểm tra các trang hiện tại trước khi cam kết.
Bây giờ đến luận điểm trái chiều, vì nó là luận điểm làm thay đổi quyết định. Có một lập luận ồn ào và đúng đắn đang lan truyền rằng các API giá rẻ đã giết chết điểm hòa vốn của việc tự host. Các API open-weight như DeepInfra và Together giờ phục vụ các mô hình Llama và Qwen với một phần nhỏ giá tiên phong, và bản thân giá tiên phong cũng đã giảm mạnh kể từ 2025. So với các mức giá rẻ đó, điểm hòa vốn tính theo token chạy lên tới hàng tỷ token mỗi tháng. Một solopreneur không đẩy hàng tỷ token một tháng. Nên nếu mục tiêu duy nhất của bạn là một hóa đơn thấp hơn, nước đi đầu tiên thường không phải là "thuê một GPU," mà là "chuyển sang một API open-weight giá rẻ và không tốn công vận hành nào."
Lý lẽ về chi phí của việc tự host sống sót ở hai chỗ: khi so sánh với giá tiên phong đắt đỏ ở khối lượng thực sự cao, ổn định, và những lý do phi chi phí (quyền riêng tư, độ trễ, khả năng kiểm soát fine-tuning) sẽ nói ở phần dưới. Mọi chỗ khác, API giá rẻ thắng cuộc tranh luận về tiền.
Công Thức Hòa Vốn
break-even tokens per month ≈ GPU VPS monthly cost ÷ your blended API price per token
Ví dụ tính toán, quy mô solopreneur: giả sử một GPU VPS cao cấp đơn lẻ tốn khoảng $1,000/tháng (khoảng giá catalog năm 2026 cho một cấp GPU đơn hàng đầu), và bạn đang dùng một API tiên phong với mức pha trộn khoảng $6 mỗi triệu token (khoảng $0.000006 mỗi token). Đó là ~$1,000 ÷ $0.000006 ≈ 167 triệu token/tháng trước khi GPU tự bù chi phí trên giấy tờ. Giờ làm lại với một API open-weight giá rẻ ở mức $0.40 mỗi triệu ($0.0000004/token): ~$1,000 ÷ $0.0000004 = 2.5 tỷ token/tháng. Cùng GPU, cùng chi phí cố định, và điểm hòa vốn dịch chuyển hơn 10× chỉ thuần túy tùy theo bạn đặt API nào vào mẫu số. Đây là trước khi tính mức sử dụng, thứ làm con số tệ hơn nữa.
Điểm rút ra của mục này: API bạn so sánh có thể làm dịch chuyển điểm hòa vốn của bạn 10× hoặc hơn, nên "chạy các con số" nghĩa là chạy chúng so với chính API cụ thể mà bạn thực sự sẽ thay thế.
Mức Sử Dụng Làm Gì Với Chi Phí Mỗi Token
Lấy điểm hòa vốn tiên phong ~167 triệu token đó và thêm vào biến số mà công thức lặng lẽ giả định là không tồn tại: GPU của bạn bận rộn suốt thời gian. Không phải vậy đâu. Một GPU thuê tính tiền như nhau dù nó bão hòa hay nhàn rỗi, nên chi phí GPU VPS LLM thực tế mỗi token của bạn tỷ lệ nghịch với mức sử dụng. Chạy ở mức tải 10% và mỗi token bạn phục vụ gánh khoảng 10× chi phí so với khi chạy hết tải, vì bạn đang trả cho 90% công suất bạn không dùng. Các ước tính của cộng đồng và những bài viết của người thực hành đặt sàn thực tế ở khoảng mức sử dụng ổn định 50–60% trước khi các con số ngừng làm bạn xấu hổ (con số định hướng, không phải hằng số phòng thí nghiệm).
Với một workload solo bùng nổ (lưu lượng tăng vọt ban ngày và phẳng lì qua đêm), mức sử dụng ổn định 60% khó đạt được. Đó là cái bẫy. Đây là những gì nó gây ra cho chi phí mỗi triệu token qua vài điểm cụ thể, dùng giá GPU catalog năm 2026 chia cho thông lượng hàng tháng thô ở mỗi mức sử dụng:
| Cấp GPU | Mô hình (Q4) | ~Chi phí mỗi 1M token ở mức 100% | ở mức 60% | ở mức 25% |
|---|---|---|---|---|
| RTX 4090 (24 GB) | Llama 3.1 8B | vài cent một chữ số thấp | ~1.7× con số 100% | ~4× con số 100% |
| RTX 5090 (32 GB) | Qwen 3 32B | cent mức trung | ~1.7× | ~4× |
| A100 (80 GB) | Llama 3.1 70B | cao hơn (mô hình lớn hơn, nhiều GPU hơn) | ~1.7× | ~4× |
| RTX 6000 Ada (48 GB) | Llama 3.1 70B (Q4) | tương đương khoảng A100 | ~1.7× | ~4× |
Con số cent-mỗi-token tuyệt đối phụ thuộc vào mô hình của bạn, mức lượng tử hóa, và số yêu cầu đồng thời bạn có thể nhồi lên card, nên hãy xem các cột như thể hiện hình dạng của mức phạt chứ không phải một báo giá. Điểm mấu chốt là hệ số nhân: tụt từ tải đầy xuống một phần tư tải và chi phí mỗi token của bạn gần như tăng gấp bốn. Đó thường là thứ giết chết bài toán tự host solo, không phải giá niêm yết của GPU.
Có một lối thoát mang tính cấu trúc, và nó là lý do thuê có thể đánh bại sở hữu với nhu cầu dao động mạnh: bạn có thể dừng một instance thuê khi nó nhàn rỗi. Sở hữu phần cứng thì nó khấu hao và tiêu điện dù bạn dùng hay không. Với các bản thuê theo giờ hoặc theo yêu cầu, bạn có thể dừng hoặc tháo dỡ instance khi công việc xong và tránh trả tiền cho những giờ nhàn rỗi. Với các gói cố định hàng tháng, hóa đơn vẫn cố định cho kỳ thanh toán, nên mức sử dụng vẫn là bài toán chi phí chính. Nó không sửa được một workload thực sự có mức sử dụng thấp cả ngày, nhưng với nhu cầu bận rộn theo đợt và chết lặng ở giữa, khả năng tắt đồng hồ đo là đòn bẩy duy nhất khiến cán cân thuê-vs-sở hữu nghiêng về phía thuê.
Điểm rút ra của mục này: mức sử dụng, không phải giá hàng tháng của GPU, thường là thứ quyết định việc tự host có hợp lý về mặt tính toán hay không, và đó là biến số mà các con số hòa vốn phổ biến bỏ ra hoàn toàn.
Mô Hình Nào Vừa GPU Nào: Thực Tế Về VRAM
Kế hoạch vỡ đầu tiên là "tôi sẽ cứ chạy một 70B trên một 4090." Bạn không làm được. Một mô hình 70B ở mức lượng tử hóa Q4_K_M cần khoảng 40–46 GB VRAM, và một RTX 4090 24 GB hay một RTX 5090 32 GB đơn giản là không đủ chỗ. Ép nó lên một card 24 GB và bạn phải xuống mức lượng tử hóa Q2_K (khoảng 21 GB) với mất mát chất lượng thấy rõ, hoặc mô hình tràn ra RAM hệ thống và tốc độ sinh sụp đổ. VRAM là bức tường cứng quyết định những mô hình nào thậm chí còn nằm trên bàn cân với một GPU cho trước.
Đây là cái nào vừa chỗ nào. Con số VRAM là xấp xỉ: chúng được suy ra từ phép tính byte-mỗi-tham-số tiêu chuẩn (FP16 ≈ params × 2 với ~15% overhead; Q4_K_M ≈ params × ~0.55 kèm overhead), nên hãy xem chúng như hướng dẫn ước cỡ, không phải bảo đảm.
| Mô hình | FP16 | Q8 | Q4_K_M | GPU Cloudzy nhỏ nhất vừa được (ở Q4) |
|---|---|---|---|---|
| Llama 3.1 8B | ~16 GB | ~8.5 GB | ~5–6 GB | RTX 4090 (vừa được ngay cả ở FP16) |
| Mistral Small 3.1 (24B) | ~48 GB | ~24 GB | ~14–16 GB | RTX 4090 |
| Qwen 3 32B | ~64 GB | ~32 GB | ~18–20 GB | RTX 4090 |
| Qwen 2.5 72B | ~144 GB | ~72 GB | ~41–51 GB | A100 (80 GB) hoặc RTX 6000 Ada (48 GB) |
| Llama 3.1 70B | ~140 GB | ~70 GB | ~40–46 GB | A100 (80 GB) hoặc RTX 6000 Ada (48 GB) |
| DeepSeek R1 70B (distill) | ~140 GB | ~70 GB | ~40 GB | A100 (80 GB) hoặc RTX 6000 Ada (48 GB) |
Con số VRAM được đối chiếu chéo với các trang thông số GPU chính thức của NVIDIA cho từng card. A100 cho một 70B đã lượng tử hóa nhiều headroom thoải mái hơn; RTX 6000 Ada có thể dùng được cho các thiết lập Q4 chật hơn, trong khi các card tiêu dùng 24 GB và 32 GB không có đủ VRAM cho một triển khai 70B Q4 bình thường. Nếu bạn muốn phần phân tích đầy đủ về cách các định dạng GGUF, GPTQ, AWQ, và EXL2 tiêu thụ bộ nhớ, đó là một cái hố thỏ đáng đọc riêng: GGUF, GPTQ, AWQ, EXL2: các định dạng lượng tử hóa LLM thực sự dùng bộ nhớ như thế nào.
Điểm ngọt của cộng đồng cho một card 24 GB đơn lẻ là một mô hình 24B-tới-32B (Mistral Small 3.1 hoặc Qwen 3 32B ở Q4). Đó là kích cỡ mang lại cho một solo builder một mô hình hữu dụng trên cấp GPU rẻ nhất mà không phải vật lộn với VRAM suốt chặng đường. Nếu bạn đang cân nhắc thuê card nào ngay từ đầu, bài so sánh benchmark H100 vs RTX 4090 cho các workload AI của chúng tôi so sánh các cấp về thông lượng.
Mẹo: hãy dự trù ngân sách cho KV cache, không chỉ cho trọng số. Bất ngờ triển-khai-đầu-tiên phổ biến nhất: bạn chọn kích cỡ GPU cho trọng số mô hình, nạp nó vào, và nó vừa. Rồi các yêu cầu ập tới, KV cache lớn lên theo độ dài context và mức đồng thời, và bạn hết VRAM khi phục vụ vài người dùng đầu tiên. Khi VRAM tràn và mô hình đổ sang CPU, tốc độ sinh giảm 10–100×. Hãy chừa headroom phía trên các con số trọng số trong bảng cho cache, đặc biệt nếu bạn đang phục vụ context dài hoặc nhiều người dùng cùng lúc.
Những Chi Phí Ẩn Xóa Sổ Khoản Tiết Kiệm Ngây Thơ
Bảng tính nói rằng tự host rẻ hơn hầu như luôn chỉ có một dòng: giá hàng tháng của GPU. Hóa đơn bạn trả có nhiều dòng hơn. Có thời gian của bạn (mỗi giờ bạn bỏ ra để vá lỗi, khởi động lại một máy chủ suy luận bị treo, hay truy đuổi một sự cố hết bộ nhớ là một giờ bạn đã không dành cho sản phẩm). Có sự xáo trộn khi cập nhật mô hình: mô hình open-weight bạn triển khai bị thay thế, và benchmark lại rồi triển khai lại là công việc lặp đi lặp lại, không phải một lần thiết lập. Có bất ngờ về VRAM và KV-cache từ mục trước. Và có lãng phí nhàn rỗi, những giờ GPU nằm tính tiền trong khi chẳng có gì chạy.
Những người thực hành đã tính những thứ này đặt chi phí thật ở mức khoảng 1.3–2× giá GPU thô một khi thời gian vận hành được gộp vào, và một số người còn cao hơn, tới 3–5×, ở những thiết lập lộn xộn hơn. Đó là các hệ số nhân định hướng từ các bài viết của cộng đồng, không phải con số được kiểm toán, nhưng chiều hướng mới là điểm mấu chốt. Như một cách diễn đạt được trích dẫn rộng rãi nói, một GPU nhàn rỗi không phải một tài sản, nó là một khoản nợ tính theo giờ. Với một solo builder, cách đúng để định giá điều này không phải là một dòng lương MLOps, mà là chính số giờ của bạn, thứ khan hiếm nhất bạn có. Nếu tự host tiết kiệm cho bạn $200 một tháng trên giấy tờ nhưng ngốn của bạn sáu giờ vận hành mà lẽ ra bạn dùng để ra sản phẩm, đó không hẳn là một chiến thắng rõ ràng.
Khi Tự Host Vẫn Thắng: Quyền Riêng Tư, Độ Trễ, và Fine-Tuning
Chi phí không phải lý do duy nhất để chạy mô hình của riêng bạn, và với một số builder nó thậm chí không phải lý do chính. Dưới điểm hòa vốn về chi phí, nơi tiền bạc nói "cứ ở lại với API," có ba lý do để tự host dù sao đi nữa. Chủ quyền dữ liệu: giữ prompt và dữ liệu của người dùng của bạn ra khỏi đường ống của một nhà cung cấp AI bên ngoài, điều quan trọng với một số sản phẩm bất kể các con số nói gì. Độ trễ dự đoán được: không có hàng đợi chia sẻ nhiều tenant, không có giới hạn tốc độ bạn không đặt ra, không có sự chậm lại bất ngờ trong lúc lưu lượng của người khác tăng vọt. Và toàn quyền kiểm soát: tự do fine-tune, lượng tử hóa, đổi mô hình, và ghim phiên bản mà không phải chờ một nhà cung cấp.
Có một lưu ý về điểm quyền riêng tư, và bỏ qua nó sẽ là không trung thực. Một GPU VPS thuê vẫn chạy trên phần cứng của người khác trong datacenter của người khác. Đó là chủ quyền có ý nghĩa khỏi đường ống huấn luyện và ghi log của nhà cung cấp AI (prompt của bạn không chảy qua hệ thống của một nhà cung cấp mô hình), nhưng nó không giống với thiết bị on-premises mà bạn kiểm soát về mặt vật lý. Nếu yêu cầu của bạn là cách ly on-prem thật sự, một VPS thuê không đưa bạn tới đó. Nếu yêu cầu của bạn là "giữ dữ liệu của chúng tôi ra khỏi tay một nhà cung cấp mô hình bên thứ ba," thì nó làm được. Hãy biết bạn cần cái nào.
Với các workload chạy trong môi trường mạng hạn chế, một mô hình tự host trên hạ tầng bạn kiểm soát cũng có thể né tránh các phụ thuộc vào những endpoint bên ngoài có thể không truy cập được, một khả năng có ý nghĩa độc lập với việc bạn triển khai nó ở đâu.
Vậy Bạn Có Nên Tự Host Không? Một Câu Trả Lời Thẳng Theo Từng Tình Huống
Tất cả những điều trên gom lại thành một quyết định ngắn gọn. Bạn có một hóa đơn, một cảm nhận sơ bộ về khối lượng token hàng tháng của mình, và giờ là ba cấp hòa vốn, mức phạt sử dụng, và hệ số nhân chi phí ẩn. Hãy đối chiếu tình huống của bạn với một trong những trường hợp sau:
- Bạn đang dưới điểm hòa vốn tiên phong và chi phí là mối quan tâm duy nhất của bạn. Hãy ở lại với một API, và định giá nghiêm túc một API open-weight giá rẻ (DeepSeek, DeepInfra, Together) trước mọi thứ khác. Đó thường là cách thắng về chi phí, không phải tự host. Đổi API là một thay đổi cấu hình; tự host là một công việc thứ hai.
- Bạn có khối lượng cao, ổn định so với giá tiên phong và có thể giữ một GPU ở mức sử dụng 60%+. Đây là nơi tự host đền đáp. Chạy công thức so với mức giá tiên phong của bạn, xác nhận bạn vượt ngưỡng với mức sử dụng ổn định (không phải đỉnh), và một GPU VPS thuê bắt đầu thắng.
- Bạn có một động lực phi chi phí: quyền riêng tư, độ trễ, hoặc khả năng kiểm soát fine-tuning. Hãy tự host dưới điểm hòa vốn một cách có chủ đích, mắt mở to rằng bạn đang trả tiền cho khả năng kiểm soát. Chỉ đừng tự nhủ rằng nó rẻ hơn nếu thực ra không phải vậy.
- Bạn ở khoảng giữa. Hãy nhìn vào mô thức lai mà hầu hết những người thực hành đúc kết ra trong năm 2026: một mô hình tự host nhỏ cho các tác vụ đơn giản khối lượng cao, cộng với một API tiên phong cho phần lập luận khó mà mô hình cục bộ của bạn đạt được 85–90% chặng đường (benchmark cộng đồng, không được kiểm chứng phòng thí nghiệm, và chặng cuối thường là nơi bạn cần chất lượng nhất).
Về câu hỏi "làm sao để có GPU," câu trả lời cho một solo builder gần như luôn là thuê, không phải mua. Sở hữu phần cứng cấp datacenter là một canh bạc capex chỉ hợp lý ở quy mô bạn chưa có. Suy luận serverless có thể giảm lãng phí nhàn rỗi bằng cách co lại về không và chỉ tính tiền cho tính toán đang hoạt động, nhưng nó thường đánh đổi điều đó lấy một mức giá mỗi giờ-GPU cao hơn và độ trễ khởi động lạnh. Một GPU VPS thuê nằm ở giữa: không có capex, một hóa đơn hàng tháng dự đoán được, quyền truy cập root, và khả năng dừng instance khi nó nhàn rỗi.
Nếu bạn đã chạy công thức, vượt điểm hòa vốn, và muốn một máy chủ suy luận chuyên dụng, riêng tư, có quyền truy cập root mà không phải mua một card, thì đó chính xác là công dụng của một máy GPU thuê. Các gói GPU VPS của Cloudzy bao quát dải từ một mô hình 8B trên một card đơn lẻ lên tới một 70B đã lượng tử hóa, và ứng dụng Ollama một-cú-nhấp trong marketplace triển khai trong khoảng một phút với một REST API tương thích với các client OpenAI, nên việc chuyển từ một API trả phí sang máy chủ của riêng bạn có thể gần như là một thay đổi drop-in trong code của bạn, không có chi phí mỗi token sau khoản phí cố định hàng tháng. Hãy kiểm tra trang để biết giá hiện tại; giá GPU dao động.
Một hành động đáng làm trước khi bạn thuê bất cứ thứ gì: chạy công thức hòa vốn trên chính hóa đơn của bạn. Nó mất hai phút và sẽ cho bạn biết bạn thuộc tình huống nào trong bốn tình huống trên.
Câu hỏi thường gặp
Tự Host Một LLM Rẻ Hơn Hay Dùng Một API Rẻ Hơn?
Còn tùy vào API nào. Tự host một mô hình open-weight trên một GPU VPS có thể đánh bại một API tiên phong (lớp GPT-5, Claude Sonnet 5 / Opus 4.8) ở khối lượng cao, ổn định với mức sử dụng GPU tốt. Nó hiếm khi đánh bại một API open-weight giá rẻ (DeepSeek, DeepInfra, Together ở mức khoảng $0.14–$0.50 mỗi triệu token tính đến July 2026) chỉ về chi phí: điểm hòa vốn đó chạy lên tới hàng tỷ token mỗi tháng, mức mà hầu hết các solo builder không bao giờ đạt tới.
Tôi Cần GPU Gì Để Chạy Một Mô Hình 70B?
Một mô hình 70B ở mức lượng tử hóa Q4_K_M cần khoảng 40–46 GB VRAM chỉ riêng cho trọng số đã lượng tử hóa. Một A100 80 GB là lựa chọn GPU đơn an toàn hơn vì nó chừa chỗ cho KV cache, overhead runtime, và các prompt dài hơn. Một RTX 6000 Ada 48 GB có thể dùng được cho các thiết lập Q4 chật hơn, nhưng độ dài context và mức đồng thời cần được quản lý cẩn thận.
Mức Sử Dụng GPU Ảnh Hưởng Đến Chi Phí Mỗi Token Ra Sao?
Một GPU thuê tốn như nhau dù nó nhàn rỗi hay chạy hết tải, nên chi phí mỗi token thực tế của bạn tỷ lệ nghịch với mức sử dụng. Ở mức tải 10%, mỗi token bạn phục vụ tốn khoảng 10× so với khi chạy hết tải, vì bạn đang trả cho công suất không dùng đến. Sàn thực tế để tự host có ý nghĩa là khoảng mức sử dụng ổn định 50–60%.
Bao Nhiêu Token Mỗi Tháng Thì Tự Host Mới Đáng?
So với một API tiên phong, khoảng 160–256 triệu token mỗi tháng ở mức sử dụng lành mạnh là ngưỡng định hướng (tính đến July 2026). So với một API open-weight giá rẻ thì là hàng tỷ mỗi tháng, về cơ bản không thể đạt được khi làm solo. Con số chính xác phụ thuộc vào chi phí GPU và mức giá API pha trộn của bạn, nên hãy chạy công thức: token hòa vốn ≈ chi phí GPU VPS hàng tháng ÷ giá API của bạn mỗi token, rồi chiết khấu nó cho mức sử dụng ổn định.
Tôi Có Thể Chạy Một LLM Open-Weight Trên Một VPS Không?
Có, trên một GPU VPS được chọn kích cỡ theo VRAM của mô hình. Một công cụ như Ollama chạy các mô hình open-weight (Llama, Qwen, Mistral, và các mô hình khác) với triển khai một-cú-nhấp và một REST API tương thích OpenAI, nên code gọi API hiện có của bạn có thể trỏ tới máy chủ của riêng bạn với thay đổi tối thiểu. Hãy khớp cấp GPU với mô hình của bạn: một 8B vừa thoải mái một card 24 GB, một 70B đã lượng tử hóa cần 48–80 GB.
