Meng-host Sendiri LLM Open-Weight vs. API: Perhitungan Biaya yang Sebenarnya

Produk Anda dirilis, ia memanggil API LLM, dan tagihannya terus merangkak naik setiap bulan. Jadi Anda melakukan hal yang akhirnya dilakukan setiap builder: Anda membuka tab baru dan bertanya-tanya apakah menyewa GPU dan menjalankan Llama sendiri akan lebih murah.

Pertanyaan biaya self hosting LLM punya jawaban, tetapi bukan satu angka tunggal yang terus diulang-ulang oleh hasil pencarian teratas dan AI Overview. Itu tergantung pada tiga hal yang diratakan oleh artikel-artikel tersebut: API mana yang Anda bandingkan, seberapa sibuk GPU Anda, dan biaya ops yang tak seorang pun memasukkannya ke dalam spreadsheet.

Ini versi singkatnya sebelum detailnya: bagi sebagian besar builder solo, self-hosting tidak menang soal biaya saat ini. Tetapi ada satu garis spesifik di mana ia berbalik, dan Anda bisa menghitungnya pada tagihan Anda sendiri dalam sekitar dua menit. Di bawah ini adalah perhitungan 2026 (harga terkini, angka VRAM per model, dan sebuah rumus yang bisa Anda jalankan).

Versi Singkat

• Titik impasnya bukan satu angka. Itu tiga, tergantung pada API mana yang Anda bandingkan. Terhadap API frontier (GPT-5.x, Claude Sonnet 5 / Opus 4.8, Gemini Pro), self-hosting mencapai titik impas paling cepat. Terhadap API open-weight budget (DeepSeek, DeepInfra, Together di kisaran $0.14–$0.50 per juta token), ia nyaris tidak pernah menang soal biaya saja.
• Utilisasi adalah pengali yang mematikan kasus solo. GPU sewaan berbiaya sama saat menganggur seperti saat beban penuh, jadi GPU yang berjalan pada utilisasi 10% berbiaya kira-kira 10× per token dari biayanya pada beban penuh. Beban kerja solo yang meletup-letup secara default berada pada utilisasi rendah.
• Di bawah titik impas, kemenangan biaya biasanya adalah beralih ke API open-weight budget, bukan self-hosting. Self-hosting menutupi biayanya ketika volume berkelanjutan terhadap harga frontier melewati garis pada utilisasi 60%+, atau ketika Anda punya alasan non-biaya (privasi, latensi, kendali fine-tuning).
• Jalankan rumusnya pada angka Anda sendiri sebelum Anda menyewa apa pun. Token titik impas ≈ biaya bulanan VPS GPU ÷ harga API campuran Anda per token.

Apa yang Tidak Dibahas Ini

• Kluster GPU multi-node atau berskala datacenter. Ini adalah keputusan biaya solo, bukan armada.
• Ekonomi fine-tuning secara mendalam (sebuah perhitungan terpisah dengan kompromi-nya sendiri).
• Tutorial pengaturan Ollama-vs-vLLM langkah demi langkah. Cakupan di sini adalah pertanyaan soal uang, bukan instalasi.
• Perangkat keras milik sendiri sebagai kendaraan utama Anda. Asumsi di seluruh tulisan ini adalah GPU sewaan, karena itu adalah jalur realistis bagi seorang builder yang belum punya GPU di atas meja.

Apa yang Menggerakkan Biaya (dan Di Mana Angka-Angka Populer Keliru)

Cari "self host LLM vs API cost" dan Anda akan menemukan angka titik impas yang rapi: sekitar 11 miliar token per bulan, atau kira-kira $4,200 dalam pengeluaran API bulanan, yang dikutip oleh analisis biaya braincuber dan digemakan nyaris kata demi kata di AI Overview di bagian atas halaman. Itu angka yang bersih. Ia juga nyaris tak berguna dengan sendirinya, karena ia menyembunyikan dua variabel yang menentukan jawaban Anda.

Alasan ini licin adalah karena kedua sisi perbandingan memiliki bentuk biaya yang berbeda. Tagihan API adalah biaya variabel: Anda membayar per token, jadi tagihannya naik-turun sesuai seberapa banyak Anda menggunakannya. GPU sewaan adalah biaya tetap: Anda membayar tarif bulanan yang sama entah Anda mendorong satu miliar token melewatinya atau membiarkannya menganggur. Membandingkan biaya variabel dengan biaya tetap menggunakan satu angka mengharuskan Anda berpura-pura tahu persis berapa banyak token yang akan mengalir, dan pada skala solo, biasanya Anda tidak tahu.

Itu menyisakan tiga tuas yang menggerakkan titik impas:

• API mana yang Anda bandingkan. API frontier dan API open-weight budget terpisah kira-kira dua orde besaran dalam harga. Titik impas terhadap masing-masing sangatlah berbeda.
• Utilisasi GPU Anda. Biaya tetap hanya terbayar jika GPU sibuk. Waktu menganggur adalah uang yang Anda keluarkan untuk apa-apa.
• Biaya ops tersembunyi. Jam kerja Anda, pergolakan pembaruan model, dan kejutan VRAM yang tidak muncul sampai Anda berada di produksi.

Beri harga pada masing-masing dari itu dan kabutnya menghilang. Itulah sisa dari artikel ini.

Poin bagian: titik impasnya bukan satu angka tunggal. Itu tiga angka, satu per tier API, dan memilih tier yang salah untuk dibandingkan adalah tempat sebagian besar estimasi biaya menjadi keliru.

Titik Impas Tiga Arah: API Frontier vs. Kelas Menengah vs. Budget

Meng-host sendiri sebuah LLM open-weight di VPS GPU mengalahkan API frontier (kelas GPT-5, Claude Sonnet 5 / Opus 4.8, Gemini Pro) di sekitar beberapa juta token per hari, asalkan Anda menjaga GPU pada utilisasi yang sehat (katakanlah 60% atau lebih tinggi). Terhadap API open-weight budget di kisaran $0.14–$0.50 per juta token, ia jarang menang soal biaya sama sekali. Perbedaan itu adalah keseluruhan ceritanya, dan itulah kenapa satu angka titik impas tidak mungkin benar.

Ini bentuknya di ketiga tier. Perlakukan ambang-ambang ini sebagai rentang arahan, bukan garis keras. Semuanya berasal dari estimasi komunitas dan harga 2026, keduanya bergerak cepat.

Harga dari halaman harga OpenAI, Anthropic, Google, DeepInfra, Together, dan DeepSeek per July 2026. Setiap angka ini punya masa berlaku yang terukur dalam hitungan bulan, jadi periksa halaman terkini sebelum Anda memutuskan.

Sekarang poin kontrariannya, karena inilah yang mengubah keputusan. Ada argumen yang lantang dan benar yang beredar bahwa API budget mematikan titik impas self-hosting. API open-weight seperti DeepInfra dan Together kini melayani model Llama dan Qwen dengan sebagian kecil dari harga frontier, dan harga frontier sendiri telah turun tajam sejak 2025. Terhadap tarif budget itu, titik impas per token merangkak ke miliaran token per bulan. Seorang solopreneur tidak mendorong miliaran token per bulan. Jadi jika satu-satunya tujuan Anda adalah tagihan yang lebih rendah, langkah pertama biasanya bukan "sewa GPU," melainkan "beralih ke API open-weight budget dan tanpa ops sama sekali."

Kasus biaya self-hosting bertahan di dua tempat: membandingkan terhadap harga frontier yang mahal pada volume yang benar-benar tinggi dan berkelanjutan, dan alasan-alasan non-biaya (privasi, latensi, kendali fine-tuning) yang dibahas lebih lanjut di bawah. Di tempat lain, API budget memenangkan argumen soal uang.

Rumus Titik Impas

break-even tokens per month ≈ GPU VPS monthly cost ÷ your blended API price per token

Contoh perhitungan, skala solopreneur: katakanlah satu VPS GPU kelas atas berjalan sekitar $1,000/bulan (rentang katalog 2026 untuk tier single-GPU teratas), dan Anda berada di API frontier dengan tarif campuran sekitar $6 per juta token (kira-kira $0.000006 per token). Itu ~$1,000 ÷ $0.000006 ≈ 167 juta token/bulan sebelum GPU membayar dirinya sendiri di atas kertas. Sekarang ulangi terhadap API open-weight budget di $0.40 per juta ($0.0000004/token): ~$1,000 ÷ $0.0000004 = 2.5 miliar token/bulan. GPU yang sama, biaya tetap yang sama, dan titik impasnya bergeser lebih dari 10× tergantung murni pada API mana yang Anda taruh di penyebut. Ini sebelum utilisasi, yang membuat angkanya lebih buruk.

Poin bagian: API yang Anda bandingkan bisa menggeser titik impas Anda sebesar 10× atau lebih, jadi "jalankan angkanya" berarti menjalankannya terhadap API spesifik yang benar-benar akan Anda ganti.

Apa yang Dilakukan Utilisasi terhadap Biaya per Token

Ambil titik impas frontier ~167 juta token itu dan tambahkan variabel yang diam-diam diabaikan oleh rumus: GPU Anda sibuk sepanjang waktu. Padahal tidak. GPU sewaan menagih sama entah ia jenuh atau menganggur, jadi biaya VPS GPU LLM efektif Anda per token berbanding terbalik dengan utilisasi. Jalankan pada beban 10% dan setiap token yang Anda layani membawa kira-kira 10× biaya yang seharusnya pada beban penuh, karena Anda membayar 90% kapasitas yang tidak Anda gunakan. Estimasi komunitas dan catatan praktisi menempatkan batas bawah praktis di sekitar utilisasi berkelanjutan 50–60% sebelum angkanya berhenti mempermalukan Anda (angka arahan, bukan konstanta laboratorium).

Untuk beban kerja solo yang meletup-letup (trafik yang memuncak di siang hari dan datar di malam hari), utilisasi berkelanjutan 60% sulit dicapai. Itulah jebakannya. Ini yang dilakukannya terhadap biaya per juta token di beberapa titik konkret, menggunakan harga GPU katalog 2026 dibagi throughput bulanan kasar pada tiap tingkat utilisasi:

Sen-per-token absolut tergantung pada model Anda, kuantisasi, dan berapa banyak permintaan bersamaan yang bisa Anda jejalkan ke kartu, jadi perlakukan kolom-kolomnya sebagai penunjuk bentuk dari penalti alih-alih sebuah kutipan harga. Intinya adalah pengalinya: turun dari beban penuh ke seperempat beban dan biaya per token Anda kira-kira melipatempat. Itu biasanya yang mematikan kasus self-hosting solo, bukan harga stiker GPU.

Ada satu pintu darurat struktural, dan itu adalah alasan menyewa bisa mengalahkan memiliki untuk permintaan yang menonjol tak menentu: Anda bisa menghentikan instance sewaan saat ia menganggur. Miliki perangkat kerasnya dan ia menyusut nilai serta menyedot daya entah Anda menggunakannya atau tidak. Pada sewaan per jam atau on-demand, Anda bisa menghentikan atau membongkar instance saat pekerjaan selesai dan menghindari membayar jam-jam menganggur. Pada paket bulanan tetap, tagihannya tetap tetap untuk periode penagihan, jadi utilisasi tetap menjadi masalah biaya utama. Itu tidak memperbaiki beban kerja yang memang benar-benar berutilisasi rendah sepanjang hari, tetapi untuk permintaan yang sibuk dalam letupan dan mati di antaranya, kemampuan mematikan meterannya adalah satu tuas yang membuat sewa-vs-milik condong ke arah sewa.

Poin bagian: utilisasi, bukan harga bulanan GPU, biasanya adalah yang menentukan apakah self-hosting masuk hitungan, dan itu adalah variabel yang sepenuhnya diabaikan oleh angka titik impas populer.

Model Mana yang Cocok dengan GPU Mana: Realitas VRAM

Rencana yang pertama runtuh adalah "aku akan langsung menjalankan 70B di 4090." Anda tidak bisa. Model 70B pada kuantisasi Q4_K_M membutuhkan kira-kira 40–46 GB VRAM, dan RTX 4090 24 GB atau RTX 5090 32 GB sederhananya tidak punya ruangnya. Paksakan ke kartu 24 GB dan Anda turun ke kuantisasi Q2_K (sekitar 21 GB) dengan kehilangan kualitas yang terlihat, atau model tumpah ke RAM sistem dan kecepatan generasi runtuh. VRAM adalah dinding keras yang menentukan model mana yang bahkan ada di atas meja untuk suatu GPU.

Ini yang cocok di mana. Angka VRAM adalah perkiraan: semuanya diturunkan dari aritmetika standar byte-per-parameter (FP16 ≈ params × 2 dengan overhead ~15%; Q4_K_M ≈ params × ~0.55 dengan overhead), jadi perlakukan sebagai panduan penentuan ukuran, bukan jaminan.

Angka VRAM diperiksa silang terhadap halaman spesifikasi GPU resmi NVIDIA untuk tiap kartu. A100 memberi 70B terkuantisasi ruang gerak yang lebih nyaman; RTX 6000 Ada bisa bekerja untuk pengaturan Q4 yang lebih ketat, sementara kartu konsumen 24 GB dan 32 GB tidak punya cukup VRAM untuk deployment 70B Q4 yang normal. Jika Anda ingin uraian lengkap tentang bagaimana format GGUF, GPTQ, AWQ, dan EXL2 mengonsumsi memori, itu adalah lubang kelinci yang layak dibaca tersendiri: GGUF, GPTQ, AWQ, EXL2: bagaimana format kuantisasi LLM sebenarnya menggunakan memori.

Titik manis komunitas untuk satu kartu 24 GB adalah model 24B-hingga-32B (Mistral Small 3.1 atau Qwen 3 32B pada Q4). Itu adalah ukuran yang memberi builder solo sebuah model yang berguna pada tier GPU termurah tanpa berkelahi dengan VRAM sepanjang jalan. Jika Anda menimbang kartu mana yang akan disewa sejak awal, benchmark H100 vs RTX 4090 kami untuk beban kerja AI membandingkan tier-tier itu pada throughput.

Tips Pro: anggarkan untuk KV cache, bukan hanya bobotnya. Kejutan pertama-deployment yang paling umum: Anda menyesuaikan ukuran GPU untuk bobot model, memuatnya, dan ia cocok. Lalu permintaan datang, KV cache tumbuh dengan panjang konteks dan konkurensi, dan Anda kehabisan VRAM saat melayani beberapa pengguna pertama Anda. Ketika VRAM meluap dan model tumpah ke CPU, kecepatan generasi turun 10–100×. Sisakan ruang gerak di atas angka bobot dalam tabel untuk cache, terutama jika Anda melayani konteks panjang atau banyak pengguna sekaligus.

Biaya Tersembunyi yang Menghapus Penghematan Naif

Spreadsheet yang mengatakan self-hosting lebih murah hampir selalu punya satu baris: harga bulanan GPU. Tagihan yang Anda bayar punya lebih banyak baris. Ada waktu Anda (setiap jam yang Anda habiskan menambal, me-restart server inferensi yang macet, atau mengejar crash out-of-memory adalah satu jam yang tidak Anda habiskan untuk produk). Ada pergolakan pembaruan model: model open-weight yang Anda deploy tergantikan, dan me-benchmark ulang serta men-deploy ulang adalah pekerjaan berulang, bukan pengaturan satu kali. Ada kejutan VRAM dan KV-cache dari bagian sebelumnya. Dan ada pemborosan menganggur, jam-jam saat GPU duduk menagih sementara tidak ada yang berjalan.

Praktisi yang telah menghitung ini menempatkan biaya sebenarnya di kira-kira 1.3–2× harga GPU mentah begitu waktu ops dilipat masuk, dan beberapa lebih tinggi, hingga 3–5×, pada pengaturan yang lebih berantakan. Itu adalah pengali arahan dari catatan komunitas, bukan angka teraudit, tetapi arahnya adalah intinya. Sebagaimana satu pembingkaian yang banyak dikutip menyatakan, GPU yang menganggur bukanlah aset, ia adalah kewajiban yang ditagih per jam. Untuk builder solo, cara yang benar untuk memberi harga pada ini bukanlah baris gaji MLOps, melainkan jam kerja Anda sendiri, yang merupakan hal paling langka yang Anda miliki. Jika self-hosting menghemat $200 sebulan di atas kertas tetapi menghabiskan enam jam ops yang seharusnya Anda pakai untuk merilis, itu bukan kemenangan yang jelas.

Kapan Self-Hosting Tetap Menang: Privasi, Latensi, dan Fine-Tuning

Biaya bukan satu-satunya alasan untuk menjalankan model Anda sendiri, dan bagi sebagian builder ia bahkan bukan yang utama. Di bawah titik impas biaya, di mana uang berkata "tetap di API," ada tiga alasan untuk tetap self-hosting. Kedaulatan data: menjaga prompt dan data pengguna Anda keluar dari pipeline penyedia AI eksternal, yang penting untuk sebagian produk terlepas dari apa kata angkanya. Latensi yang dapat diprediksi: tanpa antrean shared-tenant, tanpa batas tarif yang tidak Anda tetapkan, tanpa perlambatan mendadak saat lonjakan trafik orang lain. Dan kendali penuh: kebebasan untuk fine-tune, mengkuantisasi, mengganti model, dan mematok versi tanpa menunggu vendor.

Ada satu peringatan soal poin privasi, dan melewatkannya akan tidak jujur. VPS GPU sewaan tetap berjalan di perangkat keras orang lain di datacenter orang lain. Itu adalah kedaulatan yang berarti dari pipeline pelatihan dan pencatatan penyedia AI (prompt Anda tidak mengalir melalui sistem vendor model), tetapi itu tidak sama dengan peralatan on-premises yang Anda kendalikan secara fisik. Jika kebutuhan Anda adalah isolasi on-prem sejati, VPS sewaan tidak membawa Anda ke sana. Jika kebutuhan Anda adalah "jauhkan data kami dari tangan penyedia model pihak ketiga," ia membawanya. Ketahui mana yang Anda butuhkan.

Untuk beban kerja yang berjalan di lingkungan jaringan yang restriktif, model yang di-host sendiri di infrastruktur yang Anda kendalikan juga bisa menghindari ketergantungan pada endpoint eksternal yang mungkin tak terjangkau, sebuah kemampuan yang penting terlepas dari di mana Anda men-deploy-nya.

Jadi Haruskah Anda Self-Host? Jawaban Lugas Menurut Situasi

Semua di atas terurai menjadi keputusan singkat. Anda punya tagihan, gambaran kasar volume token bulanan Anda, dan sekarang ketiga tier titik impas, penalti utilisasi, dan pengali biaya tersembunyi. Petakan situasi Anda ke salah satu dari ini:

• Anda berada di bawah titik impas frontier dan biaya adalah satu-satunya kekhawatiran Anda. Tetap di API, dan beri harga secara serius pada API open-weight budget (DeepSeek, DeepInfra, Together) sebelum apa pun yang lain. Itu biasanya kemenangan biayanya, bukan self-hosting. Beralih API adalah perubahan config; self-hosting adalah pekerjaan kedua.
• Anda punya volume tinggi yang berkelanjutan terhadap harga frontier dan bisa menjaga GPU pada utilisasi 60%+. Di sinilah self-hosting terbayar. Jalankan rumusnya terhadap tarif frontier Anda, pastikan Anda melewati ambangnya dengan utilisasi berkelanjutan (bukan puncak), dan VPS GPU sewaan mulai menang.
• Anda punya pendorong non-biaya: privasi, latensi, atau kendali fine-tuning. Self-host di bawah titik impas secara sengaja, dengan mata terbuka bahwa Anda membayar untuk kendali itu. Hanya saja jangan katakan pada diri sendiri bahwa itu lebih murah kalau memang tidak.
• Anda berada di tengah-tengah. Lihat pola hibrida yang kebanyakan praktisi tempuh di 2026: model kecil yang di-host sendiri untuk tugas sederhana bervolume tinggi, plus API frontier untuk penalaran sulit yang model lokal Anda capai 85–90% jaraknya (benchmark komunitas, bukan terverifikasi laboratorium, dan rentang terakhir sering kali di mana Anda paling membutuhkan kualitasnya).

Soal pertanyaan "bagaimana saya mendapatkan GPU", jawaban untuk builder solo hampir selalu sewa, bukan beli. Memiliki perangkat keras kelas datacenter adalah taruhan capex yang hanya masuk akal pada skala yang belum Anda miliki. Inferensi serverless bisa mengurangi pemborosan menganggur dengan menskalakan ke nol dan menagih hanya untuk komputasi aktif, tetapi ia sering menukar itu dengan tarif per-GPU-jam yang lebih tinggi dan latensi cold-start. VPS GPU sewaan duduk di tengah: tanpa capex, tagihan bulanan yang dapat diprediksi, akses root, dan kemampuan menghentikan instance saat ia menganggur.

Jika Anda sudah menjalankan rumusnya, melewati titik impas, dan ingin server inferensi khusus, privat, dengan akses root tanpa membeli sebuah kartu, itulah persis untuk apa mesin GPU sewaan itu. paket VPS GPU Cloudzy mencakup rentang dari model 8B pada satu kartu hingga 70B terkuantisasi, dan aplikasi Ollama satu-klik di marketplace men-deploy dalam sekitar satu menit dengan REST API yang kompatibel dengan klien OpenAI, jadi peralihan dari API berbayar ke server Anda sendiri bisa nyaris berupa perubahan drop-in dalam kode Anda, tanpa biaya per-token setelah biaya bulanan tetap. Periksa halamannya untuk harga terkini; tarif GPU bergerak.

Satu tindakan yang layak diambil sebelum Anda menyewa apa pun: jalankan rumus titik impas pada tagihan Anda sendiri. Itu memakan dua menit dan akan memberi tahu Anda di antara empat situasi di atas Anda berada di mana.

Pertanyaan yang Sering Diajukan

Apakah Lebih Murah Meng-host Sendiri Sebuah LLM atau Menggunakan API?

Itu tergantung API mana. Meng-host sendiri model open-weight di VPS GPU bisa mengalahkan API frontier (kelas GPT-5, Claude Sonnet 5 / Opus 4.8) pada volume yang tinggi dan berkelanjutan dengan utilisasi GPU yang baik. Ia jarang mengalahkan API open-weight budget (DeepSeek, DeepInfra, Together di kisaran $0.14–$0.50 per juta token per July 2026) soal biaya saja: titik impas itu merangkak ke miliaran token per bulan, yang tak pernah dicapai sebagian besar builder solo.

GPU Apa yang Saya Butuhkan untuk Menjalankan Model 70B?

Model 70B pada kuantisasi Q4_K_M membutuhkan kira-kira 40–46 GB VRAM hanya untuk bobot terkuantisasi. A100 80 GB adalah opsi single-GPU yang lebih aman karena ia menyisakan ruang untuk KV cache, overhead runtime, dan prompt yang lebih panjang. RTX 6000 Ada 48 GB bisa bekerja untuk pengaturan Q4 yang lebih ketat, tetapi panjang konteks dan konkurensi perlu dikelola dengan hati-hati.

Bagaimana Utilisasi GPU Memengaruhi Biaya per Token?

GPU sewaan berbiaya sama entah ia menganggur atau terbebani penuh, jadi biaya efektif Anda per token berbanding terbalik dengan utilisasi. Pada beban 10%, setiap token yang Anda layani berbiaya kira-kira 10× dari biayanya pada beban penuh, karena Anda membayar kapasitas yang tidak terpakai. Batas bawah praktis agar self-hosting masuk akal adalah sekitar utilisasi berkelanjutan 50–60%.

Berapa Banyak Token per Bulan Sebelum Self-Hosting Sepadan?

Terhadap API frontier, kira-kira 160–256 juta token per bulan pada utilisasi yang sehat adalah ambang arahannya (per July 2026). Terhadap API open-weight budget, itu miliaran per bulan, praktis tak terjangkau secara solo. Angka pastinya tergantung pada biaya GPU Anda dan tarif API campuran, jadi jalankan rumusnya: token titik impas ≈ biaya bulanan VPS GPU ÷ harga API Anda per token, lalu diskon untuk utilisasi berkelanjutan.

Bisakah Saya Menjalankan LLM Open-Weight di VPS?

Ya, di VPS GPU yang diukur sesuai VRAM modelnya. Alat seperti Ollama menjalankan model open-weight (Llama, Qwen, Mistral, dan lainnya) dengan deploy satu-klik dan REST API yang kompatibel dengan OpenAI, jadi kode pemanggil-API Anda yang ada bisa diarahkan ke server Anda sendiri dengan perubahan minimal. Cocokkan tier GPU dengan model Anda: 8B cocok di kartu 24 GB dengan nyaman, 70B terkuantisasi membutuhkan 48–80 GB.