Self-hosting open-weight LLM vs. API: Skutečná nákladová matematika

Váš produkt jde do provozu, volá LLM API a účet se každý měsíc plíživě zvyšuje. Takže uděláte to, co nakonec udělá každý tvůrce: otevřete novou záložku a přemýšlíte, jestli by pronájem GPU a provozování Llamy vlastními silami nebyly levnější.

Otázka nákladů na self-hosting LLM má odpověď, ale není to jediné číslo, které přední výsledky vyhledávání a AI přehledy pořád dokola opakují. Závisí na třech věcech, které tyto články zplošťují: proti jakému API srovnáváte, jak je vaše GPU vytížené a provozní náklady, které nikdo do tabulky nezapíše.

Tady je stručná verze před detaily: pro většinu sólo tvůrců self-hosting na nákladech právě teď nevítězí. Ale existuje konkrétní hranice, kde se to obrátí, a můžete si ji na vlastním účtu spočítat asi za dvě minuty. Níže je matematika pro rok 2026 (aktuální ceny, čísla VRAM podle modelu a vzorec, který si můžete spustit).

Zkrácená verze

• Bod zvratu není jedno číslo. Jsou to tři, podle toho, proti jakému API srovnáváte. Proti frontier API (GPT-5.x, Claude Sonnet 5 / Opus 4.8, Gemini Pro) se self-hosting vyplatí nejdříve. Proti rozpočtovému open-weight API (DeepSeek, DeepInfra, Together za zhruba $0.14–$0.50 za milion tokenů) na samotných nákladech téměř nikdy nevyhraje.
• Vytížení je násobitel, který sólo případ zabíjí. Pronajaté GPU stojí v nečinnosti stejně jako při plné zátěži, takže GPU běžící na 10% vytížení stojí zhruba 10× na token oproti tomu, co stojí při plné zátěži. Nárazové sólo úlohy sedí ve výchozím stavu na nízkém vytížení.
• Pod bodem zvratu je nákladovou výhrou obvykle přechod na rozpočtové open-weight API, ne self-hosting. Self-hosting se vyplatí, když trvalý objem proti frontier cenám překročí hranici při 60%+ vytížení, nebo když máte nenákladový důvod (soukromí, latence, kontrola nad fine-tuningem).
• Než si cokoli pronajmete, spusťte vzorec na svých vlastních číslech. Tokeny bodu zvratu ≈ měsíční náklad GPU VPS ÷ vaše smíšená cena API za token.

Co tento článek nepokrývá

• Vícenodové GPU clustery nebo clustery na úrovni datacentra. Toto je sólo rozhodnutí o nákladech, ne o flotile.
• Ekonomiku fine-tuningu do jakékoli hloubky (samostatný výpočet s vlastními kompromisy).
• Krok-za-krokem tutoriál nastavení Ollama-vs-vLLM. Rozsahem je zde otázka peněz, ne instalace.
• Vlastněný hardware jako váš primární prostředek. Předpokladem je po celou dobu pronajaté GPU, protože to je realistická cesta pro tvůrce, který ještě nemá GPU ležet na stole.

Co pohání náklady (a kde se populární čísla mýlí)

Hledejte „self host LLM vs API cost“ a přistanete na úhledném čísle bodu zvratu: něco jako 11 miliard tokenů měsíčně, nebo kolem $4,200 měsíčních výdajů za API, citováno v analýze nákladů od braincuber a téměř doslovně zopakováno v AI přehledu na vrcholu stránky. Je to čisté číslo. Je také samo o sobě téměř k ničemu, protože skrývá dvě proměnné, které rozhodují o vaší odpovědi.

Důvod, proč je to kluzké, je, že obě strany srovnání mají různé nákladové tvary. Účet za API je variabilní náklad: platíte za token, takže účet roste a klesá podle toho, jak moc ho používáte. Pronajaté GPU je fixní náklad: platíte stejnou měsíční sazbu, ať jím proženete miliardu tokenů, nebo ho necháte ležet ladem. Srovnávat variabilní náklad s fixním nákladem jedním číslem vyžaduje předstírat, že přesně víte, kolik tokenů poteče, a v sólo měřítku to obvykle nevíte.

Zůstávají tři páky, které bodem zvratu hýbou:

• Proti jakému API srovnáváte. Frontier API a rozpočtové open-weight API dělí v ceně zhruba dva řády. Bod zvratu proti každému z nich je zásadně odlišný.
• Vytížení vašeho GPU. Fixní náklad se vyplatí jen tehdy, když je GPU vytížené. Nečinný čas jsou peníze, které jste utratili za nic.
• Skrytý provozní náklad. Vaše hodiny, cyklus aktualizací modelů a překvapení s VRAM, která se neukážou, dokud nejste v produkci.

Oceňte každou z těchto věcí a mlha se rozplyne. To je zbytek tohoto článku.

Shrnutí sekce: bod zvratu není jedno číslo. Jsou to tři čísla, jedno na každou úroveň API, a výběr špatné úrovně ke srovnání je místem, kde se většina odhadů nákladů zmýlí.

Trojcestný bod zvratu: frontier vs. střední třída vs. rozpočtové API

Self-hosting open-weight LLM na GPU VPS překoná frontier API (třídy GPT-5, Claude Sonnet 5 / Opus 4.8, Gemini Pro) při zhruba několika milionech tokenů denně, za předpokladu, že udržíte GPU na zdravém vytížení (řekněme 60 % nebo více). Proti rozpočtovému open-weight API za zhruba $0.14–$0.50 za milion tokenů na nákladech vyhraje jen zřídka. Ten rozdíl je celý příběh a je to důvod, proč jedno číslo bodu zvratu nemůže být správné.

Zde je, jak to vypadá napříč třemi úrovněmi. Berte tyto prahy jako směrové rozsahy, ne pevné čáry. Pocházejí z komunitních odhadů a cen roku 2026, přičemž obojí se rychle mění.

Ceny ze OpenAI, Anthropic, Google, DeepInfra, Together, a DeepSeek cenových stránek k červenci 2026. Každé z těchto čísel má trvanlivost měřenou v měsících, takže než se zavážete, zkontrolujte aktuální stránky.

Nyní ten kontrariánský bod, protože je to ten, který mění rozhodnutí. Koluje hlasitý a správný argument, že rozpočtová API zabila bod zvratu self-hostingu. Open-weight API jako DeepInfra a Together nyní obsluhují Llama a Qwen modely za zlomek frontier cen a samotné frontier ceny od roku 2025 prudce klesly. Proti těmto rozpočtovým sazbám naráží bod zvratu na token do miliard tokenů měsíčně. Sólopodnikatel neprožene miliardy tokenů měsíčně. Takže pokud je vaším jediným cílem nižší účet, prvním krokem obvykle není „pronajmout GPU“, je to „přejít na rozpočtové open-weight API a mít nulový provoz“.

Nákladový případ self-hostingu přežívá na dvou místech: při srovnání s drahými frontier cenami při skutečně vysokém, trvalém objemu a nenákladové důvody (soukromí, latence, kontrola nad fine-tuningem) rozebrané níže. Všude jinde vyhrává rozpočtové API argument o penězích.

Vzorec bodu zvratu

break-even tokens per month ≈ GPU VPS monthly cost ÷ your blended API price per token

Konkrétní příklad, sólopodnikatelské měřítko: řekněme, že jediné špičkové GPU VPS stojí zhruba $1,000/měsíc (rozsah katalogu 2026 pro nejvyšší jedno-GPU úroveň) a jste na frontier API se smíšenou sazbou kolem $6 za milion tokenů (zhruba $0.000006 za token). To je ~$1,000 ÷ $0.000006 ≈ 167 milionů tokenů/měsíc, než se GPU na papíře zaplatí. Nyní to zopakujte proti rozpočtovému open-weight API za $0.40 za milion ($0.0000004/token): ~$1,000 ÷ $0.0000004 = 2.5 miliardy tokenů/měsíc. Stejné GPU, stejný fixní náklad, a bod zvratu se posune o více než 10× čistě podle toho, které API dáte do jmenovatele. To je před vytížením, které to číslo ještě zhorší.

Shrnutí sekce: API, proti kterému srovnáváte, může posunout váš bod zvratu o 10× nebo více, takže „spočítat čísla“ znamená spočítat je proti konkrétnímu API, které byste skutečně nahradili.

Co vytížení dělá s náklady na token

Vezměte ten ~167 milionový frontier bod zvratu a přidejte proměnnou, kterou vzorec tiše předpokládá pryč: vaše GPU je vytížené celou dobu. Není. Pronajaté GPU účtuje stejně, ať je saturované, nebo nečinné, takže vaše efektivní náklady GPU VPS LLM na token škálují nepřímo úměrně s vytížením. Běžte na 10% zátěži a každý token, který obsloužíte, nese zhruba 10× náklad, který by nesl při plné zátěži, protože platíte za těch 90 % kapacity, kterou jste nepoužili. Komunitní odhady a zprávy praktiků kladou praktické dno kolem 50–60% trvalého vytížení, než čísla přestanou být trapná (směrové údaje, ne laboratorní konstanty).

U nárazové sólo úlohy (provoz, který během dne skáče a přes noc je vodorovný) je trvalé 60% vytížení těžké zasáhnout. To je ta past. Zde je, co to dělá s náklady na milion tokenů napříč několika konkrétními body, s použitím katalogových cen GPU 2026 dělených hrubou měsíční propustností na každé úrovni vytížení:

Absolutní centy na token závisí na vašem modelu, kvantizaci a na tom, kolik souběžných požadavků dokážete natlačit na kartu, takže sloupce berte jako ukázku tvaru penalizace, ne jako cenovou nabídku. Pointa je ten násobitel: klesněte z plné zátěže na čtvrtinovou a vaše náklady na token se zhruba zečtyřnásobí. To je obvykle to, co zabíjí sólo případ self-hostingu, ne katalogová cena GPU.

Existuje jeden strukturální únikový východ a je to důvod, proč pronájem může u nárazové poptávky porazit vlastnictví: pronajatou instanci můžete zastavit, když je nečinná. Vlastněte hardware a odepisuje se a odebírá energii, ať ho používáte, nebo ne. U hodinových nebo on-demand pronájmů můžete instanci zastavit nebo zrušit, když je práce hotová, a vyhnout se placení za nečinné hodiny. U fixních měsíčních tarifů je účet za fakturační období stále fixní, takže vytížení zůstává hlavním problémem nákladů. Neopraví to úlohu, která je skutečně nízkovytížená celý den, ale u poptávky, která je v nárazech vytížená a mezi nimi mrtvá, je schopnost vypnout měřič tou jedinou pákou, která nakloní pronájem-vs-vlastnictví směrem k pronájmu.

Shrnutí sekce: vytížení, ne měsíční cena GPU, je obvykle to, co rozhoduje, zda se self-hosting vyplatí, a je to proměnná, kterou populární čísla bodu zvratu zcela vynechávají.

Který model se hodí ke kterému GPU: realita VRAM

Plán, který se rozpadne jako první, je „prostě spustím 70B na 4090“. Nemůžete. 70B model při kvantizaci Q4_K_M potřebuje zhruba 40–46 GB VRAM a 24 GB RTX 4090 nebo 32 GB RTX 5090 prostě nemá dost místa. Vnuťte ho na 24 GB kartu a jste na Q2_K kvantizaci (kolem 21 GB) s viditelnou ztrátou kvality, nebo se model přelije do systémové RAM a rychlost generování se zhroutí. VRAM je tvrdá zeď, která rozhoduje, které modely jsou pro dané GPU vůbec ve hře.

Zde je, co se kam vejde. Čísla VRAM jsou přibližná: jsou odvozena ze standardní aritmetiky bajtů-na-parametr (FP16 ≈ parametry × 2 s ~15% režií; Q4_K_M ≈ parametry × ~0.55 s režií), takže je berte jako vodítko k dimenzování, ne jako záruky.

Čísla VRAM jsou ověřena proti oficiálním stránkám se specifikacemi GPU od NVIDIA pro každou kartu. A100 dává kvantovanému 70B pohodlnější rezervu; RTX 6000 Ada může fungovat pro těsnější Q4 sestavy, zatímco 24 GB a 32 GB spotřebitelské karty nemají dost VRAM pro normální nasazení 70B Q4. Pokud chcete kompletní rozbor toho, jak formáty GGUF, GPTQ, AWQ a EXL2 spotřebovávají paměť, to je králičí nora, která si zaslouží vlastní čtení: GGUF, GPTQ, AWQ, EXL2: jak formáty kvantizace LLM skutečně využívají paměť.

Komunitní ideální bod pro jedinou 24 GB kartu je 24B-až-32B model (Mistral Small 3.1 nebo Qwen 3 32B při Q4). To je velikost, která dá sólo tvůrci užitečný model na nejlevnější úrovni GPU, aniž by celou cestu bojoval s VRAM. Pokud vůbec zvažujete, kterou kartu si pronajmout, náš benchmark H100 vs RTX 4090 pro AI úlohy srovnává úrovně z hlediska propustnosti.

Pro tip: počítejte s KV cache, ne jen s vahami. Nejběžnější překvapení při prvním nasazení: naddimenzujete GPU pro váhy modelu, načtete ho a vejde se. Pak přijdou požadavky, KV cache roste s délkou kontextu a souběžností a dojde vám VRAM při obsluze prvních pár uživatelů. Když VRAM přeteče a model se přelije na CPU, rychlost generování klesne 10–100×. Nechte nad hodnotami vah v tabulce rezervu pro cache, zvláště pokud obsluhujete dlouhé kontexty nebo více uživatelů najednou.

Skryté náklady, které vymažou naivní úspory

Tabulka, která tvrdí, že self-hosting je levnější, má téměř vždy jednu řádku: měsíční cenu GPU. Účet, který platíte, má řádek víc. Je tu váš čas (každá hodina, kterou strávíte záplatováním, restartováním zaseknutého inferenčního serveru nebo honěním out-of-memory pádu, je hodina, kterou jste nevěnovali produktu). Je tu cyklus aktualizací modelů: open-weight model, který jste nasadili, je nahrazen a opětovné benchmarkování a nasazování je opakující se práce, ne jednorázové nastavení. Je tu překvapení s VRAM a KV cache z minulé sekce. A je tu plýtvání nečinností, hodiny, kdy GPU sedí a účtuje, zatímco nic neběží.

Praktici, kteří tohle sečetli, kladou skutečný náklad na zhruba 1.3–2× surové ceny GPU, jakmile se započítá provozní čas, a někteří jdou výše, na 3–5×, u chaotičtějších sestav. To jsou směrové násobitele z komunitních zpráv, ne auditovaná čísla, ale směr je ta pointa. Jak to formuluje jedno široce citované rčení, nečinné GPU není aktivum, je to závazek účtovaný po hodinách. Pro sólo tvůrce není správný způsob, jak to ocenit, řádka platu MLOps inženýra, jsou to vaše vlastní hodiny, které jsou tou nejvzácnější věcí, kterou máte. Pokud vám self-hosting na papíře ušetří $200 měsíčně, ale stojí vás šest hodin provozu, které byste jinak strávili dodáváním, to není jednoznačně výhra.

Kdy self-hosting stejně vítězí: soukromí, latence a fine-tuning

Náklady nejsou jediným důvodem, proč provozovat vlastní model, a pro některé tvůrce nejsou ani tím hlavním. Pod nákladovým bodem zvratu, kde peníze říkají „zůstaň na API“, existují tři důvody pro self-hosting stejně. Datová suverenita: udržení promptů a dat vašich uživatelů mimo pipeline externího AI poskytovatele, což je pro některé produkty důležité bez ohledu na to, co čísla říkají. Předvídatelná latence: žádná fronta sdíleného nájemníka, žádné rate limity, které jste nenastavili, žádné překvapivé zpomalení během cizího nárazu provozu. A plná kontrola: svoboda dělat fine-tuning, kvantizovat, měnit modely a fixovat verze bez čekání na dodavatele.

K bodu o soukromí je jedna výhrada a její vynechání by bylo nepoctivé. Pronajaté GPU VPS stále běží na cizím hardwaru v cizím datacentru. To je smysluplná suverenita vůči tréninkové a logovací pipeline AI poskytovatele (vaše prompty neprotékají systémy dodavatele modelu), ale není to totéž jako on-premises vybavení, které fyzicky ovládáte. Pokud je vaším požadavkem skutečná on-prem izolace, pronajaté VPS vás tam nedostane. Pokud je vaším požadavkem „udržet naše data mimo dosah třetí strany, poskytovatele modelu“, dostane. Vězte, který z nich potřebujete.

U úloh, které běží v restriktivních síťových prostředích, může self-hostovaný model na infrastruktuře, kterou ovládáte, také obejít závislosti na externích endpointech, které mohou být nedostupné, což je schopnost důležitá nezávisle na tom, kde ho nasadíte.

Takže měli byste self-hostovat? Přímá odpověď podle situace

Všechno výše se třídí do krátkého rozhodnutí. Máte účet, hrubou představu o svém měsíčním objemu tokenů a teď tři úrovně bodu zvratu, penalizaci za vytížení a násobitel skrytých nákladů. Přiřaďte svou situaci k jedné z těchto:

• Jste pod frontier bodem zvratu a náklady jsou vaší jedinou starostí. Zůstaňte na API a vážně oceňte rozpočtové open-weight API (DeepSeek, DeepInfra, Together), než cokoli jiného. To je obvykle nákladová výhra, ne self-hosting. Přepnutí API je změna konfigurace; self-hosting je druhé zaměstnání.
• Máte trvalý, vysoký objem proti frontier cenám a dokážete udržet GPU na 60%+ vytížení. Tady se self-hosting vyplatí. Spusťte vzorec proti své frontier sazbě, potvrďte, že překročíte práh s trvalým vytížením (ne špičkovým), a pronajaté GPU VPS začíná vítězit.
• Máte nenákladový hnací motor: soukromí, latenci nebo kontrolu nad fine-tuningem. Self-hostujte pod bodem zvratu záměrně, s otevřenýma očima, že platíte za kontrolu. Jen si nenamlouvejte, že je to levnější, když to tak není.
• Jste někde mezi. Podívejte se na hybridní vzorec, na kterém většina praktiků v roce 2026 přistane: malý self-hostovaný model pro vysokoobjemové, jednoduché úlohy plus frontier API pro těžké uvažování, ke kterému se váš lokální model dostane z 85–90 % (komunitní benchmarky, ne laboratorně ověřené, a ten poslední úsek je často tam, kde kvalitu potřebujete nejvíce).

K otázce „jak získám GPU“ je odpovědí pro sólo tvůrce téměř vždy pronajmout, ne koupit. Vlastnit hardware úrovně datacentra je kapitálová sázka, která dává smysl jen v měřítku, které ještě nemáte. Serverless inference může snížit plýtvání nečinností škálováním na nulu a účtováním jen za aktivní výpočet, ale často to vymění za vyšší sazbu za GPU-hodinu a cold-start latenci. Pronajaté GPU VPS sedí uprostřed: žádné kapitálové výdaje, předvídatelný měsíční účet, root přístup a schopnost zastavit instanci, když je nečinná.

Pokud jste spustili vzorec, překonali bod zvratu a chcete dedikovaný, soukromý inferenční server s root přístupem bez koupě karty, přesně na to je pronajatý GPU box. Cloudzy GPU VPS tarify pokrývají rozsah od 8B modelu na jediné kartě až po kvantovaný 70B a one-click Ollama aplikace v marketplace se nasadí asi za minutu s REST API, které je kompatibilní s OpenAI klienty, takže přechod z placeného API na vlastní server může být ve vašem kódu blízko drop-in změně, bez nákladů na token po fixním měsíčním poplatku. Zkontrolujte na stránce aktuální ceny; sazby GPU se mění.

Jedna akce, kterou stojí za to podniknout, než si cokoli pronajmete: spusťte vzorec bodu zvratu na svém vlastním účtu. Zabere to dvě minuty a řekne vám to, ve které ze čtyř situací výše se nacházíte.

Časté dotazy

Je levnější self-hostovat LLM, nebo použít API?

Záleží na tom, které API. Self-hosting open-weight modelu na GPU VPS může porazit frontier API (třídy GPT-5, Claude Sonnet 5 / Opus 4.8) při vysokém, trvalém objemu s dobrým vytížením GPU. Rozpočtové open-weight API (DeepSeek, DeepInfra, Together za zhruba $0.14–$0.50 za milion tokenů k červenci 2026) na samotných nákladech poráží zřídka: ten bod zvratu naráží do miliard tokenů měsíčně, což většina sólo tvůrců nikdy nedosáhne.

Jaké GPU potřebuji ke spuštění 70B modelu?

70B model při kvantizaci Q4_K_M potřebuje zhruba 40–46 GB VRAM jen pro kvantované váhy. 80 GB A100 je bezpečnější jedno-GPU možnost, protože ponechává místo pro KV cache, běhovou režii a delší prompty. 48 GB RTX 6000 Ada může fungovat pro těsnější Q4 sestavy, ale délku kontextu a souběžnost je třeba pečlivě řídit.

Jak vytížení GPU ovlivňuje náklady na token?

Pronajaté GPU stojí stejně, ať je nečinné, nebo plně zatížené, takže vaše efektivní náklady na token škálují nepřímo úměrně s vytížením. Při 10% zátěži stojí každý token, který obsloužíte, zhruba 10× toho, co by stál při plné zátěži, protože platíte za nevyužitou kapacitu. Praktické dno, aby self-hosting dával smysl, je kolem 50–60% trvalého vytížení.

Kolik tokenů měsíčně, než se self-hosting vyplatí?

Proti frontier API je zhruba 160–256 milionů tokenů měsíčně při zdravém vytížení směrovým prahem (k červenci 2026). Proti rozpočtovému open-weight API jsou to miliardy měsíčně, sólo prakticky nedosažitelné. Přesné číslo závisí na vašich nákladech na GPU a smíšené sazbě API, takže spusťte vzorec: tokeny bodu zvratu ≈ měsíční náklad GPU VPS ÷ vaše cena API za token, poté to zdiskontujte na trvalé vytížení.

Můžu spustit open-weight LLM na VPS?

Ano, na GPU VPS naddimenzovaném na VRAM modelu. Nástroj jako Ollama spouští open-weight modely (Llama, Qwen, Mistral a další) s one-click nasazením a OpenAI-compatible REST API, takže váš stávající kód volající API může ukázat na váš vlastní server s minimálními změnami. Přizpůsobte úroveň GPU svému modelu: 8B se pohodlně vejde na 24 GB kartu, kvantovaný 70B potřebuje 48–80 GB.