メインコンテンツへスキップ
50% off 全プラン対象、期間限定。月額 $2.48/mo
18 min left
AIと機械学習

オープンウェイトLLMのセルフホスト vs. API:本当のコスト計算

B 著者 Bill 18 分で読めます
Self-hosting an LLM versus using an API: a fixed monthly GPU bill against per-token API metering, the fixed-versus-variable cost trade-off

あなたのプロダクトが出荷され、それがLLM APIを呼び出し、そして請求額が毎月じわじわ上がってきています。そこであなたは、どのビルダーもいずれやることをやります。新しいタブを開いて、GPUを借りてLlamaを自分で動かしたほうが安くなるのではないかと考えるのです。

セルフホストLLMのコストという問いには答えがありますが、それは検索上位の結果やAI Overviewが繰り返す単一の数字ではありません。それは、それらの記事が均してしまう3つのことに依存します。何のAPIと比較しているか、あなたのGPUがどれだけ忙しいか、そして誰も表計算に入れない運用コストです。

詳細に入る前に手短な版を示します。ほとんどのソロビルダーにとって、いまセルフホストはコストで勝ちません。しかし、それがひっくり返る具体的な一線があり、あなたはそれを自分の請求書上で約2分で計算できます。以下は2026年の計算です(現在の価格、モデルごとのVRAM数値、そしてあなたが実行できる公式)。

短いバージョン

  • 損益分岐点は一つの数字ではありません。何のAPIと比較しているかによって、3つあります。 フロンティアAPI(GPT-5.x、Claude Sonnet 5 / Opus 4.8、Gemini Pro)に対しては、セルフホストが最も早く損益分岐します。バジェットなオープンウェイトAPI(DeepSeek、DeepInfra、Together、おおよそ100万トークンあたり$0.14〜$0.50)に対しては、コストだけではほとんど勝ちません。
  • 稼働率は、ソロのケースを潰す乗数です。 借りたGPUはアイドル時も全負荷時も同じコストがかかるので、稼働率10%で動くGPUは、全負荷時に比べてトークンあたりおよそ10倍のコストになります。バーストの多いソロのワークロードは、デフォルトで低稼働率に落ち着きます。
  • 損益分岐点より下では、コストで勝つのはたいていセルフホストではなく、バジェットなオープンウェイトAPIへの切り替えです。 セルフホストが元を取るのは、フロンティア価格に対する持続的なボリュームが60%+の稼働率でその一線を越えるとき、あるいはコスト以外の理由(プライバシー、レイテンシ、ファインチューニングの制御)があるときです。
  • 何かを借りる前に、自分の数字で公式を実行してください。 損益分岐トークン ≈ GPU VPSの月額コスト ÷ トークンあたりのブレンドされたAPI価格。

これが扱わないこと

  • マルチノードまたはデータセンター規模のGPUクラスタ。これはソロのコスト判断であって、艦隊の話ではありません。
  • ファインチューニングの経済性を深く扱うこと(それ自体のトレードオフを持つ別の計算です)。
  • ステップバイステップのOllama対vLLMのセットアップチュートリアル。ここでのスコープはお金の問いであって、インストールではありません。
  • 主要な手段としての自己所有のハードウェア。ここでの前提は一貫して借りたGPUです。すでに机の上にGPUを持っていないビルダーにとって、それが現実的な道だからです。

何がコストを動かすのか(そして人気の数字がどこで間違うのか)

「self host LLM vs API cost」を検索すると、こぎれいな損益分岐点の数字にたどり着きます。月に110億トークンとか、月額APIの支出でおよそ$4,200といったもので、 braincuberのコスト分析 で引用され、ページ上部のAI Overviewでもほぼそのまま反復されています。きれいな数字です。しかしそれ単体ではほとんど役に立ちません。あなたの答えを決める2つの変数を隠しているからです。

これが厄介なのは、比較の両側がコストの形が違うからです。APIの請求は変動費です。トークンごとに支払うので、どれだけ使うかに応じて請求は上下します。借りたGPUは固定費です。10億トークンを通そうがアイドルのまま放置しようが、同じ月額料金を支払います。変動費と固定費を一つの数字で比較するには、何トークン流れるかを正確に知っているふりが必要ですが、ソロ規模ではたいてい知りません。

そこで損益分岐点を動かすレバーが3つ残ります。

  • 何のAPIと比較しているか。 フロンティアAPIとバジェットなオープンウェイトAPIは、価格でおよそ2桁隔たっています。それぞれに対する損益分岐点は大きく異なります。
  • あなたのGPU稼働率。 固定費が元を取るのは、GPUが忙しいときだけです。アイドル時間は、何のためでもなく使ったお金です。
  • 隠れた運用コスト。 あなたの時間、モデル更新の入れ替わり、そして本番に入るまで表れないVRAMの不意打ち。

それぞれに値段をつければ、霧が晴れます。それがこの記事の残りです。

セクションの要点:損益分岐点は単一の数字ではありません。APIの階層ごとに一つ、計3つの数字であり、比較する階層を間違えることが、ほとんどのコスト見積もりが誤るところです。

3方向の損益分岐:フロンティア vs. 中位 vs. バジェットAPI

GPU VPS上でオープンウェイトLLMをセルフホストすると、GPUを健全な稼働率(たとえば60%以上)に保つ限り、1日あたりおおよそ数百万トークンでフロンティアAPI(GPT-5クラス、Claude Sonnet 5 / Opus 4.8、Gemini Pro)に勝ちます。100万トークンあたりおよそ$0.14〜$0.50のバジェットなオープンウェイトAPIに対しては、コストで勝つことはめったにありません。その違いがすべてであり、だからこそ一つの損益分岐点の数字が正しいはずがないのです。

3つの階層にわたるおおよその形を示します。これらの閾値は、厳密な線ではなく方向性のある範囲として扱ってください。それらはコミュニティの見積もりと2026年の価格から来ており、どちらも速く動きます。

比較対象は価格の例(100万トークンあたり、2026年7月時点)単一のハイエンドGPUが勝ち始めるおおよその月間ボリュームソロビルダーにとっての結論
フロンティアAPIGPT-5.5 入力$5 / 出力$30;GPT-5.4 $2.50 / $15;Claude Opus 4.8 $5 / $25;Claude Sonnet 5 $2 / $10(8月31日まで、以降$3 / $15);Gemini 3.1 Pro Preview $2 / $12;Gemini 2.5 Pro $1.25 / $1060〜70%の稼働率で月あたり約160〜256Mトークン(1日あたり約5〜8M)持続的なボリュームがあれば到達可能
中位 / 小型フロンティアGPT-5.4-mini $0.75 / $4.50;Claude Haiku 4.5 $1 / $5;Gemini 2.5 Flash $0.30 / $2.50出力の比率とモデルの選択によるが、フロンティアの損益分岐点のおよそ3〜5倍高いコストではめったに割に合わない
バジェットなオープンウェイトAPIDeepInfra Llama 3.1 70B 均一で約$0.40;Together Llama 3 8B Lite $0.14;DeepSeek V4 Flash $0.14 / $0.28;DeepSeek V4 Pro $0.435 / $0.87モデルと出力の比率によるが、月あたり約2.5B〜7B+トークンソロでは実質的に到達不可能

価格は、2026年7月時点の OpenAI, Anthropic, Google, DeepInfra, Together、そして DeepSeek の価格ページより。これらの数字はどれも賞味期限が数か月単位なので、契約する前に現在のページを確認してください。

さて、逆張りのポイントです。これは判断を変えるものだからです。バジェットAPIがセルフホストの損益分岐点を殺したという、声高で正しい議論が出回っています。 DeepInfraTogether のようなオープンウェイトAPIは、いまLlamaやQwenのモデルをフロンティア価格のごく一部で提供しており、フロンティア価格自体も2025年以降大きく下がりました。それらのバジェットな料金に対しては、トークンあたりの損益分岐点は月あたり数十億トークンにまで達します。ソロプレナーが月に数十億トークンを流すことはありません。だから、もしあなたの唯一の目標が請求額を下げることなら、最初の一手はたいてい「GPUを借りる」ことではなく「バジェットなオープンウェイトAPIに切り替えて運用をゼロに保つ」ことです。

セルフホストのコスト面での主張は、2つの場所で生き残ります。本当に高く持続的なボリュームで高価なフロンティア価格と比較する場合、そしてこの下で扱うコスト以外の理由(プライバシー、レイテンシ、ファインチューニングの制御)です。それ以外のあらゆる場所では、バジェットAPIがお金の議論に勝ちます。

損益分岐の公式

break-even tokens per month ≈ GPU VPS monthly cost ÷ your blended API price per token

作業例、ソロプレナー規模:単一のハイエンドGPU VPSが月あたり約$1,000(トップ単一GPUティアの2026年カタログ範囲)で動くとして、あなたが100万トークンあたり約$6のブレンドレート(トークンあたりおよそ$0.000006)のフロンティアAPIを使っているとします。それは約$1,000 ÷ $0.000006 ≈ 月1億6700万トークンで、そこでGPUが紙の上で元を取ります。今度は、100万あたり$0.40($0.0000004/トークン)のバジェットなオープンウェイトAPIに対してやり直します。約$1,000 ÷ $0.0000004 = 月25億トークン。同じGPU、同じ固定費、そして損益分岐点は、分母にどのAPIを置くかだけで10倍超動きます。これは稼働率を入れる前の話で、稼働率が数字をさらに悪くします。

セクションの要点:比較するAPIは、あなたの損益分岐点を10倍以上動かしうるので、「数字を計算する」とは、あなたが実際に置き換えるであろう特定のAPIに対して計算することを意味します。

Three-way break-even: self-hosting clears a frontier API soonest, a mid-tier API further out, and a budget open-weight API only at a very high, effectively unreachable token volume

稼働率がトークンあたりのコストにすること

その約1億6700万トークンのフロンティア損益分岐点を取り上げ、公式がひそかに前提から外している変数を加えます。あなたのGPUは、その間ずっと忙しいという前提です。そうではありません。借りたGPUは、飽和していようがアイドルだろうが同じ請求をするので、あなたの実効的なGPU VPSのトークンあたりLLMコストは稼働率に反比例してスケールします。10%の負荷で動かせば、提供する各トークンは全負荷時に比べておよそ10倍のコストを負います。使わなかった90%の容量分を支払っているからです。コミュニティの見積もりと実践者の書き物は、数字が恥ずかしくなくなるまでの実用的な下限を、持続的な稼働率でおよそ50〜60%あたりに置いています(方向性のある数字であって、実験室の定数ではありません)。

バーストの多いソロのワークロード(日中に急増し夜間はフラットになるトラフィック)にとって、持続的な60%の稼働率を達成するのは難しいです。それが罠です。以下は、それが100万トークンあたりのコストにいくつかの具体的なポイントで何をするかを、2026年のカタログGPU価格を各稼働率レベルでのおおよその月間スループットで割って示したものです。

GPUティアモデル(Q4)100%稼働時の100万トークンあたり約コスト60%稼働時25%稼働時
RTX 4090 (24 GB)Llama 3.1 8B1桁台前半のセント100%時の数字の約1.7倍100%時の数字の約4倍
RTX 5090 (32 GB)Qwen 3 32B中程度のセント約1.7×約4×
A100 (80 GB)Llama 3.1 70Bより高い(より大きなモデル、より多くのGPU)約1.7×約4×
RTX 6000 Ada (48 GB)Llama 3.1 70B (Q4)A100の範囲に匹敵約1.7×約4×

絶対的なトークンあたりのセントは、あなたのモデル、量子化、そしてカードに何件の同時リクエストを詰め込めるかによるので、各列は見積もりではなくペナルティの を示すものとして扱ってください。ポイントは乗数です。全負荷から4分の1の負荷に落とすと、トークンあたりのコストはおよそ4倍になります。それがたいてい、GPUの表示価格ではなく、ソロのセルフホストのケースを潰すものです。

構造的な逃げ道が一つあり、それがバーストの多い需要では借りることが所有することに勝ちうる理由です。借りたインスタンスは、アイドルのときに停止できます。ハードウェアを所有すれば、使おうが使うまいが減価償却し電力を引きます。時間単位やオンデマンドのレンタルでは、ジョブが終わったらインスタンスを停止したり取り壊したりして、アイドル時間の支払いを避けられます。固定の月額プランでは、請求は請求期間の間は依然として固定なので、稼働率が主要なコスト問題のままです。これは一日中本当に低稼働率のワークロードを直しはしませんが、バーストで忙しくその合間は死んでいる需要にとって、メーターを止められる能力は、レンタル対所有をレンタル寄りに傾ける唯一のレバーです。

セクションの要点:セルフホストが採算に合うかを決めるのは、たいていGPUの月額価格ではなく稼働率であり、それは人気の損益分岐点の数字がまるごと外している変数です。

Effective cost per token rises sharply as GPU utilization falls: lowest at 100% load, higher at 60%, much higher at 25%, and highest at 10%, because idle capacity is still billed

どのモデルがどのGPUに合うか:VRAMの現実

最初に崩れる計画は「4090で70Bをただ動かせばいい」です。それはできません。Q4_K_M量子化の70Bモデルはおよそ40〜46 GBのVRAMを必要とし、24 GBのRTX 4090や32 GBのRTX 5090にはその余地が単純にありません。24 GBのカードに無理やり載せれば、Q2_K量子化(約21 GB)に落ちて目に見える品質低下が出るか、モデルがシステムRAMにあふれ出して生成速度が崩壊します。VRAMは、あるGPUにとってどのモデルがそもそも俎上に載るかを決める硬い壁です。

何がどこに合うかを示します。VRAMの数値はおおよそです。標準的なパラメータあたりバイト数の計算(FP16 ≈ params × 2 に約15%のオーバーヘッド;Q4_K_M ≈ params × 約0.55 にオーバーヘッド)から導かれているので、保証ではなくサイズ決めの指針として扱ってください。

モデルFP16Q8Q4_K_M(Q4で)収まる最小のCloudzy GPU
Llama 3.1 8B~16 GB~8.5 GB~5–6 GBRTX 4090(FP16でも収まる)
Mistral Small 3.1 (24B)~48 GB~24 GB~14–16 GBRTX 4090
Qwen 3 32B~64 GB~32 GB~18–20 GBRTX 4090
Qwen 2.5 72B~144 GB~72 GB~41–51 GBA100 (80 GB) または RTX 6000 Ada (48 GB)
Llama 3.1 70B~140 GB~70 GB~40–46 GBA100 (80 GB) または RTX 6000 Ada (48 GB)
DeepSeek R1 70B (distill)~140 GB~70 GB~40 GBA100 (80 GB) または RTX 6000 Ada (48 GB)

VRAMの数値は、各カードについてNVIDIAの公式GPUスペックページと照合されています。A100は量子化された70Bにより快適なヘッドルームを与えます。RTX 6000 AdaはよりタイトなQ4のセットアップで機能しうる一方、24 GBと32 GBのコンシューマーカードは通常の70B Q4デプロイに十分なVRAMを持ちません。GGUF、GPTQ、AWQ、EXL2の各フォーマットがどうメモリを消費するかの完全な内訳が欲しいなら、それはそれ自体の読み物に値する深い穴です。 GGUF、GPTQ、AWQ、EXL2:LLMの量子化フォーマットが実際にどうメモリを使うか.

単一の24 GBカードにとってのコミュニティのスイートスポットは、24Bから32Bのモデル(Q4のMistral Small 3.1またはQwen 3 32B)です。それが、最も安いGPUティアで、VRAMとずっと格闘することなく、ソロビルダーに使えるモデルを与えるサイズです。そもそもどのカードを借りるかを検討しているなら、私たちの AIワークロード向けH100 vs RTX 4090ベンチマーク が、スループットで各ティアを比較しています。

プロのヒント:重みだけでなくKV cacheの分も予算に入れてください。最も一般的な初回デプロイの不意打ち:モデルの重みに合わせてGPUのサイズを決め、ロードすると、収まります。次にリクエストが入ってくると、KV cacheがコンテキスト長と同時実行数とともに増え、最初の数人のユーザーに提供している最中にVRAMが足りなくなります。VRAMがあふれてモデルがCPUにこぼれると、生成速度は10〜100×落ちます。表の重みの数値の上に、キャッシュのためのヘッドルームを残してください。特に長いコンテキストや複数ユーザーを同時に提供している場合は。

Which model fits which GPU: a 24 GB RTX 4090 and 32 GB RTX 5090 fit 8B to 32B models, a 48 GB RTX 6000 Ada and 80 GB A100 add room for a quantized 70B with headroom for context

素朴な節約を帳消しにする隠れたコスト

セルフホストのほうが安いと言う表計算には、ほとんどいつも1行しかありません。GPUの月額価格です。あなたが支払う請求には、もっと多くの行があります。あなたの時間があります(パッチを当てたり、ハングした推論サーバーを再起動したり、メモリ不足のクラッシュを追ったりに費やす1時間は、プロダクトに費やさなかった1時間です)。モデル更新の入れ替わりがあります。あなたがデプロイしたオープンウェイトモデルは取って代わられ、再ベンチマークと再デプロイは一度きりのセットアップではなく繰り返しの作業です。前のセクションのVRAMとKV-cacheの不意打ちがあります。そしてアイドルの無駄があります。何も動いていないのにGPUが請求を続けている時間です。

これらを数えた実践者たちは、運用時間を織り込むと真のコストを生のGPU価格のおよそ1.3〜2倍に置き、より雑なセットアップでは3〜5倍とさらに高くする人もいます。それらはコミュニティの書き物からの方向性のある乗数であって、監査済みの数字ではありませんが、方向性こそがポイントです。広く引用されるある表現が言うように、アイドルのGPUは資産ではなく、時間単位で請求される負債です。ソロビルダーにとって、これに値段をつける正しい方法はMLOpsの給与という項目ではなく、あなた自身の時間です。それはあなたが持つ最も希少なものです。もしセルフホストが紙の上で月に$200を節約するが、そうでなければ出荷に費やせる6時間の運用を要するなら、それは明らかな勝ちとは言えません。

それでもセルフホストが勝つとき:プライバシー、レイテンシ、ファインチューニング

コストは自分のモデルを動かす唯一の理由ではありませんし、一部のビルダーにとっては主な理由ですらありません。お金が「APIに留まれ」と言うコストの損益分岐点より下でも、それでもセルフホストする理由が3つあります。データ主権:あなたのユーザーのプロンプトとデータを外部のAIプロバイダーのパイプラインの外に留めること。これは数字が何と言おうと、一部のプロダクトにとって重要です。予測可能なレイテンシ:共有テナントのキューもなく、あなたが設定していないレート制限もなく、誰か他人のトラフィックの急増による不意のスローダウンもありません。そして完全な制御:ベンダーを待たずにファインチューニングし、量子化し、モデルを入れ替え、バージョンを固定する自由です。

プライバシーの点には注意点があり、それを飛ばすのは不誠実でしょう。借りたGPU VPSは、依然として誰か他人のデータセンターにある誰か他人のハードウェア上で動いています。それは意味のある主権です。 AIプロバイダーの学習とログのパイプラインからの主権であり (あなたのプロンプトはモデルベンダーのシステムを流れていません)、しかしそれは、あなたが物理的に管理するオンプレミスの機器と同じではありません。あなたの要件が真のオンプレミスの隔離なら、借りたVPSはそこには連れて行ってくれません。あなたの要件が「私たちのデータを第三者のモデルプロバイダーの手の外に留める」ことなら、それは連れて行ってくれます。自分がどちらを必要としているかを知ってください。

制限的なネットワーク環境で動くワークロードにとって、あなたが管理するインフラ上のセルフホストモデルは、到達できないかもしれない外部エンドポイントへの依存を回避することもできます。それはどこにデプロイするかとは独立して重要な能力です。

では、セルフホストすべきか? 状況別のまっすぐな答え

上記のすべては、短い判断に整理されます。あなたには請求書があり、月間トークンボリュームのおおよその感覚があり、そして今や3つの損益分岐階層、稼働率のペナルティ、隠れたコストの乗数があります。あなたの状況を次のいずれかに当てはめてください。

  • あなたはフロンティアの損益分岐点より下で、コストが唯一の関心事だ。 APIに留まり、そして何よりもまずバジェットなオープンウェイトAPI(DeepSeek、DeepInfra、Together)を真剣に見積もってください。それがたいていコストの勝ちであって、セルフホストではありません。APIの切り替えは設定変更です。セルフホストは2つ目の仕事です。
  • あなたにはフロンティア価格に対する持続的で高いボリュームがあり、GPUを60%+の稼働率に保てる。 ここがセルフホストが元を取るところです。あなたのフロンティアレートに対して公式を実行し、(ピークではなく)持続的な稼働率で閾値を越えることを確認すれば、借りたGPU VPSが勝ち始めます。
  • あなたにはコスト以外の要因がある:プライバシー、レイテンシ、またはファインチューニングの制御。 損益分岐点より下でも意図的にセルフホストしてください。制御に対価を払っているのだと、目を開けたままで。ただ、安くないのに安いと自分に言い聞かせないでください。
  • あなたはその中間にいる。 2026年にほとんどの実践者が落ち着くハイブリッドのパターンを見てください。高ボリュームで単純なタスクには小さなセルフホストモデル、加えて、あなたのローカルモデルが85〜90%まで到達する難しい推論にはフロンティアAPI(コミュニティのベンチマークであって実験室で検証されたものではなく、そして最後のひと伸びこそ、しばしば最も品質が必要なところです)。

「GPUをどう手に入れるか」という問いについては、ソロビルダーにとっての答えはほとんどいつも、買うのではなく借りるです。データセンター級のハードウェアを所有するのは、あなたがまだ持っていない規模でしか意味をなさない設備投資の賭けです。 サーバーレス推論はアイドルの無駄を減らせます。 ゼロまでスケールし、アクティブな計算に対してのみ課金することでそうしますが、しばしばその代わりに、より高いGPU時間単価とコールドスタートのレイテンシと引き換えになります。借りたGPU VPSは中間に位置します。設備投資なし、予測可能な月額請求、rootアクセス、そしてアイドルのときにインスタンスを停止できる能力です。

公式を実行し、損益分岐点を越え、そしてカードを買わずに専用でプライベートなroot権限の推論サーバーが欲しいなら、それこそが借りたGPUボックスの用途です。Cloudzyの GPU VPSプラン は、単一カード上の8Bモデルから量子化された70Bまでの範囲をカバーし、そして マーケットプレイスのワンクリックOllamaアプリ は、OpenAIクライアントと互換のあるREST APIとともに約1分でデプロイするので、有料APIから自分のサーバーへの切り替えは、コードの中でほぼドロップインの変更に近くでき、固定の月額料金のあとはトークンあたりのコストがありません。現在の価格はページを確認してください。GPUの料金は動きます。

何かを借りる前に取る価値のある唯一のアクション:自分の請求書で損益分岐の公式を実行してください。2分かかり、それが上記の4つの状況のどれにあなたがいるかを教えてくれます。

よくある質問

LLMをセルフホストするのとAPIを使うのは、どちらが安いか?

それはどのAPIかによります。GPU VPS上でオープンウェイトモデルをセルフホストすると、良好なGPU稼働率での高く持続的なボリュームで、フロンティアAPI(GPT-5クラス、Claude Sonnet 5 / Opus 4.8)に勝ちうります。バジェットなオープンウェイトAPI(2026年7月時点でDeepSeek、DeepInfra、Together、おおよそ100万トークンあたり$0.14〜$0.50)にコストだけで勝つことはめったにありません。その損益分岐点は月あたり数十億トークンにまで達し、ほとんどのソロビルダーは決してそこに届きません。

70Bモデルを動かすにはどのGPUが必要か?

Q4_K_M量子化の70Bモデルは、量子化された重みだけでおよそ40〜46 GBのVRAMを必要とします。80 GBのA100は、KV cache、ランタイムのオーバーヘッド、そしてより長いプロンプトのための余地を残すので、より安全な単一GPUの選択肢です。48 GBのRTX 6000 AdaはよりタイトなQ4のセットアップで機能しうりますが、コンテキスト長と同時実行数は慎重に管理する必要があります。

GPU稼働率はトークンあたりのコストにどう影響するか?

借りたGPUは、アイドルだろうが完全にロードされていようが同じコストがかかるので、あなたの実効的なトークンあたりのコストは稼働率に反比例してスケールします。10%の負荷では、提供する各トークンは全負荷時のおよそ10倍のコストになります。使われていない容量分を支払っているからです。セルフホストが意味をなすための実用的な下限は、持続的な稼働率でおよそ50〜60%です。

セルフホストが割に合うまで月に何トークン必要か?

フロンティアAPIに対しては、健全な稼働率で月あたりおよそ1億6000万〜2億5600万トークンが方向性のある閾値です(2026年7月時点)。バジェットなオープンウェイトAPIに対しては月あたり数十億トークンで、ソロでは実質的に到達不可能です。正確な数字はあなたのGPUコストとブレンドされたAPIレートによるので、公式を実行してください。損益分岐トークン ≈ GPU VPSの月額コスト ÷ トークンあたりのAPI価格、それを持続的な稼働率で割り引いてください。

オープンウェイトLLMをVPS上で動かせるか?

はい、モデルのVRAMに合わせてサイズを決めたGPU VPS上でなら。Ollamaのようなツールは、ワンクリックデプロイとOpenAI互換のREST APIでオープンウェイトモデル(Llama、Qwen、Mistralなど)を動かすので、既存のAPI呼び出しコードは最小限の変更で自分のサーバーに向けられます。GPUティアをモデルに合わせてください。8Bは24 GBのカードに余裕をもって収まり、量子化された70Bは48〜80 GBを必要とします。

Share

ブログの他の記事

読み進める。

デプロイの準備はできましたか? 月額2.48ドルから。

2008年から独立運営のクラウド。AMD EPYC、NVMe、40 Gbps。14日間返金保証。