오픈 웨이트 LLM 셀프 호스팅 대 API: 실제 비용 계산법

당신의 제품이 출시되고, LLM API를 호출하며, 청구서는 매달 슬금슬금 늘어 왔습니다. 그래서 모든 빌더가 결국 하는 일을 합니다. 새 탭을 열고 GPU를 빌려 Llama를 직접 실행하는 게 더 저렴할지 궁금해합니다.

셀프 호스팅 LLM 비용 질문에는 답이 있지만, 그것은 상위 검색 결과와 AI 개요가 계속 반복하는 단일 숫자가 아닙니다. 그 기사들이 뭉개 버리는 세 가지에 달려 있습니다. 어떤 API와 비교하는지, GPU가 얼마나 바쁜지, 그리고 아무도 스프레드시트에 넣지 않는 운영 비용입니다.

세부 사항에 앞선 짧은 버전은 이렇습니다. 대부분의 1인 빌더에게 셀프 호스팅은 지금 당장 비용에서 이기지 못합니다. 하지만 그것이 뒤집히는 구체적인 지점이 있고, 당신은 그것을 자신의 청구서로 약 2분 만에 계산할 수 있습니다. 아래는 2026년 계산법입니다(현재 가격, 모델별 VRAM 수치, 그리고 직접 돌려 볼 수 있는 공식).

요약

• 손익분기점은 하나의 숫자가 아닙니다. 어떤 API와 비교하느냐에 따라 세 가지입니다. 프런티어 API(GPT-5.x, Claude Sonnet 5 / Opus 4.8, Gemini Pro)와 비교하면 셀프 호스팅이 가장 빨리 손익분기에 도달합니다. 저가 오픈 웨이트 API(DeepSeek, DeepInfra, Together, 대략 백만 토큰당 $0.14~$0.50)와 비교하면 비용만으로는 거의 이기지 못합니다.
• 가동률은 1인 사례를 죽이는 배수입니다. 빌린 GPU는 유휴 상태든 완전 부하든 같은 비용이 들므로, 10% 가동률로 돌아가는 GPU는 토큰당 완전 부하일 때의 약 10배 비용이 듭니다. 산발적인 1인 워크로드는 기본적으로 낮은 가동률에 머뭅니다.
• 손익분기점 아래에서 비용 절감은 대개 셀프 호스팅이 아니라 저가 오픈 웨이트 API로 전환하는 것입니다. 셀프 호스팅은 프런티어 가격 대비 지속적인 물량이 60% 이상 가동률에서 선을 넘을 때, 또는 비용 외의 이유(프라이버시, 지연 시간, 파인튜닝 제어)가 있을 때 제값을 합니다.
• 무언가를 빌리기 전에 자신의 숫자로 공식을 돌려 보세요. 손익분기 토큰 ≈ GPU VPS 월 비용 ÷ 토큰당 혼합 API 가격.

이 글이 다루지 않는 것

• 다중 노드 또는 데이터센터 규모의 GPU 클러스터. 이것은 1인 비용 결정이지 함대 이야기가 아닙니다.
• 파인튜닝 경제학을 깊이 있게 다루는 것(고유한 절충점을 가진 별개의 계산).
• 단계별 Ollama-vs-vLLM 설치 튜토리얼. 여기서의 범위는 돈 문제이지 설치가 아닙니다.
• 주된 수단으로서의 소유 하드웨어. 이 글 전체의 가정은 빌린 GPU인데, 그것이 이미 책상 위에 GPU가 놓여 있지 않은 빌더에게 현실적인 경로이기 때문입니다.

무엇이 비용을 좌우하는가 (그리고 인기 있는 숫자들이 어디서 틀리는가)

"self host LLM vs API cost"를 검색하면 깔끔한 손익분기 수치에 도달하게 됩니다. 이를테면 월 110억 토큰, 또는 월 약 $4,200의 API 지출 같은 것으로, 다음이 인용합니다: braincuber의 비용 분석 이며, 페이지 상단의 AI 개요에서도 거의 그대로 반복됩니다. 깔끔한 숫자입니다. 그런데 그것만으로는 거의 쓸모없기도 한데, 당신의 답을 결정하는 두 변수를 숨기기 때문입니다.

이것이 미끄러운 이유는 비교의 양쪽이 서로 다른 비용 형태를 갖기 때문입니다. API 청구서는 변동 비용입니다. 토큰당 지불하므로 얼마나 사용하느냐에 따라 청구서가 오르내립니다. 빌린 GPU는 고정 비용입니다. 10억 토큰을 밀어 넣든 놀리든 같은 월 요금을 냅니다. 변동 비용을 고정 비용과 하나의 숫자로 비교하려면 정확히 몇 개의 토큰이 흐를지 안다고 가정해야 하는데, 1인 규모에서는 보통 알지 못합니다.

그러면 손익분기점을 움직이는 세 개의 레버가 남습니다:

• 어떤 API와 비교하는지. 프런티어 API와 저가 오픈 웨이트 API는 가격에서 대략 두 자릿수 배수(두 자릿수 오더)만큼 벌어져 있습니다. 각각에 대한 손익분기점은 극단적으로 다릅니다.
• 당신의 GPU 가동률. 고정 비용은 GPU가 바쁠 때만 본전을 뽑습니다. 유휴 시간은 아무것도 얻지 못하고 쓴 돈입니다.
• 숨은 운영 비용. 당신의 시간, 모델 업데이트로 인한 반복 작업, 그리고 프로덕션에 들어가기 전까지 드러나지 않는 VRAM 관련 놀라움입니다.

이 각각에 가격을 매기면 안개가 걷힙니다. 그것이 이 글의 나머지입니다.

섹션 요점: 손익분기점은 단일 숫자가 아닙니다. API 등급별로 하나씩 세 개의 숫자이며, 비교할 잘못된 등급을 고르는 것이 대부분의 비용 추정이 틀어지는 지점입니다.

3중 손익분기: 프런티어 대 중급 대 저가 API

GPU VPS에서 오픈 웨이트 LLM을 셀프 호스팅하는 것은 GPU를 건강한 가동률(가령 60% 이상)로 유지한다는 전제하에, 하루 대략 수백만 토큰 수준에서 프런티어 API(GPT-5급, Claude Sonnet 5 / Opus 4.8, Gemini Pro)를 이깁니다. 백만 토큰당 약 $0.14~$0.50인 저가 오픈 웨이트 API와 비교하면 비용에서는 거의 이기지 못합니다. 그 차이가 이야기의 전부이며, 하나의 손익분기 숫자가 맞을 수 없는 이유입니다.

세 등급에 걸친 대략적인 모양은 다음과 같습니다. 이 임계값들을 확고한 선이 아니라 방향을 가리키는 범위로 다루세요. 이들은 커뮤니티 추정치와 2026년 가격에서 나왔고, 둘 다 빠르게 변합니다.

가격은 다음의 OpenAI, Anthropic, Google, DeepInfra, Together, 그리고 DeepSeek 가격 페이지에서 2026년 7월 기준입니다. 이 숫자들 하나하나가 몇 달 단위의 유효 기간을 가지므로, 약정하기 전에 현재 페이지를 확인하세요.

이제 반대되는 논점입니다. 이것이 결정을 바꾸는 지점이기 때문입니다. 저가 API가 셀프 호스팅 손익분기점을 죽였다는 크고 옳은 주장이 돌고 있습니다. 다음과 같은 오픈 웨이트 API들은 DeepInfra 와 Together 이제 Llama와 Qwen 모델을 프런티어 가격의 일부만으로 제공하며, 프런티어 가격 자체도 2025년 이후 급격히 떨어졌습니다. 그 저가 요율에 대비하면 토큰당 손익분기점은 월 수십억 토큰에 이릅니다. 1인 창업가는 월 수십억 토큰을 밀어 넣지 않습니다. 그러니 목표가 오직 더 낮은 청구서라면, 첫 수는 대개 "GPU를 빌린다"가 아니라 "저가 오픈 웨이트 API로 전환하고 운영을 제로로 유지한다"입니다.

셀프 호스팅의 비용 논거는 두 곳에서 살아남습니다. 진정으로 높고 지속적인 물량에서 비싼 프런티어 가격과 비교할 때, 그리고 아래에서 다루는 비용 외의 이유(프라이버시, 지연 시간, 파인튜닝 제어)입니다. 그 외의 모든 곳에서는 저가 API가 돈 논쟁에서 이깁니다.

손익분기 공식

break-even tokens per month ≈ GPU VPS monthly cost ÷ your blended API price per token

1인 창업가 규모의 계산 예시: 단일 고급 GPU VPS가 월 약 $1,000(최상급 단일 GPU 등급의 2026년 카탈로그 범위)이고, 백만 토큰당 약 $6(토큰당 대략 $0.000006)의 혼합 요율을 가진 프런티어 API를 쓴다고 합시다. 그러면 GPU가 서류상 본전을 뽑기까지 ~$1,000 ÷ $0.000006 ≈ 월 1억 6,700만 토큰입니다. 이제 백만 토큰당 $0.40(토큰당 $0.0000004)인 저가 오픈 웨이트 API에 대해 다시 계산하면 ~$1,000 ÷ $0.0000004 = 월 25억 토큰입니다. 같은 GPU, 같은 고정 비용인데, 분모에 어떤 API를 넣느냐에 따라 손익분기점이 10배 넘게 움직입니다. 이것은 가동률 이전의 이야기이며, 가동률은 그 숫자를 더 나쁘게 만듭니다.

섹션 요점: 비교하는 API에 따라 손익분기점이 10배 이상 움직일 수 있으므로, "숫자를 돌려 보라"는 것은 당신이 실제로 대체할 특정 API에 대해 돌려 보라는 뜻입니다.

가동률이 토큰당 비용에 하는 일

그 ~1억 6,700만 토큰의 프런티어 손익분기점을 가져다가, 공식이 조용히 가정으로 지워 버린 변수를 더해 보세요. GPU가 내내 바쁘다는 가정 말입니다. 그렇지 않습니다. 빌린 GPU는 포화 상태든 유휴든 같은 요금을 청구하므로, 당신의 실효 GPU VPS 토큰당 LLM 비용은 가동률에 반비례해 커집니다. 10% 부하로 돌리면 당신이 제공하는 각 토큰은 완전 부하일 때의 약 10배 비용을 지게 되는데, 사용하지 않은 90%의 용량에 대해 지불하고 있기 때문입니다. 커뮤니티 추정치와 실무자 후기들은 숫자가 당신을 부끄럽게 하기를 멈추는 실용적 하한을 약 50~60% 지속 가동률로 잡습니다(실험실 상수가 아니라 방향을 가리키는 수치).

산발적인 1인 워크로드(낮에 치솟고 밤새 평평해지는 트래픽)에서는 지속적인 60% 가동률을 달성하기 어렵습니다. 그것이 함정입니다. 다음은 몇 가지 구체적인 지점에서 백만 토큰당 비용에 그것이 하는 일을, 2026년 카탈로그 GPU 가격을 각 가동률 수준의 대략적인 월간 처리량으로 나누어 보여 줍니다:

토큰당 절대 센트 값은 당신의 모델, 양자화, 그리고 카드에 몇 개의 동시 요청을 채울 수 있는지에 달려 있으므로, 이 열들을 견적이 아니라 페널티의 모양 을 보여 주는 것으로 다루세요. 요점은 배수입니다. 완전 부하에서 4분의 1 부하로 떨어지면 토큰당 비용이 대략 네 배가 됩니다. 그것이 대개 1인 셀프 호스팅 사례를 죽이는 것이지, GPU 정가가 아닙니다.

구조적인 탈출구가 하나 있는데, 이것이 급증하는 수요에서 빌리는 것이 소유하는 것을 이길 수 있는 이유입니다. 빌린 인스턴스는 유휴일 때 멈출 수 있습니다. 하드웨어를 소유하면 쓰든 안 쓰든 감가상각되고 전력을 끌어씁니다. 시간당 또는 온디맨드 대여에서는 작업이 끝나면 인스턴스를 멈추거나 해체해 유휴 시간에 대한 지불을 피할 수 있습니다. 고정 월 요금제에서는 청구 기간 동안 청구액이 여전히 고정이므로 가동률이 주된 비용 문제로 남습니다. 이것이 하루 종일 정말로 낮은 가동률인 워크로드를 해결해 주지는 못하지만, 급증할 때 바쁘고 그 사이에 죽어 있는 수요에 대해서는 미터기를 끌 수 있는 능력이 빌리기 대 소유하기를 빌리기 쪽으로 기울게 하는 유일한 레버입니다.

섹션 요점: GPU의 월 가격이 아니라 가동률이 대개 셀프 호스팅이 수지가 맞는지를 결정하며, 그것은 인기 있는 손익분기 숫자들이 완전히 빼먹는 변수입니다.

어떤 모델이 어떤 GPU에 맞는가: VRAM의 현실

가장 먼저 무너지는 계획은 "그냥 4090에서 70B를 돌리면 되지"입니다. 그럴 수 없습니다. Q4_K_M 양자화의 70B 모델은 대략 40~46 GB의 VRAM이 필요하고, 24 GB RTX 4090이나 32 GB RTX 5090에는 그 공간이 단순히 없습니다. 그것을 24 GB 카드에 억지로 밀어 넣으면 눈에 띄는 품질 손실과 함께 Q2_K 양자화(약 21 GB)로 내려가거나, 모델이 시스템 RAM으로 흘러넘쳐 생성 속도가 붕괴됩니다. VRAM은 주어진 GPU에서 어떤 모델이 아예 검토 대상에 오를 수 있는지를 결정하는 단단한 벽입니다.

무엇이 어디에 맞는지는 다음과 같습니다. VRAM 수치는 대략적입니다. 표준 파라미터당 바이트 산술(FP16 ≈ 파라미터 × 2에 ~15% 오버헤드; Q4_K_M ≈ 파라미터 × ~0.55에 오버헤드)에서 도출한 것이므로, 보장이 아니라 크기 산정 지침으로 다루세요.

VRAM 수치는 각 카드에 대한 NVIDIA의 공식 GPU 사양 페이지와 교차 확인했습니다. A100은 양자화된 70B에 더 넉넉한 여유 공간을 주고, RTX 6000 Ada는 더 빡빡한 Q4 구성에서 쓸 수 있지만, 24 GB와 32 GB 소비자용 카드는 일반적인 70B Q4 배포에 충분한 VRAM이 없습니다. GGUF, GPTQ, AWQ, EXL2 형식이 메모리를 어떻게 소비하는지에 대한 전체 분석을 원한다면, 그건 별도의 읽을거리가 될 만한 토끼 굴입니다: GGUF, GPTQ, AWQ, EXL2: LLM 양자화 형식이 실제로 메모리를 어떻게 사용하는가.

단일 24 GB 카드에 대한 커뮤니티의 최적 지점은 24B~32B 모델(Q4의 Mistral Small 3.1 또는 Qwen 3 32B)입니다. 그것이 1인 빌더에게 가장 저렴한 GPU 등급에서 VRAM과 내내 씨름하지 않고도 쓸 만한 모델을 주는 크기입니다. 애초에 어떤 카드를 빌릴지 저울질하고 있다면, 우리의 AI 워크로드를 위한 H100 vs RTX 4090 벤치마크 가 처리량 기준으로 등급들을 비교합니다.

프로 팁: 가중치뿐 아니라 KV cache를 위한 예산도 잡으세요. 가장 흔한 첫 배포 시의 놀라움은 이것입니다. 모델 가중치에 맞춰 GPU 크기를 정하고, 로드하면 맞습니다. 그런 다음 요청이 들어오고, KV cache가 컨텍스트 길이와 동시성에 따라 커지며, 첫 몇 사용자를 서비스하다가 VRAM이 바닥납니다. VRAM이 넘쳐 모델이 CPU로 흘러넘치면 생성 속도가 10~100배 떨어집니다. 특히 긴 컨텍스트나 여러 사용자를 동시에 서비스한다면, 표의 가중치 수치 위로 캐시를 위한 여유 공간을 남겨 두세요.

순진한 절감액을 지워 버리는 숨은 비용들

셀프 호스팅이 더 저렴하다고 말하는 스프레드시트에는 거의 항상 한 줄만 있습니다. GPU의 월 가격입니다. 당신이 실제로 내는 청구서에는 줄이 더 많습니다. 당신의 시간이 있습니다(패치하고, 멈춰 버린 추론 서버를 재시작하고, 메모리 부족 충돌을 쫓는 데 쓰는 매 시간은 제품에 쓰지 못한 시간입니다). 모델 업데이트로 인한 반복 작업이 있습니다. 배포한 오픈 웨이트 모델이 대체되고, 재벤치마킹과 재배포는 일회성 설치가 아니라 반복되는 작업입니다. 지난 섹션의 VRAM 및 KV cache 놀라움이 있습니다. 그리고 유휴 낭비가 있습니다. 아무것도 실행되지 않는데 GPU가 청구되며 놀고 있는 시간입니다.

이것들을 세어 본 실무자들은 운영 시간을 접어 넣으면 실제 비용을 원시 GPU 가격의 대략 1.3~2배로 잡고, 더 지저분한 구성에서는 3~5배까지 더 높게 잡는 사람도 있습니다. 이들은 감사받은 수치가 아니라 커뮤니티 후기에서 나온 방향성 배수이지만, 방향이 요점입니다. 널리 인용되는 한 표현처럼, 유휴 GPU는 자산이 아니라 시간당 청구되는 부채입니다. 1인 빌더에게 이것에 가격을 매기는 올바른 방법은 MLOps 급여 항목이 아니라 당신 자신의 시간이며, 그것은 당신이 가진 가장 희소한 것입니다. 셀프 호스팅이 서류상 월 $200을 절약해 주지만 그렇지 않았다면 출시에 썼을 여섯 시간의 운영을 쓰게 한다면, 그건 명백한 승리가 아닙니다.

그래도 셀프 호스팅이 이기는 경우: 프라이버시, 지연 시간, 파인튜닝

비용이 자신의 모델을 실행하는 유일한 이유는 아니며, 일부 빌더에게는 주된 이유조차 아닙니다. 비용 손익분기점 아래, 돈이 "API에 남아라"라고 말하는 곳에서도, 그래도 셀프 호스팅할 세 가지 이유가 있습니다. 데이터 주권: 사용자의 프롬프트와 데이터를 외부 AI 제공자의 파이프라인 밖에 두는 것으로, 숫자가 뭐라 하든 일부 제품에는 중요합니다. 예측 가능한 지연 시간: 공유 테넌트 대기열도, 당신이 설정하지 않은 속도 제한도, 남의 트래픽 급증 중에 겪는 뜻밖의 감속도 없습니다. 그리고 완전한 제어: 벤더를 기다리지 않고 파인튜닝하고, 양자화하고, 모델을 교체하고, 버전을 고정할 자유입니다.

프라이버시 지점에는 단서가 있고, 이를 건너뛰는 것은 부정직할 것입니다. 빌린 GPU VPS는 여전히 남의 데이터센터에 있는 남의 하드웨어에서 실행됩니다. 그것은 의미 있는 주권입니다. AI 제공자의 학습 및 로깅 파이프라인으로부터 (당신의 프롬프트가 모델 벤더의 시스템을 통해 흐르지 않습니다) 이지만, 당신이 물리적으로 통제하는 온프레미스 장비와 같지는 않습니다. 당신의 요구 사항이 진정한 온프렘 격리라면, 빌린 VPS로는 거기에 도달하지 못합니다. 당신의 요구 사항이 "우리 데이터를 제3자 모델 제공자의 손에서 지키는 것"이라면, 그렇게 됩니다. 어느 쪽이 필요한지 아세요.

제한적인 네트워크 환경에서 실행되는 워크로드의 경우, 당신이 통제하는 인프라에 셀프 호스팅된 모델은 접근 불가능할 수 있는 외부 엔드포인트에 대한 의존을 우회할 수도 있는데, 이는 어디에 배포하는지와 무관하게 중요한 능력입니다.

그래서 셀프 호스팅해야 할까? 상황별 솔직한 답

위의 모든 것은 짧은 결정으로 정리됩니다. 당신에게는 청구서가 있고, 월간 토큰 물량에 대한 대략적인 감이 있으며, 이제 세 개의 손익분기 등급, 가동률 페널티, 그리고 숨은 비용 배수가 있습니다. 당신의 상황을 다음 중 하나에 대응시키세요:

• 당신은 프런티어 손익분기점 아래에 있고 비용이 유일한 관심사입니다. API에 남되, 무엇보다 먼저 저가 오픈 웨이트 API(DeepSeek, DeepInfra, Together)를 진지하게 견적 내 보세요. 그것이 대개 비용 절감이지 셀프 호스팅이 아닙니다. API를 바꾸는 것은 설정 변경이고, 셀프 호스팅은 두 번째 직업입니다.
• 당신은 프런티어 가격 대비 지속적이고 높은 물량이 있고 GPU를 60% 이상 가동률로 유지할 수 있습니다. 여기가 셀프 호스팅이 제값을 하는 지점입니다. 당신의 프런티어 요율에 대해 공식을 돌리고, 최고치가 아니라 지속적인 가동률로 임계값을 넘는지 확인하세요. 그러면 빌린 GPU VPS가 이기기 시작합니다.
• 당신에게는 비용 외의 동인이 있습니다: 프라이버시, 지연 시간, 또는 파인튜닝 제어. 손익분기점 아래에서 의도적으로 셀프 호스팅하되, 제어를 위해 값을 치르고 있다는 것을 눈 뜨고 하세요. 다만 저렴하지 않은데 저렴하다고 자신에게 말하지는 마세요.
• 당신은 그 중간에 있습니다. 대부분의 실무자가 2026년에 안착하는 하이브리드 패턴을 보세요. 물량이 많은 단순 작업에는 작은 셀프 호스팅 모델을, 그리고 당신의 로컬 모델이 85~90%까지 도달하는 어려운 추론에는 프런티어 API를 씁니다(커뮤니티 벤치마크이며 실험실 검증은 아니고, 마지막 구간이 흔히 품질이 가장 필요한 지점입니다).

"GPU를 어떻게 구할까" 질문에 대해, 1인 빌더에게 답은 거의 항상 사는 것이 아니라 빌리는 것입니다. 데이터센터급 하드웨어를 소유하는 것은 아직 당신에게 없는 규모에서만 말이 되는 자본 지출 베팅입니다. 서버리스 추론은 유휴 낭비를 줄일 수 있습니다. 제로로 스케일하고 활성 컴퓨트에 대해서만 청구함으로써 그렇지만, 흔히 그것을 더 높은 GPU 시간당 요율과 콜드 스타트 지연 시간과 맞바꿉니다. 빌린 GPU VPS는 그 중간에 있습니다. 자본 지출 없음, 예측 가능한 월 청구서, 루트 접근, 그리고 유휴일 때 인스턴스를 멈출 수 있는 능력입니다.

공식을 돌려 보고, 손익분기점을 넘었으며, 카드를 사지 않고도 전용의 비공개 루트 접근 추론 서버를 원한다면, 그것이 바로 빌린 GPU 박스의 용도입니다. Cloudzy의 GPU VPS 요금제 는 단일 카드의 8B 모델부터 양자화된 70B까지의 범위를 아우르며, 마켓플레이스의 원클릭 Ollama 앱 은 OpenAI 클라이언트와 호환되는 REST API로 약 1분 만에 배포되므로, 유료 API에서 자신의 서버로 전환하는 것은 코드에서 거의 드롭인 변경에 가까울 수 있으며, 고정 월 요금 이후로는 토큰당 비용이 없습니다. 현재 가격은 페이지를 확인하세요. GPU 요율은 변동합니다.

무언가를 빌리기 전에 취할 가치가 있는 단 하나의 행동: 자신의 청구서로 손익분기 공식을 돌려 보세요. 2분이면 되고, 위의 네 가지 상황 중 어디에 당신이 있는지 알려 줄 것입니다.

자주 묻는 질문

LLM을 셀프 호스팅하는 것이 더 저렴한가, API를 쓰는 것이 더 저렴한가?

어떤 API인지에 달려 있습니다. GPU VPS에서 오픈 웨이트 모델을 셀프 호스팅하는 것은 높고 지속적인 물량과 좋은 GPU 가동률에서 프런티어 API(GPT-5급, Claude Sonnet 5 / Opus 4.8)를 이길 수 있습니다. 저가 오픈 웨이트 API(DeepSeek, DeepInfra, Together, 2026년 7월 기준 대략 백만 토큰당 $0.14~$0.50)를 비용만으로 이기는 경우는 드뭅니다. 그 손익분기점은 월 수십억 토큰에 이르며, 대부분의 1인 빌더는 결코 거기에 도달하지 못합니다.

70B 모델을 실행하려면 어떤 GPU가 필요한가?

Q4_K_M 양자화의 70B 모델은 양자화된 가중치만으로 대략 40~46 GB의 VRAM이 필요합니다. 80 GB A100은 KV cache, 런타임 오버헤드, 더 긴 프롬프트를 위한 여지를 남기므로 더 안전한 단일 GPU 옵션입니다. 48 GB RTX 6000 Ada는 더 빡빡한 Q4 구성에서 쓸 수 있지만, 컨텍스트 길이와 동시성을 신중하게 관리해야 합니다.

GPU 가동률은 토큰당 비용에 어떤 영향을 주는가?

빌린 GPU는 유휴든 완전 부하든 같은 비용이 들므로, 당신의 실효 토큰당 비용은 가동률에 반비례해 커집니다. 10% 부하에서는 당신이 제공하는 각 토큰이 완전 부하일 때의 약 10배 비용이 드는데, 사용하지 않은 용량에 대해 지불하고 있기 때문입니다. 셀프 호스팅이 말이 되는 실용적 하한은 약 50~60% 지속 가동률입니다.

셀프 호스팅이 그럴 가치가 있기까지 월 몇 토큰이 필요한가?

프런티어 API 대비, 건강한 가동률에서 대략 월 1억 6,000만~2억 5,600만 토큰이 방향성 임계값입니다(2026년 7월 기준). 저가 오픈 웨이트 API 대비로는 월 수십억으로, 1인으로는 사실상 도달 불가입니다. 정확한 숫자는 당신의 GPU 비용과 혼합 API 요율에 달려 있으므로 공식을 돌리세요. 손익분기 토큰 ≈ GPU VPS 월 비용 ÷ 토큰당 API 가격, 그런 다음 지속적인 가동률을 반영해 할인하세요.

VPS에서 오픈 웨이트 LLM을 실행할 수 있는가?

예, 모델의 VRAM에 맞춰 크기를 정한 GPU VPS에서 가능합니다. Ollama 같은 도구는 오픈 웨이트 모델(Llama, Qwen, Mistral 등)을 원클릭 배포와 OpenAI 호환 REST API로 실행하므로, 기존의 API 호출 코드가 최소한의 변경으로 자신의 서버를 가리킬 수 있습니다. GPU 등급을 모델에 맞추세요. 8B는 24 GB 카드에 편안히 맞고, 양자화된 70B는 48~80 GB가 필요합니다.