H100 vs RTX 4090: test porównawczy obciążeń AI

Jeśli się zdecydujesz H100 kontra RTX 4090 w przypadku sztucznej inteligencji należy pamiętać, że większość „benchmarków” nie ma znaczenia, dopóki model i pamięć podręczna nie zmieszczą się w pamięci VRAM. RTX 4090 to idealny wybór do pracy z jedną kartą graficzną, która mieści się w 24 GB. 

H100 jest tym, po co sięgasz, gdy potrzebujesz większych modeli, wyższej współbieżności, izolacji wielu użytkowników lub mniej czasu spędzanego na gimnastyce pamięci. 

Podzielę to według obciążenia, pokażę typy testów porównawczych, a następnie przedstawię szybki plan testów, który możesz uruchomić na własnym stosie.

Szybka odpowiedź: H100 vs RTX 4090 do obciążeń AI

H100 wygrywa w przypadku szkolenia dużych modeli i poważnej obsługi, ponieważ zapewnia duże pule HBM, bardzo dużą przepustowość pamięci, NVLink i MIG do izolacji. RTX4090 jest lepszy w przypadku „Potrzebuję dużej szybkości pojedynczego procesora graficznego w lepszej cenie”, pod warunkiem, że obciążenie mieści się w 24 GB bez ciągłych kompromisów. Specyfikacje i funkcje platformy sprawiają, że jest to całkiem proste.

Oto lista szybkiego wyboru według osobowości:

• Lokalny konstruktor LLM (programista solo / student): RTX 4090, dopóki pamięć VRAM nie stanie się wąskim gardłem.
• Inżynier startupowy ML (wysyłka MVP): RTX 4090 do obsługi i dostrajania na wczesnym etapie, H100, gdy potrzebujesz stabilnej współbieżności lub większych modeli.
• Badacz stosowany (wiele eksperymentów): H100, jeśli ciągle uderzasz w OOM, limity wsadowe lub długie konteksty.
• Zespół ds. produkcji/platformy (obsługa wielu najemców): H100 do cięcia MIG, większego zapasu i płynniejszego skalowania.

Mając to na uwadze, dalsza część tego artykułu dotyczy ograniczeń, na jakie napotykają ludzie w prawdziwym życiu, oraz tego, jak pokrywają się z nimi liczby porównawcze.

Jedyne pytanie porównawcze, które należy rozważyć: co musi zmieścić się w pamięci VRAM?

Większość wątków dot H100 kontra RTX 4090 są technicznie argumentami VRAM. W pracy LLM pamięć VRAM jest zjadana ciężary, aktywacje podczas szkolenia, stany optymalizatora na treningu oraz Pamięć podręczna KV podczas wnioskowania. Tego ostatniego ludzie tak naprawdę nie oczekują, ponieważ rośnie wraz z długością kontekstu i współbieżnością.

Poniższa tabela jest celowo zakrojona na wysokim poziomie, ponieważ dokładne dopasowanie zależy od struktury, precyzji i obciążenia.

Oto pytanie „Czy pasuje bez dramatyzmu?” pogląd:

Jeśli potrzebujesz szerszej krótkiej listy procesorów graficznych (nie tylko tych dwóch), nasze podsumowanie Najlepsze procesory graficzne do uczenia maszynowego w 2025 r to przydatna tabela referencyjna dla pamięci VRAM i przepustowości pamięci w popularnych procesorach graficznych AI.

Kiedy już wiesz, że obciążenie jest odpowiednie, następną rzeczą, która decyduje o tym, jak „płynnie” będzie to działać, jest przepustowość pamięci.

Przepustowość: dlaczego HBM czuje się inaczej

Wiele rozmów na temat wydajności sztucznej inteligencji koncentruje się na szczytach obliczeń, ale transformatory są niezwykle wrażliwe na ruch pamięci. Zaletą H100 jest to, że łączy duże pule HBM z bardzo dużą przepustowością pamięci, a także przepustowością NVLink i partycjonowaniem MIG po stronie platformy. 

Migawka specyfikacji

Specyfikacje nie wybiorą za Ciebie procesora graficznego, ale wyjaśniają, dlaczego to samo obciążenie jest łatwe na jednej karcie i ciasne na drugiej. Ta migawka pokazuje, co najbardziej wpływa na szkolenie LLM, wnioskowanie i zachowanie związane z obsługą.

Referencje specyfikacji: NVIDIA H100, NVIDIA RTX 4090.

Co to oznacza w praktyce:

• Jeśli próbujesz zwiększyć rozmiar partii lub długość kontekstu, H100 zwykle pozostaje stabilny dłużej, zanim zostaniesz zmuszony do kompromisów.
• Jeśli obsługujesz wiele żądań na raz, H100 ma więcej „przestrzeni do oddychania w pamięci”, dzięki czemu nie odczuwasz tak szybko niepewnych opóźnień.
• Jeśli Twoja praca dotyczy głównie jednego użytkownika, jednego modelu i skromnego kontekstu, model 4090 często wydaje się szybki i satysfakcjonujący.

Jednak przepustowość nie zastępuje dobrego testu porównawczego. To po prostu wyjaśnia, dlaczego dwa procesory graficzne mogą wydawać się blisko siebie w wąskim teście, a następnie oddalać się od siebie pod prawdziwym obciążeniem.

Niezawodne testy porównawcze H100 i RTX 4090 

Testy porównawcze nie są takie same i dlatego stale pojawia się komunikat „moje liczby nie zgadzają się z Twoimi”. Dla H100 kontra RTX 4090pomaga podzielić testy porównawcze na dwa pasy:

• Pas A (poczucie wspólnoty): llama.cpp-style tokens/sec tests and simple inference scripts.
• Pas B (apartamenty standardowe): Wyniki treningu MLPerf i stylu wnioskowania MLPerf, które koncentrują się na powtarzalnych regułach.

Migawka wnioskowania w stylu Llama.cpp

Jest to rodzaj testu, który ludzie przeprowadzają w domu, a następnie dyskutują o nim przez trzy dni. Jest przydatny, ponieważ odzwierciedla „prawdziwy zestaw narzędzi”, z którego korzysta wielu konstruktorów, ale łatwo go również błędnie odczytać, jeśli zignorujesz dopasowanie i precyzję. 

Publiczne porównania w stylu llama.cpp pokazują, że RTX 4090 radzi sobie bardzo dobrze na mniejszych modelach i w operacjach kwantyzowanych, podczas gdy duże modele przy większej precyzji przekraczają sufit VRAM.

Oto wzór, którego powinieneś się spodziewać:

Celem tej tabeli nie jest „4090 zły” czy „magia H100”. Chodzi o to, że pułap pamięci VRAM decyduje o tym, ile pamięci można zatrzymać, a to wpływa na szybkość, stabilność i ilość majsterkowania, które będziesz wykonywać.

Jeśli ciągle skracasz długość kontekstu, żeby pozostać przy życiu, to jest to moment, w którym to porównanie przestaje być teoretyczne.

Co dodaje MLPerf, czego nie mają testy porównawcze forum?

MLPerf istnieje, ponieważ „losowe skrypty i wibracje” nie działają, gdy podejmujesz decyzję wartą kilka tysięcy dolarów. Dodał MLCommons nowsze obciążenia w stylu gen-AI w miarę upływu czasu, a MLPerf zaprojektowano tak, aby wyniki były bardziej porównywalne w różnych systemach.

Od strony szkoleniowej, Opis szkolenia MLPerf Training v5.1 firmy NVIDIA to dobry przykład tego, jak dostawcy raportują czas potrzebny na przeszkolenie, podając szczegółowe informacje na temat środowiska przesyłania i zasad testów porównawczych, których przestrzegają.

Ten pas nie powie Ci, jak zachowują się Twoje prywatne monity, ale jest to sprawdzenie poprawności skalowania na poziomie systemu i „jak ta klasa sprzętu działa zgodnie z regułami”.

Porozmawiajmy teraz o części, która ma największy wpływ na zakupy, czyli czasie i pieniądzach wydanych na dokończenie pracy.

Koszt, czas i koszt alternatywny

Dużo H100 kontra RTX 4090 decyzje są formułowane jako „cena zakupu vs cena wynajmu”. Rzadko kiedy jest to właściwa rama. Lepszą ramą jest to, ile godzin zajmuje Ci wyprodukowanie modelu, którego faktycznie możesz używać, i ile czasu spalasz, walcząc z ograniczeniami?

Trzy typowe scenariusze dość wyraźnie pokazują kompromisy.

Cotygodniowe dostrajanie małych i średnich modeli

Jeśli Twoje dane pozostaną w granicach 24 GB bez ciągłych kompromisów, ścieżka 4090 będzie świetna. Wykonujesz szybkie iteracje, nie musisz planować czasu klastra, a konfiguracja jest prosta. Jeśli każde uruchomienie zamienia się w „niższą partię, wycięcie kontekstu i ponowną próbę”, H100 jest znacznie rozsądniejszym pomysłem, pomimo wyższych kosztów.

Serwowanie z rzeczywistą współbieżnością

Współbieżność szybko zwiększa ciśnienie pamięci podręcznej KV. To właśnie w tym przypadku przestrzeń nad głową i sterowanie platformą H100 zwracają się, szczególnie jeśli potrzebujesz przewidywalnych opóźnień. 

Jeśli nadal nie wiesz, czy serwer GPU ma odpowiedni kształt i czy nadaje się do Twojego wdrożenia, skorzystaj z naszego VPS GPU kontra VPS CPU podział to przydatny sposób na przypisanie obciążenia do typu infrastruktury, zanim poświęcisz czas na optymalizację niewłaściwej rzeczy.

Większe zadania szkoleniowe z terminami

Gdy tylko zaczniesz skalować projekt powyżej jednej osoby i jednego pudełka, nudne rzeczy to te rzeczy, na których chcesz się skupić, takie jak stabilne środowisko, mniej trybów awarii i mniej czasu poświęconego na to, co w zasadzie polega na opiece nad dziećmi. Właśnie do takich zastosowań zaprojektowano H100.

Jeśli po tej sekcji nadal jesteś rozdarty, następnym krokiem nie będzie dalsze czytanie. Sprawdza, jak Twój stos zachowuje się w praktyce, w tym tarcie sterowników i obciążenie pracą wielu użytkowników.

Oprogramowanie i operacje: sterowniki, stabilność, obsługa wielu użytkowników i wsparcie

Jest to część, którą pomija większość wykresów porównawczych, ale stanowi ona duży fragment codziennego życia.

RTX 4090 jest popularny, ponieważ jest dostępny i szybki w wielu procesach AI. Kompromis polega na tym, że gdy przypadek użycia się powiększy, istnieje większe prawdopodobieństwo, że trafisz na krawędzie w pobliżu pułapów pamięci i wzorców skalowania, które nie są przeznaczone dla współdzielonych środowisk z wieloma dzierżawcami.

H100 jest przeznaczony dla klastrów. MIG to duże wyzwanie dla zespołów zajmujących się platformami, ponieważ umożliwia pocięcie jednego procesora graficznego na izolowane plasterki, co zmniejsza problemy z „hałaśliwym sąsiadem” i znacznie ułatwia planowanie wydajności. Oficjalna specyfikacja NVIDIA H100 zawiera listę do 7 instancji MIG, w zależności od kształtu.

Jeśli Twoje obciążenie pracą ma charakter osobisty i lokalny, możesz żyć szczęśliwie po stronie 4090 przez długi czas. Jeśli Twoim zadaniem jest wielu użytkowników i kontakt z klientem, H100 jest bezpieczniejszym sposobem.

Podsumowując, kto co powinien kupić?

Który wybrać ze względu na swoje obciążenie pracą

Dla H100 kontra RTX 4090ostatecznie właściwym wyborem będzie ten, który usunie największe przeszkody.

Lokalny konstruktor LLM (programista solo / student)

Wybierz RTX 4090, jeśli przeważnie mieścisz się w przedziale 7B–13B, korzystasz z wnioskowania kwantyzowanego, majstrujesz przy RAG lub pracujesz na SDXL. Przejdź na wyższy poziom, gdy będziesz spędzać więcej czasu na pracy z pamięcią niż na budowaniu tego, co zamierzałeś zbudować.

Inżynier startupowy ML (wysyłka MVP)

Jeśli Twój MVP to pojedynczy model o umiarkowanym natężeniu ruchu i pasuje wygodnie, 4090 to dobry początek. Jeśli potrzebujesz stabilnych opóźnień w przypadku skoków, większej współbieżności lub wielu obciążeń na hosta, H100 jest spokojniejszą ścieżką.

Badacz stosowany (wiele eksperymentów)

Jeśli często jesteś zmuszony do kompromisów, takich jak zmniejszenie wielkości partii lub wykonywanie gimnastyki precyzyjnej, H100 zapewnia czystsze eksperymenty i mniej martwych przebiegów.

Zespół ds. produkcji/platformy (obsługa wielu dzierżawców)

H100 to łatwy wybór, głównie dlatego, że MIG i większy zapas mocy ułatwiają planowanie wydajności i zasadniczo zmniejszają promień wybuchu, gdy coś gwałtownie rośnie.

Jeśli nadal nie chcesz wydawać pieniędzy na sprzęt, najlepszym następnym posunięciem będzie wypożyczenie.

Praktyczna ścieżka środka: najpierw wypożycz procesory graficzne, a następnie zatwierdź

Najczystszy sposób na osiedlenie się H100 kontra RTX 4090 jest biegać twój model, twój podpowiedzi i twój długość kontekstu na obu klasach sprzętu, a następnie porównaj tokeny/s i opóźnienie końcowe pod obciążeniem. 

Właśnie dlatego zbudowaliśmy Zachmurzony GPU VPS, ponieważ możesz zdobyć moduł GPU w niecałą minutę, zainstaluj stos z pełnym rootem i przestań zgadywać na podstawie cudzego testu porównawczego.

Oto, co otrzymujesz w ramach naszych planów GPU VPS:

• Dedykowane procesory graficzne NVIDIA (w tym opcje klasy RTX 4090 i A100), dzięki czemu Twoje wyniki nie będą zakłócane przez hałaśliwych sąsiadów.
• Sieć o przepustowości do 40 Gb/s na wszystkich planach GPU, co ma duże znaczenie w przypadku pobierania zestawów danych, przepływów pracy z wieloma węzłami i szybkiego przenoszenia artefaktów.
• Pamięć SSD NVMe, plus RAM DDR5 i opcje procesorów o wysokiej częstotliwości na wszystkich poziomach, więc reszta zestawu nie obciąża procesora graficznego.
• Ochrona DDoS i a Czas sprawności na poziomie 99,95%., aby długie zadania nie zostały zniszczone przez przypadkowe szumy internetowe.
• Rozliczenie godzinowe (przydatny w przypadku krótkich sprintów porównawczych) i a 14-dniowa gwarancja zwrotu pieniędzy do testów niskiego ryzyka.

Najpierw przeprowadź tę samą listę kontrolną testów porównawczych na planie RTX 4090, a następnie powtórz ją na planie klasy A100, gdy będziesz przesyłać większe konteksty, większą współbieżność lub większe modele. Potem wybór pomiędzy H100 kontra RTX 4090 zwykle staje się oczywiste na podstawie twoich własnych dzienników.

Lista kontrolna testów porównawczych: uruchom własną w 30 minut

Jeśli chcesz podjąć decyzję, której będziesz mógł obronić, wybierz cztery liczby z dokładnie takiego stosu, jaki planujesz wysłać:

• Tokeny/sek przy docelowej długości kontekstu
• opóźnienie p95 przy oczekiwanej współbieżności
• Rezerwa pamięci VRAM w najgorętszej fazie
• Koszt za ukończony przebieg od początku do artefaktu

Minimalny test dymu z vLLM wygląda następująco:

pip install vllm transformers accelerate

python -m vllm.entrypoints.api_server \

  --model meta-llama/Llama-3-8B-Instruct \

  --dtype float16 \

  --max-model-len 8192

Jeśli chcesz mieć jasny obraz tego, co tak naprawdę wynajmujesz, zapoznaj się z naszym postem Co to jest VPS GPU? wyjaśnia różnicę między dostępem do dedykowanego procesora graficznego, udostępnianiem vGPU i tym, co należy sprawdzić przed wybraniem planu.

Często zadawane pytania