H100 против RTX 4090: тест для рабочих нагрузок искусственного интеллекта

Если ты решаешь H100 против RTX 4090 для ИИ имейте в виду, что большинство «тестов» не имеют значения до тех пор, пока ваша модель и кэш не поместятся в VRAM. RTX 4090 — оптимальное решение для работы с одним графическим процессором, объем которого не превышает 24 ГБ. 

H100 — это то, что вам нужно, когда вам нужны более крупные модели, более высокий уровень параллелизма, многопользовательская изоляция или меньше времени, затрачиваемого на гимнастику памяти. 

Я разобью его по рабочим нагрузкам, покажу типы тестов, а затем дам вам быстрый план тестирования, который вы сможете запустить в своем собственном стеке.

Быстрый ответ: H100 против RTX 4090 для рабочих нагрузок ИИ

Н100 выигрывает для обучения больших моделей и серьезного обслуживания, поскольку обеспечивает большие пулы HBM, очень высокую пропускную способность памяти, NVLink и MIG для изоляции. РТХ 4090 лучше подходит для «Мне нужна высокая скорость одного графического процессора по лучшей цене», если ваша рабочая нагрузка умещается в 24 ГБ без постоянных компромиссов. Спецификации и особенности платформы делают это довольно простым.

Вот список быстрого выбора по персонам:

• Местный LLM Builder (индивидуальный разработчик / студент): RTX 4090, пока VRAM не станет узким местом.
• Стартап-инженер по машинному обучению (предоставление MVP): RTX 4090 для обслуживания и тонкой настройки на ранних этапах, H100 — если вам нужна стабильная параллельная работа или более крупные модели.
• Прикладной исследователь (множество экспериментов): H100, если вы продолжаете использовать OOM, ограничения пакетов или длинные контексты.
• Команда производства/платформы (обслуживание нескольких клиентов): H100 для MIG-нарезки, большего запаса мощности и более плавного масштабирования.

В таком контексте остальная часть статьи посвящена ограничениям, с которыми люди сталкиваются в реальной жизни, и тому, как с ними согласуются контрольные показатели.

Единственный контрольный вопрос, который следует учитывать: что должно помещаться в VRAM?

Большинство тем о H100 против RTX 4090 технически являются аргументами VRAM. В работе LLM VRAM съедается гири, активации во время тренировки, состояния оптимизатора в обучении и КВ-кэш во время умозаключения. Последний вариант — тот, которого люди на самом деле не ожидают, потому что он увеличивается с длиной контекста и параллелизмом.

Таблица ниже намеренно является высокоуровневой, поскольку ее точное соответствие зависит от платформы, точности и накладных расходов.

Вот «А без драмы обходится?» вид:

Если вам нужен более широкий список графических процессоров (а не только эти два), наш обзор Лучшие графические процессоры для машинного обучения в 2025 году — это удобная справочная таблица видеопамяти и пропускной способности памяти для распространенных графических процессоров AI.

Как только вы узнаете, подходит ли ваша рабочая нагрузка, следующим фактором, который решает, насколько «плавной» она будет, является пропускная способность памяти.

Пропускная способность: почему HBM ощущается по-другому

Многие разговоры о производительности ИИ сосредоточены на пиковых вычислительных нагрузках, но преобразователи чрезвычайно чувствительны к изменению памяти. Преимущество H100 заключается в том, что он объединяет большие пулы HBM с очень высокой пропускной способностью памяти, а также пропускную способность NVLink и разделение MIG на стороне платформы. 

Снимок характеристик

Спецификации не помогут вам выбрать графический процессор, но они объясняют, почему одна и та же рабочая нагрузка кажется легкой на одной карте и ограниченной на другой. На этом снимке показано, что больше всего влияет на обучение, выводы и поведение LLM.

Ссылки на спецификации: NVIDIA H100, NVIDIA РТХ 4090.

Что это означает на практике:

• Если вы пытаетесь увеличить размер пакета или длину контекста, H100 имеет тенденцию оставаться стабильным дольше, прежде чем вы столкнетесь с компромиссами.
• Если вы обслуживаете много запросов одновременно, у H100 больше «передышки памяти», поэтому вы не так быстро столкнетесь с сомнительной задержкой.
• Если ваша работа в основном связана с одним пользователем, одной моделью и скромным контекстом, 4090 часто кажется быстрым и удовлетворительным.

Однако пропускная способность не заменяет хороший бенчмаркинг. Это просто объясняет, почему два графических процессора могут выглядеть близко друг к другу в узком тесте, а затем расходиться при реальной нагрузке.

Надежные тесты H100 и RTX 4090 

Бенчмарки не одинаковы, и поэтому фразы «мои цифры не совпадают с вашими» случаются постоянно. Для H100 против RTX 4090, это помогает разделить тесты на две полосы:

• Переулок А (чувство сообщества): llama.cpp-style tokens/sec tests and simple inference scripts.
• Переулок Б (стандартные апартаменты): Результаты в стиле MLPerf Training и MLPerf Inference, ориентированные на повторяемые правила.

Снимок вывода в стиле Llama.cpp

Это своего рода тест, который люди проводят дома, а затем спорят три дня. Это полезно, потому что отражает «настоящую цепочку инструментов», которую используют многие строители, но ее также легко неправильно истолковать, если игнорировать соответствие и точность. 

Публичные сравнения в стиле llama.cpp показывают, что RTX 4090 очень хорошо справляется с меньшими моделями и квантованными сериями, в то время как большие модели с более высокой точностью превосходят потолок VRAM.

Вот образец, который вы должны ожидать:

Суть этой таблицы не в том, что «4090 плохой» или «волшебство H100». Дело в том, что потолок VRAM определяет, сколько вы можете оставить резидентным, и это влияет на скорость, стабильность и объем работы, которую вы будете выполнять.

Если вы постоянно сокращаете длину контекста, просто чтобы остаться в живых, в этот момент это сравнение перестанет быть теоретическим.

Что MLPerf добавляет, чего нет в форумных тестах

MLPerf существует потому, что «случайные сценарии и вибрации» не работают, когда вы принимаете решение стоимостью в несколько тысяч долларов. MLCommons добавил новые рабочие нагрузки в стиле ИИ с течением времени, а MLPerf призван сделать результаты более сопоставимыми в разных системах.

Что касается обучения, Описание NVIDIA MLPerf Training v5.1 — хороший пример того, как поставщики сообщают о времени на обучение с подробной информацией о среде отправки и контрольных правилах, которым они следуют.

Эта полоса не расскажет вам, как ведут себя ваши частные подсказки, но это проверка работоспособности масштабирования на уровне системы и того, «как этот класс оборудования работает в соответствии с правилами».

Теперь поговорим о той части, которая больше всего влияет на покупки, а именно о времени и деньгах, потраченных на завершение работы.

Стоимость, время и альтернативная стоимость

Много H100 против RTX 4090 решения формулируются как «цена покупки против цены аренды». Это редко бывает правильным кадром. Лучше всего узнать, сколько часов вам понадобится, чтобы создать модель, которую вы действительно сможете использовать, и сколько времени вы потратите на борьбу с ограничениями?

Три распространенных сценария довольно четко демонстрируют компромиссы.

Еженедельная точная настройка моделей малого и среднего размера

Если ваши прогоны остаются в пределах 24 ГБ без постоянных компромиссов, путь 4090 выглядит прекрасно. Вы выполняете итерацию быстро, вам не нужно планировать время кластера, а настройка проста. Если каждый запуск превращается в «меньшую партию, вырезаем контекст, повторяем попытку», H100 будет гораздо более разумной идеей, несмотря на более высокую стоимость.

Обслуживание с реальным параллелизмом

Параллелизм быстро увеличивает нагрузку на кэш KV. Именно здесь окупается запас мощности и управление платформой H100, особенно если вам нужна предсказуемая задержка. 

Если вы все еще решаете, подходит ли сервер с графическим процессором для вашего развертывания, наш GPU VPS против CPU VPS Разбивка — это полезный способ сопоставить рабочую нагрузку с типом инфраструктуры, прежде чем тратить время на неправильную оптимизацию.

Большие учебные задания со сроками

Как только вы выходите за рамки одного человека и одной коробки, вам хочется сосредоточиться на скучных вещах, таких как стабильная среда, меньшее количество режимов сбоев и меньше времени, затрачиваемого на то, что по сути является присмотром за детьми. Именно для этого и создан H100.

Если вы все еще разрываетесь после этого раздела, следующим шагом будет не дальнейшее чтение. Он смотрит на то, как ваш стек ведет себя на практике, включая трение драйверов и многопользовательские рабочие нагрузки.

Программное обеспечение и эксплуатация: драйверы, стабильность, многопользовательский режим и поддержка

Это та часть, которую пропускают большинство контрольных диаграмм, но это большая часть повседневной жизни.

RTX 4090 популярен, потому что он доступен и быстр для многих рабочих процессов искусственного интеллекта. Компромисс заключается в том, что по мере расширения вашего варианта использования вы с большей вероятностью столкнетесь с ограничениями по объемам памяти и шаблонами масштабирования, которые не созданы для общих многопользовательских сред.

H100 создан для кластеров. MIG имеет большое значение для разработчиков платформ, поскольку позволяет разделить один графический процессор на изолированные фрагменты, что уменьшает проблемы «шумных соседей» и значительно упрощает планирование мощности. В официальных спецификациях NVIDIA H100 указано до 7 экземпляров MIG в зависимости от форм-фактора.

Если ваша рабочая нагрузка носит личный и локальный характер, вы можете долго жить счастливо на стороне 4090. Если ваша рабочая нагрузка многопользовательская и ориентирована на клиентов, H100 — более безопасный вариант.

Итак, в целом, кто и что должен покупать?

Какой из них выбрать для своей рабочей нагрузки

Для H100 против RTX 4090, правильный выбор – это тот, который устранит ваши самые большие препятствия.

Местный LLM Builder (индивидуальный разработчик / студент)

Выбирайте RTX 4090, если вы в основном работаете в диапазоне 7B–13B, выполняете квантовый вывод, возитесь с RAG или работаете над SDXL. Двигайтесь вверх, когда вы тратите больше времени на работу с памятью, чем на создание того, что намеревались построить.

Стартап-инженер по машинному обучению (предоставление MVP)

Если ваш MVP — это одна модель с умеренным трафиком и она удобно сидит, 4090 — хороший старт. Если вам нужна стабильная задержка при пиковых нагрузках, более высокий уровень параллелизма или несколько рабочих нагрузок на хост, H100 — более спокойный путь.

Прикладной исследователь (множество экспериментов)

Если вам часто приходится идти на компромиссы, например, сокращать размер партии или заниматься точной гимнастикой, H100 обеспечит вам более чистые эксперименты и меньшее количество тупиков.

Группа производства/платформы (обслуживание нескольких клиентов)

H100 — это простой выбор, главным образом потому, что MIG и более высокий запас мощности упрощают планирование мощности и фактически уменьшают радиус взрыва, когда что-то резко возрастает.

Если вы все еще не хотите тратить деньги на оборудование, лучшим следующим шагом будет аренда.

Практический средний путь: сначала арендуйте графические процессоры, а затем берите на себя обязательства

Самый чистый способ заселения H100 против RTX 4090 это бежать твой модель, твой подсказки и твой длину контекста на обоих классах оборудования, затем сравните количество токенов в секунду и задержку хвоста под нагрузкой. 

Именно поэтому мы построили Облачный GPU VPS, поскольку вы можете получить коробку с графическим процессором менее чем за минуту, установить свой стек с полным root-доступом и перестать гадать, основываясь на чужом тесте.

Вот что вы получаете в наших планах GPU VPS:

• Выделенные графические процессоры NVIDIA (включая варианты класса RTX 4090 и A100), чтобы ваши результаты не отклонялись от шумных соседей.
• Сеть до 40 Гбит/с во всех планах использования графических процессоров, что очень важно для извлечения наборов данных, многоузловых рабочих процессов и быстрого перемещения артефактов.
• SSD-накопитель NVMe, плюс Оперативная память DDR5 и высокочастотные опции ЦП на всех уровнях, поэтому остальная часть блока не снижает нагрузку на графический процессор.
• защита от DDoS и 99,95% времени безотказной работы, чтобы рабочие места не были разрушены случайным интернет-шумом.
• Почасовая оплата (удобно для коротких контрольных спринтов) и 14-дневная гарантия возврата денег для тестирования с низким уровнем риска.

Сначала запустите тот же контрольный список тестов для плана RTX 4090, а затем повторите его для плана класса A100, когда вы продвигаете более крупные контексты, более высокий уровень параллелизма или более крупные модели. После этого выбирая между H100 против RTX 4090 обычно становится очевидным из ваших собственных журналов.

Контрольный список контрольных показателей: запустите свой собственный за 30 минут

Если вам нужно решение, которое вы сможете защитить, возьмите четыре числа из того стека, который вы планируете отправить:

• Токенов/сек на вашей целевой длине контекста
• задержка p95 при ожидаемом вами параллелизме
• Запас видеопамяти в самую жаркую фазу
• Стоимость за завершенный запуск от начала до артефакта

Минимальный дымовой тест с vLLM выглядит так:

pip install vllm transformers accelerate

python -m vllm.entrypoints.api_server \

  --model meta-llama/Llama-3-8B-Instruct \

  --dtype float16 \

  --max-model-len 8192

Если вы хотите иметь четкое представление о том, что вы на самом деле арендуете, прочтите наш пост на Что такое GPU VPS? рассказывает о разнице между выделенным доступом к графическому процессору и совместным использованием виртуальных графических процессоров, а также о том, что следует проверить, прежде чем выбирать план.

Часто задаваемые вопросы