What Is Neural Rendering? How AI Is Replacing the Graphics Pipeline

Когда NVIDIA показала, как DLSS 4 генерирует пятнадцать из каждых шестнадцати пикселей с помощью ИИ, значительная часть аудитории не увидела прогресса. Они увидели «фейковые кадры» и «ИИ-шлак»: сгенерированные детали, которые выглядят правильно, пока не наоборот, и которые нельзя отладить так, как вы отладили бы неправильно поставленный полигон. Отчёт PCGuide об опросе сообщества показал, что 54% ответов были простым «Нет» по поводу DLSS 5 и его вида, причём большая часть критики была направлена на черты лица и реакцию «ИИ-шлак». Эту реакцию стоит воспринимать всерьёз, и мы к ней ещё вернёмся.

Но более серьёзная проблема в каждом из этих споров в том, что термин «нейронный рендеринг» используется как минимум для пяти разных вещей: апскейлинга, сгенерированных ИИ кадров, реконструкции сцены по фотографиям, демо NeRF и Gaussian Splatting, которые вы видели в соцсетях, и исследовательских систем, которые рендерят целое изображение одной сетью. Люди говорят мимо друг друга, потому что каждый указывает на свой уровень, используя одно и то же слово. Дженсен Хуанг из NVIDIA назвал этот сдвиг «моментом GPT для графики». Таково утверждение. Полезный вопрос — что происходит под ним.

Вот сквозная мысль, которая делает всё это понятным: GPU всё чаще предсказывает изображение, а не вычисляет его. Традиционно GPU вычисляет каждый пиксель, моделируя геометрию, освещение и материалы (растеризация, а в последнее время и трассировка лучей поверх неё). Нейронный рендеринг меняет то, что вычисляется , в сравнении с тем, что предсказывается обученной сетью. Это единственное различие — стержень данной статьи. К её концу вы сможете разместить любую технику на спектре, знать, какие из них работают в реальном времени и на каком оборудовании, и отличать то, что уже есть в играх сегодня, от того, что является научной статьёй или демо с GTC. Это карта, а не руководство. Глубокая механика любой отдельной техники — тема для отдельных статей.

Кратко

• Нейронный рендеринг — это спектр, а не синоним DLSS. Он охватывает исследования реконструкции сцен (NeRF, Gaussian Splatting), компоненты реального времени внутри конвейера рендеринга (DLSS, Ray Reconstruction, нейронный кэш излучения) и генеративные методы, которые придумывают детали, которых в кадре никогда не было.
• Сквозная мысль — «предсказывать вместо вычисления». Каждая техника заменяет дорогостоящий вычисляемый этап конвейера сетью, которая предсказывает результат, на котором она была обучена.
• Большая часть того, что выходит сегодня, является гибридной. Апскейлинг, генерация кадров и ИИ-шумоподавление уже работают в играх реального времени, тогда как нейронное сжатие текстур и нейронные шейдеры появляются через инструментарий для разработчиков. Полноценные нейронные рендереры, которые рисуют всё изображение сетью, всё ещё находятся на стадии исследований.
• Это становится межвендорным, а не только историей NVIDIA. Работа Microsoft над ML на уровне шейдеров в DirectX началась с Cooperative Vectors в Shader Model 6.9 и движется к более широкой поддержке линейной алгебры в Shader Model 6.10, давая движкам путь к нейросетевым шейдерным нагрузкам вне стека одного вендора.

Почему «нейронный рендеринг» означает пять разных вещей

Нейронный рендеринг — это класс методов, которые используют нейронные сети для предсказания частей изображения (пикселей, освещения, материалов, даже целых кадров), которые GPU иначе вычислял бы с нуля. Обзор Tewari et al. определяет его как сочетание классической компьютерной графики с глубокими генеративными моделями для фотореалистичного результата. Термин охватывает широкий спектр, и «DLSS» — лишь одна точка на нём.

Причина, по которой разговор превращается в неразбериху, в том, что спектр имеет как минимум три различных уровня, а публика использует одно слово для всех них.

Первый уровень — академический / реконструкционный нейронный рендеринг: NeRF, 3D Gaussian Splatting и дифференцируемый рендеринг. Они берут фотографии или измерения реальной сцены и обучают представление, которое можно рендерить с новых ракурсов камеры. оригинальная статья о NeRF (Mildenhall et al., 2020) обучает небольшую сеть сопоставлять 3D-координату и направление взгляда с цветом и плотностью, а затем рендерит новые виды, обращаясь к ней. Этот уровень в основном офлайновый. Он реконструирует сцены; он не питает цикл кадров вашей игры.

Второй уровень — нейронный рендеринг конвейера реального времени: сети, которые работают внутри или рядом с обычным растеризованным кадром. Апскейлинг DLSS, Ray Reconstruction и нейронный кэш излучения живут здесь. Конвейер всё ещё растеризует и трассирует лучи; сеть обрабатывает один дорогостоящий его этап. Это уровень, который уже есть в играх сегодня.

Третий уровень — генеративный нейронный рендеринг: сеть производит содержимое изображения, которое кадр вообще никогда не вычислял. Сгенерированные кадры DLSS 4 находятся на краю этого, а DLSS 5 (который NVIDIA анонсировала на осень 2026 года) продвигается дальше в эту сторону, генерируя детали освещения и материалов, а не только интерполируя между отрендеренными кадрами.

Эти три уровня ведут себя по-разному, работают с разной скоростью и требуют разного оборудования. Восприятие их как одного целого — причина, по которой два человека могут одновременно сказать «нейронный рендеринг перехвален» и «нейронный рендеринг — это будущее» и оба будут отчасти правы.

Вывод раздела: Термин появился раньше DLSS и не является его синонимом. DLSS — это одно применение (реальное время, внутри конвейера) внутри гораздо более широкого спектра, который простирается от офлайн-реконструкции сцен до полностью сгенерированных кадров.

Как нейронный рендеринг заменяет части брутфорс-конвейера

При полной мультикадровой генерации DLSS 4 примерно пятнадцать из каждых шестнадцати пикселей на экране произведены ИИ, а не отрендерены традиционно (по данным NVIDIA о DLSS 4). Это число — весь сдвиг, сжатый в одну статистику: рендерер вычисляет часть изображения и предсказывает остальное.

Традиционный рендеринг зарабатывает каждый пиксель. GPU растеризует геометрию, запускает шейдеры для вычисления освещения и материалов и (при трассировке лучей) моделирует отражение света по сцене. Трассировка лучей особенно жестоко дорога, потому что реалистичный свет требует множества отражений и множества выборок на пиксель, а шум от недостаточной выборки приходится убирать потом. По мере того как сцены становились амбициознее, самые дорогие этапы стали очевидными целями: вместо их вычисления обучить сеть предсказывать их результат.

Прогресс был устойчивым, а не внезапным:

• 2018, DLSS 1.0. Первый коммерческий шаг: рендерить в низком разрешении, предсказывать изображение высокого разрешения. Перевести апскейл с «вычислять больше пикселей» на «предсказывать больше пикселей».
• 2020, NeRF. Реконструкция сцены по изображениям через обученное поле излучения. Предсказывать новые виды вместо моделирования и рендеринга геометрии.
• 2021, Neural Radiance Cache. Предсказывать отражённый свет во время трассировки путей, чтобы рендерер мог остановить трассировку раньше.
• 2022, DLSS 3 Frame Generation. Генерировать целые промежуточные кадры вместо их рендеринга.
• 2023, 3D Gaussian Splatting. Более быстрая, тяготеющая к реальному времени альтернатива NeRF для реконструированных сцен.
• 2025, DLSS 4 + RTX Kit. Мультикадровая генерация плюс набор нейронных компонентов (сжатие текстур, кэш излучения, нейронные шейдеры).
• 2025, DirectX Cooperative Vectors (предварительная версия). Межвендорный API для матричной математики, которая нужна нейронным шейдерам (представлен в предварительной версии в составе Shader Model 6.9).
• 2026, DLSS 4.5. Постепенные улучшения качества и Ray Reconstruction (описаны NVIDIA на Computex).
• Осень 2026, DLSS 5 (анонсирован). Следующий рывок к генеративному нейронному рендерингу.

Читая сверху вниз, каждая строка — это один и тот же ход, применённый к другому этапу: взять то, что конвейер раньше вычислял, и поручить сети предсказывать это вместо него.

Шесть уровней: что ИИ заменяет на каждом этапе конвейера

Шесть техник несут на себе большую часть современного нейронного рендеринга реального времени, и каждая заменяет конкретный вычисляемый этап: апскейлинг (разрешение), генерация кадров (количество кадров), ray reconstruction (шумоподавление), нейронный кэш излучения (глобальное освещение), нейронное сжатие текстур (хранение материалов) и нейронные шейдеры (вычисления внутри шейдера). Знать, какого этапа касается каждая, — это почти половина дела.

Они разделяются по тому, где в конвейере работает сеть. Некоторые работают в самом конце как постобработка готового кадра; некоторые работают в середине конвейера рядом с трассировкой лучей; некоторые живут внутри самого шейдера. Это расположение — не деталь. Оно определяет, насколько быстро может работать техника и какое оборудование ей нужно. Таблица отображает эти шесть техник; подразделы ниже объясняют механизм, который не уместился бы аккуратно в каждую ячейку.

ИИ-апскейлинг (суперразрешение)

ИИ-апскейлинг рендерит кадр в более низком разрешении и предсказывает результат высокого разрешения, так что GPU рисует гораздо меньше пикселей, а сеть достраивает структуру. DLSS, FSR 4 от AMD и XeSS от Intel делают это через темпоральный апсемплинг: они выбирают разные пиксели в последовательных кадрах и объединяют эту историю с векторами движения, чтобы восстановить детали, которых нет в одном кадре низкого разрешения.

Это самый зрелый и наиболее широко развёрнутый уровень, и именно здесь межвендорная реальность наиболее очевидна. DLSS 4 перевёл свой апскейлер со свёрточной сети на трансформер ради лучшей стабильности деталей. FSR 4 — первый апскейлер AMD на основе ML, работающий на RDNA 4 с инференсом FP8, а не на вручную написанных эвристиках более ранних версий FSR. XeSS использует матричные блоки XMX от Intel. Три вендора, одна и та же базовая идея: предсказать пиксели, которые вы не отрендерили.

Генерация кадров и мультикадровая генерация

Генерация кадров предсказывает целые кадры между теми, которые GPU действительно рендерит, объединяя игровые данные, такие как векторы движения, с оценкой оптического потока и ИИ. DLSS 3 использовал ускоритель оптического потока серии RTX 40 для вставки одного сгенерированного кадра между отрендеренными; DLSS 4 Multi Frame Generation на оборудовании серии RTX 50 может генерировать до трёх дополнительных кадров на каждый традиционно отрендеренный, и NVIDIA говорит, что DLSS 4 заменяет аппаратный этап оптического потока более эффективной ИИ-моделью.

Именно об этом уровне на самом деле спор о «фейковых кадрах», и формулировка здесь важна. Сгенерированный кадр — это правдоподобная интерполяция того, куда двигалась сцена: он показывает вам пригодный визуальный контент. Но он предсказывается, а не отрендерен из фактического состояния игры, и он не несёт свежей игровой логики или ввода. Что критично, генерация кадров работает после того, как кадр отрендерен, что добавляет задержку, а не убирает её; Reflex 2 от NVIDIA существует специально для того, чтобы отыграть эту задержку обратно. Так что «генерация кадров делает игру быстрее» — частичная правда: она повышает воспринимаемую плавность (отображается больше кадров), не повышая частоту, с которой игра действительно обновляется и реагирует. Этот разрыв между тем, что вы видите, и тем, что знает игра, — и есть весь спор, и для соревновательной игры, где задержка ввода решает исход, это компромисс, который стоит взвесить.

Ray Reconstruction (ИИ-шумоподавление)

Ray Reconstruction заменяет стек вручную настроенных фильтров шумоподавления, на которые опирается рендеринг с трассировкой лучей, одной нейронной сетью, обученной восстанавливать чистое изображение из зашумлённого, недостаточно выбранного входа трассировки лучей. Трассировка путей в реальном времени может позволить себе лишь несколько световых выборок на пиксель, из-за чего сырой результат остаётся шумным; что-то должно его очистить, прежде чем вы его увидите.

Традиционным подходом была цепочка специализированных шумоподавителей, каждый из которых настраивался вручную под конкретный эффект. Замена их одной обученной сетью обычно сохраняет детали, которые вручную настроенные фильтры размазывали, особенно на отражениях и тонком освещении, и это одна сеть для сопровождения вместо хрупкого конвейера из них. Это чистый пример сквозной мысли: этап шумоподавления перешёл от «вычислять вручную написанными эвристиками» к «предсказывать обученной моделью».

Нейронный кэш излучения (глобальное освещение)

Нейронный кэш излучения (NRC) предсказывает, как свет отражается по сцене, чтобы трассировщик путей мог остановить трассировку большинства лучей раньше, вместо того чтобы прослеживать каждое отражение до конца. Глобальное освещение (мягкий, непрямой свет, отражающийся от стен и полов) — одна из самых дорогих вещей в графике реального времени, а механизм, благодаря которому работает NRC, редко объясняют простым языком, поэтому на нём стоит задержаться.

Вот механизм. Трассировщик путей обычно прослеживает каждый световой луч через множество отражений, и именно там стоимость взрывается. NRC обучает небольшую сеть во время рендеринга (а не заранее) предсказывать свет, приходящий в точку после дальнейших отражений. Так трассировщик путей трассирует луч на одно-два отражения, затем спрашивает у сети «каков здесь остальной свет?» и завершает путь раньше; статья о нейронном кэшировании излучения в реальном времени (Müller et al., 2021) сообщает о завершении подавляющего большинства путей таким способом. Думайте об этом как о кэше, который не хранит точные ответы, виденные ранее, а изучает паттерн освещения сцены достаточно хорошо, чтобы отвечать на запросы, которых он не видел, и продолжает переобучаться по мере изменения сцены. NVIDIA сообщает, что NRC работает с накладными расходами примерно 2,6 мс, что и делает его пригодным для реального времени, а не исследовательской диковинкой.

Нейронное сжатие текстур

Нейронное сжатие текстур (NTC) сжимает все текстурные каналы материала вместе с помощью сети, достигая до 8-кратной экономии VRAM по сравнению с традиционным блочным сжатием при схожем визуальном качестве (по документации NVIDIA RTX Kit). Современный материал — это не одна текстура. Это их стек (цвет, нормали, шероховатость, металличность и другие), и эти каналы коррелированы способами, которые блочное сжатие, сжимающее каждый канал независимо, отбрасывает.

NTC использует эту корреляцию. Изучая совместную структуру всех каналов материала сразу, оно хранит тот же материал в гораздо меньшем объёме памяти и декодирует его на лету во время рендеринга. VRAM остаётся постоянным ограничением по мере того, как игры наращивают детализацию текстур, поэтому «уместить в 8 раз больше материала в той же памяти» — это прямой практический выигрыш, а не визуальный трюк.

Нейронные шейдеры и DirectX Cooperative Vectors

Нейронные шейдеры запускают небольшие нейронные сети внутри программируемого шейдера (попиксельные/повершинные программы, которые GPU уже выполняет), чтобы сеть могла аппроксимировать дорогостоящий вычисляемый эффект прямо там, где этот эффект нужен. Вместо того чтобы прикручивать ИИ отдельным проходом, MLP выполняется как часть шейдера на матричных блоках GPU (Tensor Cores на оборудовании NVIDIA).

Tensor Cores обрабатывают матричную математику, на которой работают эти сети, отдельно от ядер общего назначения, которые обрабатывают остальную работу. То, что превращает нейронные шейдеры из функции одного вендора в более широкую отраслевую возможность, — это слой API под ними. Microsoft представила DirectX Cooperative Vectors в предварительной версии с Shader Model 6.9 в 2025 году, чтобы предоставить векторные/матричные операции внутри шейдеров HLSL. К 2026 году Shader Model 6.9 перешла в розничную версию, и Microsoft заявила, что Cooperative Vector устаревает в пользу более широкого дизайна линейной алгебры, запланированного для Shader Model 6.10. Безопасный вывод не в том, что Cooperative Vectors — это финальный API, а в том, что DirectX движется к межвендорной поддержке ML на уровне шейдеров.

Вывод раздела: Шесть техник сортируются по тому, где работает сеть: постобработка в конце кадра, в середине конвейера рядом с трассировкой лучей или внутри самого шейдера. Именно это расположение определяет, может ли техника работать в реальном времени и какое оборудование ей нужно.

Что работает в реальном времени и на каком оборудовании

Граница реального времени чётче, чем подсказывает шумиха: ИИ-апскейлинг обычно работает с низкими накладными расходами, NRC добавляет примерно 2,6 мс, а 3D Gaussian Splatting приближается к реальному времени для статичных сцен. Оригинальный NeRF и полноценные нейронные рендереры вроде RenderFormer твёрдо остаются только исследовательскими, тратя слишком много времени на кадр для интерактивного использования. «Нейронный рендеринг — это реальное время» верно для внутриконвейерного уровня и неверно для уровней реконструкции и полного рендерера.

Это разделение точно повторяет спектр. Некоторые внутриконвейерные компоненты, особенно апскейлинг, генерация кадров и Ray Reconstruction, уже работают в выходящих играх. Другие, такие как NRC, NTC и нейронные шейдеры, лучше описывать как технологии для разработчиков и появляющиеся возможности инструментария, а не как распространённые продакшн-функции. Уровень реконструкции неоднороден: оригинальный NeRF медленный, но 3D Gaussian Splatting был осознанным рывком к реальному времени и достигает его для статичных сцен. Уровень полного нейронного рендерера (одна сеть, производящая всё изображение) — это где живут исследования, и времена кадров там далеки от интерактивных.

Оборудование — вторая половина ответа, и именно здесь приземляется межвендорная история. Каждая техника здесь работает на блоках матричной математики, которые современные GPU поставляют для ИИ-инференса:

• NVIDIA имеет Tensor Cores на каждой карте RTX начиная с серии 20, поэтому большинство этих техник дебютировали именно там.
• У AMD FSR Upscaling на основе ML в настоящее время нацелен на GPU RDNA 4 / Radeon RX серии 9000 для ML-пути; на более раннем оборудовании SDK от AMD откатывается к аналитическим путям FSR 3.1.5. Относитесь к более широкой поддержке старых GPU как к подвижному пункту дорожной карты, а не как к гарантированной функции FSR 4, если только вы не ссылаетесь на конкретный анонс AMD.
• Intel использует матричные движки XMX на GPU Arc для XeSS.

Сам DLSS ограничен по функциям в зависимости от поколения: апскейлинг работает вплоть до серии RTX 20, оригинальная генерация кадров требует серии RTX 40, а мультикадровая генерация — только для серии RTX 50. Если вы пытаетесь понять, на что способна та или иная карта, это ограничение по поколению и есть практический ответ, а не маркетинговый класс.

Что вы можете использовать сегодня против того, что грядёт: Апскейлинг, генерация кадров и Ray Reconstruction доступны в играх уже сегодня. Компоненты RTX Kit такие как NRC, NTC и нейронные шейдеры, доступны как технологии и инструменты для разработчиков, но не стоит подразумевать, что все они уже распространены в выходящих играх. У Gaussian Splatting есть пригодный к использованию открытый инструментарий для захвата сцен. Чего здесь ещё нет: полноценных нейронных рендереров, рисующих весь кадр одной сетью, зрелых межвендорных нейронных шейдеров (поддержка AMD на ранней стадии) и генеративных функций DLSS 5 (анонсированных на осень 2026 года). Если вы хотите поэкспериментировать со стороной реконструкции (запуская NeRF или инференс-нагрузки самостоятельно), это задача для GPU-вычислений , а не то, что игра делает за вас.

Чем нейронный рендеринг не является: пять заблуждений

Большинство споров о нейронном рендеринге становятся проще, как только вы определяете, о каком уровне спектра идёт речь. Пять заблуждений возникают снова и снова.

1. «Апскейлинг DLSS — это нейронный рендеринг». DLSS — an применение нейронного рендеринга, внутриконвейерный уровень реального времени, а не вся область. Термин появился раньше DLSS и включает NeRF, Gaussian Splatting и генеративные методы. Приравнивать одно к другому — всё равно что называть «базы данных» синонимом одного продукта, которым вы случайно пользуетесь.

2. «Генерация кадров делает игры быстрее». Она повышает число кадров, которые вы видите, отчего движение выглядит плавнее, но работает после рендеринга и добавляет задержку. Частота, с которой игра обновляется и реагирует на ваш ввод, не увеличивается. Для соревновательной игры эта задержка — реальный компромисс; для визуальной плавности это настоящий выигрыш. «Быстрее» смешивает эти два понятия.

3. «DLSS 5 понимает 3D / читает 3D-сцену». Именно это важнее всего понять правильно, потому что технические публикации постоянно искажают это. Как описывает NVIDIA, DLSS 5 берёт на вход данные о цвете каждого кадра и векторы движения, а затем использует свою обученную модель, чтобы вывести семантику сцены, такую как персонажи, волосы, ткань, кожа и условия освещения. Он опирается на содержимое игры, но NVIDIA не описывает его как непосредственное чтение полного файла 3D-сцены игры. «С 3D-направлением» означает, что вывод геометрически согласован (он учитывает, как поверхности движутся и соотносятся), а не что сеть читает геометрию сцены напрямую. Это различие важно, потому что оно ограничивает то, что техника может и не может знать.

4. «NeRF теперь работает в реальном времени». Зависит от того, какую технику вы имеете в виду, и это как раз проблема спектра. Оригинальный NeRF не работает в реальном времени. 3D Gaussian Splatting приближается к реальному времени для статичных сцен. Исследовательские системы, которые рендерят полный кадр одной сетью (RenderFormer и подобные), вообще не работают в реальном времени. «NeRF» стал собирательным термином для полудюжины методов с совершенно разной скоростью.

5. «Нейронный рендеринг скоро заменит растеризацию». Сегодняшние системы гибридны: нейронные компоненты находятся внутри конвейера растеризации и трассировки лучей, а не вместо него. Полная замена классического конвейера одним генеративным рендерером — это долгосрочная исследовательская цель, а не краткосрочное продуктовое направление. Воспринимайте «будущее полностью нейронное» как направление движения, а не как датированный прогноз.

Вывод раздела: Единственная коренная причина почти каждого разногласия о нейронном рендеринге — это люди, использующие одно и то же слово для разных уровней спектра. Сначала разместите утверждение на спектре, и большая часть спора исчезнет.

Куда это движется

Траектория согласуется со всем вышесказанным: гибридные конвейеры сегодня, всё больше этапов переходят от вычисления к предсказанию, межвендорные нейронные шейдеры расширяют круг тех, кто может это выпускать, а рубеж полного нейронного рендерера всё ещё в нескольких годах. Следующий потребительский шаг — DLSS 5, анонсированный на осень 2026 года, который продвигается в генеративный нейронный рендеринг, производя детали освещения и материалов, которые игра никогда не вычисляла, а не только интерполируя между отрендеренными кадрами. NVIDIA показала технологию в контексте серии RTX 50, но её окончательные требования к потребительскому оборудованию следует считать неподтверждёнными, пока NVIDIA не опубликует чёткий список совместимости.

Взгляд вперёд имеет две половины. С ближней стороны самый важный ход — это не какая-то отдельная техника. Это стандартизация. Путь Microsoft в DirectX движется от Cooperative Vectors к более широкой линейной алгебре на уровне шейдеров, что могло бы позволить движкам нацеливаться на нейросетевые нагрузки, не делая ставку на один бренд GPU. С дальней стороны исследователи NVIDIA описали конечную точку далёкого будущего, иногда упоминаемую как гипотетический «DLSS 10», где рендерер полностью нейронный, а классический конвейер исчез (сообщено из вторых рук с круглого стола Digital Foundry; относитесь к этому как к заявленному направлению, а не дорожной карте). Конечная точка этой лестницы — система, которая генерирует целостный мир, а не рисует его.

Однако стоит сохранять скептицизм. Сгенерированные детали могут расходиться с художественным замыслом, а сеть может галлюцинировать правдоподобные, но неправильные изображения, у которых нет традиционного эквивалента для отладки: проблема контроля качества, отмеченная на GDC 2026, и суть, стоящая за значительной частью реакции «ИИ-шлак». Строить под то, куда движется графика, не значит притворяться, что текущий результат закончен. Это значит следить за тем, какие этапы переходят от вычисления к предсказанию следующими, и судить о каждом по тому, что он делает с изображением, а не по слову, к нему прикреплённому.

Часто задаваемые вопросы

Является ли DLSS нейронным рендерингом?

Да, но это лишь один из видов. DLSS — это применение нейронного рендеринга: конкретно внутриконвейерный уровень реального времени, охватывающий ИИ-апскейлинг и генерацию кадров. Более широкий термин появился раньше DLSS и также включает методы реконструкции сцен, такие как NeRF и Gaussian Splatting, и генеративные методы, придумывающие новые детали изображения. Так что каждая функция DLSS — это нейронный рендеринг, но множество нейронного рендеринга — это не DLSS.

В чём разница между нейронным рендерингом и трассировкой лучей?

Трассировка лучей моделирует свет, вычисляя, как лучи отражаются по сцене; нейронный рендеринг предсказывает результаты на основе обученной сети вместо их вычисления. Они не соперники. Они сочетаются. Ray Reconstruction, например, использует нейронную сеть для шумоподавления зашумлённого результата трассировки лучей, а нейронный кэш излучения предсказывает отражённый свет, чтобы трассировщик лучей мог остановиться раньше. Нейронные техники делают трассировку лучей доступной в реальном времени.

Добавляет ли генерация кадров DLSS задержку?

Да. Генерация кадров работает после того, как кадр отрендерен, и вставляет предсказанные кадры между отрендеренными, что добавляет задержку, а не убирает её: Reflex 2 от NVIDIA существует специально для компенсации. Она повышает воспринимаемую плавность (отображается больше кадров), не повышая того, насколько быстро игра обновляется и реагирует на ввод. Для соревновательной игры это компромисс; для плавности в одиночной игре это обычно чистый выигрыш.

Работает ли NeRF в реальном времени?

Это зависит от того, какую технику вы имеете в виду. Оригинальный NeRF не работает в реальном времени. 3D Gaussian Splatting, более поздний метод, приближается к реальному времени для статичных сцен. Полноценные нейронные рендереры, рисующие весь кадр одной сетью, остаются только исследовательскими и далеки от интерактивных скоростей. «NeRF» часто используют вольно, охватывая несколько методов с очень разной производительностью, что и является источником большей части путаницы.

Заменит ли нейронный рендеринг растеризацию?

Не скоро. Сегодняшние системы гибридны: нейронные компоненты работают внутри конвейера растеризации и трассировки лучей, а не вместо него. Полная замена классического конвейера одним генеративным рендерером — это долгосрочная исследовательская цель, а не краткосрочный продукт. Реалистичное направление — это переход всё большего числа этапов конвейера от вычисляемых к предсказываемым со временем, при том что растеризация будет выполнять реальную работу ещё годами.

Что такое нейронное сжатие текстур?

Нейронное сжатие текстур (NTC) — это нейронный метод, который сжимает все текстурные каналы материала вместе (цвет, нормали, шероховатость и остальные), достигая до 8-кратной экономии VRAM по сравнению с традиционным блочным сжатием при схожем визуальном качестве, по данным NVIDIA. Оно работает, изучая корреляции между каналами, которые блочное сжатие, сжимающее каждый канал отдельно, отбрасывает. Сжатый материал декодируется на лету во время рендеринга.