What Is Neural Rendering? How AI Is Replacing the Graphics Pipeline

Коли NVIDIA показала, як DLSS 4 генерує п’ятнадцять із кожних шістнадцяти пікселів за допомогою ШІ, значна частина аудиторії не побачила прогресу. Вони побачили «фейкові кадри» та «ШІ-шлак»: згенеровані деталі, які виглядають правильно, доки не навпаки, і які не можна налагодити так, як ви налагодили б неправильно поставлений полігон. Звіт PCGuide про опитування спільноти показав, що 54% відповідей були простим «Ні» щодо DLSS 5 та його вигляду, причому значна частина критики була спрямована на риси обличчя та реакцію «ШІ-шлак». Цю реакцію варто сприймати серйозно, і ми до неї ще повернемося.

Але серйозніша проблема в кожній із цих суперечок полягає в тому, що термін «нейронний рендеринг» вживають щонайменше для п’яти різних речей: апскейлінгу, згенерованих ШІ кадрів, реконструкції сцени за фотографіями, демо NeRF та Gaussian Splatting, які ви бачили в соцмережах, і дослідницьких систем, які рендерять ціле зображення однією мережею. Люди говорять повз одне одного, бо кожен вказує на свій рівень, вживаючи те саме слово. Дженсен Хуанг із NVIDIA назвав цей зсув «моментом GPT для графіки». Таке твердження. Корисне питання — що відбувається під ним.

Ось наскрізна думка, яка робить усе це зрозумілим: GPU дедалі частіше передбачає зображення, а не обчислює його. Традиційно GPU обчислює кожен піксель, моделюючи геометрію, освітлення та матеріали (растеризація, а останнім часом і трасування променів поверх неї). Нейронний рендеринг змінює те, що обчислюється , порівняно з тим, що передбачається навченою мережею. Це єдине розрізнення — стрижень цієї статті. До її кінця ви зможете розмістити будь-яку техніку на спектрі, знати, які з них працюють у реальному часі та на якому обладнанні, і відрізняти те, що вже є в іграх сьогодні, від того, що є науковою статтею чи демо з GTC. Це карта, а не посібник. Глибока механіка будь-якої окремої техніки — тема для окремих статей.

Коротко

• Нейронний рендеринг — це спектр, а не синонім DLSS. Він охоплює дослідження реконструкції сцен (NeRF, Gaussian Splatting), компоненти реального часу всередині конвеєра рендерингу (DLSS, Ray Reconstruction, нейронний кеш випромінювання) та генеративні методи, які вигадують деталі, яких у кадрі ніколи не було.
• Наскрізна думка — «передбачати замість обчислення». Кожна техніка замінює дорогий обчислюваний етап конвеєра мережею, яка передбачає результат, на якому її навчили.
• Більша частина того, що виходить сьогодні, є гібридною. Апскейлінг, генерація кадрів і ШІ-шумозаглушення вже працюють в іграх реального часу, тоді як нейронне стиснення текстур і нейронні шейдери з’являються через інструментарій для розробників. Повноцінні нейронні рендерери, які малюють усе зображення мережею, усе ще перебувають на стадії досліджень.
• Це стає міжвендорним, а не лише історією NVIDIA. Робота Microsoft над ML на рівні шейдерів у DirectX почалася з Cooperative Vectors у Shader Model 6.9 і рухається до ширшої підтримки лінійної алгебри в Shader Model 6.10, даючи рушіям шлях до нейромережевих шейдерних навантажень поза стеком одного вендора.

Чому «нейронний рендеринг» означає п’ять різних речей

Нейронний рендеринг — це клас методів, які використовують нейронні мережі для передбачення частин зображення (пікселів, освітлення, матеріалів, навіть цілих кадрів), які GPU інакше обчислював би з нуля. Огляд Tewari et al. визначає його як поєднання класичної комп’ютерної графіки з глибокими генеративними моделями для фотореалістичного результату. Термін охоплює широкий спектр, і «DLSS» — лише одна точка на ньому.

Причина, чому розмова перетворюється на плутанину, у тому, що спектр має щонайменше три окремих рівні, а громадськість вживає одне слово для всіх них.

Перший рівень — академічний / реконструкційний нейронний рендеринг: NeRF, 3D Gaussian Splatting і диференційований рендеринг. Вони беруть фотографії чи виміри реальної сцени та навчають подання, яке можна рендерити з нових ракурсів камери. оригінальна стаття про NeRF (Mildenhall et al., 2020) навчає невелику мережу зіставляти 3D-координату та напрямок погляду з кольором і щільністю, а потім рендерить нові види, звертаючись до неї. Цей рівень переважно офлайновий. Він реконструює сцени; він не живить цикл кадрів вашої гри.

Другий рівень — нейронний рендеринг конвеєра реального часу: мережі, які працюють усередині або поряд зі звичайним растеризованим кадром. Апскейлінг DLSS, Ray Reconstruction і нейронний кеш випромінювання живуть тут. Конвеєр усе ще растеризує й трасує промені; мережа обробляє один дорогий його етап. Це рівень, який уже є в іграх сьогодні.

Третій рівень — генеративний нейронний рендеринг: мережа створює вміст зображення, який кадр узагалі ніколи не обчислював. Згенеровані кадри DLSS 4 перебувають на краю цього, а DLSS 5 (який NVIDIA анонсувала на осінь 2026 року) просувається далі в цей бік, генеруючи деталі освітлення та матеріалів, а не лише інтерполюючи між відрендереними кадрами.

Ці три рівні поводяться по-різному, працюють з різною швидкістю та потребують різного обладнання. Сприйняття їх як одного цілого — причина, чому дві людини можуть одночасно сказати «нейронний рендеринг перехвалений» і «нейронний рендеринг — це майбутнє» й обидві будуть частково праві.

Висновок розділу: Термін з’явився раніше за DLSS і не є його синонімом. DLSS — це одне застосування (реальний час, усередині конвеєра) всередині набагато ширшого спектра, який простягається від офлайн-реконструкції сцен до повністю згенерованих кадрів.

Як нейронний рендеринг замінює частини брутфорс-конвеєра

За повної мультикадрової генерації DLSS 4 приблизно п’ятнадцять із кожних шістнадцяти пікселів на екрані створені ШІ, а не відрендерені традиційно (за даними NVIDIA про DLSS 4). Це число — увесь зсув, стиснутий в одну статистику: рендерер обчислює частину зображення й передбачає решту.

Традиційний рендеринг заробляє кожен піксель. GPU растеризує геометрію, запускає шейдери для обчислення освітлення та матеріалів і (за трасування променів) моделює відбиття світла по сцені. Трасування променів особливо жорстоко дороге, бо реалістичне світло потребує багатьох відбиттів і багатьох вибірок на піксель, а шум від недостатньої вибірки доводиться прибирати згодом. У міру того як сцени ставали амбітнішими, найдорожчі етапи стали очевидними цілями: замість їх обчислення навчити мережу передбачати їхній результат.

Прогрес був сталим, а не раптовим:

• 2018, DLSS 1.0. Перший комерційний крок: рендерити в низькій роздільності, передбачати зображення високої роздільності. Перевести апскейл з «обчислювати більше пікселів» на «передбачати більше пікселів».
• 2020, NeRF. Реконструкція сцени за зображеннями через навчене поле випромінювання. Передбачати нові види замість моделювання та рендерингу геометрії.
• 2021, Neural Radiance Cache. Передбачати відбите світло під час трасування шляхів, щоб рендерер міг зупинити трасування раніше.
• 2022, DLSS 3 Frame Generation. Генерувати цілі проміжні кадри замість їх рендерингу.
• 2023, 3D Gaussian Splatting. Швидша, схильна до реального часу альтернатива NeRF для реконструйованих сцен.
• 2025, DLSS 4 + RTX Kit. Мультикадрова генерація плюс набір нейронних компонентів (стиснення текстур, кеш випромінювання, нейронні шейдери).
• 2025, DirectX Cooperative Vectors (попередня версія). Міжвендорний API для матричної математики, потрібної нейронним шейдерам (представлений у попередній версії у складі Shader Model 6.9).
• 2026, DLSS 4.5. Поступові покращення якості та Ray Reconstruction (описані NVIDIA на Computex).
• Осінь 2026, DLSS 5 (анонсовано). Наступний ривок до генеративного нейронного рендерингу.

Читаючи згори вниз, кожен рядок — це той самий хід, застосований до іншого етапу: узяти те, що конвеєр раніше обчислював, і доручити мережі передбачати це натомість.

Шість рівнів: що ШІ замінює на кожному етапі конвеєра

Шість технік несуть на собі більшу частину сучасного нейронного рендерингу реального часу, і кожна замінює конкретний обчислюваний етап: апскейлінг (роздільність), генерація кадрів (кількість кадрів), ray reconstruction (шумозаглушення), нейронний кеш випромінювання (глобальне освітлення), нейронне стиснення текстур (зберігання матеріалів) і нейронні шейдери (обчислення всередині шейдера). Знати, якого етапу торкається кожна, — це майже половина справи.

Вони поділяються за тим, де в конвеєрі працює мережа. Деякі працюють у самому кінці як постобробка готового кадру; деякі працюють у середині конвеєра поряд із трасуванням променів; деякі живуть усередині самого шейдера. Це розташування — не деталь. Воно визначає, наскільки швидко може працювати техніка та яке обладнання їй потрібне. Таблиця відображає ці шість технік; підрозділи нижче пояснюють механізм, який не вмістився б акуратно в кожну комірку.

ШІ-апскейлінг (суперроздільність)

ШІ-апскейлінг рендерить кадр у нижчій роздільності та передбачає результат високої роздільності, тож GPU малює набагато менше пікселів, а мережа добудовує структуру. DLSS, FSR 4 від AMD і XeSS від Intel роблять це через темпоральний апсемплінг: вони вибирають різні пікселі в послідовних кадрах і поєднують цю історію з векторами руху, щоб відновити деталі, яких немає в одному кадрі низької роздільності.

Це найзріліший і найширше розгорнутий рівень, і саме тут міжвендорна реальність найочевидніша. DLSS 4 перевів свій апскейлер зі згорткової мережі на трансформер задля кращої стабільності деталей. FSR 4 — перший апскейлер AMD на основі ML, що працює на RDNA 4 з інференсом FP8, а не на вручну написаних евристиках попередніх версій FSR. XeSS використовує матричні блоки XMX від Intel. Три вендори, та сама базова ідея: передбачити пікселі, які ви не відрендерили.

Генерація кадрів і мультикадрова генерація

Генерація кадрів передбачає цілі кадри між тими, які GPU справді рендерить, поєднуючи ігрові дані, як-от вектори руху, з оцінкою оптичного потоку та ШІ. DLSS 3 використовував прискорювач оптичного потоку серії RTX 40 для вставлення одного згенерованого кадру між відрендереними; DLSS 4 Multi Frame Generation на обладнанні серії RTX 50 може генерувати до трьох додаткових кадрів на кожен традиційно відрендерений, і NVIDIA каже, що DLSS 4 замінює апаратний етап оптичного потоку ефективнішою ШІ-моделлю.

Саме про цей рівень насправді йдеться у суперечці про «фейкові кадри», і формулювання тут важливе. Згенерований кадр — це правдоподібна інтерполяція того, куди рухалася сцена: він показує вам придатний візуальний контент. Але він передбачається, а не відрендерений із фактичного стану гри, і він не несе свіжої ігрової логіки чи вводу. Що критично, генерація кадрів працює після того, як кадр відрендерено, що додає затримку, а не прибирає її; Reflex 2 від NVIDIA існує саме для того, щоб відіграти цю затримку назад. Тож «генерація кадрів робить гру швидшою» — часткова правда: вона підвищує сприйману плавність (відображається більше кадрів), не підвищуючи частоту, з якою гра справді оновлюється й реагує. Цей розрив між тим, що ви бачите, і тим, що знає гра, — і є вся суперечка, і для змагальної гри, де затримка вводу вирішує результат, це компроміс, який варто зважити.

Ray Reconstruction (ШІ-шумозаглушення)

Ray Reconstruction замінює стек вручну налаштованих фільтрів шумозаглушення, на які спирається рендеринг із трасуванням променів, однією нейронною мережею, навченою відновлювати чисте зображення із зашумленого, недостатньо вибраного входу трасування променів. Трасування шляхів у реальному часі може дозволити собі лише кілька світлових вибірок на піксель, через що сирий результат залишається шумним; щось має його очистити, перш ніж ви його побачите.

Традиційним підходом був ланцюг спеціалізованих шумозаглушувачів, кожен із яких налаштовувався вручну під конкретний ефект. Заміна їх однією навченою мережею зазвичай зберігає деталі, які вручну налаштовані фільтри розмазували, особливо на відбиттях і тонкому освітленні, і це одна мережа для супроводу замість крихкого конвеєра з них. Це чистий приклад наскрізної думки: етап шумозаглушення перейшов від «обчислювати вручну написаними евристиками» до «передбачати навченою моделлю».

Нейронний кеш випромінювання (глобальне освітлення)

Нейронний кеш випромінювання (NRC) передбачає, як світло відбивається по сцені, щоб трасувальник шляхів міг зупинити трасування більшості променів раніше, замість того щоб простежувати кожне відбиття до кінця. Глобальне освітлення (м’яке, непряме світло, що відбивається від стін і підлог) — одна з найдорожчих речей у графіці реального часу, а механізм, завдяки якому працює NRC, рідко пояснюють простою мовою, тож на ньому варто затриматися.

Ось механізм. Трасувальник шляхів зазвичай простежує кожен світловий промінь через багато відбиттів, і саме там вартість вибухає. NRC навчає невелику мережу під час рендерингу (а не заздалегідь) передбачати світло, що надходить у точку після подальших відбиттів. Тож трасувальник шляхів трасує промінь на одне-два відбиття, потім запитує в мережі «який тут решта світла?» і завершує шлях раніше; стаття про нейронне кешування випромінювання в реальному часі (Müller et al., 2021) повідомляє про завершення переважної більшості шляхів таким способом. Думайте про це як про кеш, який не зберігає точні відповіді, бачені раніше, а вивчає патерн освітлення сцени достатньо добре, щоб відповідати на запити, яких він не бачив, і продовжує перенавчатися в міру зміни сцени. NVIDIA повідомляє, що NRC працює з накладними витратами приблизно 2,6 мс, що й робить його придатним для реального часу, а не дослідницькою дивиною.

Нейронне стиснення текстур

Нейронне стиснення текстур (NTC) стискає всі текстурні канали матеріалу разом за допомогою мережі, досягаючи до 8-кратної економії VRAM порівняно з традиційним блочним стисненням за схожої візуальної якості (за документацією NVIDIA RTX Kit). Сучасний матеріал — це не одна текстура. Це їхній стек (колір, нормалі, шорсткість, металічність та інші), і ці канали корельовані способами, які блочне стиснення, що стискає кожен канал незалежно, відкидає.

NTC використовує цю кореляцію. Вивчаючи спільну структуру всіх каналів матеріалу одночасно, воно зберігає той самий матеріал у значно меншому обсязі пам’яті та декодує його на льоту під час рендерингу. VRAM залишається постійним обмеженням у міру того, як ігри нарощують деталізацію текстур, тож «умістити у 8 разів більше матеріалу в тій самій пам’яті» — це прямий практичний виграш, а не візуальний трюк.

Нейронні шейдери та DirectX Cooperative Vectors

Нейронні шейдери запускають невеликі нейронні мережі всередині програмованого шейдера (попіксельні/повершинні програми, які GPU уже виконує), щоб мережа могла апроксимувати дорогий обчислюваний ефект прямо там, де цей ефект потрібен. Замість того щоб прикручувати ШІ окремим проходом, MLP виконується як частина шейдера на матричних блоках GPU (Tensor Cores на обладнанні NVIDIA).

Tensor Cores обробляють матричну математику, на якій працюють ці мережі, окремо від ядер загального призначення, які обробляють решту роботи. Те, що перетворює нейронні шейдери з функції одного вендора на ширшу галузеву можливість, — це шар API під ними. Microsoft представила DirectX Cooperative Vectors у попередній версії з Shader Model 6.9 у 2025 році, щоб надати векторні/матричні операції всередині шейдерів HLSL. До 2026 року Shader Model 6.9 перейшла в роздрібну версію, і Microsoft заявила, що Cooperative Vector застаріває на користь ширшого дизайну лінійної алгебри, запланованого для Shader Model 6.10. Безпечний висновок не в тому, що Cooperative Vectors — це фінальний API, а в тому, що DirectX рухається до міжвендорної підтримки ML на рівні шейдерів.

Висновок розділу: Шість технік сортуються за тим, де працює мережа: постобробка в кінці кадру, у середині конвеєра поряд із трасуванням променів або всередині самого шейдера. Саме це розташування визначає, чи може техніка працювати в реальному часі та яке обладнання їй потрібне.

Що працює в реальному часі та на якому обладнанні

Межа реального часу чіткіша, ніж підказує галас: ШІ-апскейлінг зазвичай працює з низькими накладними витратами, NRC додає приблизно 2,6 мс, а 3D Gaussian Splatting наближається до реального часу для статичних сцен. Оригінальний NeRF і повноцінні нейронні рендерери на кшталт RenderFormer твердо залишаються лише дослідницькими, витрачаючи надто багато часу на кадр для інтерактивного використання. «Нейронний рендеринг — це реальний час» правильно для внутрішньоконвеєрного рівня й неправильно для рівнів реконструкції та повного рендерера.

Цей поділ точно повторює спектр. Деякі внутрішньоконвеєрні компоненти, особливо апскейлінг, генерація кадрів і Ray Reconstruction, уже працюють у виданих іграх. Інші, як-от NRC, NTC і нейронні шейдери, краще описувати як технології для розробників і нові можливості інструментарію, а не як поширені продакшн-функції. Рівень реконструкції неоднорідний: оригінальний NeRF повільний, але 3D Gaussian Splatting був усвідомленим ривком до реального часу й досягає його для статичних сцен. Рівень повного нейронного рендерера (одна мережа, що створює все зображення) — це де живуть дослідження, і часи кадрів там далекі від інтерактивних.

Обладнання — друга половина відповіді, і саме тут приземляється міжвендорна історія. Кожна техніка тут працює на блоках матричної математики, які сучасні GPU постачають для ШІ-інференсу:

• NVIDIA має Tensor Cores на кожній карті RTX починаючи із серії 20, тому більшість цих технік дебютували саме там.
• У AMD FSR Upscaling на основі ML наразі націлений на GPU RDNA 4 / Radeon RX серії 9000 для ML-шляху; на ранішому обладнанні SDK від AMD відкочується до аналітичних шляхів FSR 3.1.5. Ставтеся до ширшої підтримки старіших GPU як до рухомого пункту дорожньої карти, а не як до гарантованої функції FSR 4, якщо тільки ви не посилаєтеся на конкретний анонс AMD.
• Intel використовує матричні рушії XMX на GPU Arc для XeSS.

Сам DLSS обмежений за функціями залежно від покоління: апскейлінг працює аж до серії RTX 20, оригінальна генерація кадрів потребує серії RTX 40, а мультикадрова генерація — лише для серії RTX 50. Якщо ви намагаєтеся зрозуміти, на що здатна та чи інша карта, це обмеження за поколінням і є практичною відповіддю, а не маркетинговий клас.

Що ви можете використовувати сьогодні проти того, що насувається: Апскейлінг, генерація кадрів і Ray Reconstruction доступні в іграх уже сьогодні. Компоненти RTX Kit як-от NRC, NTC і нейронні шейдери, доступні як технології та інструменти для розробників, але не варто натякати, що всі вони вже поширені у виданих іграх. У Gaussian Splatting є придатний до використання відкритий інструментарій для захоплення сцен. Чого тут ще немає: повноцінних нейронних рендерерів, що малюють увесь кадр однією мережею, зрілих міжвендорних нейронних шейдерів (підтримка AMD на ранній стадії) і генеративних функцій DLSS 5 (анонсованих на осінь 2026 року). Якщо ви хочете поекспериментувати зі стороною реконструкції (запускаючи NeRF чи інференс-навантаження самостійно), це завдання для GPU-обчислень , а не те, що гра робить за вас.

Чим нейронний рендеринг не є: п’ять хибних уявлень

Більшість суперечок про нейронний рендеринг стають простішими, щойно ви визначаєте, про який рівень спектра йдеться. П’ять хибних уявлень виникають знову і знову.

1. «Апскейлінг DLSS — це нейронний рендеринг». DLSS — an застосування нейронного рендерингу, внутрішньоконвеєрний рівень реального часу, а не вся галузь. Термін з’явився раніше за DLSS і включає NeRF, Gaussian Splatting та генеративні методи. Прирівнювати одне до одного — це як називати «бази даних» синонімом одного продукту, яким ви випадково користуєтеся.

2. «Генерація кадрів робить ігри швидшими». Вона підвищує кількість кадрів, які ви бачите, від чого рух виглядає плавнішим, але працює після рендерингу й додає затримку. Частота, з якою гра оновлюється й реагує на ваш ввід, не збільшується. Для змагальної гри ця затримка — реальний компроміс; для візуальної плавності це справжній виграш. «Швидше» змішує ці два поняття.

3. «DLSS 5 розуміє 3D / читає 3D-сцену». Саме це найважливіше зрозуміти правильно, бо технічні публікації постійно це викривлюють. Як описує NVIDIA, DLSS 5 бере на вхід дані про колір кожного кадру та вектори руху, а потім використовує свою навчену модель, щоб вивести семантику сцени, як-от персонажі, волосся, тканина, шкіра та умови освітлення. Він спирається на вміст гри, але NVIDIA не описує його як безпосереднє читання повного файлу 3D-сцени гри. «З 3D-спрямуванням» означає, що висновок геометрично узгоджений (він враховує, як поверхні рухаються й співвідносяться), а не що мережа читає геометрію сцени напряму. Це розрізнення важливе, бо воно обмежує те, що техніка може й не може знати.

4. «NeRF тепер працює в реальному часі». Залежить від того, яку техніку ви маєте на увазі, і це якраз проблема спектра. Оригінальний NeRF не працює в реальному часі. 3D Gaussian Splatting наближається до реального часу для статичних сцен. Дослідницькі системи, які рендерять повний кадр однією мережею (RenderFormer і подібні), взагалі не працюють у реальному часі. «NeRF» став збірним терміном для пів десятка методів із цілком різною швидкістю.

5. «Нейронний рендеринг незабаром замінить растеризацію». Сьогоднішні системи гібридні: нейронні компоненти перебувають всередині конвеєра растеризації та трасування променів, а не замість нього. Повна заміна класичного конвеєра одним генеративним рендерером — це довгострокова дослідницька мета, а не короткостроковий продуктовий напрям. Сприймайте «майбутнє повністю нейронне» як напрям руху, а не як датований прогноз.

Висновок розділу: Єдина корінна причина майже кожної незгоди щодо нейронного рендерингу — це люди, які вживають те саме слово для різних рівнів спектра. Спершу розмістіть твердження на спектрі, і більша частина суперечки зникне.

Куди це рухається

Траєкторія узгоджується з усім вищесказаним: гібридні конвеєри сьогодні, дедалі більше етапів переходять від обчислення до передбачення, міжвендорні нейронні шейдери розширюють коло тих, хто може це випускати, а рубіж повного нейронного рендерера все ще за кілька років. Наступний споживчий крок — DLSS 5, анонсований на осінь 2026 року, який просувається в генеративний нейронний рендеринг, створюючи деталі освітлення та матеріалів, які гра ніколи не обчислювала, а не лише інтерполюючи між відрендереними кадрами. NVIDIA показала технологію в контексті серії RTX 50, але її остаточні вимоги до споживчого обладнання слід вважати непідтвердженими, доки NVIDIA не опублікує чіткий список сумісності.

Погляд уперед має дві половини. З ближнього боку найважливіший хід — це не якась окрема техніка. Це стандартизація. Шлях Microsoft у DirectX рухається від Cooperative Vectors до ширшої лінійної алгебри на рівні шейдерів, що могло б дозволити рушіям націлюватися на нейромережеві навантаження, не роблячи ставку на один бренд GPU. З дальнього боку дослідники NVIDIA описали кінцеву точку далекого майбутнього, яку іноді згадують як гіпотетичний «DLSS 10», де рендерер повністю нейронний, а класичний конвеєр зник (повідомлено з третіх вуст із круглого столу Digital Foundry; ставтеся до цього як до заявленого напряму, а не дорожньої карти). Кінцева точка цієї драбини — система, яка генерує цілісний світ, а не малює його.

Однак варто зберігати скептицизм. Згенеровані деталі можуть розходитися з художнім задумом, а мережа може галюцинувати правдоподібні, але неправильні зображення, які не мають традиційного еквівалента для налагодження: проблема контролю якості, відзначена на GDC 2026, і суть, що стоїть за значною частиною реакції «ШІ-шлак». Будувати під те, куди рухається графіка, не означає вдавати, що поточний результат завершений. Це означає стежити за тим, які етапи переходять від обчислення до передбачення наступними, і судити про кожен за тим, що він робить із зображенням, а не за словом, до нього прикріпленим.

Часті запитання

Чи є DLSS нейронним рендерингом?

Так, але це лише один із видів. DLSS — це застосування нейронного рендерингу: зокрема внутрішньоконвеєрний рівень реального часу, що охоплює ШІ-апскейлінг і генерацію кадрів. Ширший термін з’явився раніше за DLSS і також включає методи реконструкції сцен, як-от NeRF і Gaussian Splatting, та генеративні методи, що вигадують нові деталі зображення. Тож кожна функція DLSS — це нейронний рендеринг, але багато нейронного рендерингу — це не DLSS.

У чому різниця між нейронним рендерингом і трасуванням променів?

Трасування променів моделює світло, обчислюючи, як промені відбиваються по сцені; нейронний рендеринг передбачає результати на основі навченої мережі замість їх обчислення. Вони не суперники. Вони поєднуються. Ray Reconstruction, наприклад, використовує нейронну мережу для шумозаглушення зашумленого результату трасування променів, а нейронний кеш випромінювання передбачає відбите світло, щоб трасувальник променів міг зупинитися раніше. Нейронні техніки роблять трасування променів доступним у реальному часі.

Чи додає генерація кадрів DLSS затримку?

Так. Генерація кадрів працює після того, як кадр відрендерено, і вставляє передбачені кадри між відрендереними, що додає затримку, а не прибирає її: Reflex 2 від NVIDIA існує саме для компенсації. Вона підвищує сприйману плавність (відображається більше кадрів), не підвищуючи того, наскільки швидко гра оновлюється й реагує на ввід. Для змагальної гри це компроміс; для плавності в одиночній грі це зазвичай чистий виграш.

Чи працює NeRF у реальному часі?

Це залежить від того, яку техніку ви маєте на увазі. Оригінальний NeRF не працює в реальному часі. 3D Gaussian Splatting, пізніший метод, наближається до реального часу для статичних сцен. Повноцінні нейронні рендерери, що малюють увесь кадр однією мережею, залишаються лише дослідницькими й далекі від інтерактивних швидкостей. «NeRF» часто вживають вільно, охоплюючи кілька методів із дуже різною продуктивністю, що і є джерелом більшої частини плутанини.

Чи замінить нейронний рендеринг растеризацію?

Не скоро. Сьогоднішні системи гібридні: нейронні компоненти працюють усередині конвеєра растеризації та трасування променів, а не замість нього. Повна заміна класичного конвеєра одним генеративним рендерером — це довгострокова дослідницька мета, а не короткостроковий продукт. Реалістичний напрям — це перехід дедалі більшої кількості етапів конвеєра від обчислюваних до передбачуваних із часом, при тому що растеризація виконуватиме реальну роботу ще роками.

Що таке нейронне стиснення текстур?

Нейронне стиснення текстур (NTC) — це нейронний метод, який стискає всі текстурні канали матеріалу разом (колір, нормалі, шорсткість та решту), досягаючи до 8-кратної економії VRAM порівняно з традиційним блочним стисненням за схожої візуальної якості, за даними NVIDIA. Воно працює, вивчаючи кореляції між каналами, які блочне стиснення, що стискає кожен канал окремо, відкидає. Стиснутий матеріал декодується на льоту під час рендерингу.