What Is Neural Rendering? How AI Is Replacing the Graphics Pipeline

Da NVIDIA viste DLSS 4 generere femten ud af hver seksten pixels med AI, så en stor del af publikum ingen fremgang. De så "falske frames" og "AI-pløre": genereret detalje, der ser rigtig ud, indtil den ikke gør, og som man ikke kan fejlfinde, sådan som man ville fejlfinde en fejlplaceret polygon. En PCGuide-rapport om en community-afstemning fandt, at 54% af svarene var et rent "Nej" til DLSS 5's udseende, hvor meget af kritikken var rettet mod ansigtstræk og "AI-pløre"-reaktionen. Den reaktion er værd at tage alvorligt, og vi vender tilbage til den.

Men det større problem i hver eneste af de diskussioner er, at "neural rendering" bruges om mindst fem forskellige ting: upscaling, AI-genererede frames, scenerekonstruktion fra fotos, de NeRF- og Gaussian Splatting-demoer, du har set på sociale medier, og forskningssystemerne, der renderer et helt billede med et enkelt netværk. Folk taler forbi hinanden, fordi de hver især peger på et forskelligt lag og bruger det samme ord. NVIDIAs Jensen Huang har kaldt dette skift et "GPT-øjeblik for grafik." Det er påstanden. Det nyttige spørgsmål er, hvad der sker nedenunder.

Her er den røde tråd, der gør det hele læseligt: GPU'en forudsiger i stigende grad billedet i stedet for at beregne det. Traditionelt beregner GPU'en hver pixel ved at simulere geometri, belysning og materialer (rasterisering, og på det seneste ray tracing oven på det). Neural rendering ændrer, hvad der bliver beregnet versus hvad der bliver forudsagt af et trænet netværk. Den ene skelnen er rygraden i denne artikel. Til sidst vil du kunne placere enhver teknik på et spektrum, vide hvilke der kører i realtid og på hvilken hardware, og skelne, hvad der findes i et spil i dag, fra hvad der er et forskningspapir eller en GTC-demo. Dette er et kort, ikke en vejledning. Den dybe mekanik i enhver enkelt teknik er sin egen artikel.

Den korte version

• Neural rendering er et spektrum, ikke et synonym for DLSS. Det spænder over forskning i scenerekonstruktion (NeRF, Gaussian Splatting), realtidskomponenter, der sidder inde i renderingspipelinen (DLSS, Ray Reconstruction, neural radiance cache), og generative metoder, der opfinder detalje, som framen aldrig havde.
• Den røde tråd er "forudsig i stedet for at beregne." Hver teknik erstatter et dyrt beregnet trin i pipelinen med et netværk, der forudsiger det resultat, det blev trænet på.
• Det meste af det, der udkommer i dag, er hybrid. Upscaling, framegenerering og AI-støjreduktion kører i realtidsspil nu, mens neural teksturkomprimering og neurale shadere er ved at dukke op via udviklerværktøjssæt. Fulde neurale renderere, der tegner hele billedet med et netværk, er stadig på forskningsstadiet.
• Det er ved at blive på tværs af leverandører, ikke kun en NVIDIA-historie. Microsofts DirectX-arbejde med ML på shaderniveau begyndte med Cooperative Vectors i Shader Model 6.9 og bevæger sig mod bredere understøttelse af lineær algebra i Shader Model 6.10, hvilket giver engines en vej til at målrette mod neuralt-lignende shader-arbejdsbelastninger ud over én leverandørs stak.

Hvorfor "Neural Rendering" Betyder Fem Forskellige Ting

Neural rendering er en klasse af metoder, der bruger neurale netværk til at forudsige dele af et billede (pixels, belysning, materialer, endda hele frames), som GPU'en ellers ville beregne fra bunden. Tewari et al.-oversigten definerer det som at kombinere klassisk computergrafik med dybe generative modeller for fotorealistisk output. Begrebet spænder over et bredt spektrum, og "DLSS" er ét punkt på det.

Grunden til, at samtalen er et rod, er, at spektret har mindst tre forskellige lag, og offentligheden bruger ét ord om dem alle.

Det første lag er akademisk / rekonstruktionsneural rendering: NeRF, 3D Gaussian Splatting og differentiérbar rendering. Disse tager fotografier eller målinger af en virkelig scene og lærer en repræsentation, du kan rendere fra nye kameravinkler. Det oprindelige NeRF-papir (Mildenhall et al., 2020) træner et lille netværk til at afbilde en 3D-koordinat og synsretning til farve og tæthed og renderer derefter nye visninger ved at forespørge det. Dette lag er for det meste offline. Det rekonstruerer scener; det driver ikke dit spils frameløkke.

Det andet lag er realtidspipeline-neural rendering: netværk, der kører inde i eller ved siden af en normal rasteriseret frame. DLSS-upscaling, Ray Reconstruction og den neurale radiance cache bor her. Pipelinen rasteriserer og ray-tracer stadig; et netværk håndterer ét dyrt trin af den. Dette er laget, der findes i spil i dag.

Det tredje lag er generativ neural rendering: netværket producerer billedindhold, som framen slet ikke beregnede. DLSS 4's genererede frames sidder på kanten af dette, og DLSS 5 (som NVIDIA har annonceret til efteråret 2026) skubber længere ind i det ved at generere belysnings- og materialedetalje frem for kun at interpolere mellem renderede frames.

Disse tre lag opfører sig forskelligt, kører ved forskellige hastigheder og kræver forskellig hardware. At behandle dem som én ting er grunden til, at to mennesker begge kan sige "neural rendering er overhypet" og "neural rendering er fremtiden" og begge have delvist ret.

Afsnittets pointe: Begrebet er ældre end DLSS og er ikke et synonym for det. DLSS er én anvendelse (realtid, i pipelinen) inden for et meget bredere spektrum, der går fra offline scenerekonstruktion til fuldt genererede frames.

Hvordan Neural Rendering Erstatter Dele af Brute-Force-Pipelinen

Med fuld DLSS 4 multi-framegenerering er omtrent femten ud af hver seksten pixels på skærmen AI-produceret frem for traditionelt renderet (ifølge NVIDIAs DLSS 4-tal). Det tal er hele skiftet komprimeret til én statistik: rendereren beregner en brøkdel af billedet og forudsiger resten.

Traditionel rendering fortjener hver pixel. GPU'en rasteriserer geometri, kører shadere for at beregne belysning og materialer, og (med ray tracing) simulerer lys, der hopper rundt i scenen. Ray tracing er især brutalt dyr, fordi realistisk lys kræver mange hop og mange samples per pixel, og støjen fra undersampling skal renses op bagefter. Efterhånden som scener blev mere ambitiøse, blev de dyreste trin de oplagte mål: i stedet for at beregne dem, træn et netværk til at forudsige deres output.

Udviklingen har været støt frem for pludselig:

• 2018, DLSS 1.0. Det første kommercielle skridt: render i lav opløsning, forudsig billedet i høj opløsning. Flyt upscalingen fra "beregn flere pixels" til "forudsig flere pixels."
• 2020, NeRF. Scenerekonstruktion fra billeder via et indlært radiance-felt. Forudsig nye visninger i stedet for at modellere og rendere geometri.
• 2021, Neural Radiance Cache. Forudsig hoppet lys under path tracing, så rendereren kan stoppe med at trace tidligt.
• 2022, DLSS 3 Framegenerering. Generér hele mellemframes i stedet for at rendere dem.
• 2023, 3D Gaussian Splatting. Et hurtigere, mere realtidsorienteret alternativ til NeRF til rekonstruerede scener.
• 2025, DLSS 4 + RTX Kit. Multi-framegenerering plus et værktøjssæt af neurale komponenter (teksturkomprimering, radiance cache, neurale shadere).
• 2025, DirectX Cooperative Vectors (preview). En API på tværs af leverandører til den matrixmatematik, neurale shadere har brug for (introduceret i preview som en del af Shader Model 6.9).
• 2026, DLSS 4.5. Trinvise forbedringer i kvalitet og Ray Reconstruction (beskrevet af NVIDIA på Computex).
• Efteråret 2026, DLSS 5 (annonceret). Det næste skub mod generativ neural rendering.

Læst oppefra og ned er hver række det samme træk anvendt på et forskelligt trin: tag noget, pipelinen plejede at beregne, og lad et netværk forudsige det i stedet.

De Seks Lag: Hvad AI Erstatter på Hvert Trin af Pipelinen

Seks teknikker bærer det meste af nutidens realtids-neural rendering, og hver enkelt erstatter et specifikt beregnet trin: upscaling (opløsning), framegenerering (antal frames), ray reconstruction (støjreduktion), neural radiance cache (global belysning), neural teksturkomprimering (materialelagring) og neurale shadere (beregning i shaderen). At vide, hvilket trin hver enkelt berører, er det meste af kampen.

Disse opdeles efter hvor i pipelinen netværket kører. Nogle opererer helt til sidst som efterbehandling på en færdig frame; nogle kører midt i pipelinen ved siden af ray tracing; nogle bor inde i selve shaderen. Den placering er ikke en detalje. Den afgør, hvor hurtigt teknikken kan køre, og hvilken hardware den kræver. Tabellen kortlægger de seks teknikker; underafsnittene nedenfor forklarer mekanismen, der ikke passede pænt ind i hver celle.

AI-Upscaling (Super Resolution)

AI-upscaling renderer framen i en lavere opløsning og forudsiger resultatet i høj opløsning, så GPU'en tegner langt færre pixels, og et netværk udfylder strukturen. DLSS, AMDs FSR 4 og Intels XeSS gør alle dette via temporal upsampling: de sampler forskellige pixels på tværs af på hinanden følgende frames og kombinerer den historik med bevægelsesvektorer for at rekonstruere detalje, en enkelt lavopløselig frame ikke indeholder.

Dette er det mest modne og bredest udbredte lag, og det er her, virkeligheden på tværs af leverandører er tydeligst. DLSS 4 flyttede sin upscaler fra et konvolutionsnetværk til en transformer for bedre detaljestabilitet. FSR 4 er AMDs første ML-baserede upscaler, der kører på RDNA 4 med FP8-inferens frem for de håndskrevne heuristikker i tidligere FSR-versioner. XeSS bruger Intels XMX-matrixenheder. Tre leverandører, den samme underliggende idé: forudsig de pixels, du ikke renderede.

Framegenerering og Multi-Framegenerering

Framegenerering forudsiger hele frames mellem dem, GPU'en faktisk renderer, ved at kombinere spildata såsom bevægelsesvektorer med optical-flow-estimering og AI. DLSS 3 brugte RTX 40-seriens Optical Flow Accelerator til at indsætte én genereret frame mellem renderede frames; DLSS 4 Multi Frame Generation på RTX 50-serie-hardware kan generere op til tre ekstra frames per traditionelt renderet frame, og NVIDIA siger, at DLSS 4 erstatter hardware-optical-flow-trinnet med en mere effektiv AI-model.

Dette er laget, som "falske frames"-argumentet i virkeligheden handler om, og indramningen er vigtig her. En genereret frame er en plausibel interpolation af, hvor scenen var på vej hen: den viser dig brugbart visuelt indhold. Men den er forudsagt, ikke renderet fra spillets faktiske tilstand, og den bærer ikke frisk spillogik eller input. Afgørende er, at framegenerering kører efter en frame er renderet, hvilket tilføjer latens frem for at fjerne den; NVIDIAs Reflex 2 findes specifikt for at vinde den latens tilbage. Så "framegenerering gør spillet hurtigere" er en delvis sandhed: det hæver den oplevede jævnhed (flere frames vist) uden at hæve den hastighed, hvormed spillet faktisk opdaterer og reagerer. Det gab mellem, hvad du ser, og hvad spillet ved, er hele debatten, og for konkurrencespil, hvor inputlatens afgør udfald, er det en afvejning værd at overveje.

Ray Reconstruction (AI-Støjreduktion)

Ray Reconstruction erstatter stakken af håndindstillede støjreduktionsfiltre, som ray-traced rendering er afhængig af, med et enkelt neuralt netværk, der er trænet til at rekonstruere et rent billede fra støjende, undersamplet ray-traced input. Path tracing har kun råd til nogle få lyssamples per pixel i realtid, hvilket efterlader det rå output støjende; noget skal rense det op, før du ser det.

Den traditionelle tilgang var en kæde af specialiserede denoisere, hver håndindstillet til en specifik effekt. At udskifte det med ét trænet netværk har tendens til at bevare detalje, som de håndindstillede filtre smurte ud, især på refleksioner og fin belysning, og det er ét netværk at vedligeholde i stedet for en skrøbelig pipeline af dem. Dette er et rent eksempel på den røde tråd: støjreduktionstrinnet flyttede fra "beregn med håndskrevne heuristikker" til "forudsig med en trænet model."

Neural Radiance Cache (Global Belysning)

Den neurale radiance cache (NRC) forudsiger, hvordan lys hopper rundt i en scene, så path traceren kan stoppe med at trace de fleste rays tidligt i stedet for at følge hvert hop til ende. Global belysning (det bløde, indirekte lys, der kaster tilbage fra vægge og gulve) er en af de dyreste ting i realtidsgrafik, og mekanismen, der får NRC til at virke, forklares sjældent i almindeligt sprog, så det er værd at sætte farten ned for.

Her er mekanismen. En path tracer følger normalt hver lysstråle gennem mange hop, og det er der, omkostningen eksploderer. NRC træner et lille netværk under renderingen (ikke på forhånd) til at forudsige det lys, der ankommer til et punkt efter yderligere hop. Så path traceren tracer en ray i et hop eller to, spørger derefter netværket "hvad er resten af lyset her?" og afslutter stien tidligt; papiret om realtids-neural radiance caching (Müller et al., 2021) rapporterer, at det store flertal af stierne afsluttes på denne måde. Tænk på det som en cache, der ikke lagrer præcise svar, den har set før, men lærer mønstret i scenens belysning godt nok til at besvare forespørgsler, den ikke har set, og bliver ved med at genlære, efterhånden som scenen ændrer sig. NVIDIA rapporterer, at NRC kører med omtrent 2,6 ms overhead, hvilket er det, der gør den realtidslevedygtig frem for en forskningskuriositet.

Neural Teksturkomprimering

Neural teksturkomprimering (NTC) komprimerer alle et materiales teksturkanaler sammen med et netværk og opnår op til 8x VRAM-besparelse i forhold til traditionel blokkomprimering ved tilsvarende visuel kvalitet (ifølge NVIDIAs RTX Kit-dokumentation). Et moderne materiale er ikke én tekstur. Det er en stak af dem (farve, normaler, ruhed, metallisk og mere), og disse kanaler er korreleret på måder, som blokkomprimering, der presser hver kanal uafhængigt, smider væk.

NTC udnytter den korrelation. Ved at lære den fælles struktur på tværs af alle et materiales kanaler på én gang lagrer den det samme materiale i langt mindre hukommelse og afkoder det i farten ved rendering. VRAM er en vedvarende begrænsning, efterhånden som spil skubber teksturdetalje, så "få plads til 8x mere materiale i den samme hukommelse" er en direkte, praktisk gevinst frem for et visuelt trick.

Neurale Shadere og DirectX Cooperative Vectors

Neurale shadere kører små neurale netværk inde i en programmerbar shader (programmerne per pixel/per vertex, som GPU'en allerede udfører), så et netværk kan tilnærme en dyr beregnet effekt netop dér, hvor den effekt er nødvendig. I stedet for at bolte AI på som en separat pass kører MLP'en som en del af shaderen på GPU'ens matrixenheder (Tensor Cores på NVIDIA-hardware).

Tensor Cores håndterer den matrixmatematik, disse netværk kører på, adskilt fra de generelle kerner, der håndterer resten af arbejdet. Det, der ændrer neurale shadere fra en enkeltleverandør-funktion til en bredere branchekapabilitet, er API-laget under dem. Microsoft introducerede DirectX Cooperative Vectors i preview med Shader Model 6.9 i 2025 for at eksponere vektor-/matrixoperationer inde i HLSL-shadere. I 2026 var Shader Model 6.9 flyttet til retail, og Microsoft sagde, at Cooperative Vector blev udfaset til fordel for et bredere lineær-algebra-design planlagt til Shader Model 6.10. Den sikre pointe er ikke, at Cooperative Vectors er den endelige API, men at DirectX bevæger sig mod ML-understøttelse på shaderniveau på tværs af leverandører.

Afsnittets pointe: De seks teknikker sorteres efter, hvor netværket kører: efterbehandling i slutningen af framen, midt i pipelinen ved siden af ray tracing, eller inde i selve shaderen. Den placering er det, der afgør, om en teknik kan køre i realtid, og hvilken hardware den kræver.

Hvad Kører i Realtid, og på Hvilken Hardware

Realtidsgrænsen er skarpere, end hypen antyder: AI-upscaling kører normalt med lav overhead, NRC tilføjer omtrent 2,6 ms, og 3D Gaussian Splatting nærmer sig realtid for statiske scener. Oprindelig NeRF og fulde neurale renderere som RenderFormer er klart kun-forskning og tager alt for lang tid per frame til interaktiv brug. "Neural rendering er realtid" er sandt for in-pipeline-laget og falsk for rekonstruktions- og fuld-renderer-lagene.

Den opdeling følger spektret nøjagtigt. Nogle in-pipeline-komponenter, især upscaling, framegenerering og Ray Reconstruction, kører allerede i udgivne spil. Andre, såsom NRC, NTC og neurale shadere, beskrives bedre som udviklerteknologier og fremspirende værktøjssæt-funktioner end som almindelige produktionsfunktioner. Rekonstruktionslaget er en blandet pose: oprindelig NeRF er langsom, men 3D Gaussian Splatting var et bevidst skub mod realtid og når dertil for statiske scener. Fuld-neural-renderer-laget (et enkelt netværk, der producerer hele billedet) er der, hvor forskningen lever, og frametiderne er langt fra interaktive.

Hardware er den anden halvdel af svaret, og det er her, historien på tværs af leverandører lander. Hver teknik her kører på de matrixmatematik-enheder, moderne GPU'er leverer til AI-inferens:

• NVIDIA har Tensor Cores på hvert RTX-kort fra 20-serien og frem, hvilket er grunden til, at de fleste af disse teknikker debuterede der.
• AMDs ML-baserede FSR Upscaling målretter sig i øjeblikket mod RDNA 4 / Radeon RX 9000-serie-GPU'er til ML-stien; på ældre hardware falder AMDs SDK tilbage på analytiske FSR 3.1.5-stier. Behandl bredere understøttelse af ældre GPU'er som et bevægeligt roadmap-punkt, ikke en garanteret FSR 4-funktion, medmindre du citerer en specifik AMD-annoncering.
• Intel bruger XMX-matrixmotorer på Arc-GPU'er til XeSS.

DLSS selv er funktionsbegrænset efter generation: upscaling virker tilbage til RTX 20-serien, den oprindelige framegenerering kræver RTX 40-serien, og multi-framegenerering er kun RTX 50-serien. Hvis du prøver at ræsonnere om, hvad et givet kort kan gøre, er den generationsbegrænsning det praktiske svar, ikke marketing-niveauet.

Hvad du kan bruge i dag versus hvad der er på vej: Upscaling, framegenerering og Ray Reconstruction er tilgængelige i spil i dag. RTX Kit-komponenter såsom NRC, NTC og neurale shadere er tilgængelige som udviklerteknologier og værktøjer, men du bør ikke antyde, at de alle allerede er almindelige i udgivne spil. Gaussian Splatting har brugbare åbne værktøjer til scenefangst. Hvad der ikke er her endnu: fulde neurale renderere, der tegner en hel frame med ét netværk, modne neurale shadere på tværs af leverandører (AMD-understøttelse er tidlig), og DLSS 5's generative funktioner (annonceret til efteråret 2026). Hvis du vil eksperimentere med rekonstruktionssiden (køre NeRF eller inferens-arbejdsbelastninger selv), er det et GPU-compute job, ikke noget dit spil gør for dig.

Hvad Neural Rendering Ikke Er: Fem Misforståelser

De fleste neural-rendering-argumenter bliver lettere, når du først har identificeret, hvilket lag af spektret påstanden handler om. Fem misforståelser dukker op igen og igen.

1. "DLSS-upscaling er neural rendering." DLSS er an anvendelse af neural rendering, det in-pipeline-realtidslag, ikke hele feltet. Begrebet er ældre end DLSS og omfatter NeRF, Gaussian Splatting og de generative metoder. At sidestille de to er som at kalde "databaser" et synonym for ét produkt, du tilfældigvis bruger.

2. "Framegenerering gør spil hurtigere." Det hæver antallet af frames, du ser, hvilket får bevægelse til at se jævnere ud, men det kører efter rendering og tilføjer latens. Den hastighed, hvormed spillet opdaterer og reagerer på dit input, øges ikke. For konkurrencespil er den latens en reel afvejning; for visuel jævnhed er det en ægte gevinst. "Hurtigere" blander de to sammen.

3. "DLSS 5 er 3D-bevidst / læser 3D-scenen." Dette er den, det er mest værd at få rigtigt, fordi tech-dækning bliver ved med at fremstille det forkert. Som NVIDIA beskriver det, tager DLSS 5 hver frames farvedata og bevægelsesvektorer som input og bruger derefter sin trænede model til at udlede scenesemantik såsom karakterer, hår, stof, hud og belysningsforhold. Det er forankret i spillets indhold, men NVIDIA beskriver det ikke som at læse spillets fulde 3D-scenefil direkte. "3D-styret" betyder, at inferensen er geometrikonsistent (den respekterer, hvordan overflader bevæger sig og hænger sammen), ikke at netværket læser scenegeometrien direkte. Skelnen betyder noget, fordi den afgrænser, hvad teknikken kan og ikke kan vide.

4. "NeRF er realtid nu." Afhænger af, hvilken teknik du mener, hvilket netop er spektrumproblemet. Oprindelig NeRF er ikke realtid. 3D Gaussian Splatting nærmer sig realtid for statiske scener. Forskningssystemer, der renderer en hel frame med ét netværk (RenderFormer og lignende), er slet ikke realtid. "NeRF" er blevet en samlebetegnelse for et halvt dusin metoder med vildt forskellige hastigheder.

5. "Neural rendering vil snart erstatte rasterisering." Nutidens systemer er hybride: neurale komponenter sidder inde i en rasteriserings-og-ray-tracing-pipeline, ikke i stedet for den. At erstatte den klassiske pipeline fuldstændigt med en enkelt generativ renderer er et forskningsmål på lang sigt, ikke en produktretning på kort sigt. Tag "fremtiden er fuldt neural" som en rejseretning, ikke en dateret forudsigelse.

Afsnittets pointe: Den enkelte grundårsag til næsten enhver neural-rendering-uenighed er, at folk bruger det samme ord om forskellige lag af spektret. Placér påstanden på spektret først, og det meste af argumentet forsvinder.

Hvor Dette Er På Vej Hen

Banen er i overensstemmelse med alt ovenstående: hybride pipelines i dag, flere trin der flytter sig fra at beregne til at forudsige, neurale shadere på tværs af leverandører, der udvider, hvem der kan udgive dette, og fuld-neural-renderer-grænsen stadig år ude i fremtiden. Det næste forbrugertrin er DLSS 5, annonceret til efteråret 2026, som skubber ind i generativ neural rendering ved at producere belysnings- og materialedetalje, som spillet aldrig beregnede, frem for kun at interpolere mellem renderede frames. NVIDIA har vist teknologien i RTX 50-serie-sammenhænge, men dens endelige forbrugerhardware-krav bør behandles som ubekræftede, indtil NVIDIA udgiver en klar kompatibilitetsliste.

Fremblikket har to halvdele. På den nære side er det træk, der betyder mest, ikke nogen enkelt teknik. Det er standardiseringen. Microsofts DirectX-sti bevæger sig fra Cooperative Vectors mod bredere lineær algebra på shaderniveau, hvilket kunne lade engines målrette mod neuralt-lignende arbejdsbelastninger uden at satse på ét GPU-mærke. På den fjerne side har NVIDIA-forskere beskrevet et fjern-fremtidigt slutpunkt, sommetider luftet som et hypotetisk "DLSS 10", hvor rendereren er fuldt neural, og den klassiske pipeline er væk (rapporteret på anden hånd fra en Digital Foundry-rundbordssamtale; behandl det som en udtalt retning, ikke en roadmap). Slutpunktet på stigen er et system, der genererer en sammenhængende verden frem for at tegne en.

Det er dog værd at bevare skepsissen. Genereret detalje kan afvige fra den kunstneriske hensigt, og et netværk kan hallucinere plausible-men-forkerte visuals, der ikke har nogen traditionel modpart at fejlfinde: et QA-problem, der blev flaget på GDC 2026, og substansen bag meget af "AI-pløre"-reaktionen. At bygge til, hvor grafik er på vej hen, betyder ikke at lade som om, det nuværende output er færdigt. Det betyder at holde øje med, hvilke trin der flytter sig fra at beregne til at forudsige som de næste, og bedømme hver enkelt på, hvad det gør ved billedet, frem for på det ord, der er hæftet til det.

Ofte stillede spørgsmål

Er DLSS Neural Rendering?

Ja, men det er kun én slags. DLSS er en anvendelse af neural rendering: specifikt det realtids-, in-pipeline-lag, der dækker AI-upscaling og framegenerering. Det bredere begreb er ældre end DLSS og omfatter også scenerekonstruktionsmetoder som NeRF og Gaussian Splatting og generative metoder, der opfinder ny billeddetalje. Så hver DLSS-funktion er neural rendering, men en masse neural rendering er ikke DLSS.

Hvad Er Forskellen Mellem Neural Rendering og Ray Tracing?

Ray tracing simulerer lys ved at beregne, hvordan rays hopper gennem en scene; neural rendering forudsiger resultater fra et trænet netværk i stedet for at beregne dem. De er ikke rivaler. De kombineres. Ray Reconstruction bruger for eksempel et neuralt netværk til at afstøje støjende ray-traced output, og den neurale radiance cache forudsiger hoppet lys, så ray traceren kan stoppe tidligt. Neurale teknikker gør ray tracing overkommelig i realtid.

Tilføjer DLSS Framegenerering Latens?

Ja. Framegenerering kører efter, at en frame er renderet, og indsætter forudsagte frames mellem renderede, hvilket tilføjer latens frem for at fjerne den: NVIDIAs Reflex 2 findes specifikt for at kompensere. Det øger den oplevede jævnhed (flere frames vist) uden at øge, hvor hurtigt spillet opdaterer og reagerer på input. For konkurrencespil er det en afvejning; for single-player-jævnhed er det normalt en nettogevinst.

Er NeRF Realtid?

Det afhænger af, hvilken teknik du mener. Den oprindelige NeRF er ikke realtid. 3D Gaussian Splatting, en senere metode, nærmer sig realtid for statiske scener. Fulde neurale renderere, der tegner en hel frame med ét netværk, er kun-forskning og langt fra interaktive hastigheder. "NeRF" bruges ofte løst til at dække flere metoder med meget forskellig ydeevne, hvilket er kilden til det meste af forvirringen.

Vil Neural Rendering Erstatte Rasterisering?

Ikke snart. Nutidens systemer er hybride: neurale komponenter kører inde i en rasteriserings-og-ray-tracing-pipeline, ikke i stedet for den. At erstatte den klassiske pipeline fuldstændigt med en enkelt generativ renderer er et forskningsmål på lang sigt, ikke et produkt på kort sigt. Den realistiske retning er flere pipelinetrin, der over tid flytter sig fra beregnet til forudsagt, mens rasterisering stadig udfører reelt arbejde i årevis.

Hvad Er Neural Teksturkomprimering?

Neural teksturkomprimering (NTC) er en neural metode, der komprimerer alle et materiales teksturkanaler sammen (farve, normaler, ruhed og resten) og opnår op til 8x VRAM-besparelse i forhold til traditionel blokkomprimering ved tilsvarende visuel kvalitet, ifølge NVIDIA. Den virker ved at lære korrelationerne på tværs af kanaler, som blokkomprimering, der presser hver kanal separat, smider væk. Det komprimerede materiale afkodes i farten ved rendering.