What Is Neural Rendering? How AI Is Replacing the Graphics Pipeline

เมื่อ NVIDIA แสดงให้เห็น DLSS 4 สร้าง สิบห้าในทุกสิบหกพิกเซล ด้วย AI ผู้ชมจำนวนมากกลับไม่ได้เห็นความก้าวหน้า พวกเขาเห็น "เฟรมปลอม" และ "AI slop" นั่นคือรายละเอียดที่ถูกสร้างขึ้นซึ่งดูถูกต้องจนกระทั่งมันไม่ถูกต้อง และที่คุณไม่สามารถดีบักได้แบบเดียวกับที่คุณดีบักโพลีกอนที่วางผิดที่ รายงานของ PCGuide เกี่ยวกับโพลในชุมชนพบว่า 54% ของคำตอบเป็นเพียง "ไม่" ต่อ DLSS 5ในเรื่องรูปลักษณ์ โดยคำวิจารณ์ส่วนใหญ่พุ่งเป้าไปที่ลักษณะใบหน้าและปฏิกิริยา "AI slop" ปฏิกิริยานั้นควรค่าแก่การให้ความสำคัญอย่างจริงจัง และเราจะกลับมาพูดถึงมันอีกครั้ง

แต่ปัญหาที่ใหญ่กว่าในทุกข้อโต้แย้งเหล่านั้นคือ "neural rendering" ถูกใช้กับสิ่งที่แตกต่างกันอย่างน้อยห้าอย่าง ได้แก่ การ upscaling, เฟรมที่สร้างด้วย AI, การสร้างฉากใหม่จากภาพถ่าย, เดโม NeRF และ Gaussian Splatting ที่คุณเคยเห็นบนโซเชียลมีเดีย และระบบวิจัยที่เรนเดอร์ทั้งภาพด้วยเครือข่ายเดียว ผู้คนเถียงกันไปคนละทางเพราะแต่ละคนชี้ไปที่เลเยอร์ที่ต่างกันแต่ใช้คำเดียวกัน เจนเซน หวง แห่ง NVIDIA เรียกการเปลี่ยนแปลงนี้ว่า "ช่วงเวลา GPT สำหรับกราฟิก" นั่นคือข้ออ้าง คำถามที่มีประโยชน์คือเกิดอะไรขึ้นอยู่เบื้องล่างมัน

นี่คือแกนหลักที่ทำให้ทั้งหมดนี้เข้าใจได้ GPU กำลังทำนายภาพมากขึ้นเรื่อย ๆ แทนที่จะคำนวณมัน ตามธรรมเนียม GPU คำนวณทุกพิกเซลโดยจำลองเรขาคณิต แสง และวัสดุ (การ rasterization และล่าสุดคือ ray tracing ทับลงไปอีก) Neural rendering เปลี่ยนว่าสิ่งใดจะถูก คำนวณ เทียบกับสิ่งใดจะถูก ทำนาย โดยเครือข่ายที่ผ่านการฝึก ความแตกต่างเพียงข้อเดียวนั้นคือกระดูกสันหลังของบทความนี้ เมื่ออ่านจบคุณจะสามารถวางเทคนิคใด ๆ ลงบนสเปกตรัมได้ รู้ว่าอันไหนทำงานแบบเรียลไทม์และบนฮาร์ดแวร์ใด และแยกแยะว่าอะไรอยู่ในเกมจริงวันนี้จากอะไรที่เป็นเพียงงานวิจัยหรือเดโม GTC นี่คือแผนที่ ไม่ใช่คู่มือวิธีทำ กลไกเชิงลึกของแต่ละเทคนิคเป็นบทความของตัวเอง

เวอร์ชันสั้น

• Neural rendering เป็นสเปกตรัม ไม่ใช่คำพ้องของ DLSS มันครอบคลุมตั้งแต่งานวิจัยการสร้างฉากใหม่ (NeRF, Gaussian Splatting), องค์ประกอบเรียลไทม์ที่อยู่ภายในไปป์ไลน์การเรนเดอร์ (DLSS, Ray Reconstruction, neural radiance cache) ไปจนถึงวิธีเชิงสร้างที่ประดิษฐ์รายละเอียดที่เฟรมไม่เคยมี
• แกนหลักคือ "ทำนายแทนที่จะคำนวณ" แต่ละเทคนิคแทนที่ขั้นตอนการคำนวณที่แพงในไปป์ไลน์ด้วยเครือข่ายที่ทำนายผลลัพธ์ที่มันถูกฝึกมา
• สิ่งที่ออกสู่ตลาดวันนี้ส่วนใหญ่เป็นไฮบริด การ upscaling, การสร้างเฟรม และการลดสัญญาณรบกวนด้วย AI ทำงานในเกมเรียลไทม์แล้วในตอนนี้ ขณะที่ neural texture compression และ neural shaders กำลังปรากฏผ่านชุดเครื่องมือสำหรับนักพัฒนา ส่วนเรนเดอเรอร์แบบ neural เต็มรูปแบบที่วาดทั้งภาพด้วยเครือข่ายยังคงอยู่ในขั้นวิจัย
• มันกำลังกลายเป็นเรื่องข้ามผู้ผลิต ไม่ใช่แค่เรื่องของ NVIDIA เท่านั้น งาน DirectX ของ Microsoft เกี่ยวกับ ML ระดับ shader เริ่มต้นด้วย Cooperative Vectors ใน Shader Model 6.9 และกำลังเคลื่อนไปสู่การรองรับพีชคณิตเชิงเส้นที่กว้างขึ้นใน Shader Model 6.10 ซึ่งเปิดทางให้เอนจินมุ่งเป้าไปยังภาระงาน shader แบบ neural ได้นอกเหนือจากสแต็กของผู้ผลิตรายเดียว

ทำไม "Neural Rendering" จึงหมายถึงห้าสิ่งที่แตกต่างกัน

Neural rendering คือกลุ่มของวิธีที่ใช้เครือข่ายประสาทเพื่อทำนายส่วนต่าง ๆ ของภาพ (พิกเซล, แสง, วัสดุ, แม้กระทั่งทั้งเฟรม) ที่ไม่เช่นนั้น GPU จะต้องคำนวณตั้งแต่ต้น การสำรวจของ Tewari และคณะ นิยามมันว่าเป็นการผสานคอมพิวเตอร์กราฟิกแบบคลาสสิกเข้ากับโมเดลเชิงสร้างเชิงลึกเพื่อให้ได้ผลลัพธ์เสมือนจริง คำนี้ครอบคลุมสเปกตรัมที่กว้าง และ "DLSS" เป็นเพียงจุดหนึ่งบนมัน

เหตุผลที่การสนทนายุ่งเหยิงก็คือ สเปกตรัมมีเลเยอร์ที่ชัดเจนอย่างน้อยสามชั้น แต่สาธารณชนใช้คำเดียวกับทั้งหมด

เลเยอร์แรกคือ neural rendering เชิงวิชาการ / เชิงสร้างฉากใหม่ได้แก่ NeRF, 3D Gaussian Splatting และ differentiable rendering สิ่งเหล่านี้รับภาพถ่ายหรือการวัดของฉากจริง แล้วเรียนรู้การแทนค่าที่คุณสามารถเรนเดอร์จากมุมกล้องใหม่ได้ เปเปอร์ NeRF ต้นฉบับ (Mildenhall และคณะ, 2020) ฝึกเครือข่ายขนาดเล็กให้แมป พิกัด 3D และทิศทางการมองไปเป็นสีและความหนาแน่น แล้วเรนเดอร์มุมมองใหม่โดยการสอบถามมัน เลเยอร์นี้ส่วนใหญ่เป็นแบบออฟไลน์ มันสร้างฉากขึ้นใหม่ แต่ไม่ได้ขับเคลื่อนลูปเฟรมของเกมคุณ

เลเยอร์ที่สองคือ neural rendering แบบไปป์ไลน์เรียลไทม์ได้แก่ เครือข่ายที่ทำงานภายในหรือควบคู่ไปกับเฟรมที่ rasterize ตามปกติ DLSS upscaling, Ray Reconstruction และ neural radiance cache อาศัยอยู่ที่นี่ ไปป์ไลน์ยังคง rasterize และทำ ray-trace อยู่ ส่วนเครือข่ายจัดการขั้นตอนที่แพงหนึ่งขั้นในนั้น นี่คือเลเยอร์ที่อยู่ในเกมวันนี้

เลเยอร์ที่สามคือ neural rendering เชิงสร้างนั่นคือ เครือข่ายผลิตเนื้อหาภาพที่เฟรมไม่เคยคำนวณเลย เฟรมที่สร้างของ DLSS 4 อยู่ที่ขอบของสิ่งนี้ และ DLSS 5 (ซึ่ง NVIDIA ประกาศไว้สำหรับฤดูใบไม้ร่วงปี 2026) ก้าวเข้าไปลึกกว่านั้นด้วยการสร้างรายละเอียดของแสงและวัสดุ แทนที่จะแค่ interpolate ระหว่างเฟรมที่เรนเดอร์แล้ว

เลเยอร์ทั้งสามนี้ทำงานต่างกัน ทำงานด้วยความเร็วต่างกัน และต้องการฮาร์ดแวร์ต่างกัน การปฏิบัติกับมันเป็นสิ่งเดียวคือเหตุผลที่สองคนสามารถพูดได้ทั้ง "neural rendering ถูกโฆษณาเกินจริง" และ "neural rendering คืออนาคต" และต่างก็ถูกบางส่วน

ใจความของส่วนนี้: คำนี้มีมาก่อน DLSS และไม่ใช่คำพ้องของมัน DLSS เป็นหนึ่งการใช้งาน (เรียลไทม์, อยู่ในไปป์ไลน์) ภายในสเปกตรัมที่กว้างกว่ามาก ซึ่งครอบคลุมตั้งแต่การสร้างฉากใหม่แบบออฟไลน์ไปจนถึงเฟรมที่สร้างขึ้นเต็มรูปแบบ

Neural Rendering กำลังแทนที่บางส่วนของไปป์ไลน์แบบบรูทฟอร์ซอย่างไร

ด้วยการสร้างหลายเฟรมของ DLSS 4 แบบเต็มรูปแบบ ราวสิบห้าในทุกสิบหกพิกเซลบนหน้าจอถูกผลิตโดย AI แทนที่จะเรนเดอร์แบบดั้งเดิม (ตามตัวเลข DLSS 4 ของ NVIDIA) ตัวเลขนั้นคือการเปลี่ยนแปลงทั้งหมดที่ถูกบีบอัดลงในสถิติเดียว คือเรนเดอเรอร์คำนวณเพียงเศษเสี้ยวของภาพ แล้วทำนายส่วนที่เหลือ

การเรนเดอร์แบบดั้งเดิมหามาทุกพิกเซล GPU ทำ rasterize เรขาคณิต รัน shaders เพื่อคำนวณแสงและวัสดุ และ (ด้วย ray tracing) จำลองแสงที่กระเด้งไปรอบ ๆ ฉาก โดยเฉพาะ ray tracing นั้นแพงอย่างโหดร้าย เพราะแสงสมจริงต้องการการกระเด้งหลายครั้งและตัวอย่างจำนวนมากต่อพิกเซล และสัญญาณรบกวนจากการสุ่มตัวอย่างไม่พอต้องถูกทำให้สะอาดในภายหลัง เมื่อฉากทะเยอทะยานมากขึ้น ขั้นตอนที่แพงที่สุดจึงกลายเป็นเป้าหมายที่ชัดเจน แทนที่จะคำนวณมัน ก็ฝึกเครือข่ายให้ทำนายผลลัพธ์ของมัน

ความก้าวหน้าเป็นไปอย่างสม่ำเสมอมากกว่าจะฉับพลัน

• 2018, DLSS 1.0 ก้าวเชิงพาณิชย์ก้าวแรก คือเรนเดอร์ที่ความละเอียดต่ำ แล้วทำนายภาพความละเอียดสูง ย้ายการ upscale จาก "คำนวณพิกเซลให้มากขึ้น" ไปเป็น "ทำนายพิกเซลให้มากขึ้น"
• 2020, NeRF การสร้างฉากใหม่จากภาพผ่าน radiance field ที่เรียนรู้มา ทำนายมุมมองใหม่แทนที่จะสร้างโมเดลและเรนเดอร์เรขาคณิต
• 2021, Neural Radiance Cache ทำนายแสงที่กระเด้งระหว่างการทำ path tracing เพื่อให้เรนเดอเรอร์หยุดการ trace ได้แต่เนิ่น ๆ
• 2022, DLSS 3 Frame Generation สร้างเฟรมกลางทั้งเฟรมแทนที่จะเรนเดอร์มัน
• 2023, 3D Gaussian Splatting ทางเลือกที่เร็วกว่าและโน้มไปทางเรียลไทม์แทน NeRF สำหรับฉากที่สร้างใหม่
• 2025, DLSS 4 + RTX Kit การสร้างหลายเฟรม บวกกับชุดเครื่องมือขององค์ประกอบ neural (texture compression, radiance cache, neural shaders)
• 2025, DirectX Cooperative Vectors (พรีวิว) API ข้ามผู้ผลิตสำหรับคณิตศาสตร์เมทริกซ์ที่ neural shaders ต้องการ (เปิดตัวในรูปแบบพรีวิวเป็นส่วนหนึ่งของ Shader Model 6.9)
• 2026, DLSS 4.5 การปรับปรุงคุณภาพและ Ray Reconstruction แบบค่อยเป็นค่อยไป (อธิบายโดย NVIDIA ที่ Computex)
• ฤดูใบไม้ร่วง 2026, DLSS 5 (ประกาศแล้ว) ก้าวต่อไปสู่ neural rendering เชิงสร้าง

อ่านจากบนลงล่าง แต่ละแถวคือการเคลื่อนแบบเดียวกันที่ใช้กับขั้นตอนที่ต่างกัน คือนำบางสิ่งที่ไปป์ไลน์เคยคำนวณมา แล้วให้เครือข่ายทำนายมันแทน

หกเลเยอร์: AI แทนที่อะไรในแต่ละขั้นตอนของไปป์ไลน์

หกเทคนิคแบกรับ neural rendering แบบเรียลไทม์ของวันนี้ไว้เกือบทั้งหมด และแต่ละเทคนิคแทนที่ขั้นตอนการคำนวณเฉพาะอย่าง ได้แก่ การ upscaling (ความละเอียด), การสร้างเฟรม (จำนวนเฟรม), ray reconstruction (การลดสัญญาณรบกวน), neural radiance cache (global illumination), neural texture compression (การจัดเก็บวัสดุ) และ neural shaders (การคำนวณภายใน shader) การรู้ว่าแต่ละอันแตะต้องขั้นตอนใดคือเกือบทั้งหมดของการต่อสู้

สิ่งเหล่านี้แบ่งตาม ตำแหน่งในไปป์ไลน์ที่เครือข่ายทำงาน บางอันทำงานที่ปลายสุดในรูปแบบ post-process บนเฟรมที่เสร็จแล้ว บางอันทำงานกลางไปป์ไลน์ควบคู่กับ ray tracing บางอันอาศัยอยู่ภายในตัว shader เอง ตำแหน่งนั้นไม่ใช่รายละเอียดเล็กน้อย มันกำหนดว่าเทคนิคทำงานได้เร็วแค่ไหนและต้องการฮาร์ดแวร์ใด ตารางจับคู่หกเทคนิคเหล่านั้น ส่วนหัวข้อย่อยด้านล่างอธิบายกลไกที่ไม่อาจใส่ลงในแต่ละช่องได้อย่างเรียบร้อย

การ Upscaling ด้วย AI (Super Resolution)

การ upscaling ด้วย AI เรนเดอร์เฟรมที่ความละเอียดต่ำกว่าแล้วทำนายผลลัพธ์ความละเอียดสูง ดังนั้น GPU จึงวาดพิกเซลน้อยลงมาก และเครือข่ายเติมเต็มโครงสร้าง DLSS, FSR 4 ของ AMD และ XeSS ของ Intel ล้วนทำสิ่งนี้ผ่าน การ upsampling เชิงเวลา (temporal) คือสุ่มตัวอย่างพิกเซลที่ต่างกันข้ามเฟรมที่ต่อเนื่องกัน แล้วรวมประวัตินั้นเข้ากับ motion vectors เพื่อสร้างรายละเอียดที่เฟรมความละเอียดต่ำเฟรมเดียวไม่มีขึ้นใหม่

นี่คือเลเยอร์ที่สุกงอมที่สุดและถูกนำไปใช้อย่างกว้างขวางที่สุด และเป็นที่ที่ความจริงเรื่องข้ามผู้ผลิตชัดเจนที่สุด DLSS 4 ย้าย upscaler ของมันจากเครือข่าย convolutional ไปเป็น transformer เพื่อความเสถียรของรายละเอียดที่ดีขึ้น FSR 4 คือ upscaler ที่อิงกับ ML ตัวแรกของ AMD ซึ่งทำงานบน RDNA 4 ด้วยการอนุมาน FP8 แทนกฎเชิงประสบการณ์ที่เขียนด้วยมือของ FSR เวอร์ชันก่อน ๆ XeSS ใช้หน่วยเมทริกซ์ XMX ของ Intel สามผู้ผลิต แนวคิดพื้นฐานเดียวกัน คือทำนายพิกเซลที่คุณไม่ได้เรนเดอร์

การสร้างเฟรมและการสร้างหลายเฟรม

การสร้างเฟรมทำนายทั้งเฟรมระหว่างเฟรมที่ GPU เรนเดอร์จริง ด้วยการรวมข้อมูลเกมเช่น motion vectors เข้ากับการประมาณ optical-flow และ AI DLSS 3 ใช้ Optical Flow Accelerator ของซีรีส์ RTX 40 เพื่อแทรกเฟรมที่สร้างขึ้นหนึ่งเฟรมระหว่างเฟรมที่เรนเดอร์ ส่วน DLSS 4 Multi Frame Generation บนฮาร์ดแวร์ซีรีส์ RTX 50 สามารถสร้างเฟรมเพิ่มได้สูงสุดสามเฟรมต่อหนึ่งเฟรมที่เรนเดอร์แบบดั้งเดิม และ NVIDIA บอกว่า DLSS 4 แทนที่ขั้นตอน optical-flow แบบฮาร์ดแวร์ด้วยโมเดล AI ที่มีประสิทธิภาพมากกว่า

นี่คือเลเยอร์ที่ข้อโต้แย้งเรื่อง "เฟรมปลอม" พูดถึงจริง ๆ และกรอบการมองในที่นี้สำคัญ เฟรมที่สร้างขึ้นคือการ interpolate ที่สมเหตุสมผลว่าฉากกำลังจะไปทางไหน มันแสดงเนื้อหาภาพที่ใช้ได้ให้คุณ แต่มันถูก ทำนาย ไม่ใช่เรนเดอร์จากสถานะจริงของเกม และไม่ได้พกพาตรรกะเกมหรืออินพุตใหม่ ที่สำคัญคือ การสร้างเฟรมทำงาน หลังจาก (after) เฟรมถูกเรนเดอร์ ซึ่งเพิ่ม latency แทนที่จะกำจัดมัน Reflex 2 ของ NVIDIA มีอยู่เพื่อเรียก latency นั้นกลับคืนมาโดยเฉพาะ ดังนั้น "การสร้างเฟรมทำให้เกมเร็วขึ้น" จึงเป็นความจริงเพียงครึ่งเดียว มันเพิ่มความลื่นที่รับรู้ได้ (แสดงเฟรมมากขึ้น) โดยไม่เพิ่มอัตราที่เกมอัปเดตและตอบสนองจริง ช่องว่างระหว่างสิ่งที่คุณเห็นกับสิ่งที่เกมรู้คือประเด็นถกเถียงทั้งหมด และสำหรับการเล่นแข่งขันซึ่ง latency ของอินพุตตัดสินผลแพ้ชนะ มันคือการแลกเปลี่ยนที่ควรค่าแก่การชั่งน้ำหนัก

Ray Reconstruction (การลดสัญญาณรบกวนด้วย AI)

Ray Reconstruction แทนที่สแต็กของฟิลเตอร์ลดสัญญาณรบกวนที่ปรับแต่งด้วยมือซึ่งการเรนเดอร์แบบ ray-trace พึ่งพา ด้วยเครือข่ายประสาทเดียวที่ฝึกมาเพื่อสร้างภาพที่สะอาดขึ้นใหม่จากอินพุต ray-trace ที่มีสัญญาณรบกวนและสุ่มตัวอย่างไม่พอ Path tracing สามารถจ่ายได้เพียงตัวอย่างแสงไม่กี่ตัวต่อพิกเซลในแบบเรียลไทม์ ซึ่งทำให้เอาต์พุตดิบมีสัญญาณรบกวน บางสิ่งต้องทำให้มันสะอาดก่อนที่คุณจะเห็น

แนวทางดั้งเดิมคือห่วงโซ่ของตัวลดสัญญาณรบกวนเฉพาะทาง แต่ละตัวปรับแต่งด้วยมือสำหรับเอฟเฟกต์เฉพาะ การเปลี่ยนสิ่งนั้นมาเป็นเครือข่ายที่ฝึกมาเครือข่ายเดียวมักรักษารายละเอียดที่ฟิลเตอร์ปรับด้วยมือทำให้เลอะ โดยเฉพาะบนการสะท้อนและแสงละเอียด และยังเป็นเครือข่ายเดียวที่ต้องดูแลแทนไปป์ไลน์ที่เปราะบางของพวกมัน นี่คือตัวอย่างที่ชัดเจนของแกนหลัก คือขั้นการลดสัญญาณรบกวนย้ายจาก "คำนวณด้วยกฎเชิงประสบการณ์ที่เขียนด้วยมือ" ไปเป็น "ทำนายด้วยโมเดลที่ฝึกมา"

Neural Radiance Cache (Global Illumination)

neural radiance cache (NRC) ทำนายว่าแสงกระเด้งไปรอบ ๆ ฉากอย่างไร เพื่อให้ path tracer หยุดการ trace รังสีส่วนใหญ่ได้แต่เนิ่น ๆ แทนที่จะตามการกระเด้งทุกครั้งไปจนจบ Global illumination (แสงทางอ้อมนุ่มนวลที่กระเด้งจากผนังและพื้น) เป็นหนึ่งในสิ่งที่แพงที่สุดในกราฟิกเรียลไทม์ และกลไกที่ทำให้ NRC ทำงานได้นั้นไม่ค่อยมีการอธิบายด้วยภาษาเรียบง่าย จึงควรค่าแก่การชะลอลงมาดู

กลไกเป็นแบบนี้ ปกติ path tracer จะตามแต่ละรังสีแสงผ่านการกระเด้งหลายครั้ง ซึ่งเป็นจุดที่ต้นทุนระเบิด NRC ฝึกเครือข่ายขนาดเล็ก ระหว่าง (during) การเรนเดอร์ (ไม่ใช่ล่วงหน้า) เพื่อทำนายแสงที่มาถึงจุดหนึ่งหลังการกระเด้งเพิ่มเติม ดังนั้น path tracer จึง trace รังสีไปหนึ่งหรือสองการกระเด้ง แล้วถามเครือข่ายว่า "แสงที่เหลือตรงนี้คืออะไร?" และยุติเส้นทางแต่เนิ่น ๆ เปเปอร์ real-time neural radiance caching (Müller และคณะ, 2021) รายงานว่ายุติเส้นทางส่วนใหญ่ด้วยวิธีนี้ ลองคิดถึงมันในฐานะแคชที่ไม่ได้เก็บคำตอบที่แน่นอนซึ่งเคยเห็นมาก่อน แต่เรียนรู้ รูปแบบ ของแสงในฉากได้ดีพอที่จะตอบคำถามที่มันยังไม่เคยเห็น และเรียนรู้ใหม่เรื่อย ๆ เมื่อฉากเปลี่ยน NVIDIA รายงานว่า NRC ทำงานด้วยโอเวอร์เฮดราว 2.6 ms ซึ่งเป็นสิ่งที่ทำให้มันเป็นไปได้แบบเรียลไทม์มากกว่าจะเป็นเพียงของแปลกในงานวิจัย

Neural Texture Compression

neural texture compression (NTC) บีบอัดทุกแชนเนลเท็กซ์เจอร์ของวัสดุไว้ด้วยกันด้วยเครือข่าย ทำให้ประหยัด VRAM ได้สูงสุดถึง 8 เท่าเทียบกับการบีบอัดเป็นบล็อกแบบดั้งเดิมที่คุณภาพภาพใกล้เคียงกัน (ตามเอกสาร RTX Kit ของ NVIDIA) วัสดุสมัยใหม่ไม่ใช่เท็กซ์เจอร์เดียว มันคือชุดของหลายเท็กซ์เจอร์ (สี, นอร์มอล, ความหยาบ, ความเป็นโลหะ และอื่น ๆ) และแชนเนลเหล่านั้นมีความสัมพันธ์กันในแบบที่การบีบอัดเป็นบล็อก ซึ่งบีบแต่ละแชนเนลแยกกัน ทิ้งไป

NTC ใช้ประโยชน์จากความสัมพันธ์นั้น โดยการเรียนรู้โครงสร้างร่วมข้ามทุกแชนเนลของวัสดุพร้อมกันในคราวเดียว มันจัดเก็บวัสดุเดียวกันในหน่วยความจำที่น้อยกว่ามากและถอดรหัสมันแบบทันทีในเวลาเรนเดอร์ VRAM เป็นข้อจำกัดที่คงอยู่ตลอดเมื่อเกมผลักดันรายละเอียดเท็กซ์เจอร์ ดังนั้น "ใส่วัสดุได้มากขึ้น 8 เท่าในหน่วยความจำเท่าเดิม" จึงเป็นชัยชนะที่ตรงไปตรงมาและใช้ได้จริง ไม่ใช่ลูกเล่นทางภาพ

Neural Shaders และ DirectX Cooperative Vectors

neural shaders รันเครือข่ายประสาทขนาดเล็ก ภายใน shader ที่โปรแกรมได้ (โปรแกรมต่อพิกเซล/ต่อเวอร์เท็กซ์ที่ GPU รันอยู่แล้ว) เพื่อให้เครือข่ายสามารถประมาณเอฟเฟกต์ที่คำนวณแล้วราคาแพงได้ตรงจุดที่ต้องการเอฟเฟกต์นั้นพอดี แทนที่จะติด AI เข้าไปเป็นพาสแยกต่างหาก MLP จะรันเป็นส่วนหนึ่งของ shader บนหน่วยเมทริกซ์ของ GPU (Tensor Cores บนฮาร์ดแวร์ NVIDIA)

Tensor Cores จัดการคณิตศาสตร์เมทริกซ์ที่เครือข่ายเหล่านี้ทำงานอยู่ ต่างจากคอร์อเนกประสงค์ที่จัดการงานส่วนที่เหลือ สิ่งที่เปลี่ยน neural shaders จากฟีเจอร์ของผู้ผลิตรายเดียวให้เป็นความสามารถของอุตสาหกรรมที่กว้างขึ้นคือเลเยอร์ API ที่อยู่ใต้พวกมัน Microsoft เปิดตัว DirectX Cooperative Vectors ในรูปแบบพรีวิวพร้อมกับ Shader Model 6.9 ในปี 2025 เพื่อเปิดเผยการดำเนินการเวกเตอร์/เมทริกซ์ภายใน shader ของ HLSL พอถึงปี 2026 Shader Model 6.9 ได้ย้ายไปสู่รุ่นวางจำหน่ายแล้ว และ Microsoft กล่าวว่า Cooperative Vector กำลังถูกเลิกใช้เพื่อเปลี่ยนไปใช้การออกแบบพีชคณิตเชิงเส้นที่กว้างกว่าซึ่งวางแผนไว้สำหรับ Shader Model 6.10 ใจความที่ปลอดภัยไม่ใช่ว่า Cooperative Vectors คือ API สุดท้าย แต่คือ DirectX กำลังเคลื่อนไปสู่การรองรับ ML ระดับ shader แบบข้ามผู้ผลิต

ใจความของส่วนนี้: หกเทคนิคจัดเรียงตามตำแหน่งที่เครือข่ายทำงาน คือ post-process ที่ปลายเฟรม, กลางไปป์ไลน์ควบคู่กับ ray tracing หรือภายในตัว shader เอง ตำแหน่งนั้นคือสิ่งที่กำหนดว่าเทคนิคทำงานแบบเรียลไทม์ได้หรือไม่และต้องการฮาร์ดแวร์ใด

อะไรทำงานแบบเรียลไทม์ และบนฮาร์ดแวร์ใด

เส้นแบ่งเรียลไทม์คมชัดกว่าที่กระแสโฆษณาชี้นำ การ upscaling ด้วย AI มักทำงานด้วยโอเวอร์เฮดต่ำ NRC เพิ่มราว 2.6 ms และ 3D Gaussian Splatting เข้าใกล้เรียลไทม์สำหรับฉากนิ่ง ส่วน NeRF ต้นฉบับและเรนเดอเรอร์ neural เต็มรูปแบบอย่าง RenderFormer นั้นเป็นงานวิจัยล้วน ๆ อย่างชัดเจน โดยใช้เวลาต่อเฟรมนานเกินไปสำหรับการใช้งานแบบโต้ตอบ "neural rendering เป็นเรียลไทม์" เป็นจริงสำหรับเลเยอร์ในไปป์ไลน์ และเป็นเท็จสำหรับเลเยอร์การสร้างฉากใหม่และเรนเดอเรอร์เต็มรูปแบบ

การแบ่งนั้นติดตามสเปกตรัมได้พอดี องค์ประกอบในไปป์ไลน์บางอย่าง โดยเฉพาะการ upscaling, การสร้างเฟรม และ Ray Reconstruction ทำงานในเกมที่ออกวางจำหน่ายแล้ว ส่วนอื่น ๆ เช่น NRC, NTC และ neural shaders อธิบายได้ดีกว่าในฐานะเทคโนโลยีสำหรับนักพัฒนาและฟีเจอร์ชุดเครื่องมือที่กำลังปรากฏ มากกว่าจะเป็นฟีเจอร์ที่ใช้ในการผลิตทั่วไป เลเยอร์การสร้างฉากใหม่เป็นแบบผสม NeRF ต้นฉบับช้า แต่ 3D Gaussian Splatting เป็นการผลักดันโดยตั้งใจสู่เรียลไทม์และไปถึงจุดนั้นสำหรับฉากนิ่ง ส่วนเลเยอร์เรนเดอเรอร์ neural เต็มรูปแบบ (เครือข่ายเดียวผลิตทั้งภาพ) คือที่ที่งานวิจัยอาศัยอยู่ และเวลาต่อเฟรมยังห่างไกลจากการโต้ตอบ

ฮาร์ดแวร์คืออีกครึ่งหนึ่งของคำตอบ และนี่คือที่ที่เรื่องข้ามผู้ผลิตลงตัว ทุกเทคนิคในที่นี้ทำงานบนหน่วยคณิตศาสตร์เมทริกซ์ที่ GPU สมัยใหม่ติดตั้งมาเพื่อการอนุมาน AI

• NVIDIA มี Tensor Cores บนการ์ด RTX ทุกใบตั้งแต่ซีรีส์ 20 เป็นต้นมา ซึ่งเป็นเหตุผลที่เทคนิคเหล่านี้ส่วนใหญ่เปิดตัวที่นั่น
• ของ AMD FSR Upscaling ที่อิงกับ ML ปัจจุบันมุ่งเป้าไปที่ GPU ซีรีส์ RDNA 4 / Radeon RX 9000 สำหรับเส้นทาง ML ส่วนบนฮาร์ดแวร์รุ่นก่อน SDK ของ AMD จะถอยกลับไปใช้เส้นทาง FSR 3.1.5 เชิงวิเคราะห์ ให้ถือว่าการรองรับ GPU รุ่นเก่าที่กว้างกว่าเป็นรายการในโรดแมปที่เปลี่ยนแปลงได้ ไม่ใช่ฟีเจอร์ FSR 4 ที่รับประกัน เว้นแต่คุณจะอ้างอิงประกาศของ AMD ที่เฉพาะเจาะจง
• Intel ใช้เอนจินเมทริกซ์ XMX บน GPU ตระกูล Arc สำหรับ XeSS

DLSS เองถูกจำกัดฟีเจอร์ตามรุ่น คือ การ upscaling ทำงานย้อนไปได้ถึงซีรีส์ RTX 20, การสร้างเฟรมแบบดั้งเดิมต้องใช้ซีรีส์ RTX 40 และการสร้างหลายเฟรมเป็นของซีรีส์ RTX 50 เท่านั้น หากคุณพยายามคิดว่าการ์ดใบหนึ่งทำอะไรได้บ้าง การจำกัดตามรุ่นนั้นคือคำตอบที่ใช้ได้จริง ไม่ใช่ระดับชั้นทางการตลาด

สิ่งที่ใช้ได้วันนี้เทียบกับสิ่งที่กำลังจะมา: การ upscaling, การสร้างเฟรม และ Ray Reconstruction มีให้ใช้ในเกมวันนี้ องค์ประกอบของ RTX Kit เช่น NRC, NTC และ neural shaders มีให้ใช้ในฐานะเทคโนโลยีและเครื่องมือสำหรับนักพัฒนา แต่คุณไม่ควรสื่อเป็นนัยว่าทั้งหมดนั้นเป็นเรื่องทั่วไปในเกมที่ออกวางจำหน่ายแล้ว Gaussian Splatting มีเครื่องมือเปิดที่ใช้ได้สำหรับการจับภาพฉาก สิ่งที่ยังไม่มาถึงตรงนี้ ได้แก่ เรนเดอเรอร์ neural เต็มรูปแบบที่วาดทั้งเฟรมด้วยเครือข่ายเดียว, neural shaders ข้ามผู้ผลิตที่สุกงอม (การรองรับของ AMD ยังอยู่ในระยะเริ่มต้น) และฟีเจอร์เชิงสร้างของ DLSS 5 (ประกาศไว้สำหรับฤดูใบไม้ร่วงปี 2026) หากคุณอยากทดลองด้านการสร้างฉากใหม่ (รัน NeRF หรือภาระงานการอนุมานด้วยตัวเอง) นั่นคืองาน GPU compute ไม่ใช่สิ่งที่เกมทำให้คุณ

สิ่งที่ Neural Rendering ไม่ใช่: ห้าความเข้าใจผิด

ข้อโต้แย้งเรื่อง neural rendering ส่วนใหญ่จะง่ายขึ้นเมื่อคุณระบุได้ว่าข้ออ้างนั้นเกี่ยวกับเลเยอร์ใดของสเปกตรัม ห้าความเข้าใจผิดเกิดขึ้นซ้ำแล้วซ้ำเล่า

1. "DLSS upscaling คือ neural rendering" DLSS คือ an การใช้งานหนึ่งของ neural rendering คือเลเยอร์เรียลไทม์ในไปป์ไลน์ ไม่ใช่ทั้งสาขา คำนี้มีมาก่อน DLSS และรวมถึง NeRF, Gaussian Splatting และวิธีเชิงสร้าง การเทียบสองสิ่งนี้ให้เท่ากันก็เหมือนเรียก "ฐานข้อมูล" ว่าเป็นคำพ้องของผลิตภัณฑ์หนึ่งที่คุณบังเอิญใช้

2. "การสร้างเฟรมทำให้เกมเร็วขึ้น" มันเพิ่มจำนวนเฟรมที่คุณเห็น ซึ่งทำให้การเคลื่อนไหวดูลื่นขึ้น แต่มันทำงานหลังการเรนเดอร์และเพิ่ม latency อัตราที่เกมอัปเดตและตอบสนองต่ออินพุตของคุณไม่ได้เพิ่มขึ้น สำหรับการเล่นแข่งขัน latency นั้นคือการแลกเปลี่ยนที่แท้จริง สำหรับความลื่นทางภาพมันคือชัยชนะที่แท้จริง คำว่า "เร็วขึ้น" รวมสองสิ่งนี้เข้าด้วยกันอย่างสับสน

3. "DLSS 5 รับรู้ 3D / อ่านฉาก 3D" นี่คือข้อที่ควรค่าแก่การเข้าใจให้ถูกที่สุด เพราะการรายงานข่าวเทคโนโลยีอธิบายคลาดเคลื่อนอยู่เรื่อย ๆ ตามที่ NVIDIA อธิบาย DLSS 5 รับข้อมูลสีและ motion vectors ของแต่ละเฟรมเป็นอินพุต แล้วใช้โมเดลที่ฝึกมาเพื่ออนุมานความหมายของฉาก เช่น ตัวละคร, ผม, ผ้า, ผิวหนัง และสภาพแสง มันยึดโยงกับเนื้อหาของเกม แต่ NVIDIA ไม่ได้อธิบายว่ามันอ่านไฟล์ฉาก 3D เต็มรูปแบบของเกมโดยตรง "นำทางด้วย 3D (3D-guided)" หมายถึงการอนุมานสอดคล้องกับเรขาคณิต (มันเคารพว่าพื้นผิวเคลื่อนไหวและสัมพันธ์กันอย่างไร) ไม่ใช่ว่าเครือข่ายอ่านเรขาคณิตของฉากโดยตรง ความแตกต่างนี้สำคัญเพราะมันกำหนดขอบเขตว่าเทคนิคนี้รู้อะไรได้และไม่ได้

4. "NeRF เป็นเรียลไทม์แล้วตอนนี้" ขึ้นอยู่กับว่าคุณหมายถึงเทคนิคไหน ซึ่งนี่แหละคือปัญหาเรื่องสเปกตรัมพอดี NeRF ต้นฉบับไม่ใช่เรียลไทม์ 3D Gaussian Splatting เข้าใกล้เรียลไทม์สำหรับฉากนิ่ง ส่วนระบบวิจัยที่เรนเดอร์ทั้งเฟรมด้วยเครือข่ายเดียว (RenderFormer และอื่น ๆ ที่คล้ายกัน) ไม่ใช่เรียลไทม์เลยแม้แต่น้อย "NeRF" ได้กลายเป็นคำรวมสำหรับวิธีราวครึ่งโหลที่มีความเร็วแตกต่างกันอย่างมหาศาล

5. "neural rendering จะแทนที่การ rasterization ในไม่ช้า" ระบบในวันนี้เป็นไฮบริด องค์ประกอบ neural อยู่ ภายใน ไปป์ไลน์ของการ rasterization และ ray tracing ไม่ได้แทนที่มัน การแทนที่ไปป์ไลน์แบบคลาสสิกทั้งหมดด้วยเรนเดอเรอร์เชิงสร้างเดียวเป็นเป้าหมายงานวิจัยระยะยาว ไม่ใช่ทิศทางผลิตภัณฑ์ระยะใกล้ ให้รับ "อนาคตคือ neural เต็มรูปแบบ" ในฐานะทิศทางการเดินทาง ไม่ใช่คำทำนายที่มีกำหนดวันที่

ใจความของส่วนนี้: ต้นเหตุรากเดียวของความขัดแย้งเรื่อง neural rendering แทบทุกครั้งคือ ผู้คนใช้คำเดียวกันกับเลเยอร์ที่ต่างกันของสเปกตรัม วางข้ออ้างลงบนสเปกตรัมก่อน แล้วข้อโต้แย้งส่วนใหญ่จะหายไป

สิ่งนี้กำลังมุ่งไปทางไหน

วิถีนี้สอดคล้องกับทุกอย่างข้างต้น คือ ไปป์ไลน์ไฮบริดในวันนี้, ขั้นตอนมากขึ้นย้ายจากการคำนวณไปสู่การทำนาย, neural shaders ข้ามผู้ผลิตขยายว่าใครสามารถออกสิ่งนี้ได้ และพรมแดนเรนเดอเรอร์ neural เต็มรูปแบบยังอยู่อีกหลายปีข้างหน้า ก้าวต่อไปสำหรับผู้บริโภคคือ DLSS 5 ซึ่งประกาศไว้สำหรับฤดูใบไม้ร่วงปี 2026 ที่ก้าวเข้าสู่ neural rendering เชิงสร้างด้วยการผลิตรายละเอียดแสงและวัสดุที่เกมไม่เคยคำนวณ แทนที่จะแค่ interpolate ระหว่างเฟรมที่เรนเดอร์แล้ว NVIDIA ได้แสดงเทคโนโลยีนี้ในบริบทของซีรีส์ RTX 50 แต่ข้อกำหนดฮาร์ดแวร์สำหรับผู้บริโภคขั้นสุดท้ายของมันควรถือว่ายังไม่ยืนยันจนกว่า NVIDIA จะเผยแพร่รายการความเข้ากันได้ที่ชัดเจน

การมองไปข้างหน้ามีสองด้าน ในด้านใกล้ การเคลื่อนที่สำคัญที่สุดไม่ใช่เทคนิคใดเทคนิคหนึ่ง แต่คือการทำให้เป็นมาตรฐาน เส้นทาง DirectX ของ Microsoft กำลังเคลื่อนจาก Cooperative Vectors ไปสู่พีชคณิตเชิงเส้นระดับ shader ที่กว้างขึ้น ซึ่งอาจให้เอนจินมุ่งเป้าไปยังภาระงานแบบ neural ได้โดยไม่ต้องเดิมพันกับแบรนด์ GPU เดียว ในด้านไกล นักวิจัยของ NVIDIA ได้บรรยายถึงจุดสิ้นสุดในอนาคตอันไกลโพ้น ซึ่งบางครั้งถูกเสนอในฐานะ "DLSS 10" เชิงสมมติ ที่ซึ่งเรนเดอเรอร์เป็น neural เต็มรูปแบบและไปป์ไลน์แบบคลาสสิกหายไป (รายงานต่อมาจากโต๊ะกลมของ Digital Foundry ให้ถือเป็นทิศทางที่กล่าวไว้ ไม่ใช่โรดแมป) จุดสิ้นสุดของบันไดคือระบบที่สร้างโลกที่สอดคล้องกันขึ้นมา แทนที่จะวาดมัน

แต่ก็ควรคงความกังขาไว้ รายละเอียดที่ถูกสร้างขึ้นอาจเบี่ยงเบนจากเจตนาทางศิลปะ และเครือข่ายสามารถหลอน (hallucinate) ภาพที่ดูสมเหตุสมผลแต่ผิด ซึ่งไม่มีคู่เทียบแบบดั้งเดิมให้ดีบัก เป็นปัญหา QA ที่ถูกชี้ที่ GDC 2026 และเป็นเนื้อหาที่อยู่เบื้องหลังปฏิกิริยา "AI slop" จำนวนมาก การสร้างเพื่อทิศทางที่กราฟิกกำลังมุ่งไปไม่ได้หมายถึงการแสร้งว่าผลลัพธ์ปัจจุบันเสร็จสมบูรณ์แล้ว มันหมายถึงการเฝ้าดูว่าขั้นตอนใดจะย้ายจากการคำนวณไปสู่การทำนายต่อไป และตัดสินแต่ละอันจากสิ่งที่มันทำกับภาพ มากกว่าจากคำที่แปะอยู่กับมัน

คำถามที่พบบ่อย

DLSS เป็น Neural Rendering หรือไม่?

ใช่ แต่เป็นเพียงชนิดเดียว DLSS คือการใช้งานหนึ่งของ neural rendering โดยเฉพาะเลเยอร์เรียลไทม์ในไปป์ไลน์ ครอบคลุมการ upscaling ด้วย AI และการสร้างเฟรม คำที่กว้างกว่านี้มีมาก่อน DLSS และยังรวมถึงวิธีการสร้างฉากใหม่อย่าง NeRF และ Gaussian Splatting และวิธีเชิงสร้างที่ประดิษฐ์รายละเอียดภาพใหม่ ดังนั้นทุกฟีเจอร์ของ DLSS คือ neural rendering แต่ neural rendering จำนวนมากไม่ใช่ DLSS

ความแตกต่างระหว่าง Neural Rendering กับ Ray Tracing คืออะไร?

Ray tracing จำลอง แสงโดยคำนวณว่ารังสีกระเด้งผ่านฉากอย่างไร ส่วน neural rendering ทำนาย ผลลัพธ์จากเครือข่ายที่ฝึกมาแทนที่จะคำนวณมัน ทั้งสองไม่ใช่คู่แข่ง พวกมันผสานกัน ตัวอย่างเช่น Ray Reconstruction ใช้เครือข่ายประสาทเพื่อลดสัญญาณรบกวนของเอาต์พุต ray-trace ที่มีสัญญาณรบกวน และ neural radiance cache ทำนายแสงที่กระเด้งเพื่อให้ ray tracer หยุดได้แต่เนิ่น ๆ เทคนิค neural ทำให้ ray tracing มีราคาที่จ่ายไหวในแบบเรียลไทม์

DLSS Frame Generation เพิ่ม Latency หรือไม่?

ใช่ การสร้างเฟรมทำงานหลังจากเฟรมถูกเรนเดอร์ และแทรกเฟรมที่ทำนายไว้ระหว่างเฟรมที่เรนเดอร์ ซึ่งเพิ่ม latency แทนที่จะกำจัดมัน Reflex 2 ของ NVIDIA มีอยู่เพื่อชดเชยสิ่งนี้โดยเฉพาะ มันเพิ่มความลื่นที่รับรู้ได้ (แสดงเฟรมมากขึ้น) โดยไม่เพิ่มความเร็วที่เกมอัปเดตและตอบสนองต่ออินพุต สำหรับการเล่นแข่งขันนั่นคือการแลกเปลี่ยน สำหรับความลื่นแบบเล่นคนเดียวมักเป็นชัยชนะสุทธิ

NeRF เป็นเรียลไทม์หรือไม่?

ขึ้นอยู่กับว่าคุณหมายถึงเทคนิคไหน NeRF ต้นฉบับไม่ใช่เรียลไทม์ 3D Gaussian Splatting ซึ่งเป็นวิธีที่มาทีหลัง เข้าใกล้เรียลไทม์สำหรับฉากนิ่ง ส่วนเรนเดอเรอร์ neural เต็มรูปแบบที่วาดทั้งเฟรมด้วยเครือข่ายเดียวเป็นงานวิจัยล้วน ๆ และห่างไกลจากความเร็วแบบโต้ตอบ "NeRF" มักถูกใช้อย่างหลวม ๆ เพื่อครอบคลุมหลายวิธีที่มีประสิทธิภาพแตกต่างกันมาก ซึ่งเป็นที่มาของความสับสนส่วนใหญ่

Neural Rendering จะแทนที่การ Rasterization หรือไม่?

ไม่เร็ว ๆ นี้ ระบบในวันนี้เป็นไฮบริด องค์ประกอบ neural ทำงานภายในไปป์ไลน์ของการ rasterization และ ray tracing ไม่ใช่แทนที่มัน การแทนที่ไปป์ไลน์แบบคลาสสิกทั้งหมดด้วยเรนเดอเรอร์เชิงสร้างเดียวเป็นเป้าหมายงานวิจัยระยะยาว ไม่ใช่ผลิตภัณฑ์ระยะใกล้ ทิศทางที่สมจริงคือขั้นตอนของไปป์ไลน์มากขึ้นย้ายจากการคำนวณไปสู่การทำนายเมื่อเวลาผ่านไป โดยการ rasterization ยังคงทำงานจริงต่อไปอีกหลายปี

Neural Texture Compression คืออะไร?

neural texture compression (NTC) คือวิธี neural ที่บีบอัดทุกแชนเนลเท็กซ์เจอร์ของวัสดุไว้ด้วยกัน (สี, นอร์มอล, ความหยาบ และอื่น ๆ) ทำให้ประหยัด VRAM ได้สูงสุดถึง 8 เท่าเทียบกับการบีบอัดเป็นบล็อกแบบดั้งเดิมที่คุณภาพภาพใกล้เคียงกัน ตามข้อมูลของ NVIDIA มันทำงานโดยการเรียนรู้ความสัมพันธ์ข้ามแชนเนลที่การบีบอัดเป็นบล็อก ซึ่งบีบแต่ละแชนเนลแยกกัน ทิ้งไป วัสดุที่บีบอัดแล้วจะถูกถอดรหัสแบบทันทีในเวลาเรนเดอร์