光精漫談 | 黑神話悟空出世：身臨其境3D渲染技術(shù)

▎作者：陳雅婷，張書赫（清華大學(xué)）

離散而又連續(xù)的3D場景表征

2024年8月20日游科互動科技有限公司出品的3A游戲《黑神話：悟空》廣受全球玩家關(guān)注和熱議。在正式發(fā)售后不到24小時，Steam在線玩家峰值突破222萬，在Steam所有游戲中在線玩家歷史峰值排名第二。這款現(xiàn)象級產(chǎn)品正式開啟國產(chǎn)3A游戲元年。《黑神話：悟空》憑借炫酷逼真的3D渲染效果和東方美學(xué)實力出圈，受央視、新華網(wǎng)、人民日報等官媒點贊和報道。

圖1：《黑神話：悟空》

圖片來源網(wǎng)絡(luò)[1]

《黑神話：悟空》取材于《西游記》的故事和人物角色，融入了大量古代建筑、東方美學(xué)、國風(fēng)音樂等中華文化元素，36個取景地中，共有27個來自山西，例如懸空寺、小西天等。在游戲中，高清逼真的渲染場景與現(xiàn)實世界無縫銜接，虛擬與現(xiàn)實的界限在精湛的技術(shù)下難以分辨，帶來身臨其境的沉浸式體驗。

圖2：山西懸空寺vs《黑神話：悟空》渲染場景

圖3：《黑神話：悟空》3D實時渲染動態(tài)場景

圖片來源網(wǎng)絡(luò)[1]

▎3D實時渲染技術(shù)

在《黑神話：悟空》游戲開發(fā)中，有一至關(guān)重要的技術(shù)—3D實時渲染技術(shù)。它能夠根據(jù)玩家的動作和視角變化，實時更新場景中的每一幀，確保游戲體驗的流暢性和互動性。

（1）世界是“離散”的

光柵化渲染管線是當前主流的3D圖形渲染方法之一，廣泛應(yīng)用于游戲中。其工作原理是將三維場景的幾何數(shù)據(jù)（如多邊形、頂點等）轉(zhuǎn)換為二維圖像，即將頂點信息連接形成的基本幾何圖元（如三角形）映射到二維的屏幕像素上。根據(jù)圖元的頂點位置進行著色。光柵化渲染雖然高效，但是相比較光線追蹤等物理更精確的渲染技術(shù)，其在光線的反射、折射、全局光照等方面的表現(xiàn)遜色。

圖4：離散化渲染

圖片來源網(wǎng)絡(luò)

圖5展示了不同密度三角面片表征的3D物體。隨著三角形面片密度增加，3D物體越細膩，但也為3D計算帶來了更大的負擔(dān)。

圖5：三角形面片表征的3D模型

圖片來源網(wǎng)絡(luò)

（2）世界是“連續(xù)”的

3D物體的表征本質(zhì)上是找到在3D空間某坐標下物體的例如反射率、光學(xué)密度、顏色等屬性。數(shù)學(xué)上實際上需要找到一種儲存關(guān)于3D點坐標與這些物體屬性的方式。離散的3D表征實際上是顯式地將這些關(guān)系存儲在網(wǎng)格中，通過訪問這些網(wǎng)格就能獲得物體的屬性，從而得到整個3D場景下的物體。那么有沒有可能通過構(gòu)造函數(shù)的方式，直接將輸入的3D坐標映射為物體屬性呢？神經(jīng)隱式表征給了我們答案。

2021年谷歌研究所Ben Mildenhall等[2]提出隱式神經(jīng)表示的神經(jīng)輻射場（Neural Radiance Field，NeRF）。NeRF通過優(yōu)化多層感知機的神經(jīng)網(wǎng)絡(luò)，實現(xiàn)從輸入的稀疏視圖合成復(fù)雜場景新視圖。輸入5D坐標（空間位置（x,y, z）和觀察方向（θ,φ），輸出該空間位置的體積密度和與視角相關(guān)的輻射度（顏色），通過體渲染方式合成極具真實感的新視角渲染結(jié)果。但是該渲染技術(shù)訓(xùn)練效率低，難以實現(xiàn)高分辨率實時渲染效果。2022年，英偉達Thomas Müller等[3]提出了Instant NeRF，采用多分辨率哈希表方式減少浮點運算和內(nèi)存訪問次數(shù)，能在幾秒鐘內(nèi)完成高質(zhì)量神經(jīng)圖形基元訓(xùn)練，并能在幾十毫秒內(nèi)完成1920×1080分辨率的渲染。

Nerf是計算機視覺中認知的一次飛躍：

計算機視覺的最高獎是“馬爾獎”（Marr Prize），以David Marr命名，而David Marr作為計算機視覺4的開創(chuàng)者曾經(jīng)提出過一個系統(tǒng)的視覺理論。在他的理論中，他把計算機視覺終極問題定義為：輸入二維圖像，輸出是由二維圖像"重建"出來的三維物體的位置與形狀；而其他的一些我們現(xiàn)在常稱為“計算視覺”的任務(wù)，比如識別、檢測等等，在Marr的理論中只能稱作“模式識別”問題，不能被稱作“計算視覺”問題。這其中的分別在于，Marr證明如果終極問題能夠被解決，那么其他問題都能夠被解決。所以從整個計算機視覺的領(lǐng)域來講，NeRF所解決的就是計算機視覺最根本的問題，它所展示的效果是計算機視覺領(lǐng)域最根本的進步。（引用知乎專欄的內(nèi)容 https://zhuanlan.zhihu.com/p/574351707）

盡管NeRF已經(jīng)在高真實感的新視角合成方面取得了突破性進展，但它依然存在隱式表達不直觀、訓(xùn)練效率低等問題[4]。

圖6：NeRF投影與渲染過程

圖7：Instant NeRF 實時渲染結(jié)果

（3）在“離散”與“連續(xù)”中找到平衡

自2021年Nerf提出以來，有大量的工作前赴后繼，為Nerf的改造與應(yīng)用添磚加瓦，然而就在2023年夏天，Nerf的強大對手3D高斯?jié)姙R（3D gaussian splatting, 3DGS）[5]正在蘊量著一次革命。3DGS結(jié)合隱式輻射場表示和顯式渲染的優(yōu)勢。它首先將場景物體顯式表示為點云，然后給每個點賦予一個3D高斯橢球。顯式地將3D場景表示為多個3D高斯函數(shù)，每個高斯橢球連續(xù)地表征當前點云的3D物體屬性。使用可微的光柵化進行渲染，基本思想是將所有3D高斯根據(jù)相機參數(shù)投影到影像平面上，形成一系列的二維平面高斯，再通過二維平面上高斯的疊加混合，最終合成影像[6]。通過對比渲染圖像與實際拍攝圖像直接的差異優(yōu)化3D高斯橢球的參數(shù)，能夠在1080p分辨率下實現(xiàn)高質(zhì)量的實時新視圖合成。近期，德國圖賓根大學(xué)Andreas Geiger課題組[7]介紹了一種抗鋸齒3D 高斯?jié)姙R方法Mip-Splatting，引進了3D平滑濾波器和2D Mip濾波器以實現(xiàn)任意采樣率下的無偽影渲染。該工作獲得2024年CVPR最佳學(xué)生論文。

圖8：3D高斯函數(shù)濺射過程

圖9：3DGS實時渲染結(jié)果

▎3D實時渲染技術(shù)的應(yīng)用

3D實時渲染技術(shù)不僅在游戲領(lǐng)域有著廣泛應(yīng)用，還在多個行業(yè)展現(xiàn)了其重要價值[8-10]。在自動駕駛領(lǐng)域，3D渲染技術(shù)可用于創(chuàng)建虛擬駕駛環(huán)境，協(xié)助自動駕駛系統(tǒng)識別和處理各種路況。例如，Waymo和Tesla等公司利用該技術(shù)進行自動駕駛的模擬測試。在虛擬現(xiàn)實與增強現(xiàn)實的應(yīng)用中，3D渲染技術(shù)使人與虛擬環(huán)境之間的沉浸式交互成為可能，提供實時的交互反饋。微軟推出的HoloLens增強現(xiàn)實設(shè)備可廣泛應(yīng)用于工業(yè)制造、建筑和醫(yī)療等領(lǐng)域，而Meta也推出了Meta Quest系列頭顯設(shè)備。此外，蘋果推出了混合現(xiàn)實設(shè)備Apple Vision Pro。它們通過3D渲染技術(shù)實現(xiàn)用戶與虛擬環(huán)境的互動。這項技術(shù)還被用于危險操作培訓(xùn)，如飛行員培訓(xùn)。在生物醫(yī)學(xué)領(lǐng)域，3D渲染可用于手術(shù)前的三維成像與模擬，幫助醫(yī)生規(guī)劃手術(shù)路徑，同時協(xié)助研究人員創(chuàng)建人體模型。天文學(xué)家則利用實時3D渲染構(gòu)建并觀察星系、恒星等天體的三維模型，還可以創(chuàng)建虛擬天文館，讓公眾以沉浸式的方式探索宇宙。

圖10：3D實時渲染技術(shù)的應(yīng)用

3D實時渲染技術(shù)在自動駕駛、人機交互、虛擬現(xiàn)實、生物醫(yī)學(xué)和天文觀測等多個領(lǐng)域展現(xiàn)了廣泛的應(yīng)用前景，推動了智能化和可視化的發(fā)展。這項技術(shù)不僅提升了用戶體驗和產(chǎn)品功能，也加速了產(chǎn)品創(chuàng)新與迭代，具有顯著的市場價值和工程價值。通過精準的3D視覺模擬，3D渲染技術(shù)正悄然改變工業(yè)和日常生活的傳統(tǒng)模式，助力提供沉浸式體驗和智能化操作范式，從而提升了工作效率和決策能力，印證了“科技改善生活、科技服務(wù)生活”的理念。

▎參考文獻

[1] https://www.heishenhua.com/

[2] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM, 2021, 65(1): 99-106.

[3] Müller T, Evans A, Schied C, et al. Instant neural graphics primitives with a multiresolution hash encoding[J]. ACM transactions on graphics, 2022, 41(4): 1-15.

[4] 高建, 陳林卓, 沈秋, 等. 基于三維高斯濺射技術(shù)的可微分渲染研究進展 (特邀)[J]. 激光與光電子學(xué)進展, 2024, 61(16): 1611010-1611010-13.

[5] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian Splatting for Real-Time Radiance Field Rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.

[6] Charatan D, Li S L, Tagliasacchi A, et al. pixelsplat: 3d gaussian splats from image pairs for scalable generalizable 3d reconstruction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19457-19467.

[7] Yu Z, Chen A, Huang B, et al. Mip-splatting: Alias-free 3d gaussian splatting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19447-19456.

[8] 劉興潭,張成渝, 武延鵬,等.小天體在軌渲染觀測技術(shù)[J].光學(xué)精密工程, 2021, 29(12): 2745-2753.

[9] 滕嘉瑋,趙巖,張艾嘉等.基于二維仿射變換的幾何一致性虛實融合[J].光學(xué)精密工程,2022,30(11):1374-1382.

[10] 林晉鋼,李東年,陳成軍等.基于像素投票的人手全局姿態(tài)估計[J].光學(xué)精密工程,2022,30(19):2379-2389.