對(duì)官方教程視頻[官方培訓(xùn)]02-實(shí)時(shí)渲染基礎(chǔ)下 | 陳拓 Epic的筆記

沒(méi)聽(tīng)懂的地方就瞎寫(xiě)

---

反射

實(shí)時(shí)渲染中反射是一個(gè)非常有挑戰(zhàn)的特性

UE中有多種不同的方案，各有各的優(yōu)勢(shì)和缺點(diǎn)

• 反射捕獲

• 屏幕空間反射

• 平面反射

• Lumen

• RT Reflection

反射捕獲

• 在指定位置捕獲一張Cube Map

• 需要預(yù)計(jì)算

• 快速

• 不精確

• 只能捕獲一定距離范圍內(nèi)的物體

反射捕獲文檔

反射捕獲的使用方法是在場(chǎng)景中放置reflection capture actor，actor會(huì)捕獲一張自身位置的cube map，在渲染時(shí)會(huì)以這張cube map作為光源來(lái)計(jì)算反射

反射捕獲使用的是一張預(yù)先計(jì)算的立方體貼圖，因此運(yùn)行速度很快，但并不精確，且只有局部的效果，相機(jī)離捕獲位置越近則越精確

只開(kāi)啟反射捕獲的測(cè)試，幀率是高了但效果一言難盡:

反射捕獲的立方體貼圖分辨率可以在項(xiàng)目設(shè)置中修改，影響反射效果清晰度:

如果場(chǎng)景中有多個(gè)反射捕獲且半徑較大出現(xiàn)了反射捕獲重疊的情況，重疊區(qū)域會(huì)導(dǎo)致像素進(jìn)行多次計(jì)算，使性能損耗變大

平面反射

• 并不常見(jiàn)，也不常常使用，僅限在指定平面上

• 在某些設(shè)置下可能會(huì)有很大的性能損耗(每幀都會(huì)捕獲畫(huà)面)

• 適合需要精確反射的表面(例如鏡子)

平面反射文檔

平面反射需要在場(chǎng)景添加Planar Reflection Actor，并包裹需要反射的平面，項(xiàng)目設(shè)置中的"全局剪切平面"也需要打開(kāi)

使用平面反射的地板效果，與反射捕獲相比更為準(zhǔn)確:

平面反射本質(zhì)上也是一個(gè)攝像機(jī)，以平面的視角將幾乎整個(gè)場(chǎng)景又重新渲染了一次，所以對(duì)性能的損耗非常大

屏幕空間反射

• 默認(rèn)開(kāi)啟的反射系統(tǒng)

• 對(duì)任何物體都有影響

• 準(zhǔn)確

• 輸出有噪聲，性能損耗較大

• 只反射視野范圍內(nèi)可見(jiàn)的物體

屏幕空間反射文檔

屏幕空間反射是引擎中唯一默認(rèn)激活的反射系統(tǒng)

通過(guò)控制臺(tái)開(kāi)啟或關(guān)閉屏幕空間反射:

r.SSR.Quality 0//關(guān)閉
r.SSR.Quality 4//開(kāi)啟

后期盒子中也有相關(guān)設(shè)置:

一個(gè)比較明顯的問(wèn)題是屏幕空間反射只能反射我們屏幕里能看到的內(nèi)容，屏幕看不到的內(nèi)容不會(huì)進(jìn)行繪制，如下圖在屏幕邊緣的倒影反射

反射性能提示

• 如果未經(jīng)過(guò)Cook，反射捕獲會(huì)在打開(kāi)關(guān)卡時(shí)進(jìn)行，導(dǎo)致加載變慢

• 反射捕獲區(qū)域如果有很多重疊，會(huì)導(dǎo)致多次著色從而性能變差

• 反射捕獲的分辨率可以在系統(tǒng)設(shè)置中調(diào)節(jié)

• 天空光為整個(gè)關(guān)卡提供了低成本的反射捕獲

• 必要時(shí)才使用平面反射的實(shí)時(shí)捕獲和SSR

光照

光源類型文檔

靜態(tài)光源 (Static Light)

是指在運(yùn)行時(shí)不能以任何方式改變或移動(dòng)的光源。它們僅在光照貼圖中進(jìn)行計(jì)算，一旦處理完成后，不會(huì)再有進(jìn)一步的性能影響?？梢苿?dòng)對(duì)象不能和靜態(tài)光源進(jìn)行交互，所以靜態(tài)光源的用處是非常有限的

可移動(dòng)光源 (Movable Lights)

產(chǎn)生完全動(dòng)態(tài)的光照和陰影，可以改變光源位置、旋轉(zhuǎn)、顏色、衰減、半徑等屬性，幾乎光源的任何屬性都可以修改。它們產(chǎn)生的光照不會(huì)烘焙到光照貼圖中，也不會(huì)產(chǎn)生間接光照效果

固定光源(Stationary Lights)

保特固定位置不變的光源，但可以在其他方面進(jìn)行變更，例如亮度和顏色。這是它們與靜態(tài)光源的主要不同之處，靜態(tài)光源無(wú)法在游戲時(shí)以任何方式進(jìn)行變更。然而，應(yīng)該注意的是，在運(yùn)行時(shí)對(duì)亮度進(jìn)行修改僅會(huì)影響直接光照。間接(反射)光照由于是通過(guò) Lightmass 進(jìn)行預(yù)計(jì)算的，所以不會(huì)改變

靜態(tài)光照和陰景

• 與反射一樣，光照和陰影在實(shí)時(shí)計(jì)算也很困難

• 部分光照、陰影的計(jì)算會(huì)在預(yù)計(jì)算階段完成，在runtime與實(shí)時(shí)光照結(jié)合

• 虛幻引擎中有數(shù)十種不同的光照和陰影方案

Lightmap(光照貼圖)

理解虛幻引擎中的光照貼圖

靜態(tài)光照主要通過(guò)Lightmap實(shí)現(xiàn)，Lightmap是一張烘焙了光照和陰影的貼圖，在計(jì)算光照時(shí)與BaseColor相乘

Lightmap原理示意圖:

在虛幻引擎中使用 Lightmass 工具生成 Lightmap，多張Lightmap 會(huì)合并到 atlas 中，可以逐個(gè) mesh 調(diào)整 Lightmap 密度

場(chǎng)景中的Lightmap可以在World Setting 中的Lightmass下的light map中查看

貼圖的分辨率可以在物體的light map resolution override屬性修改，分辨率越高則陰影越清晰

在視口中可以可視化查看場(chǎng)景物體的Lightmap分辨率情況

對(duì)于靜態(tài)光照，不管是移動(dòng)了光源還是物體，都需要重新構(gòu)建烘焙光照貼圖

Volumetric Lightmap

Lightmass會(huì)生成表面光照貼圖，用于表現(xiàn)靜態(tài)對(duì)象上的間接光照。但是，動(dòng)態(tài)的對(duì)象 (例如角色)也需要一種接受間接光照的方法。這種方法就是在構(gòu)建時(shí)將所有點(diǎn)的預(yù)計(jì)算光照存儲(chǔ)在名為體積光照貼圖的空間中，然后在運(yùn)行時(shí)用于動(dòng)態(tài)對(duì)象的間接光照的插值。

如下圖所示,在空間中記錄了一系列的點(diǎn)，這些點(diǎn)上以求諧系數(shù)的形式保存了當(dāng)前這個(gè)位置的光照信息，在繪制動(dòng)態(tài)物體時(shí)，取靠近物體的點(diǎn)對(duì)他們的光照結(jié)果進(jìn)行插值

使用控制臺(tái)代碼顯示當(dāng)前場(chǎng)景中的Volumetric Lightmap采樣點(diǎn):

ShowFlag.VisualizeVolumetricLightmap 1

Lightmass

虛幻引擎使用Lightmass來(lái)構(gòu)建Lightmap

• Lightmass 是一個(gè)獨(dú)立程序，由引擎編輯器在烘焙時(shí)調(diào)用

• 支持網(wǎng)絡(luò)分布式渲染

• 渲染質(zhì)量可以通過(guò)一些選項(xiàng)設(shè)置

GPU Lightmass

在UE4.27添加了GPU Lightmass，大大減少了計(jì)算、構(gòu)建和生成復(fù)雜場(chǎng)景光照數(shù)據(jù)所需的時(shí)間，其速度可與基于CPU的Lightmass使用Swarm進(jìn)行分布式構(gòu)建時(shí)的速度相媲美。此外還提供具有交互性的新工作流，可以實(shí)時(shí)編輯場(chǎng)景、重新計(jì)算和重新構(gòu)建光照，基于CPU的Lightmass系統(tǒng)無(wú)法使用此工作流

GPU Lightmass全局光照

靜態(tài)光照質(zhì)量總結(jié)

• 可以處理間接和全局光照

• 真實(shí)的陰影效果包括軟陰影

• 光照和陰影的質(zhì)量取決于Lightmap的分辨率和UV分布

• 由于UV布局的關(guān)系，光照還可能顯示出接縫

• Lightmap分辨率有上限，巨大的模型可能效果不佳

• 一旦烘焙完成，在運(yùn)行時(shí)靜態(tài)的光源和物體無(wú)法移動(dòng)

靜態(tài)光照性能總結(jié)

• 在編輯器下預(yù)先計(jì)算，并將信息儲(chǔ)存在Lightmap中

• 計(jì)算非常高效，但占用更多內(nèi)存

• 需要一定的時(shí)間去預(yù)計(jì)算

• 每次修改光照和靜態(tài)物體，需要重新構(gòu)建光照

• 模型需要Lightmap UV，因此需要額外的步驟去處理

靜態(tài)光照性能提示

• 靜態(tài)光照總是以完全相同的速度渲染

• 無(wú)論有多少靜態(tài)光源，烘焙之后的渲染速度是一樣的

• Lightmap分辨率會(huì)影響內(nèi)存，但不影響幀率

• 烘焙速度會(huì)受以下幾點(diǎn)影響

• Lightmap分辨率模型

• 光源數(shù)量

• 烘焙選項(xiàng)

• 光照影響范圍

動(dòng)態(tài)光照和陰影

動(dòng)態(tài)陰影

• 常規(guī)動(dòng)態(tài)陰影

• 級(jí)聯(lián)陰影

• 逐對(duì)象陰影

• 距離場(chǎng)陰影

常規(guī)動(dòng)態(tài)陰影(陰影非常銳利)

Shadow Acne(陰影失真)

陰影貼圖分辨率不足時(shí)會(huì)導(dǎo)致陰影失真，光源的陰影偏移設(shè)置有助于減少這些類型的瑕疵

陰影偏差文檔

級(jí)聯(lián)陰影(Cascaded Shadow Maps)

• 陰影貼圖的分辨率低，鋸齒嚴(yán)重

• 視錐體分割

• 方向光、不同距離

級(jí)聯(lián)陰影貼圖文檔

傳統(tǒng)的陰影貼圖方法是將所有的物體全部渲染在一張陰影貼圖中，對(duì)于近距離的物體，貼圖分辨率是不夠的，級(jí)聯(lián)陰影對(duì)視椎進(jìn)行分割，使用多張陰影貼圖，離相機(jī)近的地方使用精細(xì)的陰影貼圖，遠(yuǎn)的地方使用粗糙的，既優(yōu)化了陰影的效果，也保證了渲染的效率

逐對(duì)象陰影

• 針對(duì)可移動(dòng)物體

• 針對(duì)固定光源 (位置固定，顏色、光強(qiáng)可變)

針對(duì)單獨(dú)的每一個(gè)物體渲染它的陰影貼圖，同時(shí)保證了分辨率和貼圖的使用率

//教程里只是一句帶過(guò)，文檔里也沒(méi)找到具體說(shuō)明

距離場(chǎng)陰影(Distance Field Shadows)

• 可以生成軟陰影，不需要針對(duì)模型運(yùn)行陰影pass

• 從空間中待著色的點(diǎn)出發(fā)，沿著光線方向前進(jìn)

• 由于需要直接光照，光源需是固定或可移動(dòng)光源

• 只對(duì)靜態(tài)網(wǎng)格體有效，需離線生成Mesh Distance Field(網(wǎng)格體距離場(chǎng))

(Mesh Distance Field在UE5中默認(rèn)開(kāi)啟，但在UE4中默認(rèn)關(guān)閉)

• 同時(shí)開(kāi)啟情況下的優(yōu)先級(jí): 級(jí)聯(lián)陰影 > 距離場(chǎng)陰影 > 傳統(tǒng)陰影

• 運(yùn)行實(shí)時(shí)生成Global Distance Field

• Ray Marching

距離場(chǎng)陰影文檔

其他陰影

Contact Shadow -- 對(duì)于小的物體有較好的細(xì)節(jié)

Capsule Shadow -- 用簡(jiǎn)化的模型來(lái)渲染陰影

陰影性能提示

• 渲染陰影的性能損耗大，通常需要降低渲染質(zhì)量來(lái)補(bǔ)償

• 動(dòng)態(tài)光照不會(huì)對(duì)大部分的內(nèi)容產(chǎn)生間接或全局光照

• 動(dòng)態(tài)光照不會(huì)生成“真正的”軟陰影，只是通過(guò)模擬實(shí)現(xiàn)

• 動(dòng)態(tài)光照在場(chǎng)景中看起來(lái)更“真實(shí)”，光線非常銳利

動(dòng)態(tài)光照

• 使用像素著色器計(jì)算

• 點(diǎn)光源用一個(gè)球形模型來(lái)渲染，在球投影內(nèi)像素會(huì)進(jìn)行光照渲染

• 方向光對(duì)全屏像素進(jìn)行渲染

動(dòng)態(tài)光照性能提示

• 動(dòng)態(tài)光照在延遲渲染中性能損耗相對(duì)少

• 像素越多性能越慢

光源本身并不是問(wèn)題和損耗的所在，陰影才是，損耗源于像素的著色運(yùn)算，因此像素越多性速度越慢

• 光源離相機(jī)越近，受影響的像素越多，性能也就越慢

• 光源半徑需要盡可能小，避免重疊

點(diǎn)光源如果有重疊，重疊部分會(huì)進(jìn)行多次著色計(jì)算

Lumen和VSM

Lumen是虛幻引擎5全新的全動(dòng)態(tài)全局光照和反射系統(tǒng)，使用了多種光線追蹤方法來(lái)處理全局光照和反射

VSM是對(duì)應(yīng)的陰影解決方案

UE5創(chuàng)建的工程默認(rèn)開(kāi)啟了Lumen，如果是從UE4升級(jí)的項(xiàng)目需要進(jìn)行設(shè)置:

1. 項(xiàng)目設(shè)置中選擇動(dòng)態(tài)全局光照方法

2. 項(xiàng)目設(shè)置中選擇反射方法

3. 項(xiàng)目設(shè)置中開(kāi)啟網(wǎng)格距離場(chǎng)

Lumen支持特性

• Color bleeding

• Soft indirect shadow

• Multi-bounce indirect illumination

• Emissive materia

• Skylight emissive

Color bleeding

Color bleeding使被光照射到的物體表面的顏色會(huì)影響周圍物體表面的顏色

Soft indirect shadow

Soft indirect shadow(間接軟陰影)可以使場(chǎng)景中沒(méi)有受到直接光照的物體投下陰影，傳統(tǒng)方法是使用AO貼圖或屏幕空間的AO算法來(lái)粗略估算陰影的產(chǎn)生方式，UE5中Lumen完全取代了UE4中的SSAO，消除了實(shí)時(shí)生成AO貼圖的需求，并提供了精確且柔和的陰影

AO: Ambient Occlusion，三維圖形渲染中用來(lái)表示物體之間相互影響效果的環(huán)境光遮蔽貼圖，主要用于改善陰影

Multi-bounce indirect illumination

Multi-bounce indirect illumination(多次反彈間接照明)通過(guò)追蹤前一幀的光照來(lái)計(jì)算當(dāng)前幀的光照，這意味著光照結(jié)果是當(dāng)前幀和前幾幀混合在一起的結(jié)果

r.Lumen.Radiosity 0//關(guān)閉間接光照

Lumen原理說(shuō)明

處理全局光照最常用的方法就是光線追蹤，光線追蹤通過(guò)追蹤光線來(lái)模擬光線和物體相交時(shí)的效果并生成圖像，全局光照需要大量的追蹤來(lái)生成間接漫反射、軟陰影和二次反射等

Lumen使用了混合的追蹤方法，首先它會(huì)追蹤屏幕上的光線，但只追蹤屏幕上的光線無(wú)法覆蓋全部場(chǎng)景，所以Lumen還大量使用了硬件加速的光線追蹤，為了支持老一些的設(shè)備，Lumen還通過(guò)有向距離場(chǎng)生成簡(jiǎn)化的場(chǎng)景來(lái)加速追蹤，因此也提供了光線追蹤的軟件方案

另外由于直接采樣追蹤到的三角形會(huì)有巨大的消耗，Lumen通過(guò)采樣表面緩存的方式來(lái)加速計(jì)算光照結(jié)果，通過(guò)Lumen Sence我們可以看到Lumen是如何照亮這個(gè)場(chǎng)景的，可以在可視化選項(xiàng)中查看Lumen Sence:

Lumen正是使用這些內(nèi)容來(lái)生成全局光照、陰影和反射的，Lumen scene的內(nèi)容也會(huì)被直接用來(lái)計(jì)算場(chǎng)景的反射，不再需要在場(chǎng)景里放置反射捕獲，一旦在項(xiàng)目中啟用了Lumen反射，它也會(huì)完全取代屏幕空間反射和光線追蹤反射

UE4的屏幕空間反射和光線追蹤反射會(huì)直接忽略粗糙材質(zhì)，而在Lumen中能夠?yàn)榇植诘谋砻嬗?jì)算出更好的反射結(jié)果

半透明

• 延遲渲染管線難以處理半透明材質(zhì)

• 半透明渲染在渲染流程的后半段

• 使用前向渲染管線渲染半透明物體

半透明是延遲渲染器的弱項(xiàng)之一，也是實(shí)時(shí)渲染中最大的性能影響因素之一，不僅僅是虛幻引擎，任何延遲渲染引擎都會(huì)遇到這個(gè)困難

通常會(huì)將半透明渲染放在渲染流程中非?？亢蟮碾A段，在前向渲染中渲染透明效果要簡(jiǎn)單得多，引擎使用的辦法就是在前向渲染中完成半透明物體的渲染，然后將結(jié)果和延遲渲染的結(jié)果進(jìn)行合并

前向渲染：
每個(gè)幾何體從頂點(diǎn)著色器到像素著色器，輸出到圖元緩沖區(qū)后，再進(jìn)行下一個(gè)物體的渲染，即一個(gè)一個(gè)的渲染，場(chǎng)景有多少物體就渲染多少次

優(yōu)點(diǎn)
1.前向渲染是從頭到尾走完一個(gè)著色模型，所以對(duì)于著色器的支持更好，可以使用更多種類著色器，和更多功能
2.特別適合半透明物體，每個(gè)物體的渲染都是單獨(dú)的，不會(huì)出現(xiàn)透明物體渲染錯(cuò)誤的情況

缺點(diǎn)
1.無(wú)效渲染太多，如前面的物體擋住了后面的物體，被擋住的部分相機(jī)看不見(jiàn)，但是依舊被渲染了出來(lái)
2.無(wú)法支持過(guò)多光源，每個(gè)物體都會(huì)走一遍著色器，每個(gè)著色器都會(huì)去進(jìn)行光源的計(jì)算，如100個(gè)光源100個(gè)著色模型，那么光源就會(huì)被計(jì)算10000次

延遲渲染：
得到深度信息后，對(duì)場(chǎng)景里的所有物體一窩蜂一起進(jìn)行渲染

優(yōu)點(diǎn)
1.支持多光源，只渲染可見(jiàn)像素不會(huì)無(wú)效計(jì)算

缺點(diǎn)
1.支持的shader種類少
2.延遲渲染儲(chǔ)存的信息大，帶寬開(kāi)銷高
3.處理半透明物體比較蛋疼

半透明性能提示

• 渲染半透明材質(zhì)的對(duì)性能影響很大

• 像素被多層半透明材質(zhì)覆蓋，性能損耗很大

• 渲染排序也會(huì)增加性能的損耗

后期處理

后期處理效果文檔

后期處理就是在渲染流程的最未端應(yīng)用的一個(gè)視覺(jué)特效，顧名思義這就是它為什么被稱為后期處理，后期處理很大程度上也依賴于像素著色器，并且也是利用合成來(lái)實(shí)現(xiàn)，它通過(guò)再度使用G-buffer來(lái)計(jì)算各種效果

• Bloom (泛光)

泛光是真實(shí)攝像機(jī)的光照瑕疵，它通過(guò)再現(xiàn)光源和反射性表面周圍的輝光來(lái)增加所渲染圖像的真實(shí)感

• DOF (Depth of Field，景深)

景深根據(jù)焦點(diǎn)前后的距離為場(chǎng)景應(yīng)用模糊效果。該效果用于根據(jù)深度將觀看者的注意力吸引到鏡頭中的特定主體上。它還可以增加一種美感，使渲染的圖像看起來(lái)更像照片或膠片

• Lensflare (鏡頭光暈)

鏡頭光暈效果可模擬在查看明亮物體時(shí)由于攝像機(jī)鏡頭缺陷導(dǎo)致的光散射

• Vignette (暗角)

暗角效果創(chuàng)建一個(gè)無(wú)邊框窗口，使圖像朝邊緣淡出

• Tonemapping (色調(diào)映射)

色調(diào)映射功能的目的是將廣泛的高動(dòng)態(tài)范圍（HDR）顏色映射到顯示器能夠輸出的低動(dòng)態(tài)范圍（LDR），可以將色調(diào)映射的過(guò)程想象成一種模擬膠片對(duì)光線的反應(yīng)的方法

• Motion Blur (動(dòng)態(tài)模糊)

動(dòng)態(tài)模糊基于對(duì)象運(yùn)動(dòng)情況使對(duì)象模糊。在攝影與電影中（如一系列幀），動(dòng)態(tài)模糊源于捕獲圖像之前的對(duì)象移動(dòng)，從而產(chǎn)生可見(jiàn)的模糊效果

• Exposure (曝光)

曝光類目包含的屬性用于選擇要使用的曝光方法類型，以及指定場(chǎng)景在給定時(shí)間內(nèi)應(yīng)該變得多亮或多暗

自定義的后期處理材質(zhì)需要把材質(zhì)域設(shè)置為后期處理

實(shí)時(shí)光線追蹤

Ray Tracing(光線追蹤)指追蹤從攝像機(jī)出發(fā)的光線在場(chǎng)景中多次反彈的過(guò)程，光線的生成和反彈符合物理規(guī)律，使得渲染效果非常逼真

從相機(jī)發(fā)射一條光線交于場(chǎng)景中某一點(diǎn)，將這個(gè)點(diǎn)與場(chǎng)景中的光源連線，如果連線被其他物體阻擋，則這個(gè)點(diǎn)處于陰影中，如果與某個(gè)光源的連線沒(méi)有被其他物體阻擋，則這個(gè)點(diǎn)是被該光源照亮的

如果一條光線射到一個(gè)光滑的表面上，可以根據(jù)這個(gè)光滑表面的法線計(jì)算出它的反射光線，再將反射光線所交的點(diǎn)的顏色值賦給這個(gè)點(diǎn)

光線追蹤文檔

性能調(diào)試(Profiling)

• Stat命令

stat unit
查看不同線程執(zhí)行的耗時(shí)

stat game
查看game線程

stat initviews
查看draw線程

stat gpu
查看gpu線程
使用Ctrl+Shift+,快捷鍵也可以顯示GPU查看器

• GPU Visualizer

Unreal Visualizer是一個(gè)獨(dú)立的可執(zhí)行程序，可以幫助開(kāi)發(fā)者來(lái)識(shí)別瓶頸用于性能優(yōu)化，還可以用于收集分析和顯示引擎發(fā)出的數(shù)據(jù)，還可以輕松添加用戶自身的分析數(shù)據(jù)

可以從里面活獲得各個(gè)函數(shù)運(yùn)行的時(shí)間、運(yùn)行的次數(shù)、當(dāng)前幀率、各線程使用情況等信息

• Unreal Insight

• Frontend session文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-788335.html

這倆教程視頻里沒(méi)展開(kāi),我也懶得去了解了,相比性能優(yōu)化還是先弄明白怎么把功能實(shí)現(xiàn)比較重要