移動光追手游要來了：談談明年的手機GPU會是什么樣
2022-10-18 14:14:25??????點擊：
聯(lián)發(fā)科這次也在會上提到“聯(lián)發(fā)科與ARM的深度合作以及經(jīng)驗共創(chuàng)下，我們催生出新的GPU架構(gòu)”；“我們這三年來一直在講移動光追，也很開心我們即將看到開花結(jié)果”...這些信號都表明，基于Immortalis-G715的天璣芯片不遠了。
遙想90年代，手機這類移動設備的圖形算力還弱得可憐，連智能手機操作系統(tǒng)UI的圖形加速技術(shù)起步其實都比很多人預想得要晚。而到現(xiàn)如今，移動GPU支撐的手機游戲已經(jīng)成長為年產(chǎn)值數(shù)千億的產(chǎn)業(yè)。
基于Arm Mali GPU的歷史跑分（GFXBench T-Rex），2011年Android機皇三星Galaxy S2圖形性能差不多相當于去年谷歌Pixel 6手機的5%。這中間也不過10年時間。可能時間再往前拉一點，數(shù)據(jù)會更夸張——蘋果當年就說iPhone 6（2014年）的圖形性能達到了初代iPhone的84倍（2007年）。而聯(lián)發(fā)科、Arm、Imagination這兩年都已經(jīng)開始宣傳移動GPU的光追了，真是今時不同往日。
這兩年聯(lián)發(fā)科召開天璣旗艦技術(shù)溝通會，都會將GPU和圖形相關(guān)技術(shù)當做重點去做分享。好像在天璣9000上市之后，聯(lián)發(fā)科在手機AP SoC市場的話語權(quán)就已經(jīng)被改寫了——天璣9000剛剛發(fā)布之際，我就說這是聯(lián)發(fā)科暌違多年、嘗試重回旗艦與高端手機市場的開端。今年天璣芯片對高通驍龍系列的壓力似乎也是前所未見的。話語權(quán)的進一步拿捏，也就讓聯(lián)發(fā)科的技術(shù)路線在行業(yè)內(nèi)更為舉足輕重；而聯(lián)發(fā)科的技術(shù)分享，可能也讓我們有機會把握新一年手機技術(shù)的走向。
而且似乎一般聯(lián)發(fā)科召開這種技術(shù)溝通會不多久，很快就會見到手機SoC新品問世——這就讓這種“溝通會”更像是下一代天璣旗艦芯片的技術(shù)預分享。那本文就主要來談談聯(lián)發(fā)科這次分享的手機GPU技術(shù)路線，來窺見未來幾個月可能會發(fā)布的天璣旗艦芯片GPU部分大致有哪些技術(shù)點。
支持硬件光追的天璣SoC不遠了
“光線追蹤”這個詞在移動市場大概已經(jīng)預熱有3年了——雖然光追在PC和工作站領(lǐng)域逐步開始普及，但專門的光追加速單元在手機、平板之類的移動設備上還非常罕見。除了像Imagination這樣的IP供應商時有談起，“率先落地”的應該暫時也只有三星Exynos 2200了——用的是AMD RDNA 2架構(gòu)——但恐怕其中光追加速單元暫時也沒什么用，畢竟今年也還沒怎么看到光追手機游戲的影子。
這兩年聯(lián)發(fā)科也頻繁提到光追，包括去年提到生態(tài)方面與Arm、騰訊游戲等上下游合作伙伴之間的合作。雖然我那個時候都仍然不清楚在芯片設計的硬件實現(xiàn)層面，聯(lián)發(fā)科究竟打算怎么做，但聯(lián)發(fā)科的技術(shù)發(fā)言人彼時就提到雖然在那之前的天璣芯片都沒有增加光追單元，但“這兩代就已經(jīng)在為光追做準備，包括渲染指令運算、緩存機制，現(xiàn)在是融入在了IP里面的”。
實際上天璣9000就已經(jīng)開始支持基于軟件的光線追蹤了，所以天璣9000發(fā)布會上也多少聽到聯(lián)發(fā)科提到了光線追蹤——但基本是蜻蜓點水式的。在光追游戲的“預備”和試水上，聯(lián)發(fā)科于天璣9000發(fā)布之際“推出光追SDK產(chǎn)品，我們的客戶也基于天璣系列產(chǎn)品，開發(fā)了一系列光追交互壁紙”。
這次的技術(shù)溝通會上，聯(lián)發(fā)科再度提到“從GPU內(nèi)容開發(fā)的進展來看，基于移動光追的需求可能會有更大更廣的覆蓋”?！皬那澳甑饺ツ?，我們持續(xù)跟游戲引擎合作的這些移動光追方案，目前都變成了手游開發(fā)者的標桿”。與此同時，“基于VR/AR的需求，移動光追技術(shù)也已經(jīng)陸續(xù)在萌芽?！彼浴肮庾芳夹g(shù)已經(jīng)不是專屬于高端游戲需求”...“已經(jīng)越來越貼近用戶需求”，“沒有那么遙遠”。
今年年中ARM 正式對外發(fā)布了新的GPU產(chǎn)品線Immortalis，以及首款支持光追硬件加速的GPU IP，Immortalis-G715（以及包括更低端型號）。在ARM發(fā)布G715當天，聯(lián)發(fā)科就在推特上快速轉(zhuǎn)發(fā)了Arm的發(fā)布信息、表示祝賀，ARM還特別回復了聯(lián)發(fā)科。與此同時，ARM的Immortalis-G715的產(chǎn)品介紹頁面特別列出了聯(lián)發(fā)科的“合作伙伴證言”。這可能表明雙方在光追硬件加速的實現(xiàn)上，已經(jīng)合作良久了。
聯(lián)發(fā)科這次也在會上提到“聯(lián)發(fā)科與ARM的深度合作以及經(jīng)驗共創(chuàng)下，我們催生出新的GPU架構(gòu)”；“我們這三年來一直在講移動光追，也很開心我們即將看到開花結(jié)果”...這些信號都表明，基于Immortalis-G715的天璣芯片不遠了。
聯(lián)發(fā)科的光追方案，可能與已有方案不同
有關(guān)Immortalis-G715的第四代Valhall架構(gòu)，此前ARM的發(fā)布會上多少已經(jīng)提及。此處只關(guān)注其中的光追部分——這的確應該是ARM的GPU IP首度加入專用的光追加速單元。
有關(guān)光追的基礎知識就不作科普了，像英偉達于PC端做光追的思路，就是給GPU增加RT core——這代Ada Lovelace架構(gòu)就是每4個SM配1個RT core。這種RT core光追核心的內(nèi)部有用于BVH（Bounding Volume Hierarchy）盒子遍歷，以及光線與三角形相交測試的專用硬件加速單元。
Imagination于移動端的Photon架構(gòu)方案中RAC（Ray Acceleration Cluster）也有對應的光追加速單元。一個較大的差異在于，因為光追對算力需求大，像手機這類功耗敏感型設備不可能比照PC的方案。Imagination在RAC集群中增加了分析光線相干性——或者說將光線分組的Packet Coherency Gather。
ARM和聯(lián)發(fā)科的方案與上述兩者都有差異。Immortalis-G715自然也要開始用硬件加速單元，名為RTU（Ray Tracing Unit）——這對芯片設計企業(yè)而言似乎還是個可選項。而且值得一提的是，RTU是直接放進每個shader核心里面的，而不是像別家那樣是個外部的加速器。
RTU內(nèi)部也包含了包圍盒與三角形相交測試加速單元。據(jù)ARM所說，這個RTU只占到shader核心不到4%的部分，但卻達成了相比于沒有光線追蹤加速，超過300%的光追性能增長——其實這個值就加速計算的維度來看并不多驚艷。
從RTU的占地面積，以及它不作BVH結(jié)構(gòu)處理加速，就能看出Immortalis先期的光追支持沒有那么激進。這可能與Arm和聯(lián)發(fā)科走更低功耗、更小面積之路有關(guān)。
另外基于每個shader核心都帶RTU這一點，則更低階定位的Immortalis-G615也能支持光追——應了聯(lián)發(fā)科所說，不是高端游戲?qū)?，而是越來越趨向于大眾化的技術(shù)——只不過受限于G615所能堆的核心數(shù)目，光追性能自然也會顯著弱于G715。
這種方案特性也能反映聯(lián)發(fā)科在溝通會上反復強調(diào)的聯(lián)發(fā)科對于GPU圖形計算更專注在“能效導向”，“在能效導向的維度里，為了滿足移動平臺，需要考慮長效續(xù)航的需求，貼近終端用戶的體驗需求。在滿足能效導向需求以后，才會去嘗試堆疊出性能的部分?！?br /> 移動光追的技術(shù)和生態(tài)布局
可能更多同學比較關(guān)注的并不是誰家的光追硬件實現(xiàn)如何，而是移動光追游戲什么時候來，以及堆像RTU這樣的單元究竟有什么用。原本這兩個問題大概需要等到Immortalis-715上線以后，生態(tài)被培養(yǎng)起來，我們才會了解。不過這次聯(lián)發(fā)科提到的光追技術(shù)布局和要達成的最終效果，大概能夠稍稍解答這兩個問題。
首先是主流的移動光追游戲什么時候來的問題。我當然不知道確切的時間，無非也就是明年或后年。但這個問題更本質(zhì)之處在于手機游戲的光追生態(tài)建設情況如何。聯(lián)發(fā)科表示早在2020年12月就“提前布局Ray Query技術(shù)方案，啟動生態(tài)合作”。
在Vulkan世界里，要做光追有兩種選擇，分別是用ray tracing pipeline和ray queries。后者可在任意shader階段用于執(zhí)行光線遍歷并返回結(jié)果。網(wǎng)上能找到一些有關(guān)ray tracing pipeline和ray queries的比較。似乎SIGGRAPH 2019上，還有專家特別談到過ray tracing pipeline的諸多問題，有興趣的同學可以去找一找。
聯(lián)發(fā)科表示：“我們采用Ray Query方案來縮小和開發(fā)者切入的困難點。這些經(jīng)驗可以反饋給硬件實作者，也就是GPU IP廠商，加速他們的光追硬件開發(fā)和驅(qū)動開發(fā)。今年初Khronos也發(fā)布了Vulkan 1.3標準——基于新標準的發(fā)布，聯(lián)發(fā)科的自研方案也可以無痛切換到行業(yè)標準上繼續(xù)推進。”這也是大范圍生態(tài)培養(yǎng)的基礎。
另外聯(lián)發(fā)科也提到了Immortalis-G715硬件級光追。除了RTU以外，也包括GPU本身其他架構(gòu)層面帶來的性能提升，包括浮點算力的提升、三角形輸出能力提升3倍、帶寬需求優(yōu)化。這些也都是實踐移動光追游戲，以及其他更復雜游戲場景的基礎。
再有就是生態(tài)布局上，“與評測工具聯(lián)合推進光追生態(tài)”；以及“協(xié)助開發(fā)者和硬件廠商定位合理的性能目標”。不過這個部分聯(lián)發(fā)科談得并不多。其實移動光追生態(tài)能做起來的基礎，關(guān)鍵仍然在于游戲開發(fā)者。想必到新一代手機AP SoC發(fā)布之際，像聯(lián)發(fā)科這種企業(yè)應當也會找對應的游戲開發(fā)者來站臺。
那么第二個問題：光追加速硬件單元究竟有什么用。尤其是像Immortalis-G715這種應用RTU方案所能達成的效果。聯(lián)發(fā)科雖然沒有說Immortalis-G715的光追硬件加速能帶來什么，但他們也提到了自家布局移動光追期望達到的3個基礎功能——差不多就等于回答了這第二個問題。
這3個基礎功能分別是光追軟陰影、光追反射效果、全局光照。全局光照是去年聯(lián)發(fā)科在溝通會上提到的一個重點，當時主要是說開放世界游戲需求全局光照的優(yōu)化方案，因為這類游戲場景與角色間互動很多，動態(tài)光源需求也多，而且部分游戲還有時間系統(tǒng)——則場景變化就很豐富，需要很細致的光照計算。這次談得主要是間接光源對畫面暗部處理加強，增加場景的真實感。
另外兩個屬于光追可達成的固有特性。有關(guān)陰影的呈現(xiàn)，“用光追得到的反射效果會更為真實”，這一點我前年就撰文探討過。Imagination和英偉達早兩年做光追效果宣傳時都提到純光柵管線計算，常規(guī)可獲得的陰影都不夠真實。其實要達成陰影邊緣模糊效果（penumbra），依靠純光柵也有可行的方案，但需要引入額外的特性或技術(shù)，不僅算力開銷不小，而且得到的陰影還未必是正確的。光線追蹤在解決這類問題上有天然的優(yōu)勢。
光追反射效果也大致相似，光追“可以比較真實地計算出這些物體相對應反射的角度和位置?！鼻皟赡旰孟翊蠹腋矚g拿來形容光追帶來反射效果真實性的，是處在畫面外的部分也可以反映到畫面中高反光材質(zhì)的反射。當然目前還不清楚移動光追前期在這方面可達成的實際效果，但總的來說也都是讓光影效果更貼近真實。
移動GPU增效方案的構(gòu)建和組成
光線追蹤當然只是GPU和移動圖形技術(shù)加強的一部分，超分、補幀這種屬于計算機視覺領(lǐng)域的技術(shù)現(xiàn)在也在GPU上大放異彩。主要是因為隨硬件圖形算力的增長，游戲開發(fā)者又大幅提升了畫面刷新率、分辨率以及內(nèi)容復雜度的下限。
計算機科學領(lǐng)域一個亙古不變的事實就是無論硬件廠商提供多少性能，軟件開發(fā)者能立刻將這些資源吃干抹凈。聯(lián)發(fā)科也說現(xiàn)在游戲“內(nèi)容復雜度是不可控的”，也就“多了對高畫質(zhì)的需求”，“所以在移動GPU能效和算力上，會增加很多壓力”。
上面這張PPT給出了答案。為應對手機游戲內(nèi)容復雜度的增長，聯(lián)發(fā)科多層面布局移動GPU增效方案。自底層硬件絕對性能提升，到平臺軟件優(yōu)化、算法布局，以及在圖形渲染以外，借助AI、CV之類的技術(shù)來生成像素與幀，提升體驗。
所以（1）首先是“芯片性能每年的提升與能效的進化”，CPU和GPU“每年維持10-15%的進步”。
（2）其次是“生態(tài)”，“我們看到64位生態(tài)的推進”——這個說的應該就是自Arm Cortex-X2/A710/A510及之后CPU逐漸放棄32位支持，更全方位地轉(zhuǎn)向64位。這一點可能也預示著未來的天璣芯片對于Cortex-X3/A715的采用。ARM在前幾個月的發(fā)布會上就著重談到了“移動計算生態(tài)全面進入64位時代”，其中就包括游戲。聯(lián)發(fā)科給的數(shù)據(jù)是，“搭配64位游戲引擎升級，幀率平均提升16%”。
生態(tài)相關(guān)的部分也包括“Vulkan的推廣”。聯(lián)發(fā)科解釋說，“Vulkan本身就是為了達到內(nèi)容本質(zhì)上的降載目標”，深耕Vulkan生態(tài)是聯(lián)發(fā)科如今的一大策略——聯(lián)發(fā)科在此表達的應該是從芯片制造商的角度對Vulkan標準做出更快的響應和支持。據(jù)說聯(lián)發(fā)科的天璣生態(tài)實驗室“深度聯(lián)調(diào)提升Vulkan性能”，讓熱門游戲Vulkan性能平均提升10%。
（3）系統(tǒng)調(diào)度、驅(qū)動優(yōu)化。“比如溫控穩(wěn)幀算法，就是這個類型的增效技術(shù)”。這兩年手機OEM廠商對此宣傳還是比較積極地。
（4）自適應調(diào)度，或者說自適應框架的應用?！霸絹碓蕉嗟能浖蚣苣軌蜻_到系統(tǒng)平衡與內(nèi)容開發(fā)的聯(lián)動?！北热缯fGoogle ADPF、騰訊TGPA、Arm Adaptive Performance。借助這種自適應框架，開發(fā)者能夠獲取來自系統(tǒng)、芯片的實時信息，然后對內(nèi)容做實時的負載調(diào)整，這對性能和效率發(fā)揮會大有益處。聯(lián)發(fā)科認為這會成為未來的一大趨勢。
（5）平臺廠商的自研算法，如VRS（可變速率著色）、超分、補幀等。這些也是需要生態(tài)構(gòu)建的。
當然，聯(lián)發(fā)科的技術(shù)分享會并不只是探討GPU與圖形技術(shù)，一整個下午的分享還涵蓋AI多媒體、5G 調(diào)制解調(diào)器、Wi-Fi無線網(wǎng)絡、無線藍牙音頻和高精度定位技術(shù)的相關(guān)發(fā)展趨勢——畢竟這些要么作為AP SoC的組成部分存在，要么有極大的關(guān)聯(lián)性，而且也都是時下熱點。
聯(lián)發(fā)科帶來的AI圖像語義分割、5G新雙通、Wi-Fi 7、高保真藍牙音頻、高精度導航等最新的前沿技術(shù)都還是挺有意思的——像是5G時代的“新雙通”就談到了聯(lián)發(fā)科在雙卡雙通之類的問題上在5G實施過程中遭遇的挑戰(zhàn)和做出的努力，后續(xù)有機會我可以單獨撰文來談一談。
似乎基于這些技術(shù)熱點的分享，大致也能勾勒出即將到來的下一代天璣旗艦芯片的大致樣貌了（最近有消息說是天璣9200）。尤其GPU部分，以上探討的所有內(nèi)容都有大概率出現(xiàn)在天璣9000的后續(xù)手機AP SoC上。而“能玩移動光追手游”，有機會成為明后年智能手機的核心體驗。臨近年底，聯(lián)發(fā)科即將發(fā)布新品的消息不脛而走，下一代天璣旗艦芯片將為行業(yè)帶來哪些新的話題，讓我們保持期待。
遙想90年代，手機這類移動設備的圖形算力還弱得可憐，連智能手機操作系統(tǒng)UI的圖形加速技術(shù)起步其實都比很多人預想得要晚。而到現(xiàn)如今，移動GPU支撐的手機游戲已經(jīng)成長為年產(chǎn)值數(shù)千億的產(chǎn)業(yè)。
基于Arm Mali GPU的歷史跑分（GFXBench T-Rex），2011年Android機皇三星Galaxy S2圖形性能差不多相當于去年谷歌Pixel 6手機的5%。這中間也不過10年時間。可能時間再往前拉一點，數(shù)據(jù)會更夸張——蘋果當年就說iPhone 6（2014年）的圖形性能達到了初代iPhone的84倍（2007年）。而聯(lián)發(fā)科、Arm、Imagination這兩年都已經(jīng)開始宣傳移動GPU的光追了，真是今時不同往日。
這兩年聯(lián)發(fā)科召開天璣旗艦技術(shù)溝通會，都會將GPU和圖形相關(guān)技術(shù)當做重點去做分享。好像在天璣9000上市之后，聯(lián)發(fā)科在手機AP SoC市場的話語權(quán)就已經(jīng)被改寫了——天璣9000剛剛發(fā)布之際，我就說這是聯(lián)發(fā)科暌違多年、嘗試重回旗艦與高端手機市場的開端。今年天璣芯片對高通驍龍系列的壓力似乎也是前所未見的。話語權(quán)的進一步拿捏，也就讓聯(lián)發(fā)科的技術(shù)路線在行業(yè)內(nèi)更為舉足輕重；而聯(lián)發(fā)科的技術(shù)分享，可能也讓我們有機會把握新一年手機技術(shù)的走向。
而且似乎一般聯(lián)發(fā)科召開這種技術(shù)溝通會不多久，很快就會見到手機SoC新品問世——這就讓這種“溝通會”更像是下一代天璣旗艦芯片的技術(shù)預分享。那本文就主要來談談聯(lián)發(fā)科這次分享的手機GPU技術(shù)路線，來窺見未來幾個月可能會發(fā)布的天璣旗艦芯片GPU部分大致有哪些技術(shù)點。
支持硬件光追的天璣SoC不遠了
“光線追蹤”這個詞在移動市場大概已經(jīng)預熱有3年了——雖然光追在PC和工作站領(lǐng)域逐步開始普及，但專門的光追加速單元在手機、平板之類的移動設備上還非常罕見。除了像Imagination這樣的IP供應商時有談起，“率先落地”的應該暫時也只有三星Exynos 2200了——用的是AMD RDNA 2架構(gòu)——但恐怕其中光追加速單元暫時也沒什么用，畢竟今年也還沒怎么看到光追手機游戲的影子。
這兩年聯(lián)發(fā)科也頻繁提到光追，包括去年提到生態(tài)方面與Arm、騰訊游戲等上下游合作伙伴之間的合作。雖然我那個時候都仍然不清楚在芯片設計的硬件實現(xiàn)層面，聯(lián)發(fā)科究竟打算怎么做，但聯(lián)發(fā)科的技術(shù)發(fā)言人彼時就提到雖然在那之前的天璣芯片都沒有增加光追單元，但“這兩代就已經(jīng)在為光追做準備，包括渲染指令運算、緩存機制，現(xiàn)在是融入在了IP里面的”。
實際上天璣9000就已經(jīng)開始支持基于軟件的光線追蹤了，所以天璣9000發(fā)布會上也多少聽到聯(lián)發(fā)科提到了光線追蹤——但基本是蜻蜓點水式的。在光追游戲的“預備”和試水上，聯(lián)發(fā)科于天璣9000發(fā)布之際“推出光追SDK產(chǎn)品，我們的客戶也基于天璣系列產(chǎn)品，開發(fā)了一系列光追交互壁紙”。
這次的技術(shù)溝通會上，聯(lián)發(fā)科再度提到“從GPU內(nèi)容開發(fā)的進展來看，基于移動光追的需求可能會有更大更廣的覆蓋”?！皬那澳甑饺ツ?，我們持續(xù)跟游戲引擎合作的這些移動光追方案，目前都變成了手游開發(fā)者的標桿”。與此同時，“基于VR/AR的需求，移動光追技術(shù)也已經(jīng)陸續(xù)在萌芽?！彼浴肮庾芳夹g(shù)已經(jīng)不是專屬于高端游戲需求”...“已經(jīng)越來越貼近用戶需求”，“沒有那么遙遠”。
今年年中ARM 正式對外發(fā)布了新的GPU產(chǎn)品線Immortalis，以及首款支持光追硬件加速的GPU IP，Immortalis-G715（以及包括更低端型號）。在ARM發(fā)布G715當天，聯(lián)發(fā)科就在推特上快速轉(zhuǎn)發(fā)了Arm的發(fā)布信息、表示祝賀，ARM還特別回復了聯(lián)發(fā)科。與此同時，ARM的Immortalis-G715的產(chǎn)品介紹頁面特別列出了聯(lián)發(fā)科的“合作伙伴證言”。這可能表明雙方在光追硬件加速的實現(xiàn)上，已經(jīng)合作良久了。
聯(lián)發(fā)科這次也在會上提到“聯(lián)發(fā)科與ARM的深度合作以及經(jīng)驗共創(chuàng)下，我們催生出新的GPU架構(gòu)”；“我們這三年來一直在講移動光追，也很開心我們即將看到開花結(jié)果”...這些信號都表明，基于Immortalis-G715的天璣芯片不遠了。
聯(lián)發(fā)科的光追方案，可能與已有方案不同
有關(guān)Immortalis-G715的第四代Valhall架構(gòu)，此前ARM的發(fā)布會上多少已經(jīng)提及。此處只關(guān)注其中的光追部分——這的確應該是ARM的GPU IP首度加入專用的光追加速單元。
有關(guān)光追的基礎知識就不作科普了，像英偉達于PC端做光追的思路，就是給GPU增加RT core——這代Ada Lovelace架構(gòu)就是每4個SM配1個RT core。這種RT core光追核心的內(nèi)部有用于BVH（Bounding Volume Hierarchy）盒子遍歷，以及光線與三角形相交測試的專用硬件加速單元。
Imagination于移動端的Photon架構(gòu)方案中RAC（Ray Acceleration Cluster）也有對應的光追加速單元。一個較大的差異在于，因為光追對算力需求大，像手機這類功耗敏感型設備不可能比照PC的方案。Imagination在RAC集群中增加了分析光線相干性——或者說將光線分組的Packet Coherency Gather。
ARM和聯(lián)發(fā)科的方案與上述兩者都有差異。Immortalis-G715自然也要開始用硬件加速單元，名為RTU（Ray Tracing Unit）——這對芯片設計企業(yè)而言似乎還是個可選項。而且值得一提的是，RTU是直接放進每個shader核心里面的，而不是像別家那樣是個外部的加速器。
RTU內(nèi)部也包含了包圍盒與三角形相交測試加速單元。據(jù)ARM所說，這個RTU只占到shader核心不到4%的部分，但卻達成了相比于沒有光線追蹤加速，超過300%的光追性能增長——其實這個值就加速計算的維度來看并不多驚艷。
從RTU的占地面積，以及它不作BVH結(jié)構(gòu)處理加速，就能看出Immortalis先期的光追支持沒有那么激進。這可能與Arm和聯(lián)發(fā)科走更低功耗、更小面積之路有關(guān)。
另外基于每個shader核心都帶RTU這一點，則更低階定位的Immortalis-G615也能支持光追——應了聯(lián)發(fā)科所說，不是高端游戲?qū)?，而是越來越趨向于大眾化的技術(shù)——只不過受限于G615所能堆的核心數(shù)目，光追性能自然也會顯著弱于G715。
這種方案特性也能反映聯(lián)發(fā)科在溝通會上反復強調(diào)的聯(lián)發(fā)科對于GPU圖形計算更專注在“能效導向”，“在能效導向的維度里，為了滿足移動平臺，需要考慮長效續(xù)航的需求，貼近終端用戶的體驗需求。在滿足能效導向需求以后，才會去嘗試堆疊出性能的部分?！?br /> 移動光追的技術(shù)和生態(tài)布局
可能更多同學比較關(guān)注的并不是誰家的光追硬件實現(xiàn)如何，而是移動光追游戲什么時候來，以及堆像RTU這樣的單元究竟有什么用。原本這兩個問題大概需要等到Immortalis-715上線以后，生態(tài)被培養(yǎng)起來，我們才會了解。不過這次聯(lián)發(fā)科提到的光追技術(shù)布局和要達成的最終效果，大概能夠稍稍解答這兩個問題。
首先是主流的移動光追游戲什么時候來的問題。我當然不知道確切的時間，無非也就是明年或后年。但這個問題更本質(zhì)之處在于手機游戲的光追生態(tài)建設情況如何。聯(lián)發(fā)科表示早在2020年12月就“提前布局Ray Query技術(shù)方案，啟動生態(tài)合作”。
在Vulkan世界里，要做光追有兩種選擇，分別是用ray tracing pipeline和ray queries。后者可在任意shader階段用于執(zhí)行光線遍歷并返回結(jié)果。網(wǎng)上能找到一些有關(guān)ray tracing pipeline和ray queries的比較。似乎SIGGRAPH 2019上，還有專家特別談到過ray tracing pipeline的諸多問題，有興趣的同學可以去找一找。
聯(lián)發(fā)科表示：“我們采用Ray Query方案來縮小和開發(fā)者切入的困難點。這些經(jīng)驗可以反饋給硬件實作者，也就是GPU IP廠商，加速他們的光追硬件開發(fā)和驅(qū)動開發(fā)。今年初Khronos也發(fā)布了Vulkan 1.3標準——基于新標準的發(fā)布，聯(lián)發(fā)科的自研方案也可以無痛切換到行業(yè)標準上繼續(xù)推進。”這也是大范圍生態(tài)培養(yǎng)的基礎。
另外聯(lián)發(fā)科也提到了Immortalis-G715硬件級光追。除了RTU以外，也包括GPU本身其他架構(gòu)層面帶來的性能提升，包括浮點算力的提升、三角形輸出能力提升3倍、帶寬需求優(yōu)化。這些也都是實踐移動光追游戲，以及其他更復雜游戲場景的基礎。
再有就是生態(tài)布局上，“與評測工具聯(lián)合推進光追生態(tài)”；以及“協(xié)助開發(fā)者和硬件廠商定位合理的性能目標”。不過這個部分聯(lián)發(fā)科談得并不多。其實移動光追生態(tài)能做起來的基礎，關(guān)鍵仍然在于游戲開發(fā)者。想必到新一代手機AP SoC發(fā)布之際，像聯(lián)發(fā)科這種企業(yè)應當也會找對應的游戲開發(fā)者來站臺。
那么第二個問題：光追加速硬件單元究竟有什么用。尤其是像Immortalis-G715這種應用RTU方案所能達成的效果。聯(lián)發(fā)科雖然沒有說Immortalis-G715的光追硬件加速能帶來什么，但他們也提到了自家布局移動光追期望達到的3個基礎功能——差不多就等于回答了這第二個問題。
這3個基礎功能分別是光追軟陰影、光追反射效果、全局光照。全局光照是去年聯(lián)發(fā)科在溝通會上提到的一個重點，當時主要是說開放世界游戲需求全局光照的優(yōu)化方案，因為這類游戲場景與角色間互動很多，動態(tài)光源需求也多，而且部分游戲還有時間系統(tǒng)——則場景變化就很豐富，需要很細致的光照計算。這次談得主要是間接光源對畫面暗部處理加強，增加場景的真實感。
另外兩個屬于光追可達成的固有特性。有關(guān)陰影的呈現(xiàn)，“用光追得到的反射效果會更為真實”，這一點我前年就撰文探討過。Imagination和英偉達早兩年做光追效果宣傳時都提到純光柵管線計算，常規(guī)可獲得的陰影都不夠真實。其實要達成陰影邊緣模糊效果（penumbra），依靠純光柵也有可行的方案，但需要引入額外的特性或技術(shù)，不僅算力開銷不小，而且得到的陰影還未必是正確的。光線追蹤在解決這類問題上有天然的優(yōu)勢。
光追反射效果也大致相似，光追“可以比較真實地計算出這些物體相對應反射的角度和位置?！鼻皟赡旰孟翊蠹腋矚g拿來形容光追帶來反射效果真實性的，是處在畫面外的部分也可以反映到畫面中高反光材質(zhì)的反射。當然目前還不清楚移動光追前期在這方面可達成的實際效果，但總的來說也都是讓光影效果更貼近真實。
移動GPU增效方案的構(gòu)建和組成
光線追蹤當然只是GPU和移動圖形技術(shù)加強的一部分，超分、補幀這種屬于計算機視覺領(lǐng)域的技術(shù)現(xiàn)在也在GPU上大放異彩。主要是因為隨硬件圖形算力的增長，游戲開發(fā)者又大幅提升了畫面刷新率、分辨率以及內(nèi)容復雜度的下限。
計算機科學領(lǐng)域一個亙古不變的事實就是無論硬件廠商提供多少性能，軟件開發(fā)者能立刻將這些資源吃干抹凈。聯(lián)發(fā)科也說現(xiàn)在游戲“內(nèi)容復雜度是不可控的”，也就“多了對高畫質(zhì)的需求”，“所以在移動GPU能效和算力上，會增加很多壓力”。
上面這張PPT給出了答案。為應對手機游戲內(nèi)容復雜度的增長，聯(lián)發(fā)科多層面布局移動GPU增效方案。自底層硬件絕對性能提升，到平臺軟件優(yōu)化、算法布局，以及在圖形渲染以外，借助AI、CV之類的技術(shù)來生成像素與幀，提升體驗。
所以（1）首先是“芯片性能每年的提升與能效的進化”，CPU和GPU“每年維持10-15%的進步”。
（2）其次是“生態(tài)”，“我們看到64位生態(tài)的推進”——這個說的應該就是自Arm Cortex-X2/A710/A510及之后CPU逐漸放棄32位支持，更全方位地轉(zhuǎn)向64位。這一點可能也預示著未來的天璣芯片對于Cortex-X3/A715的采用。ARM在前幾個月的發(fā)布會上就著重談到了“移動計算生態(tài)全面進入64位時代”，其中就包括游戲。聯(lián)發(fā)科給的數(shù)據(jù)是，“搭配64位游戲引擎升級，幀率平均提升16%”。
生態(tài)相關(guān)的部分也包括“Vulkan的推廣”。聯(lián)發(fā)科解釋說，“Vulkan本身就是為了達到內(nèi)容本質(zhì)上的降載目標”，深耕Vulkan生態(tài)是聯(lián)發(fā)科如今的一大策略——聯(lián)發(fā)科在此表達的應該是從芯片制造商的角度對Vulkan標準做出更快的響應和支持。據(jù)說聯(lián)發(fā)科的天璣生態(tài)實驗室“深度聯(lián)調(diào)提升Vulkan性能”，讓熱門游戲Vulkan性能平均提升10%。
（3）系統(tǒng)調(diào)度、驅(qū)動優(yōu)化。“比如溫控穩(wěn)幀算法，就是這個類型的增效技術(shù)”。這兩年手機OEM廠商對此宣傳還是比較積極地。
（4）自適應調(diào)度，或者說自適應框架的應用?！霸絹碓蕉嗟能浖蚣苣軌蜻_到系統(tǒng)平衡與內(nèi)容開發(fā)的聯(lián)動?！北热缯fGoogle ADPF、騰訊TGPA、Arm Adaptive Performance。借助這種自適應框架，開發(fā)者能夠獲取來自系統(tǒng)、芯片的實時信息，然后對內(nèi)容做實時的負載調(diào)整，這對性能和效率發(fā)揮會大有益處。聯(lián)發(fā)科認為這會成為未來的一大趨勢。
（5）平臺廠商的自研算法，如VRS（可變速率著色）、超分、補幀等。這些也是需要生態(tài)構(gòu)建的。
當然，聯(lián)發(fā)科的技術(shù)分享會并不只是探討GPU與圖形技術(shù)，一整個下午的分享還涵蓋AI多媒體、5G 調(diào)制解調(diào)器、Wi-Fi無線網(wǎng)絡、無線藍牙音頻和高精度定位技術(shù)的相關(guān)發(fā)展趨勢——畢竟這些要么作為AP SoC的組成部分存在，要么有極大的關(guān)聯(lián)性，而且也都是時下熱點。
聯(lián)發(fā)科帶來的AI圖像語義分割、5G新雙通、Wi-Fi 7、高保真藍牙音頻、高精度導航等最新的前沿技術(shù)都還是挺有意思的——像是5G時代的“新雙通”就談到了聯(lián)發(fā)科在雙卡雙通之類的問題上在5G實施過程中遭遇的挑戰(zhàn)和做出的努力，后續(xù)有機會我可以單獨撰文來談一談。
似乎基于這些技術(shù)熱點的分享，大致也能勾勒出即將到來的下一代天璣旗艦芯片的大致樣貌了（最近有消息說是天璣9200）。尤其GPU部分，以上探討的所有內(nèi)容都有大概率出現(xiàn)在天璣9000的后續(xù)手機AP SoC上。而“能玩移動光追手游”，有機會成為明后年智能手機的核心體驗。臨近年底，聯(lián)發(fā)科即將發(fā)布新品的消息不脛而走，下一代天璣旗艦芯片將為行業(yè)帶來哪些新的話題，讓我們保持期待。
- 上一篇：今年虛擬拍攝LED顯示屏市場產(chǎn)值可望達4.31億美元 2022/10/18
- 下一篇：在路上的國產(chǎn)替代，高精高速ADC 2022/10/17
