海林图库,最近中文国语字幕在线播放视频,欧美亚洲成年人一区二区

FBEC2023 | 耀宇視芯 CEO杜逢博：協(xié)處理器對(duì)于XR所帶來的改進(jìn)與提升

來源：網(wǎng)絡(luò) 時(shí)間：2023-12-13 16:31 作者：hj 訪問量：281 我要投稿

　　FBEC2023未來商業(yè)生態(tài)鏈接大會(huì)暨第八屆金陀螺獎(jiǎng)于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開，本次大會(huì)由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場協(xié)會(huì)指導(dǎo)，陀螺科技主辦，中國光谷、游戲陀螺、VR陀螺、陀螺財(cái)經(jīng)、陀螺電競聯(lián)合主辦。

　　大會(huì)以“合力共生·韌者行遠(yuǎn)”為大會(huì)主題，以具有行業(yè)前瞻洞察的“航行者”為視角，破冰之旅為主線，關(guān)注AI、元宇宙、XR、游戲、電競、數(shù)字經(jīng)濟(jì)等科技與互聯(lián)網(wǎng)前沿領(lǐng)域，全方位呈現(xiàn)科技前沿成果，聚焦時(shí)代與商業(yè)熱點(diǎn)議題，探討新科技、新商業(yè)、新模式的未來價(jià)值，與真正的勇者共赴劇變革新下的凜冬破冰之旅!

　　主會(huì)場C：元生未來，共鏈價(jià)值——2023全球元宇宙產(chǎn)業(yè)核心技術(shù)論壇，邀請(qǐng)到耀宇視芯 CEO杜逢博帶來主題為“協(xié)處理器對(duì)于AR頭顯的必要性”的精彩演講。杜逢博認(rèn)為，從交互算法到數(shù)據(jù)傳輸再到顯示渲染，協(xié)處理器將會(huì)顯著改善VR/AR設(shè)備的延遲與功耗。

　　以下為演講實(shí)錄：

　　大家，下午好!今天主要想和大家探討的是協(xié)處理器對(duì)于AR所帶來的改進(jìn)和提升。

　　目前XR領(lǐng)域頭部兩個(gè)大廠，蘋果與微軟都在其產(chǎn)品中使用了協(xié)處理器。其實(shí)，微軟2016年推出的第一代HoloLens便使用了協(xié)處理器HPU，蘋果今年發(fā)布的Vision Pro則自帶了R1協(xié)處理器。兩家廠商不約而同地都將XR設(shè)備區(qū)別于傳統(tǒng)消費(fèi)電子產(chǎn)品的功能承載在協(xié)處理器上，同時(shí)也都明確提出了延遲這一參數(shù)指標(biāo)，其中微軟HoloLens的MTP可以實(shí)現(xiàn)小于1毫秒的延遲，而Vision Pro的VST則做到了小于12毫秒的延遲。

　　在我們看來，延遲這一參數(shù)主要取決于3個(gè)因素，一是交互算法，其中頭部空間定位主要取決于SLAM技術(shù);二是數(shù)據(jù)傳輸;三是顯示渲染。

　　首先在交互算法上，對(duì)于傳統(tǒng)VR/AR一體機(jī)，尤其是AR的Expose(曝光時(shí)間)一般是3毫秒，之后圖像便會(huì)向外輸出，Readout時(shí)間約為6-7毫秒。而對(duì)于一體機(jī)來說，圖像輸出完會(huì)進(jìn)入主芯片，在主芯片里面花費(fèi)15毫秒左右的時(shí)間，利用CPU或者是DSP處理特征提取、匹配相關(guān)的算法。最后在10毫秒左右時(shí)間內(nèi)，基于滑窗的非線性優(yōu)化或者濾波器方式解算6Dof的空間定位結(jié)果。以上整個(gè)視覺處理的延遲基本會(huì)控制在35毫秒左右。

　　值得注意的是，如果采用分體積方式，處理延遲還會(huì)進(jìn)一步增加至38-55毫秒左右，這取決于中間傳輸?shù)膫鬏敺绞?。在如此明顯的延遲之下，協(xié)處理器的加入將有效降低交互算法的延遲。

　　在協(xié)處理器輔助下，雖然曝光時(shí)間依然是3毫秒，但到了Readout階段，由于操作都是在協(xié)處理器里面的，無需緩存所有的圖像，因此只要十幾行圖像就可以進(jìn)行特征提取和匹配計(jì)算，約等于整個(gè)Readout時(shí)間結(jié)束后，SLAM算法中的特征提取和匹配算法已經(jīng)結(jié)束，特征提取和匹配操作隱藏在Readout時(shí)間內(nèi)。之后再花費(fèi)額外3毫秒時(shí)間處理基于滑窗的非線性優(yōu)化模塊解算6Dof空間定位后，便可以傳輸處理完成的空間定位結(jié)果。相比圖像數(shù)據(jù)量大幅減少，完成傳輸僅需1-2毫秒。

　　在有協(xié)處理器的情況下，SLAM視覺鏈路延遲會(huì)降低至13-14毫秒，這帶來最大的好處是IMU積分的時(shí)間大幅縮短，對(duì)于諸如加速度器這樣需要二次積分的傳感器來說，不僅能提升傳輸精度，還能有效降低抖動(dòng)。

　　其次，顯示渲染。在一個(gè)4幀圖像的時(shí)間序列中，傳統(tǒng)的方式在Vsync 0時(shí)刻獲得最新定位結(jié)果并傳輸給GPU進(jìn)行渲染，渲染完1幀以后，經(jīng)常會(huì)用雙緩沖的方式對(duì)屏幕進(jìn)行刷新，在傳統(tǒng)的雙緩沖模式下，信息在Vsync 2時(shí)刻才能完成圖像刷新，整個(gè)過程延遲非常大，如果不做任何處理的話，幾乎無法獲得很好的效果。

　　因此，在渲染階段我們一般都會(huì)使用單緩沖方式，即在渲染完成后直接上屏處理，通過控制上屏?xí)r間避免畫面撕裂。但即便如此，整個(gè)延遲還是處在接近30毫秒的程度。此時(shí)，我們一般還會(huì)通過PW或者是ATW進(jìn)行補(bǔ)償，在屏幕刷新之前再次獲取最新的定位的結(jié)果，利用該結(jié)果對(duì)已經(jīng)渲染完成的圖像做一次延遲補(bǔ)償，重新輸出到屏幕。

　　該方式可以將延遲壓縮至十幾毫秒，卻仍舊無法達(dá)到理想的效果。因此一般我們還會(huì)在最新的Get Pose基礎(chǔ)下加入往前的位姿預(yù)測，基于IMU數(shù)據(jù)擬合往前積分，獲得未來的定位結(jié)果。

　　此外，還可以選擇根據(jù)歷史的運(yùn)動(dòng)數(shù)據(jù)構(gòu)建一個(gè)復(fù)雜的運(yùn)動(dòng)模型，用該模型預(yù)測未來十幾毫秒之后可能存在的定位結(jié)果，對(duì)圖像進(jìn)行補(bǔ)償。

　　但不可否認(rèn)的是即使預(yù)測算法再好，預(yù)測總歸是預(yù)測，總有預(yù)測不準(zhǔn)的時(shí)候。此時(shí)，協(xié)處理器的優(yōu)勢就得到了體現(xiàn)，其可以大幅降低甚至完全消除預(yù)測時(shí)間，讓整個(gè)渲染過程不需要進(jìn)行任何的預(yù)測，而是直接將實(shí)時(shí)結(jié)果傳輸至屏幕。

　　基于以上對(duì)延遲的考量，耀宇視芯推出了第一代協(xié)處理器“啟明”，并在典型場景下取得了不錯(cuò)的功耗表現(xiàn)。在視覺雙目30fps，1000Hz IMU條件下，協(xié)處理器“啟明”功耗維持在164mw左右;在雙目100fps+1000Hz IMU條件下，功耗維持在193mw左右;在VR典型場景下，四目30fps條件下功耗維持在200mw以內(nèi)。

　　總的來看，耀宇視芯第一代協(xié)處理器“啟明”會(huì)給VR/AR設(shè)備在空間定位上帶來大幅功耗及延遲的降低。歡迎各位到現(xiàn)場體驗(yàn)，謝謝大家!

標(biāo)簽：暫無

分享到：

上一篇： FBEC2023 | 諾亦騰聯(lián)合創(chuàng)始人&CTO戴若犁：AI & AVP是Metaverse和XR的救世主么?

下一篇： FBEC2023 | 對(duì)話愛奇藝高級(jí)副總裁張航，探索VR線下大空間娛樂趨勢

微信掃一掃-禮包攻略通通到手

微信掃一掃關(guān)注琵琶網(wǎng)公眾號(hào)：

1.掃描二維碼或搜索微信號(hào)，關(guān)注“琵琶網(wǎng)手游”；

2.回復(fù)“您玩的游戲名稱”，即可查看該游戲的最新禮包和資訊；

還沒關(guān)注的小伙伴，趕緊掃一掃吧~