智能制造網(wǎng)APP
智能制造網(wǎng)手機站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務號
智能控制
機器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
威綸通
【中國智能制造網(wǎng) 技術(shù)前沿】2016年7月發(fā)布的Pokemon Go僅僅過去了一年，那是增強現(xiàn)實技術(shù)(AR)演進的關(guān)鍵時刻，在雖然在此之前另一款應用Blippar則將AR的概念引入了大眾市場。Pokemon Go生動的演示了科技是如何重塑了一個經(jīng)典的游戲，讓它再次一夜成名。
率信號處理為高質(zhì)量的AR/VR應用筑路
AR技術(shù)吸引用戶的是可以將虛擬世界的事件和探索戶外真實環(huán)境結(jié)合起來。人們發(fā)現(xiàn)他們無需被文字的海洋與真實隔離，現(xiàn)在可以重新將生活和科技聯(lián)系在一起。從此，很多科技公司致力于使得AR技術(shù)無處不在，并和虛擬現(xiàn)實(VR)技術(shù)結(jié)合起來，開辟了AR技術(shù)更為廣闊的應用天地。
應用到手機上
今年夏天Google推出了ARCore框架。其目的是將AR和VR技術(shù)引入更為普及的安卓設備，而不僅僅是之前的Project Tango項目。蘋果也在今年5月推出了ARKit，隨后在新一代的蘋果手機上支持了基本的AR功能：從基于安全應用的人臉識別到智能運動程序(它可以將相關(guān)統(tǒng)計數(shù)據(jù)投射到軟件檢測出的附近用戶的屏幕上)。
應用程序要將虛擬行動變成現(xiàn)實，所需要的能力不僅僅是高性能的圖形操作。它還需要運行配套軟件來解釋探測到的運動，和從不同傳感器陣列里面獲取的其他環(huán)境信號。機器學習技術(shù)將支撐把這兩部分連接到AR基礎(chǔ)設施中的識別算法。
由內(nèi)而外的跟蹤
在某些場景中，AR應用會得到來自外部資源的幫助。比如在零售賣場，指向標提供位置數(shù)據(jù)給AR增強的室內(nèi)導航應用。然而對于AR和VR技術(shù)無處不在的移動設備而言，這種由內(nèi)而外的跟蹤將至關(guān)重要。
由內(nèi)而外的跟蹤可以控制移動設備。與依賴于傳感器信號輸入的手機相比，由內(nèi)而外的跟蹤更加復雜和具有挑戰(zhàn)性，但在大多數(shù)情況體現(xiàn)出了的巨大優(yōu)勢。耦合合適的傳感器和適當有效的在線處理意味著在大多數(shù)情況下，物體可以被檢測并且識別，而且所有識別在邊緣設備上處理完成。
批面向AR的設備依賴于專用傳感器，如基于飛行時間(time-of-flight)原理的3D攝像頭，針對距離檢測進行了優(yōu)化。而新的發(fā)展趨勢則是更重視應用現(xiàn)有的傳感器。
傳感器提供的數(shù)據(jù)經(jīng)過更先進的信號和視覺處理算法處理，可以基于用戶的環(huán)境獲取更為廣泛的信息。目前看來有兩種并行發(fā)展的趨勢：
1、通過簡單的傳感器在現(xiàn)有設備上部署AR；
2、融合了更為強大的硬件和專屬傳感器的新設備將會帶來高質(zhì)量的AR用戶體驗。新興產(chǎn)品的價格也會隨著產(chǎn)量的增加而下降；
這些趨勢的結(jié)果是改變原來手機處理的性質(zhì)。僅僅依靠多核通用處理器和圖形處理器的的MIPS值和MFLOPS能力是不夠的。電池不能長期維持滿足這些高能耗子系統(tǒng)的水平。我們需要的是一個專注于信號處理的架構(gòu)，并且針對機器學習和環(huán)境感知算法進行調(diào)優(yōu)。
CEVA是一家致力于把深度學習和類似算法引入移動領(lǐng)域的公司。高度并行的架構(gòu)可以精細化使用內(nèi)存，這是傳統(tǒng)CPU和GPU不容易實現(xiàn)的。神經(jīng)網(wǎng)絡對于內(nèi)存的訪問效率和處理器的數(shù)據(jù)吞吐對于整體性能同樣重要。
3D渲染是關(guān)鍵
支持AR和VR應用的另一方面取決于3D場景的渲染。人工部分的場景需要盡可能逼真，并且能夠應對轉(zhuǎn)動和傾斜手機造成的突然的運動變化。這需要軟件將這些變化傳達給3D渲染引擎的時候具有非常低的延遲。
一旦延時太高了，虛擬動作就很難耦合真實場景。如果用戶是戴著耳機注視著一個幾乎完全虛擬的場景，移動圖像的延時如同用戶自己在轉(zhuǎn)圈，終導致眩暈。
快速傳感器跟蹤也可以幫助提高渲染引擎的吞吐量。攝像頭可以追蹤用戶的眼球運動，告訴渲染引擎用戶大部分的注意力集中在什么地方。錐形渲染技術(shù)(foveated rendering)就是利用大腦敏感的圖像部分正好是目光直接注視的區(qū)域這一原理。周圍的元素可以使用較少的細節(jié)進行渲染。
高速信號和視覺處理器可以處理來自多種類型傳感器的數(shù)據(jù)是解決問題的關(guān)鍵。使用這些引擎比3D渲染管線本身更節(jié)約功耗，CEVA等公司正在將高質(zhì)量的AR和VR技術(shù)變?yōu)榭赡?。并且不會在短短幾個小時內(nèi)耗盡電池。
原標題：率信號處理為高質(zhì)量的AR/VR應用鋪平了道路
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
