應(yīng)用于自動(dòng)駕駛的邊緣 AI 視覺(jué)

作者/賽靈思視覺(jué)智能戰(zhàn)略市場(chǎng)開(kāi)發(fā)總監(jiān) Dale K.Hitt

邊緣 AI 的發(fā)展日新月異。要想在這樣的環(huán)境中立足并獲得發(fā)展，在所有層面進(jìn)行靈活應(yīng)變至關(guān)重要。賽靈思技術(shù)可為邊緣 AI 提供最深度的靈活應(yīng)變性，能針對(duì)不斷變化的要求實(shí)現(xiàn)動(dòng)態(tài)優(yōu)化，甚至可實(shí)現(xiàn)晶體管級(jí)優(yōu)化。

賽靈思旨在利用邊緣 AI 視覺(jué)幫助實(shí)現(xiàn)自動(dòng)駕駛車(chē)輛，讓城市更安全，讓工廠具有更高生產(chǎn)力，這也是業(yè)界最大發(fā)展趨勢(shì)所在。上述技術(shù)創(chuàng)新在眾多層面不斷快速演進(jìn)發(fā)展，如系統(tǒng)、算法以及傳感器層面等。賽靈思技術(shù)可對(duì)芯片上的晶體管功能進(jìn)行深層的細(xì)化控制，從而幫助創(chuàng)新人員實(shí)現(xiàn)更高的靈活應(yīng)變性。

這種 AI 創(chuàng)新在自動(dòng)駕駛汽車(chē)的開(kāi)發(fā)中日益顯現(xiàn)。例如BMW 760i（2010 款）中的早期主動(dòng)巡航控制使用單一的前視雷達(dá)……最新投產(chǎn)的特斯拉 Model 3 將傳感器配置提升為 8 個(gè)高分辨率視頻攝像頭、12 個(gè)超聲波傳感器和一個(gè)前視雷達(dá)，可實(shí)現(xiàn)司機(jī)監(jiān)控操作的自動(dòng)駕駛功能（僅作為駕駛輔助功能，并非完全自動(dòng)駕駛）。隨著全自動(dòng)駕駛汽車(chē)面臨的挑戰(zhàn)不斷得到解決，傳感器的數(shù)量與類(lèi)型也將持續(xù)增加，LIDAR、紅外線(xiàn)視頻等技術(shù)將嶄露頭角，雷達(dá)與攝像頭的數(shù)量也越來(lái)越多。

自動(dòng)駕駛汽車(chē)中的每一個(gè)傳感器都需要得到精密算法的支持，算法可以生成傳感器數(shù)據(jù)的感知解讀。最新趨勢(shì)是利用深度學(xué)習(xí)算法來(lái)生成感知解讀。不過(guò)，深度學(xué)習(xí)算法必須通過(guò)大量可能出現(xiàn)的情境加以訓(xùn)練，才能學(xué)會(huì)如何去解讀各種可能出現(xiàn)的傳感器數(shù)據(jù)。訓(xùn)練后，為了實(shí)現(xiàn)車(chē)輛的安全操控，深度學(xué)習(xí)算法需要極低時(shí)延的超高計(jì)算性能。這必須通過(guò)低功耗熱約束且延長(zhǎng)電動(dòng)汽車(chē)的電池續(xù)航時(shí)間來(lái)實(shí)現(xiàn)。賽靈思可提供所需的高性能、功率效率和自適應(yīng)性，充分滿(mǎn)足自動(dòng)駕駛汽車(chē)中邊緣 AI 的需求。

邊緣 AI 性能實(shí)證（與 NVIDIATegra TX2 相比）：

·3 倍的機(jī)器學(xué)習(xí)推導(dǎo)性能；

·42 倍的傳感器處理性能；

·每幅圖像實(shí)時(shí)性能的時(shí)延僅為 0.33ms。

挑戰(zhàn)

最嚴(yán)峻的挑戰(zhàn)是邊緣 AI 深度學(xué)習(xí)領(lǐng)域的快速變化。賽靈思是自適應(yīng)芯片技術(shù)領(lǐng)域的領(lǐng)先者。ASIC 技術(shù)無(wú)法做到深度適應(yīng)；

深度學(xué)習(xí)算法發(fā)展迅速。2017 年以來(lái)的眾多領(lǐng)先解決方案現(xiàn)已過(guò)時(shí)。現(xiàn)在的功能更為強(qiáng)大，但對(duì)計(jì)算的要求更高，同時(shí)還需要改變所需的硬件優(yōu)化；

應(yīng)用：傳感器、預(yù)處理、跟蹤、融合……；

用途：識(shí)別、本地化、分段、存儲(chǔ)、深度……；

網(wǎng)絡(luò)結(jié)構(gòu)：CNN、RNN、SSD、LSTM、SEGNET……；

網(wǎng)絡(luò)優(yōu)化：剪裁、壓縮、層融合……；

計(jì)算優(yōu)化：可變精度、存儲(chǔ)器層級(jí)；

傳感器也在快速變化：（可影響連接、傳感器預(yù)處理以及邊緣 AI 計(jì)算性能要求）；

更高性能（分辨率、幀率）；

每種類(lèi)型的傳感器數(shù)量增加：12 個(gè)攝像頭、多達(dá) 10 個(gè)激光雷達(dá)、雷達(dá)和紅外線(xiàn)；

新型傳感器：RGB 攝像頭、景深攝像頭、激光雷達(dá)、雷達(dá)、紅外線(xiàn)、超聲波；

新的連接方式/預(yù)處理：分布式處理、CNN ISP、立體深度……；

硬件更新速度必須越來(lái)越快，才能避免被淘汰。一些硬件在產(chǎn)品投產(chǎn)之后可能還需要更新。其他技術(shù)可能需要在產(chǎn)品召回后才能對(duì)芯片進(jìn)行更新。

解決方案

從本質(zhì)上講，賽靈思技術(shù)具有最強(qiáng)的靈活應(yīng)變性。我們提供的工具能幫助創(chuàng)新人員深度優(yōu)化邊緣 AI 和傳感器處理。

深度學(xué)習(xí)推導(dǎo)工具能自動(dòng)針對(duì)新網(wǎng)絡(luò)優(yōu)化賽靈思硬件。（xfDNN，chaiDNN）；

軟件工具能自動(dòng)適應(yīng)硬件要求，并支持新的傳感器配置和處理。（SDSoC，Vivado）；

開(kāi)發(fā)系統(tǒng)包括軟件工具、電路板、傳感器和芯片，可快速投入運(yùn)行。

合作伙伴生態(tài)系統(tǒng)能提供經(jīng)優(yōu)化的邊緣 AI 和傳感器解決方案。

其中，工具方面有：Deephi–ML 推導(dǎo)優(yōu)化；Mathworks–算法開(kāi)發(fā)工具。

IP方面有幾十家合作伙伴，包括：Xylon–傳感器處理 IP；Omnitek–視頻處理 IP；傳感器到成像–連接 IP；Pathpartner–編碼解碼器 IP。

開(kāi)發(fā)系統(tǒng)方面有：AVNET；Digilent。