CEVA：助力從移動設備到汽車應用生成式人工智能的部署

Ceva市場資訊副總裁Richard Kingston

與目前基于云的傳統人工智能相比，邊緣智能將有許多更小、功耗更低的用例。邊緣智能的范圍非常廣泛，從在MCU和小型NPU上運行的非常小的神經網絡（如TinyML），適用于語音、視覺、傳感等多種應用，一直擴展到在智能手機上運行的生成式人工智能和完全自動駕駛汽車。由于在設備上運行人工智能成本更低，無需將數據發送到云端，因此邊緣智能擁有廣闊的未來發展前景。將人工智能引入許多行業都極具吸引力，尤其是智能手表、耳塞、智能手機、相機等消費類設備，以及預測性維護、工廠自動化、個人電腦、電視、汽車等工業領域。Ceva市場資訊副總裁Richard Kingston坦言，未來幾乎所有行業都會采用人工智能。隨著處理架構的改進和優化網絡的軟件的完善，未來大部分推理操作都將在邊緣設備上進行。

生成式人工智能要求NPU 等處理器能夠運行transformer、全連接（FC）、FC 批處理、RNN、3D 卷積等新網絡。現有的人工智能處理器解決方案無法支持這些生成式人工智能網絡。它們還需要具有靈活性，以支持新的層級和網絡，而不僅僅是在硬件中提供所有的網絡支持。因此，這是邊緣人工智能行業的拐點。生成式人工智能將用于邊緣設備，生成與語音、聲音和圖像相關的用例和應用。Ceva市場資訊副總裁Richard Kingston介紹，邊緣人工智能需要新的 NPU 架構，如上所述，因為針對普通人工智能的NPU、DSP、GPU等無法支持生成式人工智能。此外，編譯和縮減網絡以在邊緣設備上運行的軟件必須具備很強的能力，能夠以盡可能小的網絡提供全部性能，以節省內存資源。為此，CEVA在市場上推出了生成式人工智能NPU IP產品Ceva-NeuPro-M，它采用了可擴展的架構，可以滿足移動設備對生成式人工智能的任何需求，而且功耗極低、效率極高。Ceva生成式人工智能NPU架構方法的一個優勢是包含一個矢量引擎，即使移動處理器已安裝在設備中，仍可升級NPU 以支持新網絡。Ceva-NeuPro-M可從32 TOPS擴展到256 TOPS，因此非常適合用于從移動設備到汽車等使用案例中的生成式人工智能。Ceva-NeuPro-M重新定義了智能邊緣設備和邊緣計算的高性能人工智能（AI）處理，具有異構協同處理功能，主要針對生成式和經典人工智能推理工作負載。Ceva-NeuPro-M采用異構協處理器，首先在每個內部處理引擎內，其次在引擎之間進行復合并行處理，從而實現了性能上的重大飛躍。

對于Ceva來說，NPU是包括矢量和NPU的異構處理器，以獲得最高性能和支持未來的靈活性。此外，您還可以添加一個DSP處理器來處理傳統的視覺、聲音和傳感算法。還可以添加Arm或RISC-V處理器來運行RTOS，但這并非必要。除了這些硬件IP外，Richard Kingston介紹Ceva還提供了完整的軟件Studio，即Ceva-NeuPro Studio。這是一項全面的人工智能編譯器技術，可為Ceva-NeuPro-M NPU IP架構創建全面優化的運行時軟件。Ceva-NeuPro Studio面向大眾市場的嵌入式設備，將廣泛的網絡優化、先進的量化算法、數據流管理和全面優化的計算CNN和RNN庫整合到一個整體解決方案中，從而能夠將云訓練的人工智能模型部署到邊緣設備上進行推理處理。

隨著邊緣智能的普及，Richard Kingston表示，Ceva將提供一整套處理器來處理MCU用例的最小網絡和應用，直到極高性能的自動駕駛汽車，所有處理都將在邊緣高能效地完成。這就是Ceva-NeuPro系列的戰略。我們還提供藍牙、Wi-Fi、UWB、蜂窩5G等所有連接IP，用于連接這些智能設備以及DSP和應用軟件，使得這些設備能夠感知周圍環境。Ceva的愿景是促使任何邊緣設備都能連接、感知和推斷。

（本文來源于《EEPW》2024.5）