芯原超低能耗NPU可為移動端大語言模型推理提供超40 TOPS算力

芯原股份（芯原）近日宣布其超低能耗且高性能的神經網絡處理器（NPU）IP現已支持在移動端進行大語言模型（LLM）推理，AI算力可擴展至40 TOPS以上。該高能效NPU架構專為滿足移動平臺日益增長的生成式AI需求而設計，不僅能夠為AI PC等終端設備提供強勁算力支持，而且能夠應對智慧手機等移動終端對低能耗更為嚴苛的挑戰。

芯原的超低能耗NPU IP具備高度可配置、可擴展的架構，支持混合精度計算、稀疏化優化和并行處理。其設計融合了高效的內存管理與稀疏感知加速技術，顯著降低計算負載與延遲，確保AI處理流暢、響應迅速。該NPU支持數百種AI算法，如AI降噪（AI-NR）和AI超分（AI-SR）等，并兼容Stable Diffusion和LLaMA-7B等主流AI模型。同時，該NPU IP還可與芯原其他處理器IP無縫集成，實現異構計算，助力SoC設計者打造滿足多元化應用需求的AI解決方案。

此外，芯原的超低能耗NPU IP還支持TensorFlow Lite、ONNX和PyTorch等主流AI框架，可加速客戶在不同AI應用場景中的部署進程并簡化集成工作。

“智能手機等移動設備正逐步演變為個人AI服務器。隨著生成式AI（AIGC）和多模態大語言模型技術的快速發展，市場對AI算力的需求呈指數級增長，并已成為移動產品的關鍵差異化要素?！毙驹紫瘧鹇怨?、執行副總裁、IP事業部總經理戴偉進表示，“在支持高強度AI計算負載的過程中，能耗控制是最關鍵的挑戰之一。芯原持續深耕面向智慧手機和AI PC的超低能耗的NPU研發，并通過與主流SoC合作伙伴的緊密協作，見證了該技術在新一代智慧手機和AI PC中實現量產。”