Krste Asanovic：RISC-V AI 從向量到矩陣的架構選擇與挑戰

7月18日，第五屆RISC-V中國峰會在上海進入分論壇環節。作為未來電子產業最龐大的應用范疇之一，人工智能是不可回避的話題。人工智能的飛速發展，正以年均超過100%的算力需求增長驅動底層架構的革新，“開放、靈活、可定制”的RISC-V已成為構建自主AI算力基石的戰略支點。 

人工智能分論壇邀請各方企業探討RISC-V架構如何利用其開源、開放、可擴展的特性，實現AI計算架構的革新，以及RISC-V架構在AI軟硬件的最新進展和應用落地情況。其中，SiFive聯合創始人、首席架構師 Krste Asanovic現場分享了他對RISC-V AI指令擴展的看法，他全面闡述了從向量到矩陣的架構選擇與挑戰。 

在人工智能用例和人工智能模型中，共同的特點是需要對小型、專門的數據類型進行大量計算。因此，人工智能中使用的數據類型往往很小，而且越來越小。但是現在從FP-32到FP16BF的進程屬于在不斷擴大。另外一個問題是需要大量的內存來保存所有參數，這就是為什么要專注于減小每個單獨參數的大小，并找到巧妙的方法來管理縮放和避免量化問題。現在，擁有如此大的內存占用和需要進行大量計算的組合意味著你需要大量的內存帶寬來獲取所有這些參數，并在層之間傳送。 

RISC-V在AI中支持的是通用計算模型，這意味著要支持標量、向量和現在的矩陣功能。有趣的是有時人工智能是其他應用程序的技術組成部分。因此你需要一個能夠處理通用計算和人工智能計算的處理器。開發者經常發現的是新型人工智能模型的發展非常快，所以這些模型都可以在舊硬件上進行得相當好，得益于舊硬件具有通用的標量向量矩陣功能，而新模型往往使用這些功能的不同組合。但是如果你的機器是通用的，并且可以支持所有這些，那么它可以很好地運行新模型。另一件事是在同一代模型中不同的用例使用標量、向量、矩陣功能的不同組合來處理該應用程序所需的任何功能。因此風險波的一個重要部分是向量擴展。RVV在幾年前批準，它是一個非常強大的矢量擴展。矢量對人工智能非常重要。盡管人們對矩陣計算給予了很多關注，但人工智能中有許多關鍵步驟是矩陣引擎無法完成的。你需要使用向量來進行計算，RVV旨在支持多種數據類型。

    RISC-V矩陣擴展是RISC-V去年最熱門的話題。原因是矩陣將關鍵組件相乘，以加快人工智能應用程序的發展。它被用于從小到大的各種RISC-V應用中。RISC-V內核有許多形狀和尺寸，因此在矩陣乘法空間中嘗試不同選項的活動很多。好消息是與向量不同的矩陣乘法函數的數量要少得多。如果你在向量庫中察看，可能會有成千上萬的函數進行向量運算，但在矩陣懲罰庫中，可能有十個或數百個函數。我試著把所有東西從左到右放在一張幻燈片上，您可以看到這些不同矩陣引擎的復雜性。為了提高性能，你真的需要添加一些特殊的矩陣引擎，這由接下來的兩個選項表示，其中紅色框是添加的。在矩陣中進行加法運算和累加器會相乘。

    矢量矩陣方法：添加新的大矩陣累加器狀態以保持C，C狀態可能被劃分為一個或多個圖塊。使用RVV向量為Matmul提供源操作數A和不。外產品樣式矩陣乘以C，可能對較窄的輸入類型“fat”K>1的支持。支持C行/列移動到向量寄存器或夾在、存儲到內存，矩陣引擎可以提供非常高的吞吐量，C累加器狀態位于算術單元附近。

    替代矩陣指令擴展：

    批次點產品：無其他矩陣狀態。在較小的矢量長度下進行小而有效的擴大，也可以滿足一些DSP需求，但不能在較大的矢量長度上擴展性能。

    向量中的矩陣：沒有額外的矩陣狀態，對于較長的矢量長度、允許比點積更大的吞吐量。

    向量矩陣：將矩陣狀態添加到已經具有RVV的處理器中，維護矢量ISA的內存模型。

    分離矩陣：無約束矩陣和向量設計，最大的設計空間和軟件工作，將需要最多的時間來融合。

    所有的行動，包括適量行動都將極大地利用我們的努力來支持這一點。因此我認為這將需要最長的時間來收斂，但這是RISC-V目前為矩陣擴系所遵循的四條軌道。第一個實際上是更像是一個向量擴展，而一個主要的擴展。所以你可以說有一個快速向量擴展的三個矩陣擴展，這就是現在的解決方案。在RISC-V Intermational我們必須標準化，就標準達成一致。我們還比較確保軟件社區知道要瞄準什么。