低功耗生成式AI必然會出現(xiàn)

5月12日我們在朋友圈里發(fā)表了“論中美在人工智能領域的差距”的評論中我們首次提出目前以Transformer算法為核心的自然語言處理的生成式AI，在取得突破性的應用成果的同時，由于Transformer算法沒有擺脫人工神經網絡的圖靈機不可解的NP問題的綁架，因此超大模型的計算引起了能源的危機的社會的熱議。針對注意力機制的計算，巨大的矩陣乘法不是唯一的解，因此可以通過邏輯推理模型可以線性的求解，通過低能耗就可實現(xiàn)目前的生成式AI的應用效果。

果不其然來自加州大學圣克魯茲分校等機構的研究者證明了 “MatMul 操作可以完全從 LLM 中消除，同時在十億參數(shù)尺度下保持強大的性能。”

這給還在追求大模型的生成式AI的研究者一個啟示，不能盲目的照抄，跟隨的結果只能證明自己的愚昧！要有敢于同被世界關注的算法對抗的意識！要善于走自己的路，才會有深刻的造詣！

附：

中美人工智能領域的差距實際有多大？

中國嵌入式系統(tǒng)產業(yè)聯(lián)盟

通用人工智能AGI專委會

主任顧澤蒼 于5月12日

從現(xiàn)在開始我想聊一聊大家最關心的這個題目。

談到中美兩國在AI領域的差距時我想絕大多數(shù)人都會認為我們一定是落后于美國。這種觀念是無可非議的。從本次AI高潮主流算法的深度學習模型就是美國的，當今的基礎大模型的發(fā)展來看，確實也是美國遙遙領先。

在這種情況下我國的研究人員感到無能為力！那么必定我國的AI就一定趕不上美國嗎？

我認為要趕上美國首先就要調整我們的創(chuàng)造意識！AI的思路被美國牽引著，跟隨美國的AI模型的發(fā)展，我們就不可能超越美國！

比如深度學習模型，依靠深度神經網絡的學習，可以提高識別精度，這已經被業(yè)界認可了。但是，深度神經網絡的效率極低，無功消耗極大！這種模型出自于連接主義的神經網絡學派，是被數(shù)學上的NP問題所綁架。

事實上應用效果的好壞與網絡連接的規(guī)模無關。

無需復雜鏈接，依靠高智慧密度的訓練數(shù)據，依靠把握被識別對象的真實的物理世界的全貌，依靠核函數(shù)的高維平面分類，依靠概率尺度自組織可對被識別的數(shù)據的進行最大概率的選擇，可以做到如同人類識別物體那樣一回生二回熟越識別精度越高。這樣的屬于AGI時代的自動機器學習模型自然會遙遙領先于目前的深度學習模型的。

那么目前流行的生成式AI一定要消耗巨大的能源嗎？其實，從理論上講根本不需要!

還在被機器學習模型束縛的Transformer算法，在NLP上比起把類似的單詞捆綁在一起通過深度學習訓練出詞向量的算法相比具有突破性的進步。但是，NLP的處理不像模式識別那樣需要具有很好的泛化能力，從網絡上訓練的相同語意的單詞的頻率的大小是相對確定性的，語言的語法關系也是相對確定性的，因此不需要做到模式識別所需要的泛化能力。特別是在兩個矩陣的之間注意力機制的計算通過矩陣乘法才能獲得，這是很笨的方法。生成式AI的效果完全取決于所訓練出的語言數(shù)據的參數(shù)的多少！因此回避復雜連接的神經網絡，使用低能耗的邏輯推理模型照樣可以訓練出超越傳統(tǒng)生成式AI的數(shù)據參數(shù)的數(shù)量，一定可以獲得接近人的大腦的功耗，而超越大模型的生成式AI的效果！從生成式AI的機理上搞清楚了就一定可以成功的。

僅舉如上的兩個例子足以說明，只要我們改變思路就一定可以超越美國的AI水平。

特別是神經網絡學派堅持復雜連接，這是愚蠢的違背科學的，必然走不下去的，美國推崇的生成式AI僅僅一個自然語言的應用就出現(xiàn)能源危機，這是違背科學的結果。我們只要堅持科學的方法論，悶頭走自己的路，當美國的AI領域研究者發(fā)現(xiàn)自己走不下去的時候，我們已經在AGI的時代里奮勇直前。