谷歌在一年內將人工智能查詢的能源成本降低了 33 倍

有什么進的，什么出的

進行這些分析時的一個大問題是要包括什么。顯然，處理器在處理請求時消耗了大量能量。但支持這些處理器所需的內存、存儲、冷卻等所需的能量也需要。除此之外，還有用于制造所有這些硬件和建造容納它們的設施的能源。人工智能在訓練過程中還需要大量能量，其中一小部分可能計入訓練后對模型發出的任何單個請求。

任何對能源使用的分析都需要決定要考慮哪些因素。對于過去所做的許多研究，各種因素被跳過，主要是因為執行分析的人員無法訪問相關數據。他們可能不知道需要多少處理器專門用于給定任務，更不用說與生產它們相關的碳排放了。

但谷歌幾乎可以訪問所有東西：用于處理請求的能源、執行此請求所需的硬件、冷卻要求等等。而且，由于跟蹤因公司活動（直接，通過發電等方式，或通過供應鏈間接）產生的范圍 2 和范圍 3 排放正在成為標準做法，因此公司也可能獲得這些排放。

對于新的分析，谷歌跟蹤 CPU、專用 AI 加速器和內存的能量，無論是在處理查詢時處于活動狀態還是在查詢之間空閑時。它還跟蹤整個數據中心的能源和水使用情況，并了解該數據中心中還有什么，因此它可以估計用于提供 AI 查詢的比例。它還跟蹤與電力供應相關的碳排放，以及其使用的所有硬件生產產生的排放。

三個主要因素沒有成功。一是用于接收請求和交付結果的網絡容量的環境成本，該成本將根據請求的不同而有很大差異。這同樣適用于最終用戶硬件上的計算負載;這將看到使用游戲臺式機的人和使用智能手機的人之間的巨大差異。谷歌本可以做出合理估計但沒有做出的一件事是訓練其模型的影響。此時，它將清楚地知道那里的能源成本，并且可能可以對訓練模型的使用壽命和在此期間處理的請求數量做出合理的估計。但它沒有將其包含在目前的估計中。

為了得出典型數字，進行分析的團隊跟蹤了 24 小時內為請求提供服務的硬件，以及該硬件的空閑時間。這為他們提供了每個請求的能量估計值，該估計值因所使用的模型而異。對于每一天，他們都會確定提示的中位數，并使用它來計算環境影響。

下降

使用這些估計，他們發現單個文本請求的影響非常小。“我們估計 Gemini Apps 文本提示的中位數使用 0.24 瓦時的能量，排放 0.03 克二氧化碳當量 （gCO2e），并消耗 0.26 毫升（或約五滴）水，”他們總結道。考慮到這一點，他們估計能源消耗類似于大約 9 秒的電視觀看時間。

壞消息是，請求量無疑非常高。該公司選擇對每個搜索請求執行人工智能作，這是幾年前根本不存在的計算需求。因此，雖然個人影響很小，但累積成本可能是相當可觀的。

好消息？就在一年前，情況會更糟得多。

其中一些只是取決于情況。隨著美國和其他地方太陽能的蓬勃發展，谷歌安排可再生能源變得更加容易。因此，過去一年每單位能源消耗的碳排放量減少了 1.4 倍。但最大的勝利是在軟件方面，不同的方法使每個提示的能耗減少了 33 倍。

谷歌團隊描述了該公司為此所做的一些優化。一種是稱為“專家混合”的方法，它涉及弄清楚如何僅激活處理特定請求所需的人工智能模型部分，這可以將計算需求降低 10 到 100 倍。他們開發了許多主要模型的緊湊版本，這也減少了計算負載。數據中心管理也發揮著作用，因為公司可以確保任何活動硬件都得到充分利用，同時允許其余硬件保持低功耗狀態。

另一件事是，谷歌設計了自己的定制人工智能加速器，并構建了在其上運行的軟件，使其能夠優化硬件/軟件鴻溝的兩側，使其能夠相互良好運行。鑒于 AI 加速器上的活動占查詢總能耗的一半以上，這一點尤為重要。谷歌在運營高效數據中心方面也擁有豐富的經驗，這些經驗也延續到了人工智能方面的經驗。

所有這一切的結果是，它估計僅在去年一年，典型文本查詢的能耗就下降了 33 倍。這會產生連鎖反應，因為與構建硬件相關的碳排放等問題會被硬件在其使用壽命期間可以處理更多查詢這一事實所稀釋。

鑒于這些效率的提高，谷歌很容易簡單地將結果用作公關活動;相反，該公司在讀起來非常像學術出版物的內容中詳細介紹了其方法和考慮因素。它采取這種方法是因為這項工作背后的人希望看到該領域的其他人采用它的方法。“我們主張廣泛采用這種或類似的綜合測量框架，以確保隨著人工智能能力的進步，它們的環境效率也會提高，”他們總結道。