英偉達計劃到 2026 年使用光在 AI GPU 之間進行通信

（圖片來源：英偉達）

在 AI GPU 集群之間傳輸通信的極端需求正在推動使用光進行跨網絡層的通信。今年早些時候，英偉達概述了其下一代機架級 AI 平臺將使用硅光子學互連和共封裝光學（CPO）來實現更高的傳輸速率和更低的功耗。在今年的 Hot Chips 會議上，英偉達發布了一些關于其下一代 Quantum-X 和 Spectrum-X 光子互連解決方案的額外信息，以及它們將在 2026 年到來。

Nvidia 的路線圖可能會緊密跟隨臺積電的 COUPE 路線圖，該路線圖分為三個階段。第一代是為 OSFP 連接器提供的光引擎，提供 1.6 Tb/s 的數據傳輸速度，同時降低功耗。第二代進入 CoWoS 封裝，帶有集成光學，在主板級別實現 6.4 Tb/s。第三代旨在處理器封裝內實現 12.8 Tb/s，并旨在進一步降低功耗和延遲。

為什么是 CPO？

在大規模 AI 集群中，數千個 GPU 必須作為一個系統運行，這給這些處理器之間的互連方式帶來了挑戰：不再是每個機架都有自己的 Tier-1（機架頂部）交換機，通過短銅纜連接，而是將交換機移到機架的末端，以在多個機架之間創建一致的、低延遲的織物。這種搬遷大大增加了服務器與其第一個交換機之間的距離，這使得在 800 Gb/s 這樣的速度下銅纜不切實際，因此幾乎每個服務器到交換機和交換機到交換機的鏈路都需要光連接。

（圖片來源：Nvidia）

在這種環境下使用可插拔光模塊會引入明顯的限制：在這種設計中的數據信號會離開 ASIC，跨越電路板和連接器，然后才轉換為光信號。這種方法會產生嚴重的電信號損失，在 200 Gb/s 通道上高達約 22 分貝，這需要復雜的補償處理，并將每個端口的功耗增加到 30W（這反過來又需要額外的散熱，并創造了潛在的故障點），隨著 AI 部署規模的擴大，這種情況幾乎讓人難以忍受，根據英偉達的說法。

（圖片來源：Nvidia）

CPO 通過將光轉換引擎與交換 ASIC 集成在一起，規避了傳統可插拔光模塊的罰金，因此信號幾乎立即耦合到光纖上，而不是在長距離電氣走線上傳輸。結果，電氣損耗減少到 4 分貝，每個端口的功耗降低到 9W。這種布局消除了許多可能失效的組件，并大大簡化了光互連的實現。

英偉達聲稱，通過擺脫傳統可插拔收發器并將光學引擎直接集成到交換硅中（感謝臺積電的 COUPE 平臺），它在效率、可靠性和可擴展性方面實現了非常顯著的提升。據英偉達稱，與可插拔模塊相比，CPOs 的改進是巨大的：功率效率提高了 3.5 倍，信號完整性提高了 64 倍，由于活動設備更少，彈性提升了 10 倍，并且由于服務和組裝更簡單，部署速度大約提高了 30%。

英偉達將推出基于 CPO 的光互連平臺，支持以太網和 InfiniBand 技術。首先，該公司計劃在 2026 年初推出 Quantum-X InfiniBand 交換機。每個交換機將提供 115 Tb/s 的吞吐量，支持 144 個端口，每個端口運行在 800 Gb/s。該系統還集成了一個 ASIC，具有 14.4 TFLOPS 的片上網絡處理能力，并支持英偉達的第四代可擴展分層聚合縮減協議（SHARP），以降低集體操作的延遲。這些交換機將采用液冷散熱。

（圖片來源：Nvidia）

同時，Nvidia 計劃在 2026 年下半年將其 Spectrum-X Photonics 平臺引入以太網，該平臺將依賴于 Spectrum-6 ASIC，該 ASIC 將支持兩個設備：SN6810，提供 102.4 Tb/s 的帶寬，具有 128 個 800 Gb/s 的端口，以及更大型的 SN6800，可擴展到 409.6 Tb/s 和 512 個相同速率的端口。兩者都使用液冷。

（圖片來源：Nvidia）

Nvidia 設想其基于 CPO 的交換機將為規模更大、更復雜的生成式 AI 應用提供新的人工智能集群。由于使用 CPO，這些集群將消除數千個離散組件，提供更快的安裝、更簡單的維護和每連接更低的功耗。因此，使用 Quantum-X InfiniBand 和 Spectrum-X Photonics 的集群在開機時間、首次令牌時間和長期可靠性等指標上有所改進。

英偉達強調，共封裝光學器件并非可選的增強功能，而是未來人工智能數據中心的結構性要求，這意味著公司將將其光學互連定位為超越競爭對手（如 AMD）機架級人工智能解決方案的關鍵優勢之一。當然，這也是為什么 AMD 收購了 Enosemi。

前方的道路

關于英偉達硅光子計劃的一個重要注意事項是，其發展緊密與臺積電的 COUPE（緊湊型通用光子引擎）平臺的發展相一致，該平臺將在未來幾年內不斷發展，從而也將改進英偉達的 CPO 平臺。臺積電的第一代 COUPE 是通過使用公司的 SoIC-X 封裝技術將一個 65 納米的電子集成電路（EIC）與一個光子集成電路（PIC）堆疊在一起而構建的。

TSMC 的 COUPE 路線圖分為三個階段。第一代是一款用于 OSFP 連接器的光引擎，提供 1.6 Tb/s 的數據傳輸速度，同時降低功耗。第二代進入 CoWoS 封裝，并采用共封裝光學技術，在主板層面實現 6.4 Tb/s。第三代旨在處理器封裝內實現 12.8 Tb/s，并致力于進一步降低功耗和延遲。