吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf記錄居第一

4月3日消息，NVIDIA在官網(wǎng)表示，在最新的MLPerf V5.0基準(zhǔn)測(cè)試中，NVIDIA的Blackwell平臺(tái)取得了令人矚目的成績(jī)。

MLPerf是一個(gè)衡量人工智能硬件、軟件和服務(wù)性能的標(biāo)準(zhǔn)化基礎(chǔ)測(cè)試平臺(tái)，它由圖靈獎(jiǎng)得主大衛(wèi)·帕特森聯(lián)合谷歌、斯坦福、哈佛大學(xué)等頂尖企業(yè)和學(xué)術(shù)機(jī)構(gòu)成立，是權(quán)威性最大、影響力最廣的國(guó)際AI性能基準(zhǔn)測(cè)試。

最新更新的MLPerf 添加了Llama 3.1 405B，這是最大和最難以運(yùn)行的開(kāi)放權(quán)重模型之一。

NVIDIA表示，雖然許多公司在其硬件上運(yùn)行MLPerf基準(zhǔn)測(cè)試以衡量性能，但只有NVIDIA及其合作伙伴提交并發(fā)布了Llama 3.1 405B基準(zhǔn)測(cè)試的結(jié)果。

具體來(lái)看，GB200 NVL72系統(tǒng)通過(guò)連接72個(gè)NVIDIA Blackwell GPU，作為一個(gè)單一的超大GPU運(yùn)行，在Llama 3.1 405B基準(zhǔn)測(cè)試中，與H200 NVL8相比，實(shí)現(xiàn)了高達(dá)30倍的吞吐量提升。

據(jù)介紹，在生產(chǎn)環(huán)境中，推理部署通常受到兩個(gè)關(guān)鍵指標(biāo)的延遲限制：首次響應(yīng)時(shí)間（TTFT）和每個(gè)輸出令牌的時(shí)間（TPOT）。

新的Llama 2 70B Interactive基準(zhǔn)測(cè)試將TPOT縮短了5倍，TTFT降低了4.4倍，模擬了更快的用戶體驗(yàn)。

在這一測(cè)試中，NVIDIA使用8個(gè)Blackwell GPU的DGX B200系統(tǒng)，性能比使用8個(gè)H200 GPU的系統(tǒng)高出三倍，為這一更具挑戰(zhàn)性的Llama 2 70B基準(zhǔn)測(cè)試設(shè)定了新的高標(biāo)準(zhǔn)。