英特爾:銳炫Pro B與至強6在MLPerf v5.1基準測試中展佳績
在MLPerf v5.1基準測試中,英特爾至強6處理器和銳炫Pro B系列GPU為工作站和邊緣系統提供強大、低延遲的AI推理能力。
近日,MLCommons公布最新的MLPerf推理v5.1基準測試結果,英特爾提交了基于英特爾?至強? 6性能核處理器、英特爾?銳炫? Pro B60顯卡的GPU系統,及其代號Project Battlematrix(戰斗陣列)的推理工作站在六項關鍵測試中的結果。其中,Llama 8B的測試結果顯示,英特爾銳炫Pro B60顯卡展現出1.25-4倍于市場同類型產品的成本效益1。這些測試結果展現出英特爾產品組合兼具性能優勢與易于部署性,能夠滿足高端工作站與邊緣應用中各種新興的AI推理工作負載需求。
英特爾公司副總裁兼軟件、GPU與NPU IP事業部總經理Lisa Pearce表示:“全新MLPerf測試結果充分展現了英特爾GPU與AI戰略的前瞻性。通過搭載全新優化的推理軟件棧,英特爾銳炫Pro B系列GPU可以幫助開發者和企業以性能卓越、部署簡便、性價比高且可擴展的推理工作站,輕松開發和部署AI應用”。
在專業人士在選擇平臺時,通常會面臨一個挑戰:他們既需要高推理性能和大型語言模型(LLM)的部署能力,又不能犧牲數據隱私,還要避免高昂的專屬AI模型訂閱成本。因此,能滿足這些條件的平臺選擇非常有限。
而代號為“Project Battlematrix”的全新英特爾GPU系統,專為滿足現代AI推理需求而設計,并提供一個軟硬件全面驗證的一體化推理平臺。
該系統意在通過專為Linux環境構建的全新容器化解決方案,簡化部署流程。經過優化的方案,可提供領先的推理性能,不僅支持多GPU擴展與PCIe P2P數據傳輸,而且集成了企業級的可靠性和可管理性功能,諸如ECC糾錯、SRIOV虛擬化、遙測及遠程固件更新等。
同時,CPU 在 AI 系統中繼續發揮著至關重要的作用。作為整個系統的協調中心,CPU 負責數據預處理、傳輸和整體系統調度。過去四年間,英特爾持續提升CPU運行AI工作負載的性能,使英特爾至強處理器成為搭載和管理GPU驅動AI工作負載的理想CPU。
英特爾仍是唯一向MLPerf提交CPU結果的服務器處理器供應商,這充分展現了其在通用計算和專用加速器領域全面加速AI推理能力的領導力和決心。值得注意的是,與上一代相比,英特爾至強 6性能核處理器在此次MLPerf推理v5.1測試結果中,亦展現出1.9倍的性能提升。
評論