第一時間適配！英特爾銳炫GPU在運行Llama 3時展現卓越性能

在Meta發布Llama 3大語言模型的第一時間，英特爾即優化并驗證了80億和700億參數的Llama 3模型能夠在英特爾AI產品組合上運行。在客戶端領域，英特爾銳炫?顯卡的強大性能讓開發者能夠輕松在本地運行Llama 3模型，為生成式AI工作負載提供加速。

在Llama 3模型的初步測試中，英特爾^?酷睿?Ultra H系列處理器展現出了高于普通人閱讀速度的輸出生成性能，而這一結果主要得益于其內置的英特爾銳炫GPU，該GPU具有8個Xe核心，以及DP4a AI加速器和高達120 GB/s的系統內存帶寬。

英特爾酷睿Ultra處理器和英特爾銳炫顯卡在Llama 3模型發布的第一時間便提供了良好適配，這彰顯了英特爾和Meta攜手為本地AI開發和數百萬設備的部署所做出的努力。英特爾客戶端硬件性能的大幅提升得益于用于本地研發的PyTorch和英特爾? PyTorch擴展包等豐富的軟件框架與工具，以及用于模型部署和推理的OpenVINO?工具包。

在內置英特爾銳炫顯卡的英特爾酷睿 Ultra 7上運行Meta-Lama3-8B-Instruct

在英特爾銳炫A770上運行Llama 3的下一個Token延遲

上圖展示了在搭配PyTorch框架和針對英特爾GPU的優化后，英特爾銳炫A770顯卡在運行Llama 3模型時表現出卓越的性能。除此之外，英特爾銳炫顯卡亦支持開發者在本地運行包括Mistral-7B-Instruct LLM、Phi2、Llama2等在內的大語言模型。

基于相同的基礎安裝，開發者可以在本地運行多種模型的主要原因，可以歸功于IPEX-LLM，即一個針對PyTorch的大語言模型庫。它主要基于英特爾^? PyTorch擴展包打造，涵蓋時下最新的大語言模型優化和低比特數據壓縮（INT4/FP4/INT8/FP8），以及針對英特爾硬件的大多數最新性能優化。得益于如銳炫A系列顯卡等英特爾獨立顯卡上的Xe核心XMX AI加速功能，IPEX-LLM能夠顯著提高性能，其支持在Windows子系統Linux版本2、原生Windows環境和原生Linux上的英特爾銳炫A系列顯卡。

由于所有的操作和模型均基于原生PyTorch框架，開發者可以非常方便地更換或使用不同的PyTorch模型以及輸入數據。而上述模型和數據不僅能夠在英特爾銳炫顯卡上運行，開發者亦能享受到英特爾銳炫顯卡加速帶來的性能提升。

產品和性能信息

英特爾^?酷睿?Ultra處理器：

在英特爾酷睿Ultra 7 155H平臺（MSI Prestige 16 AI Evo B1MG-005US）上進行測試，使用32GB LP5x 6400Mhz總內存，英特爾顯卡驅動101.5382 WHQL，Windows 11 Pro版本22631.3447，平衡操作系統電源計劃，最佳性能操作系統電源模式，極限性能MSI Center模式，已啟用核心隔離，基于英特爾2024年4月17日的測試。

英特爾銳炫?A系列顯卡：

在英特爾銳炫A770 16GB顯卡上進行測試，使用英特爾酷睿 i9-14900K、華碩ROG MAXIMUS Z790 HERO主板、32GB（2x 16GB）DDR5 5600Mhz，Corsair MP600 Pro XT 4TB NVMe。軟件配置包括英特爾顯卡驅動101.5382 WHQL、Windows 11 Pro版本22631.3447、性能電源策略和核心隔離禁用。基于英特爾2024年4月17日的測試。

注釋：

性能因使用情況、配置和其他因素而異。可在性能指數網站上了解更多信息。

性能結果基于所示日期的配置測試，可能不反映所有公開可用的更新。請參閱附件以了解配置詳情。沒有任何產品或組件可以絕對安全。

基于預生產系統和組件的結果，以及使用英特爾參考平臺（內部新系統的內部示例）、英特爾內部分析或架構模擬或建模估算或模擬的結果，僅供參考。結果可能會因將來對任何系統、組件、規格或配置的更改而變化。

成本和結果可能會有所不同。

英特爾技術可能需要啟用硬件、軟件或服務進行激活。