基于Virtex-6 FPGA的三種串行通信協議測試及對比(一)

　　在高性能雷達信號處理機研制中，高速串行總線正逐步取代并行總線。業界廣泛使用的Xilinx公司Virtex-6系列FPGA支持多種高速串行通信協議，本文針對其中較為常用的Aurora 8B/10B和PCI Express 2.0，Serial RapidIO 2.0三種協議進行了測試及對比分析。首先搭建了基于Virtex-6 FPGA的高速串行協議測試平臺;然后設計并分別實現了三種協議的高速數據通信，測算了協議的實際傳輸速率;最后結合測試結果，從協議層次結構、鏈路數目、鏈路線速率、數據傳輸方式、協議開銷、拓撲結構、設備尋址方式、應用領域等方面對三種協議進行了比較。本文研究工作可為三種協議的選用、測試和工程實現提供參考。

　　1引言

　　隨著雷達帶寬和AD采樣率的提高，在高性能雷達信號處理機研制中，系統對數據傳輸帶寬的要求不斷增加，高速串行總線正逐步取代傳統的并行總線。

　　Xilinx公司推出的Virtex-6系列FPGA，在片上集成了固化的GTX模塊，以提供高速串行通信支持。同時Xilinx公司提供有多種串行通信協議IP核，便于用戶進行開發。Aurora 8B/10B，PCI Express 2.0和Serial RapidIO 2.0是其中較為常用的三種協議。目前已有眾多文獻涉及到三種協議基于FPGA的實現方案。然而這些方案未能充分發揮協議性能，存在線速率較低(僅為2.5Gb/s)或未實現多通道綁定。針對上述問題，本文基于Virtex-6 FPGA，分別實現了三種協議在4x鏈路，5.0Gb/s線速率模式下的數據通信，測得協議的實際傳輸速率，并對三種協議的特點與應用進行了對比分析。

　　2測試平臺簡介

　　本文以實驗室自行開發設計的PCIe光纖接收處理板(以下簡稱測試電路板)為測試平臺。測試電路板的結構圖和實物圖分別如圖1，圖2所示。其中，FPGA選用XC6VLX240T-2FF1156，該芯片含20個GTX收發器，鏈路線速率可達6.6Gb/s.DSP選用TMS320C6678，該芯片含有SRIO接口，支持1x、2x和4x鏈路。光電轉換模塊選用FCBG410QB1C10，它包含4條鏈路，帶寬可達40Gb/s.故而測試電路板的硬件設計符合本測試對數據傳輸速率的要求。

　　圖1測試電路板模塊結構和鏈路連接圖

　　圖2測試電路板實物圖

　　如圖3所示，將測試電路板插入服務器主板的PCIe插槽中，并將光纖接入測試電路板，完成測試平臺的搭建。本測試中，PCI Express 2.0協議用于實現FPGA與服務器的數據通信，Serial RapidIO 2.0協議用于實現FPGA與DSP的數據通信，Aurora 8B/10B協議用于實現FPGA的光纖自發自收通信。由于三種協議都在物理層進行8B/10B編碼，故在本測試工作模式下，它們的極限速率均為

　　圖3測試平臺搭建

　　3 AURORA 8B/10B通信測試

　　Aurora 8B/10B協議是Xilinx公司針對高速傳輸開發的一種可裁剪的輕量級鏈路層協議，通過一條或多條串行鏈路實現兩設備間的數據傳輸。協議Aurora協議可以支持流和幀兩種數據傳輸模式，以及全雙工、單工等數據通信方式。

　　本測試中，Aurora 8B/10B IP核配置為雙工、流模式，參考時鐘頻率250MHz.

　　使用ChipScope軟件觀察FPGA相關信號如圖4所示。觀察RX_SRC_RDY_N可以發現，平均每4992周期出現7個周期的數據無效信號。由于接收數據時鐘頻率為250MHz，數據位寬為64bit，故本測試中，Aurora 8B/10B協議單向傳輸速率為，

　　圖4 Aurora 8B/10B協議通信測試信號波形

　　下面分析協議理論傳輸速率和實際通信效率。該協議的幀格式比較簡單，除2字節的起始標志，2字節終止標志和至多1字節的填裝字符外，其余為數據部分。本測試采用的流模式是以無結尾的幀方式實現。故協議除8B/10B編碼外，基本上不存在其他開銷。故根據(1)式可得，協議的理論速率為2.0GB/s，協議的實際通信效率為99.75%.

　　4 PCI Express 2.0通信測試

　　PCI Express(簡稱PCIe)總線技術是取代PCI的第三代I/O技術。PCIe采用串行點對點互連，允許每個設備擁有專屬的一條連接，不爭奪帶寬資源，同時保證了數據的完整性。PCI Express 2.0協議的鏈路線速率達到5Gb/s，最高支持32x鏈路。

　　本測試中，PCIe 2.0通信測試通過FPGA對服務器內存的DMA讀/寫操作來實現。

　　服務器方面，本測試選用Windriver軟件進行PCIe驅動程序的開發。利用該軟件提供的PCIe驅動程序及用戶接口函數，編寫符合本測試功能需求的程序。

　　FPGA方面，本測試通過設計用戶模塊，實現對PCIe IP核的控制，完成DMA讀/寫操作。FPGA模塊結構如圖5所示。

　　圖5 PCIe 2.0通信測試FPGA模塊結構　　為便于服務器對測試電路板FPGA進行控制，在FPGA的PCIe存儲空間模塊中，定義了若干控制/狀態寄存器，這些寄存器的作用有：DMA讀/寫初始化，控制DMA讀/寫的啟動與停止，標志一次DMA傳輸是否完成，設置一次DMA傳輸的數據量等。

　　服務器通過PCIe接口對測試板FPGA控制/狀態寄存器進行讀/寫操作，來控制DMA的進程。每次DMA完成后，處理板FPGA會向服務器CPU發送一次中斷。服務器對測試電路板FPGA DMA傳輸的控制流程如圖6所示。

　　圖6 PCIe 2.0 DMA傳輸控制流程圖

　　本測試將TLP包載荷數設為256Bytes(IP核允許的最大值)，每次DMA傳輸的TLP包的數量為16384，故每次DMA傳輸的數據量為4MB.使用ChipScope軟件觀察FPGA內部的PCIe 2.0 DMA讀/寫相關信號，如圖7，圖8所示。本測試開發了PCIe讀寫功能測試軟件，實現PCIe傳輸數據量和傳輸速率的實時顯示。傳輸速率通過1s內DMA傳輸完成的次數來計算。測試結果如圖9(a)、(b)所示。PCIe 2.0 DMA讀的數據傳輸速率為1.770GB/s，DMA寫的數據傳輸速率為1.820GB/s.

　　圖7 PCIe 2.0 DMA讀測試信號波形

　　圖8 PCIe 2.0 DMA寫測試信號波形

　　圖9 PCIe 2.0 DMA讀寫速率測試結果(a)DMA讀測試(b)DMA寫測試

　　下面分析并計算本測試條件下PCIe 2.0 DMA讀/寫的理論傳輸速率和實際通信效率。

　　PCIe 2.0協議主要開銷為8B/10B編碼開銷和數據包傳送開銷。PCIe總線以包的形式在不同器件之間交換信息。數據在進入處理層后會被封裝一個包頭，該包頭長度在32bit地址下為12字節(本測試采用32bit地址)。當數據包進入數據鏈路層后，會添加2字節的序列號和4字節的LCRC字段。數據包進入物理層后，使用1字節的開始字符和1字節的結束字符將其封裝成幀。

　　在DMA寫測試中，FPGA每發送一次存儲器寫報文(含256字節數據)會帶來20字節的額外開銷。在DMA讀測試中，FPGA向服務器發送存儲器讀報文，并由服務器返回完成報文(含256字節數據)。每返回一次完成報文會帶來20字節的額外開銷。由于PCIe 2.0定義了流量控制緩存管理機制，允許服務器返回完成報文的同時接收FPGA發來的存儲器讀報文，故DMA讀測試中可忽略FPGA發送存儲器讀報文帶來的開銷。

　　故PCIe 2.0 DMA讀/寫的理論速率相同，均為

　　5 Serial RapidIO 2.0通信測試

　　RapidIO是針對嵌入式系統芯片間和板間互連而設計的一種開放式的基于包交換的高速串行標準，已在電信、國防等行業大量使用。

　　Serial RapidIO(簡稱SRIO)是物理層采用串行差分模擬信號傳輸的RapidIO標準。SRIO 2.0協議性能進一步增強，鏈路線速率可達6.25Gb/s，在電氣層支持熱插拔，并新添了控制符號和空閑模式功能。

　　本測試以測試電路板FPGA作為發起端，以測試電路板DSP作為目標端。通過FPGA向DSP發送SWRITE包，進行SRIO 2.0寫測試，通過FPGA向DSP發送NREAD包，DSP向FPGA返回RESPONSE包，進行SRIO 2.0讀測試。