淺談基于IP網絡的H.264關鍵技術及其應用

一、前言
　　
H.264是ITU-T最新的視頻編碼標準，被稱作ISO/IEC14496-10或MPEG-4 AVC，是由運動圖像專家組(MPEG)和ITU的視頻編碼專家組共同開發的新產品。
　　
H.264分兩層結構，包括視頻編碼層和網絡適配層。視頻編碼層處理的是塊、宏塊和片的數據，并盡量做到與網絡層獨立，這是視頻編碼的核心，其中包含許多實現錯誤恢復的工具；網絡適配層處理的是片結構以上的數據，使 H.264能夠在基于RTP/UDP/IP、H.323/M、MPEG-2傳輸和H.320協議的網絡中使用。

二、 IP網絡對視頻壓縮的限制

1. H.264的應用場合
　　
在討論基于IP的H.264之前，有必要先闡述一下H.264與IP網絡有關的應用場合及其對傳輸和編解碼器的要求。下面介紹對話應用、下載服務和流媒體應用三種場合。
　　
對話應用，比如像視頻電話和視頻會議，有嚴格的時延限制，要求端到端時延小于1s，最好小于100ms。編解碼器的參數能實時調整，錯誤恢復機制要根據實際網絡變化而改變。編解碼的復雜度不能很高，比如雙向預測的模式就不能被采用。
　　
下載服務，可使用可靠的傳輸協議如FTP和HTTP將數據全部傳輸。由于這種應用的非實時性，編碼器可以通過優化進行高效編碼，而且對時延和錯誤恢復機制沒有要求。
　　
流媒體服務應用，對時延要求介于上面兩者之間，初始化時延是10s以內。與實時編碼相比對時延要求降低，編碼器可以進行優化實現高效編碼(比如雙向預測)。然而通常流媒體服務使用不可靠的傳輸協議，所以編碼時要進行差錯控制并進行信道糾錯編碼。
　　
本文主要討論對話應用和流媒體應用，這兩種應用基于IP網絡。IP網絡又可分為三種類型：不可控IP網絡(如Internet)、可控IP網絡(廣域網) 和無線IP網絡(如3G網絡)。這三種IP網絡有不同的最大傳輸單元尺寸(MTUsize)、比特出錯概率和TCP使用標記。最大傳輸單元尺寸是網絡層最大的分組長度，H.264編碼時要使片的長度小于MTU尺寸，這樣可避免在網絡層再進行一次數據的分割。兩個IP節點之間的MTU尺寸是動態變化的，通常假定有線IP網絡的MTU尺寸是1.5千字節，無線網絡的MTU尺寸是100字節?？梢娨m用于無線網絡的H.264必須采用數據分割技術使得片的長度小于MTU尺寸。TCP傳輸控制協議能夠解決網絡擁塞引起的分組丟失問題，而在無線網絡中，分組丟失是由于鏈路層錯誤引起的，TCP并非很好的解決辦法，要采用差錯控制協議。

2. H.264使用的協議環境
　　
對話應用和流媒體應用使用同一協議組，下面進行討論。
　　
網絡層協議：使用IP(網際協議)。每個IP分組單獨從發方出發，經過一系列的路由器到達收方。IP將大于MTU尺寸的分組進行數據分割、重組。每個分組的傳輸時間都有所不同。IP頭20個字節由校驗碼來保證，但數據沒有保護。IP分組最大值為64千字節，但由于MTU尺寸的限制，一般沒有這么大。
　　
傳輸層協議：主要有兩個協議，TCP和UDP。TCP提供面向字節的可靠傳輸服務，以重傳和超時等機制作為差錯控制的基礎。由于對時延的不可預測，并不適用于實時通信傳輸。UDP提供不可靠的數據報傳輸業務。UDP頭包含的校驗數(8字節)可以發現和去掉含有比特錯誤的分組。UDP允許分組傳輸過程中出現丟失、復制、改序等。使用UDP協議時，高層必須使用錯誤恢復協議。
　　
應用層傳輸協議：使用RTP(實時傳輸協議)。該協議和IP/UDP結合使用，是面向會話的協議。每個RTP分組包含RTP頭標，載荷頭標(可選)和載荷本身。RTP頭標的內容見圖1，基本選項占用12字節，標記位標記有同一時間戳的一組分組的結束。RTP協議使發送方將數據分為大小合理的分組，并將解碼方觀察到的網絡特征反饋給發送方，使發送方可以動態調整比特率和抗誤碼機制。RTP分組和RTP載荷規范在第四部分討論。

應用層控制協議：有H.245協議、SIP和SDP，或RTSP。這些協議可以實現流媒體的控制，收發方的協商和控制動態會話層。

三、H.264的錯誤恢復工具

錯誤恢復的工具隨著視頻壓縮編碼技術的提高在不斷改進。舊的標準(H.261、H263、MPEG-2的第二部分)中，使用片和宏塊組的劃分、幀內編碼宏塊、幀內編碼片和幀內編碼圖像來防止錯誤的擴散。之后改進的標準(H.263+、MPEG-4)中，使用多幀參考和數據分割技術來恢復錯誤。

H.264標準在以前的基礎上提出了三種關鍵技術：(1)參數集合，(2) 靈活的宏塊次序(FMO)，(3)冗余片(RS)來進行錯誤的恢復。

1. 幀內編碼

H.264中幀內編碼的技術和以前標準一樣，值得注意的是：

(1)H.264中的幀內預測編碼宏塊的參考宏塊可以是幀間編碼宏塊，幀內預測宏塊并不像H.263中的幀內編碼一樣，而采用預測的幀內編碼比非預測的幀內編碼有更好的編碼效率，但減少了幀內編碼的重同步性能，可以通過設置限制幀內預測標記來恢復這一性能。