MPEG-1和-2 Video標(biāo)準(zhǔn)有許多共同之處，基本概念類似，數(shù)據(jù)壓縮編碼方法基本相同，都采用以圖像塊作為基本單元進(jìn)行變換、量化和移動補(bǔ)償?shù)燃夹g(shù)來獲得高壓縮比。MPEG-4 Video部分采用內(nèi)容基編碼技術(shù)，它除與MPEG-1和-2 Video向后兼容外，還引入了電視圖像對象(VO)的概念，在某些應(yīng)用場合下，對場景中的圖像分別進(jìn)行編碼可以獲得很高的壓縮比而服務(wù)質(zhì)量也能滿足要求。下面將簡要介紹這些標(biāo)準(zhǔn)中壓縮電視圖像數(shù)據(jù)的基本方法。

10.1 電視圖像的數(shù)據(jù)率

10.1.1 ITU-R BT.601標(biāo)準(zhǔn)數(shù)據(jù)率

　　按照奈奎斯特(Nyquist)采樣理論，模擬電視信號經(jīng)過采樣(把連續(xù)的時(shí)間信號變成離散的時(shí)間信號)和量化(把連續(xù)的幅度變成離散的幅度信號)之后，數(shù)字電視信號的數(shù)據(jù)量大得驚人，當(dāng)前的存儲器和網(wǎng)絡(luò)都還沒有足夠的能力支持這種數(shù)據(jù)傳輸率，因此就要對數(shù)字電視信號進(jìn)行壓縮。
　　為了在PAL、NTSC和SECAM彩色電視制之間確定一個(gè)共同的數(shù)字化參數(shù)，早在1982年國際無線電咨詢委員會(CCIR)就制定了演播室質(zhì)量的數(shù)字電視編碼標(biāo)準(zhǔn)，這就是非常有名的ITU-R BT.601標(biāo)準(zhǔn)。按照這個(gè)標(biāo)準(zhǔn)，使用4:2:2的采樣格式，亮度信號Y的采樣頻率選擇為13.5 MHz/s，而色差信號Cr和Cb的采樣頻率選擇為6.75 MHz/s，在傳輸數(shù)字電視信號通道上的數(shù)據(jù)傳輸率就達(dá)到為270 Mb/s(兆比特/秒)！，即
　　亮度(Y):
　　　858樣本/行×525行/幀×30幀/秒×10比特/樣本 ≌ 135兆比特/秒(NTSC)
　　　864樣本/行×625行/幀×25幀/秒×10比特/樣本 ≌ 135兆比特/秒(PAL)
　　Cr (R-Y):
　　　429樣本/行×525行/幀×30幀/秒×10比特/樣本 ≌ 68兆比特/秒(NTSC)
　　　429樣本/行×625行/幀×25幀/秒×10比特/樣本 ≌ 68兆比特/秒(PAL)
　　Cb (B-Y):
　　　429樣本/行×525行/幀×30幀/秒×10比特/樣本 ≌ 68兆比特/秒(NTSC)
　　　429樣本/行×625行/幀×25幀/秒×10比特/樣本 ≌ 68兆比特/秒(PAL)
　　總計(jì): 27兆樣本/秒×10比特/樣本 = 270兆比特/秒
　　實(shí)際上，在熒光屏上顯示出來的有效圖像的數(shù)據(jù)傳輸率并沒有那么高，
　　　亮度(Y)： 720×480×30×10 ≌ 104 Mb/s (NTSC)
　　　　　　　　720×576×25×10 ≌ 104 Mb/s (PAL)
　　　色差(Cr，Cb)：2×360×480×30×10 ≌ 104 Mb/s (NTSC)
　　　　　　　　　　2×360×576×25×10 ≌ 104 Mb/s (PAL)
　　　總計(jì): ～ 207 Mb/s
　　如果每個(gè)樣本的采樣精度由10比特降為8比特，彩色數(shù)字電視信號的數(shù)據(jù)傳輸率就降為166 Mb/s。

10.1.2 電視圖像數(shù)據(jù)率的估算

　　如果考慮使用Video-CD存儲器來存儲數(shù)字電視，由于它的數(shù)據(jù)傳輸率可達(dá)到1.4112 Mb/s，分配給電視信號的數(shù)據(jù)傳輸率為1.15 Mb/s，這就意味MPEG電視編碼器的輸出數(shù)據(jù)率要達(dá)到1.15 Mb/s。顯而易見，如果存儲166 Mb/s的數(shù)字電視信號就需要對它進(jìn)行高度壓縮，壓縮比高達(dá)166/1.15 ≌ 144:1。
　　MPEG-1電視圖像壓縮技術(shù)不能達(dá)到這樣高的壓縮比。為此首先把NTSC和PAL數(shù)字電視轉(zhuǎn)換成公用中分辨率格式CIF(Common Intermediate Format)的數(shù)字電視，這種格式相當(dāng)于VHS(Video Home System)的質(zhì)量，于是彩色數(shù)字電視的數(shù)據(jù)傳輸率就減小到
　　　　352×240×30×8×1.5 ≌ 30 Mb/s (NTSC)
　　　　352×288×25×8×1.5 ≌ 30 Mb/s (PAL)。
　　把這種彩色電視信號存儲到CD盤上所需要的壓縮比為：30/1.15 ≌ 26:1。這就是MPEG-1技術(shù)所能獲得的壓縮比。

10.1.3 電視圖像數(shù)據(jù)率的估算

　　根據(jù)當(dāng)前成熟的壓縮技術(shù)，電視圖像的數(shù)據(jù)率壓縮成平均為3.5 Mb/s ～ 4.7 Mb/s時(shí)非專家難于區(qū)分電視圖像在壓縮前后的之間差別。如果使用DVD-Video存儲器來存儲數(shù)字電視，它的數(shù)據(jù)傳輸率雖然可以達(dá)到10.08 Mb/s，但一張4.7 GB的單面單層DVD盤要存放133分鐘的電視節(jié)目，按照數(shù)字電視信號的平均數(shù)據(jù)傳輸率為4.1 Mb/s來計(jì)算，壓縮比要達(dá)到：166/4.10 ≌ 40:1。
　　如果電視圖像的子采樣使用4:2:0格式，每個(gè)樣本的精度為8比特，數(shù)字電視信號的數(shù)據(jù)傳輸率就減小到124 Mb/s，即
　　　　720×480×30×8×1.5 ≌ 124 Mb/s (NTSC)
　　　　720×576×25×8×1.5 ≌ 124 Mb/s (PAL)
　　使用DVD-Video來存儲720×480×30或者720×576×25的數(shù)字電視圖像所需要的壓縮比為：124/4.1 ≌ 30:1。

10.2 數(shù)據(jù)壓縮算法

10.2.1 簡介

　　電視圖像數(shù)據(jù)壓縮利用的各種特性和采用的方法歸納在表10-1中。從表中可以看到，電視圖像本身在時(shí)間上和空間上都含有許多冗余信息，圖像自身的構(gòu)造也有冗余性。此外，正如前面所介紹的，利用人的視覺特性也可對圖像進(jìn)行壓縮，這叫做視覺冗余。

表10-1 電視圖像壓縮利用的各種冗余信息

　　MPEG-Video圖像壓縮技術(shù)基本方法和方法可以歸納成兩個(gè)要點(diǎn)：
　?、?在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG(Joint Photographic Experts Group)壓縮算法來去掉冗余信息。
　?、?在時(shí)間方向上，圖像數(shù)據(jù)壓縮采用移動補(bǔ)償(motion compensation)算法來去掉冗余信息。
　　為了在保證圖像質(zhì)量基本不降低而又能夠獲得高的壓縮比，MPEG專家組定義了三種圖像：幀內(nèi)圖像I(intra)，預(yù)測圖像P(predicted)和雙向預(yù)測圖像B(bidirectionally interpolated )，典型的排列如圖10-01所示。這三種圖像將采用三種不同的算法進(jìn)行壓縮。

圖10-01 MPEG專家組定義的三種圖像

10.2.2 幀內(nèi)圖像I的壓縮編碼算法

　　幀內(nèi)圖像I不參照任何過去的或者將來的其他圖像幀，壓縮編碼采用類似JPEG壓縮算法，它的框圖如圖10-02所示。如果電視圖像是用RGB空間表示的，則首先把它轉(zhuǎn)換成YCrCb空間表示的圖像。每個(gè)圖像平面分成8×8的圖塊，對每個(gè)圖塊進(jìn)行離散余弦變換DCT(discrete Cosine Transform)。DCT變換后經(jīng)過量化的交流分量系數(shù)按照Zig-zag的形狀排序，然后再使用無損壓縮技術(shù)進(jìn)行編碼。DCT變換后經(jīng)過量化的直流分量系數(shù)用差分脈沖編碼DPCM(DifferentialPulse Code Modulation)，交流分量系數(shù)用行程長度編碼RLE(run-length encoding)，然后再用霍夫曼(Huffman)編碼或者用算術(shù)編碼。它的編碼框圖如圖10-2所示。

圖10-02 幀內(nèi)圖像I的壓縮編碼算法框圖
(引自Simon Fraser University School of Computing Science, Dr. Ze-Nian Li,
http://fas./cs/undergrad/CourseMaterials/CMPT365/material/notes/contents.html)

10.2.3 預(yù)測圖像P的壓縮編碼算法

　　預(yù)測圖像的編碼也是以圖像宏塊(macroblock)為基本編碼單元，一個(gè)宏塊定義為I×J像素的圖像塊，一般取16×16。預(yù)測圖像P使用兩種類型的參數(shù)來表示：一種參數(shù)是當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值，另一種參數(shù)是宏塊的移動矢量。移動矢量的概念可用圖10-03表示。

圖10-03 移動矢量的概念

　　求解差值的方法如圖10-04所示。假設(shè)編碼圖像宏塊MPI是參考圖像宏塊MRJ的最佳匹配塊，它們的差值就是這兩個(gè)宏塊中相應(yīng)像素值之差。對所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)，Cr和Cb分量值，然后仿照J(rèn)PEG壓縮算法對差值進(jìn)行編碼，計(jì)算出的移動矢量也要進(jìn)行霍夫曼編碼。

圖10-04 預(yù)測圖像P的壓縮編碼算法框圖

　　求解移動矢量的方法定義在圖10-05中。在求兩個(gè)宏塊差值之前，需要找出編碼圖像中的預(yù)測圖像編碼宏塊MPI相對于參考圖像中的參考宏塊MRJ所移動的距離和方向，這就是移動矢量(motion vector)。

圖10-5 移動矢量的算法框圖

　　要使預(yù)測圖像更精度，就要求找到與參考宏塊MRJ最佳匹配的預(yù)測圖像編碼宏塊MPI。所謂最佳匹配是指這兩個(gè)宏塊之間的差值最小。通常以絕對值A(chǔ)E(absolute difference)最小作為匹配判據(jù)，
　　　， (i＝j＝16)
　　有些學(xué)者提出了以均方誤差MSE(mean-square error)最小作為匹配判據(jù)，
　　　， (i＝j＝16)
　　也有些學(xué)者提出以平均絕對幀差MAD(mean of the absolute frame difference)最小作為匹配判據(jù)，
　　　， (i＝j＝16)
其中，dx和dy分別是參考宏塊MRJ的移動矢量d(dx,dy)在X和Y方向上的矢量。
　　從以上分析可知，對預(yù)測圖像的編碼實(shí)際上就是尋找最佳匹配圖像宏塊，找到最佳宏塊之后就找到了最佳移動矢量d(dx,dy)。
　　為減少搜索次數(shù)，現(xiàn)在已開發(fā)出許多簡化算法用來尋找最佳宏塊，下面介紹其中的三種。
　　1. 二維對數(shù)搜索法(2D-logarithmic search)
　　這種方法采用的匹配判據(jù)是MSE為最小。它的搜索策略是當(dāng)沿著最小失真方向搜索。二維對數(shù)搜索方法如圖10-06所示。在搜索時(shí)，每移動一次就檢查5個(gè)搜索點(diǎn)。如果最小失真在中央或在邊界，就減少搜索點(diǎn)之間的距離。在這個(gè)例子中，步驟1，2，…，5得到的近似移動矢量d為(i，j-2)、(i，j-4)、(i+2，j-4)、(i+2，j-5)和(i+2，j-6)，最后得到的移動矢量為d(i+2，j-6)。

圖10-06 二維對數(shù)搜索法

　　2. 三步搜索法(three-step search)
　　這種搜索法與二維對數(shù)搜索法很接近。不過在開始搜索時(shí)，搜索點(diǎn)離(i，j)這個(gè)中心點(diǎn)很遠(yuǎn)，第一步就測試8個(gè)搜索點(diǎn)，如圖10-07所示。在這個(gè)例子中，點(diǎn)(i+3，j-3)作為第一個(gè)近似的移動矢量d1；第二步，搜索點(diǎn)偏離(i+3，j-3)較近，找到的點(diǎn)假定為(i+3，j-5)；第三步給出了最后的移動矢量為d(i+2，j-6)。本例采用MAD作為匹配判據(jù)。

圖10-07 三步搜索法

　　3. 對偶搜索法(conjugate search)
　　這是一個(gè)很有效的搜索方法，該法使用MAD作為匹配判據(jù)，示于圖10-08。在第一次搜索時(shí)，通過計(jì)算點(diǎn)(i-1，j)、(i，j)和(i+1，j)處的MAD值來決定i方向上的最小失真。如果計(jì)算結(jié)果表明點(diǎn)(i+1，j)處的MAD為最小，就計(jì)算點(diǎn)(i+2，j)處的MAD，并從(i，j)，(i+1，j)和(i+2，j)的MAD中找出最小值。按這種方法一直進(jìn)行下去，直到在i方向上找到最小MAD值及其對應(yīng)的點(diǎn)。
　　在這個(gè)例子中，假定在i方向上找到的點(diǎn)為(i+2，j)。在i方向上找到最小MAD值對應(yīng)的點(diǎn)之后，就沿j方向去找最小MAD值對應(yīng)的點(diǎn)，方法與i方向的搜索方法相同。最后得到的移動矢量為d(i+2，j-6)。

圖10-08 對偶搜索法

　　在整個(gè)MPEG圖像壓縮過程中，尋找最佳匹配宏塊要占據(jù)相當(dāng)多的計(jì)算時(shí)間，匹配得越好，重構(gòu)的圖像質(zhì)量越高。

10.2.4 雙向預(yù)測圖像B的壓縮編碼算法

　　雙向預(yù)測圖像B的壓縮編碼框圖如圖10-09所示。具體計(jì)算方法與預(yù)測圖像P的算法類似，這里不再重復(fù)。

圖10-09 雙向預(yù)測圖像B的壓縮編碼算法框圖[5]

10.2.5 電視圖像的結(jié)構(gòu)

　　MPEG編碼器算法允許選擇I圖像的頻率和位置。I圖像的頻率是指每秒鐘出現(xiàn)I圖像的次數(shù)，位置是指時(shí)間方向上幀所在的位置。一般情況下，I圖像的頻率為2。MPEG編碼器也允許在一對I圖像或者P圖像之間選擇B圖像的數(shù)目。I圖像、P圖像和B圖像數(shù)目的選擇依據(jù)主要是根節(jié)目的內(nèi)容。例如，對于快速運(yùn)動的圖像，I圖像的頻率可以選擇高一些，B圖像的數(shù)目可以選擇少一點(diǎn)；對于滿速運(yùn)動的圖像I圖像的頻率可以低一點(diǎn)，而B圖像的數(shù)目可以選擇多一點(diǎn)。此外，在實(shí)際應(yīng)用中還要考慮媒體的速率。
　　一個(gè)典型的I、P、B圖像安排如圖10－10所示。編碼參數(shù)為：幀內(nèi)圖像I的距離為N=15，預(yù)測圖像(P)的距離為M=3。

圖10-10 MPEG電視幀編排

　　I、P和B圖像壓縮后的大小如表10-02所示，單位為比特。從表中可以看到，I幀圖像的數(shù)據(jù)量最大，而B幀圖像的數(shù)據(jù)量最小。

表10-2 MPEG三種圖像的壓縮后的典型值(比特)

10.3 MPEG-2的配置和等級

　　在MPEG-2標(biāo)準(zhǔn)化階段，考慮到要適應(yīng)不同數(shù)據(jù)速率設(shè)備的應(yīng)用，MPEG專家組定義了三種質(zhì)量不同的編碼方式：信噪比可變性(Signal-to-Noise Scalability)，空間分辨率可變性(Spatial Scalability)和時(shí)間分辨率可變性(Temporal Scalability)。
　　信噪比可變性SNR(Signal-to-Noise scalability)是指圖像質(zhì)量的折中，對于數(shù)據(jù)率比較低的解碼器使用比較低的信噪比，而對數(shù)據(jù)率比較高的解碼器則使用比較高的信噪比；空間分辨率可變性(Spatial scalability)是指圖像的空間分辨率的折中，對于低速率的接受器使用比較低的圖像分辨率，而對于數(shù)據(jù)率比較高的接受器使用比較高的圖像分辨率；時(shí)間分辨率可變性(Temporal Scalability)是指圖像在時(shí)間方向上分辨率的折中，與空間分辨率類似。
　　MPEG-2為此引入了“配置(Profiles)”和參數(shù)“等級(Levels)”的概念。每種配置定義一套新的算法，而每一個(gè)等級指定一套參數(shù)范圍(如圖像大小、幀速率和位速率)。MPEG-2規(guī)定的配置規(guī)格如表10-03所示，等級規(guī)格如表10-04所示。

表10-03 MPEG-2的配置

表10-04 MPEG-2的等級

　　由配置(profile)和參數(shù)等級(level)組合起來的MPEG-2所支持的各種電視規(guī)格如表10-05所示。前者定義質(zhì)量的可變性(scalability)和彩色空間分辨率的句法子集，后者定義圖像分辨率和每種配置的最大位速率的參數(shù)集。例如，當(dāng)前使用得最普遍的描述符是MP@ML (Main Profile, Main Level)，可譯成“基本配置@基本級電視”或者“基本句法子集@基本參數(shù)級”，它指的是具有這種特性的電視：幀速率為30幀/秒，分辨率為720×576×30，子采樣格式為4:2:0，位速率達(dá)15 Mb/s。MPEG-2標(biāo)準(zhǔn)期待大多數(shù)MPEG-2設(shè)備都能夠支持這種電視。又如，MP@HL (Main Profile, High Level)描述符指的是幀速率為30幀/秒、分辨率為1920×1152×60、子采樣格式為4:2:0、位速率達(dá)80 Mb/s的HDTV制電視。

表10-05 MPEG-2配置等級和參數(shù)級

10.4 MPEG-4電視圖像編碼

　　MPEG Video專家組建立了一個(gè)用來開發(fā)圖像和電視圖像編碼技術(shù)的模型，叫做“試驗(yàn)?zāi)Ｐ?Test Model)”或者叫做“驗(yàn)證模型(VM—Verification Model)”。這個(gè)模型描述了一個(gè)核心的編碼算法平臺，包括編碼器、解碼器以及位流(bitstream)的語法和語義。本節(jié)就電視圖像的編碼和解碼的基本方法作一個(gè)簡單介紹，其他內(nèi)容請看本章所附的參考文獻(xiàn)和站點(diǎn)。

10.4.1 電視圖像對象區(qū)的概念

　　MPEG-4 Video編碼算法支持由MPEG-1和MPEG-2提供的所有功能，包括對各種輸入格式下的標(biāo)準(zhǔn)矩形圖像、幀速率、位速率和隔行掃描圖像源的支持。MPEG-4 Video算法的核心是支持內(nèi)容基(content-based)的編碼和解碼功能，也就是對場景中使用分割算法抽取的單獨(dú)的物理對象進(jìn)行編碼和解碼。MPEG-4 Video還提供管理這些電視內(nèi)容的最基本方法。
　　為了實(shí)現(xiàn)預(yù)想的內(nèi)容基交互等功能，MPEG-4 Video驗(yàn)證模型引進(jìn)了一個(gè)叫做“電視圖像對象區(qū)(Video Object Plane，VOP)”的概念。如圖10-11所示，上圖表示支持MPEG-1和MPEG-2的普通的MPEG-4編碼器，下圖表示MPEG-4的甚低速率電視圖像(Very Low Bitrate Video，VLVB)的核心編碼器。MPEG-4 Video驗(yàn)證模型不像MPEG-1/-2 Video那樣把電視圖像都認(rèn)為是一個(gè)矩形區(qū)，而是假設(shè)每幀圖像被分割成許多任意形狀的圖像區(qū)，每個(gè)區(qū)都有可能覆蓋描述場景中感興趣的物理對象或者內(nèi)容，這種區(qū)被定義為圖像對象區(qū)VOP。

圖10-11 普通MPEG-4編碼器和MPEG-4 VLBV核心編碼器[6]

　　編碼器輸入的是任意形狀的圖像區(qū)，圖像區(qū)的形狀和位置也可隨幀的變化而改變。屬于相同物理對象的連續(xù)的電視圖像對象區(qū)(VOP)組成電視圖像對象(Video Objects，VO)。例如，一個(gè)沒有背景圖像的正在演講的人，如圖10-11所示。MPEG-4可單獨(dú)對屬于相同電視圖像對象(VO)的電視圖像區(qū)(VOP)的形狀、移動(motion)和紋理(texture)信息進(jìn)編碼和傳送，或者把它們編碼成一個(gè)單獨(dú)的電視圖像對象層(Video Object Layer，VOL)。此外，需要標(biāo)識每個(gè)電視圖像對象層(VOL)的信息也包含在編碼后的位流(bitstream)中，這些信息包括各種電視圖像對象層(VOL)的電視圖像在接收端應(yīng)該如何進(jìn)行組合，以便重構(gòu)完整的原始圖像序列。這樣就可以對每個(gè)電視圖像對象區(qū)(VOP)進(jìn)行單獨(dú)解碼，提供了管理電視圖像序列的靈活性。

10.4.2 電視圖像編碼方案

　　MPEG-4 Video驗(yàn)證模型對每個(gè)電視圖像對象(VO)的形狀、移動和紋理信息進(jìn)行編碼形成單獨(dú)的VOL層，以便能夠單獨(dú)對電視圖像對象(VO)進(jìn)行解碼。如果輸入圖像序列只包含標(biāo)準(zhǔn)的矩形圖像，就不需要形狀編碼，在這種情況下，MPEG-4 Video使用的編碼算法結(jié)構(gòu)也就與MPEG-1和MPEG-2使用的算法結(jié)構(gòu)相同。
　　MPEG-4 Video驗(yàn)證模型對每個(gè)電視圖像對象區(qū)(VOP)進(jìn)行編碼使用的壓縮算法是在MPEG-1和MPEG-2 Video標(biāo)準(zhǔn)的基礎(chǔ)上開發(fā)的，它也是以圖像塊為基礎(chǔ)的混合DPCM和變換編碼技術(shù)(hybrid DPCM/Transform coding)。MPEG-4編碼算法也定義了幀內(nèi)電視圖像對象區(qū)(Intra-Frame VOP，I-VOP)編碼方式和幀間電視圖像對象區(qū)預(yù)測(Inter-frame VOP prediction，簡寫為P-VOP)編碼方式，它也支持雙向預(yù)測電視圖像對象區(qū)(B-directionally predicted VOP，B-VOP)方式。在對電視圖像對象區(qū)(VOP)的形狀編碼之后，顏色圖像序列分割成宏塊進(jìn)行編碼，如圖10-12所示。圖中的Y1、Y2、Y3和Y4表示亮度宏塊，U、V分別表示紅色差和藍(lán)色差宏塊。

圖10-12 電視圖像序列中的I-VOP和P-VOP編碼方式和宏塊結(jié)構(gòu)

　　圖10-13描繪了MPEG-4 Video的編碼算法，用來對矩形和任意形狀的輸入圖像序列進(jìn)行編碼。這個(gè)基本編碼算法結(jié)構(gòu)圖包含了移動矢量(motion vector)的編碼，以及以離散余弦變換為基礎(chǔ)的紋理編碼。

圖10-13 MPEG-4 Video編碼器的算法方框圖[6]

　　MPEG-4采用內(nèi)容基編碼方法的一個(gè)重要優(yōu)點(diǎn)是，使用合適的和專門的對象基移動預(yù)測工具(object-based motion prediction tools)可以明顯提高場景中某些電視圖像對象的壓縮效率。
　　圖10-14表示MPEG-4對電視圖像序列進(jìn)行編碼的一個(gè)實(shí)際例子。左上角的圖是背景全景圖。右上角的圖是一個(gè)沒有背景的子圖像全景圖，可以把網(wǎng)球運(yùn)動員當(dāng)作是一個(gè)電視圖像對象(VO)，經(jīng)常把這種可以獨(dú)立移動的小圖像稱為子圖像(sprite)。下面的圖是接收端合成的全景圖。在編碼之前這個(gè)子圖像全景圖從背景全背景圖序列中抽出來，然后分別對它們進(jìn)行編碼、傳送和解碼，最后再合成。

圖10-14 MPEG-4電視序列編碼舉例[6]

10.4.3 電視圖像分辨率可變編碼

　　“電視圖像分辨率”是指電視圖像空間分辨率(spatial resolution)和時(shí)間分辨率(temporal resolution)。空間分辨率是指一幀圖像包含的行數(shù)與每行顯示的像素?cái)?shù)之乘積，而時(shí)間分辨率是指每秒種顯示或者傳輸?shù)膱D像幀數(shù)。設(shè)置電視圖像分辨率可變編碼功能的一個(gè)重要目的是為了能夠靈活支持性能不同(例如不同帶寬)的各種電視接收或顯示設(shè)備，或者支持要求瀏覽電視數(shù)據(jù)庫等方面的應(yīng)用。另一個(gè)目的是提供分層次的電視圖像數(shù)據(jù)位流，這樣可按應(yīng)用所要求的先后次序進(jìn)行傳輸。
　　MPEG-2也有電視圖像分辨率可變編碼功能，但它是以圖像的幀為基礎(chǔ)進(jìn)行編碼。而MPEG-4電視圖像分辨率可變編碼是以任意形狀的電視圖像對象區(qū)(VOP)為基礎(chǔ)進(jìn)行編碼。對那些沒有能力或者不愿意接收高分辨率圖像的接收器，它可以接收分辨率比較低的電視圖像，降低空間分辨率或者時(shí)間分辨率意味降低圖像的質(zhì)量。
　　空間分辨率可變性(Spatial Scalability)和時(shí)間分辨率可變性(Temporal Scalability)的實(shí)現(xiàn)方法類似。圖10-15描述了多種分辨率電視圖像編碼(multiscale video coding)方案。該方案提供三個(gè)層次的編碼/解碼，每一層都支持在不同空間分辨率下進(jìn)行編碼/解碼。從圖中可以看到，多種空間分辨率的實(shí)現(xiàn)是通過降低輸入電視信號的采樣率來獲得的。

圖10-15 VOP空間分辨率可變編碼方法[3]

10.5 HDTV格式

　　現(xiàn)在我們使用的電視格式再加上新制定的電視格式歸納在圖10-16中。圖中，K＝1024。px表示像素(pixel)。美國把1280×720格式稱為高級電視ATV(advanced television)，把1920×1035稱為高清晰度電視HDTV(high definition television)。

圖10-16 數(shù)字電視格式

　　1995年11月28日美國高級電視委員會(Advanced Television Systems Committee，ATSC)向FCC咨詢委員會(FCC Advisory Committee)提交了數(shù)字電視標(biāo)準(zhǔn)(Digital Television Standard)，并推薦作為高級電視廣播標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)的電視掃描格式如表10-06所示。

表10-06 電視掃描格式

　　* I表示隔行掃描；P表示非隔行掃描
　　** HDTV的長寬比為16:9； NTSC, PAL和SECAM為4:3
　　*** 支持整數(shù)和非整數(shù)幀速率(60.00, 59.94；30.00, 29.97；24.00, 23.98)
　　電視圖像壓縮以MPEG-2 Video標(biāo)準(zhǔn)為基礎(chǔ)，采樣基本型配置(Main Profile)，等級從基本級（Main Level)到高級(High Level)。聲音壓縮以AC-3系統(tǒng)為基礎(chǔ)，采樣頻率為48 kHz，支持5個(gè)環(huán)繞聲和1個(gè)超低頻聲道。該規(guī)格是1996年介紹的，由于近年來MPEG電視和聲音標(biāo)準(zhǔn)的研究已有新的進(jìn)展，因此該規(guī)格有可能在實(shí)行過程中會作修改。

練習(xí)與思考題

• 電視圖像數(shù)據(jù)壓縮的依據(jù)是什么？
• MPEG-1編碼器輸出的電視圖像的數(shù)據(jù)率大約是多少？
• MPEG專家組在制定MPEG-1/-2 Video標(biāo)準(zhǔn)時(shí)定義了哪幾種圖像？哪種圖像的壓縮率最高？哪種圖像的壓縮率最低？
• 有人認(rèn)為“圖像壓縮比越高越好”。你對這種說法有何看法？
• 有人說“MPEG-1編碼器的壓縮比大約是200:1”。這種說法對不對？為什么？
• 說明電視規(guī)格MP@ML和HP@HL各自的含義。
• 電視圖像的空間分辨率和時(shí)間分辨率是什么意思？

1. http://ee./～music/tutorials/mmbook/node31.html (瀏覽日期：1998年11月)
2. http://www./jfm/avi.html (瀏覽日期：1998年11月)
3. http://wwwam./mpeg-video/standards/ (瀏覽日期：1998年11月)
4. http://www./technology/mpeg.html (瀏覽日期：1998年11月)
5. http://fas./cs/undergrad/CourseMaterials/CMPT365/material/notes/contents.html(瀏覽日期1998年3月)
6. ISO/IEC JTC1/SC29/WG11 N2459. MPEG-4 Overview - (Atlantic City Version). October 1998/Atlantic City
7. Ming Liou. Overview of the p×64 Kbps Video Coding Standard. Communication of the ACM，Vol.34，No.4，Apr.1991
8. ISO/IEC. CD 11172，Coding of Moving Pictures and Associated Audio For Digital Storage Media at up to about 1.5 M b/s. 12/6/1991
9. Didier Le Gall. MPEG: A Video Compression Standard for Multimedia Applications. Communications of the ACM，Vol.34，No.4，Apr.1991
10. CCITT Recommendation. H.261，Video Codec for Audiovisual Service at p×64 b/s. Aug.1990