視頻編碼格式全面解析我們?cè)谠斀飧鞣N主流的視頻格式之前,先拋開各種視頻格式的定義,來討論這樣一件事情:你覺得目前的視頻格式編碼混亂嗎?相信這個(gè)問題問出來,許多、、不同知識(shí)層次的人有不同的思考,但是答案卻都有一個(gè)共同點(diǎn)就是:“混亂”。從我們?cè)诮佑|網(wǎng)絡(luò)上面看電影以來,就會(huì)遇到從原先我們熟知的RMVB格式的視頻到后來接觸的MP4、3GP等格式的視頻就會(huì)感到為什么同樣是AVI的視頻,我的MP4卻不支持,而別人的就可以呢?這里就涉及到了視頻編碼與封裝格式的問題。本文主要是針對(duì)視頻編碼進(jìn)行討論,以后會(huì)在下次為大家講解一下關(guān)于封裝格式的問題。 所謂視頻編碼方式就是指通過特定的壓縮技術(shù),將某個(gè)視頻格式的文件轉(zhuǎn)換成另 一種視頻格式文件的方式。目前視頻流傳輸中最為重要的編解碼標(biāo)準(zhǔn)有國(guó)際電聯(lián)的H.264,運(yùn)動(dòng)靜止圖像專家組的M-JPEG和國(guó)際標(biāo)準(zhǔn)化組織運(yùn)動(dòng)圖像專家 組的MPEG系列標(biāo)準(zhǔn),此外在互聯(lián)網(wǎng)上被廣泛應(yīng)用的還有Real-Networks的RealVideo、微軟公司的WMV以及Apple公司的 QuickTime等,到目前google力推的WebM格式都收到了我們的關(guān)注。以下我們會(huì)為大家就主流的視頻編碼做一下講解。
視頻國(guó)際標(biāo)準(zhǔn)化相關(guān)組織的的ISO和ITU-T 格式的統(tǒng)一肯定會(huì)極大地提高人們的生活的便利以及數(shù)據(jù)的傳播,為什么還會(huì)有如此繁多的視頻編碼的方式,難道就沒有專門機(jī)構(gòu)或者組織來管理一下嗎?帶著這些疑問我們認(rèn)識(shí)一下底下的兩個(gè)機(jī)構(gòu)。 ■ ITU-T ITU-T的中文名稱是國(guó)際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)化組織(ITU-T for ITU Telecommunication Standardization Sector), 它是國(guó)際電信聯(lián)盟管理下的專門制定遠(yuǎn)程通信相關(guān)國(guó)際標(biāo)準(zhǔn)的組織。由ITU-T指定的國(guó)際標(biāo)準(zhǔn)通常被稱為建議(Recommendations)。由于 ITU-T是ITU的一部分,而ITU是聯(lián)合國(guó)下屬的組織,所以由該組織提出的國(guó)際標(biāo)準(zhǔn)比起其它的組織提出的類似的技術(shù)規(guī)范更正式一些。 它制定的標(biāo)準(zhǔn)有H.261、H.263、H.263+等,目前流行最廣的,影響也是最大的H.264也有他的一份功勞。底下附上 H - 視頻音頻以及多媒體系統(tǒng)復(fù)合方法 ■ ISO 國(guó)際標(biāo)準(zhǔn)化組織(ISO)是由各國(guó)標(biāo)準(zhǔn)化團(tuán)體(ISO成員團(tuán)體)組成的世界性的聯(lián)合會(huì)。負(fù)責(zé)各種標(biāo)準(zhǔn)的制定,當(dāng)然也少不了關(guān)于視頻編碼方面的。它制定的標(biāo)準(zhǔn)有MPEG-1、MPEG-2、MPEG-4等。并且已經(jīng)制定出來了最新的MPEG-7,并且計(jì)劃公布MPEG-21。 國(guó)際標(biāo)準(zhǔn)化組織(ISO)制定的標(biāo)準(zhǔn)主要集中在MPEG系列。也就是由動(dòng)態(tài)的圖像專家組制定的一系列的標(biāo)準(zhǔn)。 由ISO下屬的MPEG運(yùn)動(dòng)圖象專家組開發(fā)視頻編碼方面主要是Mpeg1(vcd用的就是它)、Mpeg2(DVD使用)、Mpeg4(現(xiàn)在的DVDRIP使用的都是它的變種,如:divx,xvid等)、Mpeg4 AVC(現(xiàn)在正熱門也就是H.264) 了解一下這兩家機(jī)構(gòu)是我們了解視頻編碼之所以會(huì)對(duì)現(xiàn)在所采用的主流視頻的編碼有著重要的作用。正是這兩家機(jī)構(gòu)根據(jù)不同的時(shí)期對(duì)于視頻編碼的不斷地調(diào)整才使 得目前的視頻編碼看起來混亂的原因。其實(shí)本意是為了滿足目前互聯(lián)網(wǎng)的快速發(fā)展以及隨著電腦性能的提高做得調(diào)整,隨著時(shí)間的推移,可以預(yù)見的是短時(shí)間內(nèi)視頻 的編碼還是會(huì)多家并存,隨著google、微軟等巨頭的涌入,可能會(huì)在不久的將來也發(fā)生一定的變化。 國(guó)際標(biāo)準(zhǔn)化組織制定的MPEG-4ISO國(guó)際標(biāo)準(zhǔn)化組織制定的MPEG-4 MPEG 全稱是Moving Pictures Experts Group,它是“動(dòng)態(tài)圖象專家組”的英文縮寫,該專家組成立于1988年,致力于運(yùn)動(dòng)圖像及其伴音的壓縮編碼標(biāo)準(zhǔn)化工作,原先他們打算開發(fā)MPEG1、 MPEG2、MPEG3和MPEG4四個(gè)版本,以適用于不同帶寬和數(shù)字影像質(zhì)量的要求。 MPEG系列標(biāo)準(zhǔn)已成為國(guó)際上影響最大的多媒體技術(shù)標(biāo)準(zhǔn),其中MPEG-1和MPEG-2是采用以香農(nóng)信息論為基礎(chǔ)的預(yù)測(cè)編碼、變換編碼、熵編碼及運(yùn) 動(dòng)補(bǔ)償?shù)鹊谝淮鷶?shù)據(jù)壓縮編碼技術(shù);MPEG-4(ISO/IEC 14496)則是基于第二代壓縮編碼技術(shù)制定的國(guó)際標(biāo)準(zhǔn),它以視聽媒體對(duì)象為基本單元,采用基于內(nèi)容的壓縮編碼,以實(shí)現(xiàn)數(shù)字視音頻、圖形合成應(yīng)用及交互式 多媒體的集成。MPEG系列標(biāo)準(zhǔn)對(duì)VCD、DVD等視聽消費(fèi)電子及數(shù)字電視和高清晰度電視(DTV和HDTV)、多媒體通信等信息產(chǎn)業(yè)的發(fā)展產(chǎn)生了巨大而深遠(yuǎn)的影響。 MPEG1已經(jīng)在VCD上得到了廣泛的應(yīng)用,而MPEG2在DVD以及廣播電視上面得到了利用,而MPEG3最初是為HDTV開發(fā)的編碼和壓縮標(biāo)準(zhǔn),但由于MPEG2的出色性能表現(xiàn),MPEG3并沒有得到重用,只好在半路就被pass掉了。
MPEG-4于1999年初正式成為國(guó)際標(biāo)準(zhǔn)。它是一個(gè)適用于低傳輸速率應(yīng)用的方案。與MPEG1和MPEG2相比,MPEG4更加注重多媒體系統(tǒng)的交 互性和靈活性。MPEG-4(同時(shí)也是ISO/IEC 14496)的制訂并非只有動(dòng)態(tài)視頻的編解碼而已,其中還包括諸多的環(huán)節(jié)與項(xiàng)目,真正與視頻直接且密切相關(guān)的,其實(shí)就是MPEG-4 Part 2(也稱為MPEG-4 Visual)的部分,其余還有用于傳送時(shí)的整合架構(gòu)規(guī)范、文件格式、軟件規(guī)范、相關(guān)定義等。 MPEG1、MPEG2技術(shù)當(dāng)初制定時(shí),它們定位的標(biāo)準(zhǔn)均為高層媒體表示與結(jié)構(gòu),但隨著計(jì)算機(jī)軟件及網(wǎng)絡(luò)技術(shù)的快速發(fā)展,MPEG1.MPEG2技術(shù)的弊 端就顯示出來了:交互性及靈活性較低,壓縮的多媒體文件體積過于龐大,難以實(shí)現(xiàn)網(wǎng)絡(luò)的實(shí)時(shí)傳播。而MPEG4技術(shù)的標(biāo)準(zhǔn)是對(duì)運(yùn)動(dòng)圖像中的內(nèi)容進(jìn)行編碼,其 具體的編碼對(duì)象就是圖像中的音頻和視頻,術(shù)語(yǔ)稱為“AV對(duì)象”,而連續(xù)的AV對(duì)象組合在一起又可以形成AV場(chǎng)景。因此,MPEG4標(biāo)準(zhǔn)就是圍繞著AV對(duì)象 的編碼、存儲(chǔ)、傳輸和組合而制定的,高效率地編碼、組織、存儲(chǔ)、傳輸AV對(duì)象是MPEG4標(biāo)準(zhǔn)的基本內(nèi)容。AV對(duì)象(AVO,Audio Visual Object)是MPEG-4為支持基于內(nèi)容編碼而提出的重要概念。對(duì)象是指在一個(gè)場(chǎng)景中能夠訪問和操縱的實(shí)體,對(duì)象的劃分可根據(jù)其獨(dú)特的紋理、運(yùn)動(dòng)、形 狀、模型和高層語(yǔ)義為依據(jù)。在MPEG-4中所見的視音頻已不再是過去MPEG-1、MPEG-2中圖像幀的概念,而是一個(gè)個(gè)視聽場(chǎng)景(AV場(chǎng)景),這些 不同的AV場(chǎng)景由不同的AV對(duì)象組成。AV對(duì)象是聽覺、視覺、或者視聽內(nèi)容的表示單元,其基本單位是原始AV對(duì)象,它可以是自然的或合成的聲音、圖像。原 始AV對(duì)象具有高效編碼、高效存儲(chǔ)與傳輸以及可交互操作的特性,它又可進(jìn)一步組成復(fù)合AV對(duì)象。因此MPEG-4標(biāo)準(zhǔn)的基本內(nèi)容就是對(duì)AV對(duì)象進(jìn)行高效編 碼、組織、存儲(chǔ)與傳輸。AV對(duì)象的提出,使多媒體通信具有高度交互及高效編碼的能力,AV對(duì)象編碼就是MPEG-4的核心編碼技術(shù). 在視頻編碼方面,MPEG4支持對(duì)自然和合成的視覺對(duì)象的編碼。(合成的視覺對(duì)象包括2D、3D動(dòng)畫和人面部表情動(dòng)畫等)。在音頻編碼上,MPEG4可以在一組編碼工具支持下,對(duì)語(yǔ)音、音樂等自然聲音對(duì)象和具有回響、空間方位感的合成聲音對(duì)象進(jìn)行音頻編碼。 由于MPEG4只處理圖像幀與幀之間有差異的元素,而舍棄相同的元素,因此大大減少了合成多媒體文件的體積。應(yīng)用MPEG4技術(shù)的影音文件最顯著特點(diǎn)就是 壓縮率高且成像清晰,一般來說,一小時(shí)的影像可以被壓縮為350M左右的數(shù)據(jù),而一部高清晰度的DVD電影, 可以壓縮成兩張甚至一張650M CD光碟來存儲(chǔ)。 做一個(gè)對(duì)比就可以清楚地看到MPEG-4(part2)的優(yōu)點(diǎn),如果傳輸一個(gè)1920×1080的HD高分辨率、24fps(每秒更新24張畫面)傳輸頻 寬上MPEG-2需要12~20Mbps,相對(duì)的MPEG-4 SP(第二部分)只要10Mbps多點(diǎn),更直接地說,若將MPEG-2的頻寬視為基準(zhǔn)100%,MPEG-4 SP要達(dá)相同體驗(yàn)效果只需60%頻寬。 ■MPEG-4的技術(shù)特點(diǎn) MPEG-4則代表了基于模型/對(duì)象的第二代壓縮編碼技術(shù),它充分利用了人眼視覺特性,抓住了圖像信息傳輸?shù)谋举|(zhì),從輪廓、紋理思路出發(fā),支持基于視覺內(nèi)容的交互功能,這適應(yīng)了多媒體信息的應(yīng)用由播放型轉(zhuǎn)向基于內(nèi)容的訪問、檢索及操作的發(fā)展趨勢(shì)。 MPEG-4不僅可提供高壓縮率,同時(shí)也可實(shí)現(xiàn)更好的多媒體內(nèi)容互動(dòng)性及全方位的存取性,它采用開放的編碼系統(tǒng),可隨時(shí)加入新的編碼算法模塊,同時(shí)也可根據(jù)不同應(yīng)用需求現(xiàn)場(chǎng)配置解碼器,以支持多種多媒體應(yīng)用。 MPEG-4 采用了新一代視頻編碼技術(shù),它在視頻編碼發(fā)展史上第一次把編碼對(duì)象從圖像幀拓展到具有實(shí)際意義的任意形狀視頻對(duì)象,從而實(shí)現(xiàn)了從基于像素的傳統(tǒng)編碼向基于對(duì)象和內(nèi)容的現(xiàn)代編碼的轉(zhuǎn)變,因而引領(lǐng)著新一代智能圖像編碼的發(fā)展潮流。 MPEG-4作為新一代多媒體數(shù)據(jù)壓縮編碼的典型代表,它第一次提出了基于內(nèi)容、基于對(duì)象的壓縮編碼思想。它要求對(duì)自然或合成視聽對(duì)象作更多分析甚至是理解,這正是信息處理的高級(jí)階段,因而代表了現(xiàn)代數(shù)據(jù)壓縮編碼技術(shù)的發(fā)展方向。 MPEG-4實(shí)現(xiàn)了從矩形幀到VOP的轉(zhuǎn)變以及基于像素的傳統(tǒng)編碼向基于對(duì)象和內(nèi)容的現(xiàn)代編碼的轉(zhuǎn)變,這正體現(xiàn)了傳統(tǒng)視頻編碼與新一代視頻編碼的有機(jī)統(tǒng)一。基于內(nèi)容的交互性是MPEG-4的核心思想,這對(duì)于視頻編碼技術(shù)的發(fā)展方向及廣泛應(yīng)用都具有特別重要的意義。 目前的主流H.264■ 目前主流占優(yōu)勢(shì)的H.264 H.264 是由ITU-T 的VCEG(視頻編碼專家組)和ISO/IEC 的MPEG(活動(dòng)圖像編碼專家組)聯(lián)合組建的聯(lián)合視頻組(JVT:joint video team)提出的一個(gè)新的數(shù)字視頻編碼標(biāo)準(zhǔn),它既是ITU-T 的H.264,又是ISO/IEC 的MPEG-4 的第10 部分。而國(guó)內(nèi)業(yè)界通常所說的MPEG-4 是MPEG-4 的第2 部分。即: H.264=MPEG-4(第十部分,也叫ISO/IEC 14496-10)=MPEG-4 AVC 因此,不論是MPEG-4 AVC、MPEG-4 Part 10,還是ISO/IEC 14496-10,都是指H.264。H.264也是MPEG-4的一部分。 H.264標(biāo)準(zhǔn)從1998 年1 月份開始草案征集,到2003 年7 月,整套H.264 (ISO/IEC 14496-10)規(guī)范定稿。2005年1 月,MPEG 組織正式發(fā)布了H.264 驗(yàn)證報(bào)告,從各個(gè)方面論證了H.264 的可用性以及各種工具集的效果,從標(biāo)準(zhǔn)的角度,印證H.264 的成熟性。
關(guān)于該技術(shù)的視頻編碼方案,現(xiàn)在正式命名為ITU-T H.264或“JVT/AVC草案”。H.264/MPEG-4 AVC作為MPEG-4標(biāo)準(zhǔn)的擴(kuò)展(MPEG-4 Part 10),充分利用了現(xiàn)有MPEG-4標(biāo)準(zhǔn)中的各個(gè)環(huán)節(jié)。H.264/MPEG-4 AVC就在現(xiàn)有MPEG-4 Advanced Simple Profile的基礎(chǔ)之上進(jìn)行發(fā)展的。它即保留了以往壓縮技術(shù)的優(yōu)點(diǎn)和精華又具有其他壓縮技術(shù)無(wú)法比擬的許多優(yōu)點(diǎn)。 H.264的技術(shù)特點(diǎn): H.264 使圖像壓縮技術(shù)上升到了一個(gè)更高的階段,能夠在較低帶寬上提供高質(zhì)量的圖像傳輸,該優(yōu)點(diǎn)非常適合國(guó)內(nèi)運(yùn)營(yíng)商用戶量大、接入網(wǎng)/骨干網(wǎng)帶寬相對(duì)有限的狀況。 在同等的畫質(zhì)下,H.264 比上一代編碼標(biāo)準(zhǔn)MPEG2 平均節(jié)約64%的傳輸碼流,而比MPEG4 ASP 要平均節(jié)約39%的傳輸碼流。全球很多IPTV業(yè)務(wù)運(yùn)營(yíng)商都將H.264 作為編解碼格式的標(biāo)準(zhǔn),包括比利時(shí)電信,荷蘭KPN,泰國(guó)ADC 電信,中國(guó)電信等等。 根據(jù)中國(guó)電信上海研究院的實(shí)際測(cè)試結(jié)果表明:國(guó)內(nèi)普遍采用的MPEG-4 編碼技術(shù)在3Mbps 的帶寬下尚達(dá)不到標(biāo)清的圖像質(zhì)量,而H.264 編碼技術(shù)可以在2M 帶寬下提供要求的圖像效果。因而運(yùn)營(yíng)商希望引入更先進(jìn)的H.264 編碼技術(shù),在有限的帶寬資源下進(jìn)一步提高圖像質(zhì)量。其主要的特點(diǎn)是: 1.更高的編碼效率:同H.263等標(biāo)準(zhǔn)的特率效率相比,能夠平均節(jié)省大于50%的碼率。 技術(shù)上,它集中了以往標(biāo)準(zhǔn)的優(yōu)點(diǎn),并吸收了標(biāo)準(zhǔn)制定中積累的經(jīng)驗(yàn)。與H.263 v2(H.263+) 或MPEG-4簡(jiǎn)單類(Simple Profile)相比,H.264在使用與上述編碼方法類似的最佳編碼器時(shí),在大多數(shù)碼率下最多可節(jié)省50%的碼率。H.264在所有碼率下都能持續(xù)提供 較高的視頻質(zhì)量。H.264能工作在低延時(shí)模式以適應(yīng)實(shí)時(shí)通信的應(yīng)用(如視頻會(huì)議),同時(shí)又能很好地工作在沒有延時(shí)限制的應(yīng)用,如視頻存儲(chǔ)和以服務(wù)器為基 礎(chǔ)的視頻流式應(yīng)用。H.264提供包傳輸網(wǎng)中處理包丟失所需的工具,以及在易誤碼的無(wú)線網(wǎng)中處理比特誤碼的工具。 在系統(tǒng)層面上,H.264提出了一個(gè)新的概念,在視頻編碼層(Video Coding Layer, VCL)和網(wǎng)絡(luò)提取層(Network Abstraction Layer, NAL)之間進(jìn)行概念性分割,前者是視頻內(nèi)容的核心壓縮內(nèi)容之表述,后者是通過特定類型網(wǎng)絡(luò)進(jìn)行遞送的表述,這樣的結(jié)構(gòu)便于信息的封裝和對(duì)信息進(jìn)行更好的 優(yōu)先級(jí)控制。
既生瑜何生亮? 其 實(shí)通過上面的討論我們也看到了H.264跟MPEG-4(part2)都是為了互聯(lián)網(wǎng)而生,而且有許多共同的特點(diǎn),那么既生MPEG-4?何生 H.264?有了MPEG-4(第二部分)為什么還要H.264,豈不是多此一舉??jī)烧叩降子卸啻蟮膮^(qū)別呢?為何需要再訂制出MPEG-4 Part 10呢?直接沿用MPEG-4 Part 2難道不行? 雖然MPEG-4已針對(duì)Internet傳送而設(shè)計(jì),提供比MPEG-2更高的視頻壓縮效率,更靈活與彈性變化的播放取樣率,但就視頻會(huì)議而言總希望有更進(jìn)一步的壓縮,所以才需要出現(xiàn)了H.264。 那么到底壓縮了更小的H.264能夠有更高的壓縮率,播放效果是不是大打折扣呢?播放效果與MPEG-2、MPEG-4近乎相同嘛?是的,其實(shí)視頻的質(zhì)量 我們看不出多大的差別,之所以出現(xiàn)這種現(xiàn)象答案在于H.264采用了更復(fù)雜的編碼算法,當(dāng)然對(duì)于解碼也提出了更高的要求。 以前之所以未采用更復(fù)雜的算法,是考慮到解碼(播放)端的運(yùn)算能力不足,就會(huì)導(dǎo)致播放不流暢,失去視頻娛樂觀賞的意義,但如今不同,無(wú)論桌面電腦、移動(dòng)終 端的性能都突飛猛進(jìn),即便運(yùn)用更復(fù)雜的壓縮編碼都可以實(shí)時(shí)解碼、流暢地播放,這正是MEPG-4、H.264能夠流行的一項(xiàng)先決條件。 但是其實(shí)這些都不是關(guān)鍵,目前的寬帶已經(jīng)完全滿足了mpeg-4第二部分的使用,但是為什么還要H.264呢?就是因?yàn)槭跈?quán)的問題。關(guān)于這個(gè)問 題,H.264不僅壓縮算法比以往的MPEG-4更優(yōu)異,帶寬耗用更低,還有一項(xiàng)最誘人的特點(diǎn):授權(quán)費(fèi)用比較合理,因?yàn)镠.264晚于MPEG-4問世, 且兩者定位接近,既然如此,H.264只好在授權(quán)費(fèi)上降低定位,期盼以較寬厚的授權(quán)方式爭(zhēng)取被采用,而這正是對(duì)了運(yùn)營(yíng)商的胃口,當(dāng)初許多運(yùn)營(yíng)商對(duì) MPEG-4的授權(quán)深表反感,之后也都熱烈擁護(hù)H.264。
目的是制定一套描述符標(biāo)準(zhǔn),用來描述各種類型的多媒體信息及它們之間的關(guān)系,以便更快更有效地檢索信息。這些媒體材料可包括靜態(tài)圖像、圖形、3D模型、聲音、話音、電視以及在多媒體演示中它們之間的組合關(guān)系。在某些情況下,數(shù)據(jù)類型還可包括面部特性和個(gè)人特性的表達(dá)。 |
|
|