參照tstools這個(gè)開(kāi)源項(xiàng)目完成了CMMB的merge aac with 264 to TS.

在做的過(guò)程中，分成了幾個(gè)階段。先試著將H264打包成TS,這花了最大的精力和時(shí)間；接著將AAC打包成TS；最后將其合并起來(lái)。

一、處理H264

     1、H264 -> pes

     在查找了大量資料后，對(duì)H264有了初步的認(rèn)識(shí)。H264的結(jié)構(gòu)從大到小依次為視頻序列(sequence )、圖像(picture ,相當(dāng)于幀)、片組、片(slice)、宏塊(MacroBlock)、子塊(SubBlock)。

     

          

     其中，幀率是針對(duì)于圖像來(lái)說(shuō)的，例如25Hz的幀率，就差不多是每個(gè)40ms顯示1個(gè)圖像。

     圖像分為 I圖像、P圖像、B圖像。

     每個(gè)圖像又由多個(gè)片組組成，片組由多個(gè)片組成。

     每個(gè)片又由多個(gè)宏塊組成。片分為I_slice、P_slice、B_slice。宏塊有I、P、B三種宏塊。

     I_slice里只有I_MB,  p_slice里可有P_MB和I_MB,  B_slice里可有B_MB和I_MB。

     通常的一個(gè)圖像里就含一種片，這次的CMMB里的H264比較簡(jiǎn)單，是Baseline的profile，只含有I、P幀，而且每個(gè)圖像就1個(gè)slice。

     對(duì)于H264按功能層次劃分，又分為視頻編碼層VCL(video coding layer)和網(wǎng)絡(luò)抽象層 NAL(Network abstraction layer).

     每個(gè)NAL單元包含：NAl頭+負(fù)荷

                                 NAl的頭一般為00 00 01 或者00 00 00 01，然后到下一個(gè)頭之間都為這一個(gè)nalu的數(shù)據(jù)。

     所以，對(duì)于封裝成ts流，只需要去讀取H264的原始文件，然后找到這個(gè)nal頭，再將這個(gè)nalu(包含頭和負(fù)荷)當(dāng)成數(shù)據(jù)打包成pes再打成ts即可。

     在打包成pes的時(shí)候，需要注意的一個(gè)問(wèn)題就是pts/dts，其單位應(yīng)該是系統(tǒng)時(shí)鐘。需要在找到每個(gè)圖像的起始slice的時(shí)候，在打包成pes的時(shí)候加上pts/dts。這次的CMMB中，其視頻幀只含I/P圖像(幀)，且每個(gè)圖像只有1個(gè)片,所以就在讀取264原始數(shù)據(jù)時(shí)讀到I_slice或P_slice的時(shí)候，一并打入pts。CMMB流正好又有現(xiàn)成的pts，只需讀出來(lái)，按照CMMB中的換算方法，每22500就是1秒，就能得出pts的值，而不需要我自己手動(dòng)的去計(jì)算添加。

      例如，視頻幀率為25HZ的時(shí)候，即1秒25幀，每幀的間隔40ms。按90Khz的視頻頻率來(lái)算的話，其對(duì)應(yīng)的系統(tǒng)時(shí)鐘數(shù)應(yīng)該是

      1/25*90000 = 3600 個(gè)clk。

     所以當(dāng)分析pes時(shí)，其pts字段的33個(gè)bit算出來(lái)的話，就是按這個(gè)clk為單位的。相鄰的視頻幀的pts之差值為3600.

     2、pes -> ts

     h264打包成ts的時(shí)候，還需要打入pat和pmt。pmt里指定了視頻的類(lèi)型和pid。

     pes打包的時(shí)候，按ts協(xié)議格式封裝即可。

     PCR使用和視頻一樣的pid，這里把pts當(dāng)成pcr打進(jìn)ts包。

二、處理AAC

     AAC的ts封裝相對(duì)于H264來(lái)說(shuō)就簡(jiǎn)單多了。這次的CMMB采用的是aac的adts格式封裝，同h264類(lèi)似，也有其自己的分界符，然后兩分界符之間就是數(shù)據(jù)，分界符為1111 1111 1111，即FFF。依次讀取AAC的原始文件，遇到一個(gè)FFF時(shí)，將其后的數(shù)據(jù)連同這個(gè)FFF的頭看成整體，作為負(fù)載封入PES。同樣的，每幀都需要打入pts。CMMB流中也附有AAC的pts，讀取后計(jì)算寫(xiě)入PES即可。也省了我去根據(jù)采樣率，每幀的樣本率去計(jì)算pts。

三、合并H264和AAC的ts流

     做完了上兩步工作，最后一步就更簡(jiǎn)單了。

     先是打入PAT、PMT。PMT需要稍微修改，因?yàn)榧尤肓艘纛l，所以要在其中指明音頻的類(lèi)型和pid。

     接著就是視頻、音頻的ts包依次打。打的時(shí)候稍微注意要判斷下視頻和音頻的pts值，保持同步。

對(duì)于H264更底層的東西，就沒(méi)研究下去了。對(duì)于H264的SPS獲取PTS,也沒(méi)整太明白。還有PCR這方面，都還不太清楚。后面再找時(shí)間慢慢研究吧~