| 1.2 多媒體的相關技術 |
|
多媒體技術是多學科、多技術交叉的綜合性技術，主要涉及三大類技術，即從系統角度研究的多媒體基礎技術和從應用角度研究的多媒體信息處理技術以及從人性化交互方式角度研究的人機交互技術。
從系統性能的層面上看，關心的重點在多媒體系統的構成與實現，因此，必須研究解決多媒體信息的快速處理、多媒體數據的壓縮與還原、大容量信息存儲與檢索和多媒體信息的快速傳輸等基本問題，這就形成了多媒體的基礎技術。
從應用研究角度看，多媒體技術就是將多種媒體信息通過計算機進行數字化綜合處理的技術，這就是多媒體信息處理技術包含的內容，即圖、文、聲、像（視頻和動畫）技術和多媒體信息集成技術。
人機交互技術是從人性化角度提出的，主要解決多媒體信息的輸入輸出問題，更著重于多媒體系統的交互方式和交互性能研究，是對多媒體技術的擴展和深化。
該課程主要討論的是多媒體信息處理技術，也就是通常所說的多媒體應用技術。
|
| 1.2.1 多媒體數據壓縮技術 |
多媒體數據壓縮編碼技術是多媒體技術中最為關鍵的技術。
數字化后的多媒體信息的數據量非常龐大，例如，對于彩色電視信號的動態(tài)視頻圖像，數字化處理后的1秒鐘數據量達十多兆字節(jié)，650MB容量的CD-ROM僅能存1分鐘的原始電視數據。超大數據量給存儲器的存儲容量、帶寬及計算機的處理速度都帶來極大的壓力，因此，需要通過多媒體數據壓縮編碼技術來解決數據存儲與信息傳輸的問題。
壓縮技術一直是多媒體技術的熱點之一，多媒體中數據的壓縮主要指圖像（視頻）和音頻的壓縮，它的潛在價值相當大，是計算機處理圖像和視頻以及網絡傳輸的重要基礎。數字化后的多媒體信息的圖像、視頻信號和音頻信號數據中存在的很大冗余（空間冗余、時間冗余、結構冗余、知識冗余、視覺冗余、圖像區(qū)域相同性冗余、紋理統計冗余等）使數據壓縮成為可能。數據壓縮的實質是在滿足還原信息質量要求的前提下，采用代碼轉換或消除信息冗余量的方法來實現對采樣數據量的大幅縮減。
與數據壓縮相對應的處理稱為解壓縮，又稱數據還原。它是將壓縮數據通過一定的解碼算法還原到原始信息的過程。通常，人們把包括壓縮與解壓縮內容的技術統稱為數據壓縮技術。
根據質量有無損失，壓縮編碼可分為有損失編碼和無損失編碼兩類。前者指壓縮后的數據經解壓后還原得到的數據與原始數據相同，沒有誤差；后者則存在一定的誤差。
壓縮編碼的方法非常多，編碼過程一般都涉及較深的數學理論基礎問題。在眾多的壓縮編碼方法中，衡量一種壓縮編碼方法優(yōu)劣的重要指標有：壓縮比要高，壓縮與解壓縮速度要快，算法要簡單，硬件實現要容易，解壓縮質量要好。在選用編碼方法時還應考慮信源本身的統計特征、多媒體軟硬件系統的適應能力、應用環(huán)境及技術標準等。 |
| 1.2.2 多媒體信息存儲技術 |
多媒體數據有兩個顯著的特點，其一是數據表現有多種形式，且數據量很大，尤其對動態(tài)的聲音和視頻圖像更為明顯；其二是多媒體數據傳輸具有實時性，聲音和視頻必須嚴格地同步。這就要求存儲設備的存儲容量必須足夠大，存取速度快，以便高速傳輸數據，使得多媒體數據能夠實時地傳輸和顯示。
多媒體信息存儲技術主要研究多媒體信息的邏輯組織，存儲體的物理特性，邏輯組織到物理組織的映射關系，多媒體信息的存取訪問方法、訪問速度、存儲可靠性等問題，具體技術包括磁盤存儲技術、光存儲技術以及其他存儲技術。
光存儲技術是伴隨著多媒體技術的發(fā)展而發(fā)展的，并且CD-ROM存儲器已經成為多媒體計算機的標準配置。CD-ROM從存儲方式上可分為CD-R（只讀光盤）和CD-RW（可讀可擦寫光盤）兩種，從存儲格式上可分為數據CD、音樂CD、VCD、DVD、Photo-CD等不同格式標準的光盤。 |
| 1.2.3 多媒體網絡通信技術 |
多媒體網絡通信技術是指通過對多媒體信息特點和網絡技術的研究，建立適合傳輸文本、圖取、圖像、聲音、視頻、動畫等多媒體信息的信道、通信協議和交換方式等，解決多媒體信息傳輸中的實時與媒體同步等問題。
現有的通信網絡大體上可分為三類：電信網絡（包括移動多媒體網絡）、計算機網絡和有線電視網絡。多媒體通信網絡技術主要解決網絡吞吐量、傳輸可靠性、傳輸實時性和提高服務質量（QoS）等問題，實現多媒體通信和多媒體數據及資源的共享。
多媒體通信對多媒體產業(yè)的發(fā)展、普及和應用有著舉足輕重的作用，但由于多媒體信息及大部分的網絡多媒體應用對網絡帶寬的要求非常高，多媒體通信構成了整個多媒體產業(yè)發(fā)展的關鍵和“瓶頸”。多媒體通信是一個綜合性的技術，涉及多媒體、計算機及通信等領域，它們之間相互影響和促進。大數據量的連續(xù)媒體在網上的實時傳輸不僅向窄帶網絡及包交換協議提出了挑戰(zhàn)，而且對于媒體技術本身，如數據的壓縮、各媒體間的時空同步等，也提出了更高的要求。
另外，利用計算機網絡以及在網絡上進行分布式與協作操作，可以更廣泛地實現信息共享。多媒體空間的合理分布和有效的協作操作將縮小個體與群體、局部與全球的工作差距；通過更有效的協議及分布式技術可以超越時空限制，充分利用信息，協同合作，相互交流，節(jié)約時間和經費。 |
| 1.2.4 多媒體專用芯片技術 |
專用芯片是改善多媒體計算機硬件體系結構和提高其性能的關鍵。為了實現音頻、視頻信號的快速壓縮、解壓縮和實時播放，需要大量的快速計算。只有不斷研發(fā)高速專用芯片，才能取得滿意的處理效果。專用芯片技術的發(fā)展依賴于大規(guī)模集成電路（VastLarge Scale Integration——VLSI）技術的發(fā)展。
多媒體計算機專用芯片可歸納為兩種類型：一種是固定功能的芯片，其主要用來提高圖像數據的壓縮率；另一種是可編程數字信號處理器DSP芯片，主要用來提高圖像的運算速度。
最早推出的固定功能的專用芯片是圖像處理的壓縮處理芯片，即將實現靜態(tài)圖像的數據壓縮／解壓縮算法做在一個專用芯片上，從而大大提高其處理速度，如C-Cube公司生產的MPEG解壓縮芯片被廣泛地應用于VCD播放機中。隨后，許多半導體廠商和公司又推出執(zhí)行國際標準壓縮編碼的專用芯片。由于壓縮編碼的國際標準較多，一些廠家和公司還推出多功能視頻壓縮芯片。
可編程數字信號處理器DSP芯片是一種非常適合進行數字信號處理的微處理器。由于其采用多處理器并行技術，計算能力超強，可望達到2bips，特別適合于高密度、重復運算及大數據流量的信號處理。這些高檔的專用多媒體處理器芯片，不僅大大提高了音頻、視頻信號處理速度，而且在音頻、視頻數據編碼時增加了特技效果。 |
| 1.2.5 多媒體軟件技術 |
1．多媒體操作系統
多媒體操作系統是多媒體軟件技術的核心，負責多媒體環(huán)境下多任務的調度，提供多媒體信息的各種基本操作和管理，保證音頻、視頻同步控制以及信息處理的實時性，具備綜合處理和使用各種媒體的能力，能靈活地調度多種媒體數據并能進行相應的傳輸和處理，改善工作環(huán)境并向用戶提供友好的人機交互界面等。
多媒體操作系統是多媒體應用軟件的操作支撐環(huán)境，支持對多媒體信息處理的各種復雜技術的要求，支持提供豐富的制作多媒體素材的工具軟件。
2．多媒體數據庫技術
數據的組織和管理是任何信息系統都要解決的核心問題。數據量大、種類繁多、關系復雜是多媒體數據的基本特征，這使數據的組織方法和存儲方法變得復雜。因此，以什么樣的數據模型表達和模擬這些多媒體信息空間？如何組織和存儲這些數據？如何管理這些數據？如何操縱和查詢這些數據？這些都是傳統數據庫系統的能力和方法所難以解決的問題。
多媒體數據庫中，要處理結構化和大量非結構化數據，解決數據模型、數據壓縮與還原、多媒體數據庫操作及多媒體數據對象表現等主要問題。
多媒體數據庫技術主要從三個方面開展研究，一是研究分析多媒體數據對象的固有特性；二是在數據模型方面開展研究，實現多媒體數據庫管理；三是研究基于內容的多媒體信息檢索策略。
3．多媒體信息處理與應用開發(fā)技術
多媒體信息處理主要研究各種媒體信息（如文本、圖形、圖像、聲音、視頻等）的采集、編輯、處理、存儲、播放等技術。多媒體應用開發(fā)技術主要是在多媒體信息處理的基礎上，研究和利用多媒體著作或編程工具，開發(fā)面向應用的多媒體系統，并通過光盤或網絡發(fā)布，這也是本課程主要涉及的內容。 |
| 1.2.6 虛擬現實技術 |
|
虛擬現實（Virtual Reality——VR）技術是一種可以創(chuàng)建和體驗虛擬世界的計算機系統，一種逼真地模擬人在自然環(huán)境中視覺、聽覺和運動等行為的高級人機交互（界面）技術。虛擬現實技術是多媒體技術的重要發(fā)展和應用方向，旨在為用戶提供一種身臨其境和多感覺通道的體驗，尋求最佳的人機通信方式。它是由計算機硬件、軟件以及各種傳感器所構成的三維信息人工環(huán)境，即虛擬環(huán)境；由可實現的和不可實現的物理上的、功能上的事物和環(huán)境構成。用戶投入這種環(huán)境中，就可與之交互作用。計算機的數據庫中存有多種圖像、聲音及有關數據。當你戴上專用的頭盔時，多媒體計算機把這些虛擬世界圖像，從頭盔的顯示器顯示給你。當你戴上專用的數據手套，手一動，有很多傳感器就測出了你的動作（例如，去開門）。計算機接到這一信息，就去控制圖像，使門打開，你眼前就出現了室內的圖像景物，并給出相應的聲音及運動感覺。
虛擬現實技術出現于20世紀80年代末，已在娛樂、醫(yī)療、工程和建筑、教育和培訓，軍事模擬、科學和金融可視化等方面獲得了應用。例如，三維地形圖在VR中用于地貌環(huán)境的虛擬仿真和軍事地形的模擬，這些圖像多數是十分逼真的有照片效果的風景名勝圖像，也有非常直觀的三維地形透視效果圖；虛擬節(jié)目主持人可以用合成的虛擬聲音，三維的動作和表情為你主持節(jié)目；在當代電影中，有多媒體技術的支持，使藝術家可以大膽，甚至荒唐地構思，幾乎任何驚奇的影視特技、夸張的兇險場景都能實現。
虛擬現實技術在娛樂游戲、建筑設計、CAD機械設計、計算機輔助教學、虛擬實驗室、國防軍事、航空航天、生物醫(yī)學、醫(yī)療外科手術、藝術體育、商業(yè)旅游等領域顯示出廣闊的應用前景。
|
