數(shù)據(jù)壓縮：壓縮廣域網(wǎng)流量
2006-02-19 推薦:113 收藏:72 評(píng)論:0 來源:中國(guó)計(jì)算機(jī)報(bào) 網(wǎng)絡(luò)與通信
數(shù)據(jù)壓縮是人們所熟知的一種技術(shù)，也一直被視為提高帶寬的一種策略。但在WAN中，其作用就要重新定位了。在電信術(shù)語的字典中對(duì)壓縮是這樣定義的：“通過消除相同的或在后續(xù)的采樣間隔中沒有變化的位串，來減少對(duì)信息或信號(hào)編碼時(shí)所需的位數(shù)量或帶寬的技術(shù)”。由此看來，壓縮的工作方式更像是一種速記，它把更多的流量填入相同的管道中，在流量到達(dá)目的地之后再解壓縮，而實(shí)際的信息數(shù)據(jù)并沒有發(fā)生變化。
減少壓縮帶來的延遲
雖然研究人員早就開始通過壓縮實(shí)現(xiàn)帶寬效率最大化的工作，但收效甚微。從理論上講，針對(duì)某一特定的應(yīng)用，使用壓縮技術(shù)可在不增加延遲的條件下提高有效帶寬，并減少WAN在升級(jí)和基礎(chǔ)設(shè)施擴(kuò)容時(shí)的成本，還可以低廉的成本將流量聚合到一個(gè)低能量的管道中，從而降低WAN的成本。雖然壓縮技術(shù)是克服WAN鏈路中容量和阻塞問題的較好的方式，但現(xiàn)在很少有IT管理員在其企業(yè)路由器中選擇壓縮這個(gè)選項(xiàng)，因?yàn)橐坏┹斎肓康竭_(dá)256kbps到512kbps的時(shí)候，路由器會(huì)因處理負(fù)荷過重而性能急劇下滑；如果低于這個(gè)標(biāo)準(zhǔn)，帶寬的效率則會(huì)較通常時(shí)提高1.5～2倍；如果高于這個(gè)標(biāo)準(zhǔn)，則因要求的處理太多而產(chǎn)生大量的延遲。
針對(duì)這一情況，一些廠商推出了新的產(chǎn)品，如Expand Networks公司和Peribit Networks公司的CPE設(shè)備就是通過以字節(jié)為單位掃描數(shù)據(jù)，從而提供了更高的壓縮率，而且，無論接入方式或應(yīng)用協(xié)議是什么，他們都將應(yīng)用帶寬提高到了以前的2.5～10倍。以往由于缺乏標(biāo)準(zhǔn)來統(tǒng)一協(xié)同工作，所以每個(gè)節(jié)點(diǎn)要遵從相同的廠商。現(xiàn)在這些新產(chǎn)品使用傳統(tǒng)的壓縮算法和自己的算法相結(jié)合的方法來提高系統(tǒng)的整體性能，通常他們都具有帶寬管理或QoS功能。例如，Expand的設(shè)備就兼具加速和緩沖功能。
串與算法
因?yàn)榱髁繒?huì)頻繁地承載重復(fù)的數(shù)據(jù)元素，因此，數(shù)據(jù)壓縮的目的就是減少用來存儲(chǔ)或傳輸信息的位的數(shù)量。例如某個(gè)通用的報(bào)頭，或用來響應(yīng)的有效載荷元素，或在某PDF文件的多個(gè)頁(yè)面中顯示的頁(yè)眉等。壓縮技術(shù)要求識(shí)別出冗余的信息后，再?gòu)谋粔嚎s的應(yīng)用中刪除。而壓縮達(dá)到的力度要依靠在源信息中發(fā)現(xiàn)的冗余總量，以及這些冗余元素被壓縮設(shè)備吸收的效率。用戶可以選擇無損壓縮和有損壓縮。前者適合于數(shù)據(jù)庫(kù)記錄、電子表格的工作表以及Word文件，而后者更適合圖像、視頻及語音的壓縮，當(dāng)然前提是少許的QoS損傷是可接受的。
壓縮算法的發(fā)展要回溯到上世紀(jì)40年代末期，當(dāng)時(shí)的信息理論導(dǎo)致了第一個(gè)算法Shannon-Fano的產(chǎn)生，其原理是在文件中為每一個(gè)不同的符號(hào)分配一個(gè)二進(jìn)制的代碼。而它的出現(xiàn)又很快引發(fā)了時(shí)至今日還是兩大重要算法的發(fā)明，即Lempel-Ziv和Huffman編碼。
Lempel-Ziv算法在給定的流量或應(yīng)用中尋找重復(fù)出現(xiàn)的稱為串的字節(jié)序列，并以字節(jié)為單位找到第一個(gè)出現(xiàn)的最長(zhǎng)的串，然后告訴其他的重復(fù)串，指出其長(zhǎng)度和起始位置，并將這些信息存儲(chǔ)在與路由器或壓縮設(shè)備相關(guān)的數(shù)據(jù)庫(kù)中。而Huffman編碼從另一個(gè)方面減少了平均的串長(zhǎng)度：它的代碼封裝了壓縮的內(nèi)容，并代表著一個(gè)字母表中的每個(gè)元素。這個(gè)字母表包含了以不同頻率出現(xiàn)的符號(hào)或字符。通常，ASCII表示法規(guī)定了每個(gè)確定的文本字符要求8位，而Huffman編碼方案將最短的代碼分配給那些出現(xiàn)頻率最高的字符，而將長(zhǎng)一些的代碼分配給那些不常出現(xiàn)的字符。常見的字符會(huì)以少于8位的代碼來表示，而不常出現(xiàn)的字符會(huì)以多于8位的代碼來表示。因此，用來表示文件內(nèi)容的位的總量就大大減少了。
這兩種壓縮方案可用在不同類型的文本上：Huffman最適合于具有大眾化的源文件字符的流量中，并且重現(xiàn)的字符串通俗易懂。而Lempel-Ziv可用于不同類型的源文件，不要求用戶對(duì)文件中的重現(xiàn)字符串有過深的了解。從這點(diǎn)上說，Lempel-Ziv的應(yīng)用更為廣泛。其他的壓縮算法主要包括：arithmetic compression和dictionary-based compression，但這些算法都鮮有使用，最流行的還是基于Lempel-Ziv、Huffman及其派生的算法。
新技術(shù)走向前臺(tái)
傳統(tǒng)的壓縮方法主要面臨兩個(gè)問題：首先，傳統(tǒng)壓縮技術(shù)受制于他們搜索重復(fù)串時(shí)所使用的方法，也就是采樣間隔的單位，正如以上所提到的，本地路由壓縮通常以數(shù)據(jù)包為單位來搜尋串。而壓縮算法設(shè)置了一套尺寸的“窗口”，例如，以2kbits的窗口尋找合適的串，如果目標(biāo)串出現(xiàn)在窗口之外，它就不會(huì)被識(shí)別也不會(huì)被壓縮。同樣，數(shù)據(jù)庫(kù)會(huì)在那個(gè)窗口通過 |
|
