熱統(tǒng)系列之4

上一篇中我們指出，波爾茲曼熵的表達式S = k_B ln W中，W是對應于同一個宏觀態(tài)中微觀態(tài)的數(shù)目，或相空間的體積。這個定義中有一些含糊之處。

首先，“同一個宏觀態(tài)”是什么意思？無論宏觀態(tài)是一種人為的約定，還是依賴測量技術(shù)來定義的，似乎都不是一個完全固定而清晰的概念。因此，人們可能產(chǎn)生下面的疑問：熵與測量技術(shù)有關嗎？熵是絕對的還是相對的？這些問題留待以后再深入探究，暫且可將波爾茲曼熵對應的宏觀態(tài)理解為微觀能量相同的狀態(tài)。由此我們可以進一步假設，對于一個確定的能量E_i，每一種可能的微觀構(gòu)形是等概率的（P_i），這樣，波爾茲曼熵的公式，可以表示為概率的形式：

S = -C(E_i) ln(1/ P_i)。

上面公式中的比例常數(shù)C是能量的函數(shù)。如果考慮系統(tǒng)中存在不止一個能量值，而是多個微觀能量值E= E₁,E₂, ….等，波爾茲曼熵公式需要做點修改。1878年，美國物理學家吉布斯（Josiah Gibbs，1839---1903）將熵的表達式寫成^【1】下面的公式（1）：

吉布斯推導出的熵公式（1）將熵的定義擴展到能量不唯一確定的非平衡態(tài)系統(tǒng)，使得熵成為非平衡態(tài)統(tǒng)計研究中最基本的物理概念，此是后話。1948年，美國數(shù)學家克勞德·香農(nóng)（ClaudeShannon，1916年－2001年）建立信息論，又提出了信息熵的概念，如公式（2）所示^【2】。

先看看公式（1）和（2）有何異同？第一，k_B是波爾茲曼常數(shù)，信息熵當然不予考慮。第二，p_i是概率，在吉布斯熵中表示一定能量的微觀態(tài)出現(xiàn)的概率，信息熵中將它推廣到信息論中描述某信息的隨機變量的概率。第三，公式（1）中的對數(shù)以e為底，（2）中以2為底，這點沒有本質(zhì)區(qū)別，兩種熵定義中的對數(shù)都可以任何實數(shù)為底，得到的單位不一樣而已，自然對數(shù)得到nal，以2為底時得到的單位是bit（比特）。

所以，（1）和（2）的形式是完全一樣的。由此，有些人便認為兩種熵沒有區(qū)別，也有人將熱力學的熵從信息熵中“推導”出來。實際上，兩種熵的確有同樣的數(shù)學基礎，許多概念和結(jié)論都可以互相借用，彼此對應，統(tǒng)計物理中也包含了若干與“信息”以及“不確定性”相關的內(nèi)容。但兩者的關聯(lián)也僅此而已，各有各的物理意義和應用范圍，大可不必牽強附會地認為兩者等同。

現(xiàn)在讓我們回到信息熵。什么是信息？信息的概念既抽象又多變，要給信息下個確切定義是不容易的。信息既不是物質(zhì)，也不是能量，比較靠譜的說法是：

“組成我們的客觀世界，有三大基本要素：除了物質(zhì)和能量之外，還有信息。”

美國學者、哈佛大學的歐廷格（A．G．Oettinger）對這三大基本要素作了精辟的詮釋：

“沒有物質(zhì)什么都不存在，沒有能量什么都不會發(fā)生，沒有信息什么都沒有意義?！?/span>

科學家們將信息與物質(zhì)和能量相類比后恍然大悟：要理清信息的概念，必須首先給它一個定量的描述。科學理論需要物理量的量化，物質(zhì)和能量都是可度量的，量化后才能建立數(shù)學模型。于是乎，便有了香農(nóng)，他年紀輕輕地就登上科學技術(shù)的歷史舞臺，為我們創(chuàng)立了信息論，定義了“信息”的科學意義，成為“信息之父”！

信息量

暫且不追究“信息”的嚴格定義，本文的大多數(shù)例子中將用一段文字來代表信息，很容易看出，文字表達的信息顯然是有“多少”之分的。比如，下列的語句中，從前到后5個短句代表了越來越多的信息，即每個句子包含的信息量，顯然是越來越大：

“小妹讀書”，“小妹今天讀書”，“我的小妹今天讀書”，“我的小妹今天去學校讀書”，“我的小妹今天去城北的中文學校圖書館讀老子的書”……

剛才提到的“信息量”，是基于人們通常理解的直觀語義。那么，如何按照香農(nóng)的信息熵公式（2）來理解信息？如何定義信息量？信息熵依賴于概率，因此，它描述的對象是隨機變量，以下從兩個最簡單的例子來說明。（注：這兒首先談隨機變量，不用急于跳到隨機過程，也就是說本篇博文尚不考慮任何時間因素）

拋硬幣的結(jié)果是一個2值隨機變量，如果硬幣兩面勻稱但圖案不同，正反面出現(xiàn)的幾率完全相等，各為1/2，那么從公式（2）計算的結(jié)果：

S_勻稱硬幣 = (2x0.5)x(-log₂(1/2)) = 1bit。

擲立方體骰子的結(jié)果也是一個隨機變量，骰子有6個面，所以該隨機變量的取值范圍可記為A、B、C、D、E、F，如果6個面的幾率相等，每一個面出現(xiàn)概率是（p=1/6），則：

S_勻稱骰子 = ∑p(-log₂(p))  = log₂6 > 2bit。

上面兩個例子中的(-log₂(p))項，可以看成是“結(jié)果為某一個面”之事件所攜帶的信息量。概率p總是小于1，使得信息量總為正值。擲骰子時得到“A”（或B、C……）包含的信息量大于拋硬幣時出現(xiàn)“正”包含的信息量。也就是說，概率越小的事件信息量反而越大，這句話咋一聽感覺怪怪的，不過，用剛才有關小妹讀書的幾個句子對照一下，便發(fā)現(xiàn)果然如此。最后一句的信息量比第一句多多了，但第5句“我的小妹今天去城北的中文學校圖書館讀老子的書”，發(fā)生的幾率顯然要比第1句“小妹讀書”發(fā)生的幾率小得多，驗證了“幾率小信息量大”！

如果硬幣或骰子不是制造得那么標準對稱的，各個面出現(xiàn)的幾率不一樣，比如說，“正”面的幾率為0.99，“反”面的幾率僅為0.01。將這樣的硬幣丟來拋去，你看到的絕大多數(shù)情況都是“正”面，你感覺十分無趣。突然，你發(fā)現(xiàn)出現(xiàn)了一個“反”面，你因為少見多怪而驚喜，因為它給了你更多的信息：這枚硬幣的確是有正反兩面的！說明比較不可能發(fā)生的事情，當它真正發(fā)生了，能提供你更多的信息。

信息熵

擲骰子例子太簡單，一點也不“高大上”，但也能說明不少問題。如果要精確計算像小妹讀書例子中一句語言包括的信息量就要復雜多了。句子中的每一個字出現(xiàn)的概率有所不同，一句話中所有字的概率以一定方式組合起來，決定了這一句話出現(xiàn)的概率。于是，香農(nóng)給出公式（2），不僅僅針對語言句子，而是針對一般的所謂“信息源”，用隨機變量中所有可能事件信息量的平均值，來度量這個隨機變量“信源”之信息，稱之為“信息熵”，也叫信源熵，自信息熵等。前面計算而得的S_勻稱硬幣和S_勻稱骰子，都是信息熵。

計算信息熵的公式（2）可以推廣到連續(xù)取值的隨機變量，只需將（2）中的求和符號代之以積分即可。用p(x)取代p_i，函數(shù)p(x)是信源的事件樣本的概率分布。

所謂通訊，就是信息的傳輸過程，簡單地說包括信源（發(fā)出）、信道（傳送）、信宿（接收）三個要素。比如說，老林收到小張一條微信消息，小張發(fā)出的消息可看作是信源，微信是信道，老林接收到消息是信宿。香農(nóng)的信息熵，不僅可以描述信源，也能描述信道的容量，即傳輸能力，香農(nóng)的理論將通信問題從經(jīng)驗轉(zhuǎn)變?yōu)榭茖W。

對上面我們所舉的“小妹讀書”的語言例子，容易使人從“語義”上來理解傳遞的信息量。這種理解基于人們的經(jīng)驗，或許與信息量有點關系，但完全不能等同于通信工程方面所說的信息量，就科學而言，上例中每句話的信息熵是可以從每個字的信息量嚴格用公式計算出來的，與那幾句話僅僅就語義而作出的判斷完全是兩碼事。

比如說，英語有26個字母，假如每個字母使用時出現(xiàn)的幾率相同的話，每個字母的信息量應該為：

信息量（1個英語字母） = (-log₂(p_英文))  = -log₂(1/26)  = 4.7bit。

而漢字的數(shù)目大多了，常用的就有2千多個（約2500個），假如每個漢字出現(xiàn)幾率相同的話，每個漢字的信息量為：

信息量（1個漢字） = (-log₂(p_漢字))  = -log₂(1/2500)  = 11.3bit。

剛才計算的英文字母信息量和漢字信息量都是假設所有元素出現(xiàn)幾率相同的情況，但這點完全不符合事實，英文中26個字母各有各的概率，中文的幾千上萬個字出現(xiàn)概率也大不相同。所以，如果想要計算一段話的信息熵，就必須知道其中每個字的概率后再來計算。盡管不知道“小妹讀書”例子中每個漢字的概率，但后面的每一句話都包含了前一句話中的所有的“字”，從這一點起碼可以判定，那5句話的信息熵，的確是一個比一個大。

從上面的計算可知，對平均概率分布而言，英文字母的信息量為4.7bit，一個中文字的信息量11.3bit，這是什么意思呢？設想有一本書，分別有英文版和中文版，再進一步設想兩個版本都沒有廢話，表達的信息總量完全相等。那么，顯然地，中文版的漢字數(shù)應該要少于英文版的英語字母數(shù)，不知道這算不算漢字的優(yōu)點，但卻顯然是我們觀察到的事實：從英文翻譯而來的中文書，頁數(shù)要少多了。

香農(nóng)的理論以概率論為工具，所以信息熵更是概率論意義上的熵。統(tǒng)計力學也用概率論，在描述不確定性這一點上是一致的，但統(tǒng)計和熱力學的熵更強調(diào)宏觀的微觀解釋，以及熵表達的時間不可逆等等物理意義。統(tǒng)計物理中的熵是系統(tǒng)的狀態(tài)量，大多數(shù)情況下不用作傳遞量，信息論中很多情況將熵也用作傳遞量，似乎更容易混淆。實際上，不知道是否真的有那么多的場合，難道都必須要使用“熵”這個名詞嗎？

自信息熵、條件熵、聯(lián)合熵、互信息

（未完待續(xù)）

參考文獻：

【1】Willard, Gibbs. (1878). “On the Equilibrium ofHeterogeneous Substances: Abstract by the Author”, American Journal of Science,3 ser., Vol. XVI, pgs. 441-58, Dec.

【2】C.E. Shannon, A Mathematical Theory of Communication, BellSystem Technical Journal, vol.27, pp.379-423, 623-656 July, October 1948.