電報(bào)系統(tǒng)、新的數(shù)學(xué)思想，這些都為二十世紀(jì)初的大事件發(fā)生奠定了物質(zhì)和思維基礎(chǔ)。

1874年，一個(gè)伊利諾伊州的農(nóng)場主取得了一項(xiàng)美國專利——用于隔斷農(nóng)場范圍的鐵絲網(wǎng)。鐵絲網(wǎng)用于隔開公共用地和私人領(lǐng)地，很快在全國范圍普及。一年之中，全美就鋪設(shè)了一百萬英里長度的鐵絲網(wǎng)。電報(bào)開始普及后，是農(nóng)場主們首先發(fā)現(xiàn)了鐵絲網(wǎng)的另一個(gè)用途——本來用于隔離的鐵絲網(wǎng)，現(xiàn)在加上電池和絕緣夾子，用額外的鐵絲把各鐵絲網(wǎng)聯(lián)通起來，各終端安上通話器，就構(gòu)成了一個(gè)局域電話網(wǎng)絡(luò)。

也就是說，世界上第一個(gè)電話網(wǎng)絡(luò)，誕生在美國農(nóng)場邊緣的鐵絲網(wǎng)上。各農(nóng)場基于自己的鐵絲網(wǎng)絡(luò)逐步形成了最早的通信合作社——幾個(gè)農(nóng)場合作起來，構(gòu)建了區(qū)域電話網(wǎng)絡(luò)，向使用這個(gè)網(wǎng)絡(luò)通話的人們收取費(fèi)用?！?strong>這都是典型的美國模式，一切都是由民眾自發(fā)而來，自下而上建立起來的體制和機(jī)制。

1916年克勞德·香農(nóng)就出生在這樣的農(nóng)場里，到他意識到可以自己動(dòng)手制作電話時(shí)，鐵絲網(wǎng)電話網(wǎng)絡(luò)早已成熟。香農(nóng)的祖父是農(nóng)場主，發(fā)明過一系列玩意，家里什么東西都是自己做的——美國人的動(dòng)手能力——其父親則是個(gè)行商，靠勤奮致富。

在碩士階段，他謀取了一份為麻省理工的萬內(nèi)瓦爾·布什教授的微分分析機(jī)擔(dān)任操作員的工作。就是在枯燥的日復(fù)一日的吱吱嘎嘎作響的分析機(jī)旁邊，香農(nóng)突然聯(lián)想到，這些電路的開合，與布爾代數(shù)所說的數(shù)學(xué)，與人類的邏輯推理，其實(shí)是一回事?！魏坞娐范伎梢杂靡惶姿闶絹肀磉_(dá)，并且像符號邏輯一樣進(jìn)行演算。他寫道，比如串聯(lián)電路就是“與”，并聯(lián)電路就是“或”，加上一個(gè)繼電器就可以得到“否”，通過電路構(gòu)造，可以進(jìn)行數(shù)字運(yùn)算。

平遙城的屋頂

在上世紀(jì)二十年代，這屬于典型的狂想。然而，布什教授鼓勵(lì)香農(nóng)寫成論文，并通過這篇異想天開的碩士論文——誰都沒想到，這篇碩士論文就是二十世紀(jì)計(jì)算機(jī)科學(xué)的開端。布什甚至鼓勵(lì)香農(nóng)轉(zhuǎn)向遺傳學(xué)領(lǐng)域，對剛剛起步的遺傳學(xué)算法進(jìn)行完善，香農(nóng)很快就掌握了生物遺傳學(xué)基本理論，然后提出了可以預(yù)計(jì)基因組合的算法。

香農(nóng)還在農(nóng)場邊搗鼓他的模型時(shí)，羅素和懷特海已經(jīng)出版了他們膽大包天的著作《數(shù)學(xué)原理》，他們用一整套邏輯，清除掉人類語言文字有史以來的所有矛盾和悖論，諸如“這句話是假話”之類的元語言悖論。他們拿出一套體系，可以嚴(yán)格地推導(dǎo)和檢驗(yàn)所有理性和非理性的結(jié)論，為人類向確定性邁進(jìn)一大步。

哥德爾在沿著羅素的路徑信心百倍的前行時(shí)，這個(gè)瘦弱且?guī)е诳蜓坨R的小男生卻發(fā)現(xiàn)了一個(gè)令人絕望的問題——當(dāng)他完全采用符號邏輯來演算羅素們的體系時(shí)，發(fā)現(xiàn)并不存在一個(gè)完全且自洽的邏輯體系，也就是說，任何邏輯體系，必然有它既不能證明，也不能證偽的命題。這就是影響至今的著名的哥德爾不可能性定理。

1930年哥德爾把他的發(fā)現(xiàn)在格尼斯堡的一次數(shù)學(xué)會(huì)議上宣讀了，幾乎沒有引起什么反響。只有一個(gè)叫亞諾什的數(shù)學(xué)家聽進(jìn)去了，他和哥德爾一樣感到震驚。這個(gè)亞諾什很快就移民去了美國普林斯頓大學(xué)，改名馮諾依曼。他把哥德爾的論文在普林斯頓進(jìn)行了宣講，聲稱這可能是二十世紀(jì)最重要的數(shù)學(xué)發(fā)現(xiàn)之一——因?yàn)楦绲聽柺怯脴O其嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)方法證明了，任何邏輯體系都可能導(dǎo)出矛盾的結(jié)論或悖論。

當(dāng)哥德爾、愛因斯坦們都聚集在普林斯頓時(shí)，香農(nóng)也到了普林斯頓，他跟隨導(dǎo)師外爾進(jìn)行高射火炮自動(dòng)控制數(shù)學(xué)研究——這又是一個(gè)信號傳遞并給予反饋的系統(tǒng)研究。

1880年，貝爾把電報(bào)轉(zhuǎn)變?yōu)殡娫挄r(shí)，引起了同行以及幾乎整個(gè)歐洲學(xué)界的嘲笑——美國佬的小玩意——他們很容易把電話與孩子們用繩子和紙筒做的土電話聯(lián)系起來。當(dāng)然，更深層的道理是，本來電報(bào)是基于文字的，現(xiàn)在貝爾又把電報(bào)變回了口語。誰知，從貝爾的第一部電話誕生，到全美普及六萬部電話，僅用了四年——電報(bào)從發(fā)明到普及用掉十余年時(shí)間，到1890年，已經(jīng)有50萬人開始使用電話。

晉祠里宋代的鐵獅子

1879年底，馬薩諸塞一個(gè)由四個(gè)接線員管理的電話交換機(jī)，因?yàn)槁檎钜咔楸l(fā)，導(dǎo)致接線員人手不夠。當(dāng)?shù)匾幻t(yī)生叫帕克的，建議給每個(gè)電話配一個(gè)號碼，按照電話歸屬的主人姓名的字母表順序排列以供查詢——電話號碼由此誕生。同樣的，人們又抵制這種做法——一個(gè)人居然能用一個(gè)號碼表示！工程師和學(xué)者們則質(zhì)疑人類是否能記住超過五位數(shù)的號碼。

很快，不但電話號碼越來越多，越來越長，為了應(yīng)對指數(shù)級增長的電話用戶，人工交換機(jī)也換成了自動(dòng)交換機(jī)，人們開始通過電話號碼盤撥打，發(fā)出電脈沖給中央交換機(jī)自動(dòng)實(shí)現(xiàn)電話線路對接。

就像電報(bào)一樣，用量增長，很快就產(chǎn)生了容量和帶寬問題——信息的量化也開始提上日程。

1943年，阿蘭·圖靈來到了貝爾實(shí)驗(yàn)室。香農(nóng)此時(shí)正在解決給羅斯福和丘吉爾專線電話的加密問題，圖靈則正在解決恩尼格碼機(jī)的解密問題（敝號在前年的《圖靈傳》中有詳盡介紹）。兩個(gè)人在食堂吃飯時(shí)開始討論一個(gè)毫不相干的問題——機(jī)器能思考嗎？

圖靈還在22歲的時(shí)候就已經(jīng)思考出了一個(gè)原型——圖靈機(jī)，即可以模擬人類計(jì)算數(shù)字時(shí)的心智的機(jī)器，也就是把人類計(jì)算數(shù)的過程機(jī)械化實(shí)現(xiàn)。這一過程實(shí)際上就是編程。圖靈正是通過對圖靈機(jī)的運(yùn)行、循環(huán)和停機(jī)的思考，得出了與哥德爾一樣的結(jié)論——存在一些不可計(jì)算出來的數(shù)，也就是存在一些不可判定的命題。其實(shí)就是證明了，純粹的邏輯本身存在悖論，尤其是當(dāng)我們把邏輯運(yùn)算過程機(jī)械化后，就會(huì)發(fā)現(xiàn)，存在機(jī)械齒輪無法運(yùn)轉(zhuǎn)到的位置。

正是這兩人的交流，促發(fā)了香農(nóng)的靈感——信息的本質(zhì)不在于其所傳達(dá)的意義，所謂意義都必須去除掉，也就是要去除掉那些不可度量的心理因素，只剩下物理因素。香農(nóng)剝弄到最后，發(fā)現(xiàn)，信息其實(shí)是不確定性，是出人意料，是困難程度——本質(zhì)就是熵。

如果只有一條信息，不存在其它的選擇，那就是絕對的確定性，實(shí)際上也就是沒有信息（告訴你只有一條路是正確的，沒有其他選擇，這就不是知識了，是灌輸）。一條信息可以看做一個(gè)隨機(jī)過程的結(jié)果，這個(gè)過程借助一組離散的概率生成一系列事件。香農(nóng)借此把度量信息變成了度量在這個(gè)隨機(jī)過程中我們的選擇有多少，結(jié)果由多大的不確定性。一般而言，選擇越多，不確定性程度越高，信息內(nèi)涵也就越多。

他提出了公式：H=-∑p_ilog₂p_i，這個(gè)p_i是信息的出現(xiàn)概率，H就是信息熵，也就是不確定性。如果以2為底，也就是采用0和1的二進(jìn)制，擲硬幣如果各是二分之一的幾率的話，那么2的底數(shù)就是-1，套到公式中H就等于1比特。同樣的，包含32個(gè)字符中的字母表中隨機(jī)挑選一個(gè)字符，則H等于5比特。

香農(nóng)還提出了語言的冗余度概念——所謂冗余，就是如果一個(gè)字詞或字母能夠根據(jù)前面的內(nèi)容猜出來，那么它就是冗余的?？紤]這樣一句話：c u d th? 如果你能很快得到can you do this？就說明前文那些省去的字母就是冗余的。據(jù)此，他對英語進(jìn)行了結(jié)構(gòu)統(tǒng)計(jì)，發(fā)現(xiàn)在不超過8個(gè)字母的統(tǒng)計(jì)結(jié)構(gòu)下，英語的冗余度在50%，如果考慮句子或段落，則冗余度可達(dá)75%。顯然，冗余度越大，則信息量越小。但反過來看，冗余度越大，則信息的精確度越高——也就是糾錯(cuò)程度越高。用上述例子就是，ca yu d thi?的冗余度一定高于c u d th，但精確度一定高于后者。所以，適當(dāng)?shù)娜哂喽?，其?shí)就是消除信息噪音，實(shí)現(xiàn)糾錯(cuò)的關(guān)鍵。

他還提出了一個(gè)驚人的見解——只要信息傳輸速率沒有超出信道容量（容量就是傳輸速率上限），那么就總是存在一種糾錯(cuò)編碼方案，可以克服任何噪聲影響，使得信息的錯(cuò)誤概率任意小。——多年后大家回憶，錯(cuò)誤概率居然可以任意小，當(dāng)時(shí)有誰能這樣去想？然而，現(xiàn)代所有通信理論都基于他的這個(gè)結(jié)論。

1949年，香農(nóng)在一張筆記本活頁上，寫了10的各種冪，他標(biāo)明這是比特存儲容量。其中，10³旁邊他標(biāo)明這是打孔卡片存儲容量，10⁴旁邊他標(biāo)明這是單行距打字頁面的容量，10⁵旁邊，他標(biāo)明這是人類基因的容量！這是歷史上首次提出，人類基因組是個(gè)信息倉庫，可以用比特來度量?！藭r(shí)詹姆斯·沃森還只是21歲的學(xué)生，還得幾年才會(huì)發(fā)現(xiàn)DNA的結(jié)構(gòu)。

歷史上幾乎所有的理論都是慢慢形成并成熟的，唯獨(dú)香農(nóng)的信息論例外——誕生之日就已經(jīng)完全成熟。

對香農(nóng)的信息論密切關(guān)注的，當(dāng)然還有差不多同時(shí)開創(chuàng)了控制論的諾伯特·維納。香農(nóng)和維納是當(dāng)時(shí)為數(shù)不多的美國本土出生和培養(yǎng)出來的思想家。維納的控制論所涉及的范圍要廣于信息論，討論到了信息和控制問題。兩個(gè)天才小心翼翼地保持了對對方的尊重，也適度地展現(xiàn)出了對對方的超越，相比而言，維納更加張揚(yáng)——畢竟他從小就頂著神童的光環(huán)，維納認(rèn)為他更早想到了香農(nóng)的信息論。

隨后就是信息論和控制論的蓬勃發(fā)展——1950年，數(shù)學(xué)、物理、生物學(xué)、心理學(xué)、神經(jīng)科學(xué)，都開始應(yīng)用信息論和控制論的相關(guān)觀點(diǎn)進(jìn)行拓展。特別是心理學(xué)的發(fā)展，受益于信息論的概念和方法，逐步發(fā)展出了刺激-反應(yīng)型的實(shí)驗(yàn)研究理路。香農(nóng)發(fā)揮他小制作的特長，用75個(gè)繼電器制作了一個(gè)微型迷宮，讓一只機(jī)械老鼠在里面探索迷宮路徑，這75個(gè)繼電器展現(xiàn)了他所謂的機(jī)器記憶或存儲功能，它能記住摸索出來的路徑。很快，香農(nóng)和他的信息論就成了學(xué)界、政界甚至是商界的明星，各行各業(yè)都以應(yīng)用信息論相關(guān)概念為榮。

香農(nóng)本人的性格內(nèi)向，因此對這種熱衷有本能的反感——他從一開始就拒絕為各種其他學(xué)說去證明或打招牌，并且反復(fù)強(qiáng)調(diào)，信息論就其本質(zhì)而言是一門數(shù)學(xué)，其概念的使用要非常小心。

被信息論熱炒起來的，除了信息本身以外，還有另一個(gè)物理學(xué)概念——熵。前面說了，信息本身就是熵，是不確定性。那么熵又是什么呢？