|
NICE讀書會(huì) 復(fù)雜網(wǎng)絡(luò)驅(qū)動(dòng)智能涌現(xiàn) 1、 從最速降問題說起 1696年6月約翰·伯努利以最速降線問題向歐洲數(shù)學(xué)界發(fā)起挑戰(zhàn),在只考慮重力的作用的情況下,不計(jì)摩擦力,一質(zhì)點(diǎn)在豎直面從A點(diǎn)沿某條曲線到B點(diǎn),問怎樣的曲線能使所走的時(shí)間最短? ![]() 首先建立坐標(biāo)系和方程,設(shè)水平向右為x軸正方向,設(shè)豎直向下y軸為正方向,設(shè)曲線方程為 y=y(x),下落過程中,小球重力勢(shì)能不斷轉(zhuǎn)化為動(dòng)能,于是 ![]() 以dx為變換量,在dx變換內(nèi)小球運(yùn)行距離 ![]() 所以小球在軌道上運(yùn)行一段弧長所需的時(shí)間,也就是ds的時(shí)間為: ![]() 于是整個(gè)過程所花的時(shí)間: ![]() 這個(gè)問題用傳統(tǒng)的方法難以解決,可以類比于最短時(shí)間原理(費(fèi)馬定理)來解決:一束光從A點(diǎn)傳播到B點(diǎn)總是沿著盡可能快的路徑(唯一一條),從最短距離原理可以導(dǎo)出反射定理,如下圖所示,從空氣中的A點(diǎn)到達(dá)水下的B點(diǎn),因?yàn)樗俣炔煌?,要想最短時(shí)間到達(dá),需要滿足斯涅爾定律。 ![]() 類似于斯涅爾定律,小球從高處下降時(shí),每段速度均不同,采用類比的思想,可以將高度等分很多段,當(dāng)段數(shù)很大時(shí),這段內(nèi)的速度可以認(rèn)為是相等的,則 ![]() ![]() ![]() 約翰·伯努利宣稱自己已得到問題的解答并將挑戰(zhàn)時(shí)限定為六個(gè)月,但在此期間他沒有收到任何回復(fù)。應(yīng)萊布尼茨的要求,挑戰(zhàn)時(shí)間公開延長了一年半。1697年1月29日,當(dāng)艾薩克·牛頓回到家時(shí),發(fā)現(xiàn)約翰·伯努利寫給他的一封信,信中以最速降線問題向他發(fā)起挑戰(zhàn)。牛頓僅用一個(gè)晚上就解決了這個(gè)問題,并匿名發(fā)表在哲學(xué)匯刊上。伯努利讀到牛頓的答案后,立刻認(rèn)出了它的作者,并驚呼“從爪印認(rèn)出了獅子”。 ![]() ![]() 約翰·伯努利和牛頓最終的答案就是擺線,即滾動(dòng)的輪子邊緣上的一點(diǎn)所描述的形狀,如上圖所示。 ![]() 2、 變分法和最小能量原理 后來歐拉對(duì)這個(gè)問題進(jìn)行了深入分析,并發(fā)展出泛函代數(shù)這一數(shù)學(xué)分支,他將函數(shù)視為變量,可以將進(jìn)行微分,將最速降問題抽象成純數(shù)學(xué)問題:當(dāng)積分 ![]() 取極值時(shí),函數(shù)y(x)應(yīng)具有何種形式? 為了和數(shù)的變化——微分區(qū)別,用希臘字母δ表示。y變化時(shí),泛函J也相應(yīng)改變。改變量為: ![]() 采用微分變換公式,容易證明y(x) 應(yīng)滿足歐拉方程: ![]() ![]() 容易看出該方程和拉格朗日方程具有相同的形式: ![]() 其中L=T?V,是體系的動(dòng)能與勢(shì)能的差,稱為拉格朗日量。 這兩個(gè)方程是不同的人,在不同的時(shí)代,為解決完全不同的問題,而推出的具有完全不同意義的兩個(gè)方程。但很明顯,兩個(gè)方程具有一模一樣的數(shù)學(xué)形式。這是巧合嗎?是的?;谶@一巧合,哈密頓提出:既然滿足歐拉方程的函數(shù) ![]() 取極值,那么對(duì)應(yīng)拉格朗日方程,也一定有積分取極值。這個(gè)拉氏量在時(shí)間上的積分就是哈密頓作用量。上面分析說明:力學(xué)體系從時(shí)刻t1到時(shí)刻t2,t的一切可能在運(yùn)動(dòng)之中,只有使哈密頓作用量取極值的運(yùn)動(dòng),才是實(shí)際發(fā)生的運(yùn)動(dòng)。這就是最小能量原理。從最小能量原理可以推出拉格朗日方程,但發(fā)現(xiàn)的時(shí)間,卻是拉式方程在先,哈氏原理在后。 ![]() 最小能量原理原理在理論力學(xué)中非常重要,主要原因和意義如下:
總之,最小能量原理從根本上統(tǒng)一了經(jīng)典力學(xué)的能動(dòng)關(guān)系和變分原理,給出力學(xué)運(yùn)動(dòng)的最小作用路線理論基礎(chǔ),在理論力學(xué)中具有極其重要的地位。 3、 最小能量原理和神經(jīng)網(wǎng)絡(luò) 今年的諾貝爾物理學(xué)獎(jiǎng)獲得者約翰·霍普菲爾德(John Hopfield)創(chuàng)建了一種聯(lián)想存儲(chǔ)器,可以存儲(chǔ)和重建圖像以及數(shù)據(jù)中其他類型的模式。Hopfield網(wǎng)絡(luò)可以存儲(chǔ)模式并具有重新創(chuàng)建它們的方法。當(dāng)給網(wǎng)絡(luò)一個(gè)不完整或輕微扭曲的模式時(shí),該方法可以找到最相似的存儲(chǔ)模式。 ![]() Hopfield網(wǎng)絡(luò)旨在為人類的聯(lián)想記憶功能建一個(gè)簡單的模型。什么是聯(lián)想記憶?舉個(gè)例子,比如說現(xiàn)在讓你回憶高中的時(shí)候發(fā)生過的一些事情,可能會(huì)比較困難,但假如讓你回到高中的教室,聽一些當(dāng)年的音樂,就可以大大幫助你的回憶。也就是說,你的大腦里實(shí)際上存儲(chǔ)著大量的長期記憶,但你并不能完全隨心所欲地檢索你的記憶,尤其是對(duì)一些塵封已久的記憶來說,需要一些輔助信息來引導(dǎo)你通過聯(lián)想找回記憶。 ![]() 在神經(jīng)科學(xué)中,我們通常認(rèn)為大腦的狀態(tài)完全由每一個(gè)神經(jīng)元的firing rate(放電率,即膜電壓每秒超過幾次閾值)決定。比如說一個(gè)人的大腦有N個(gè)神經(jīng)元負(fù)責(zé)記憶相關(guān),那么每個(gè)神經(jīng)元都有一根代表自己firing rate的坐標(biāo)軸,記憶腦區(qū)每一時(shí)刻的狀態(tài)都可以用這N維空間中的一個(gè)點(diǎn)來表示。 于是,聯(lián)想記憶功能可以被抽象為下圖這般的神經(jīng)動(dòng)力學(xué):空間中任何一個(gè)點(diǎn)都代表大腦可能的一個(gè)狀態(tài),每一個(gè)吸引子(黑點(diǎn))編碼了一份記憶,同時(shí)這些吸引子把整個(gè)空間劃分成了各自的吸引域,如果大腦狀態(tài)落進(jìn)了某個(gè)吸引域就相當(dāng)于是擁有了一些輔助信息,之后會(huì)被吸引到相應(yīng)的吸引子那里,這個(gè)吸引的過程就是聯(lián)想或者說找回記憶(memory retrieval,pattern completion)的過程。 ![]() 所以,勢(shì)能函數(shù)每一個(gè)local minimum(極小值點(diǎn))都構(gòu)成一個(gè)吸引子,可以編碼一份記憶。而勢(shì)能函數(shù)的具體landscape完全由突觸性質(zhì)決定,這對(duì)應(yīng)的科學(xué)事實(shí)即為:長期記憶存儲(chǔ)在突觸網(wǎng)絡(luò)之中。意味著,所謂的回憶起某件事,就是大腦某個(gè)腦區(qū)回到了當(dāng)時(shí)記憶/感覺時(shí)的狀態(tài),而回憶的過程,即是向勢(shì)能極小值點(diǎn)滑下的過程。 |
|
|