引出話題

本文延續(xù)上篇文章《對于函數(shù)和微分和函數(shù)距離的臆想》的脈絡(luò)，補(bǔ)充下對隱函數(shù)以及多元函數(shù)倒數(shù)的理解。并以此為基礎(chǔ)推進(jìn)對教科書《數(shù)學(xué)分析》中'拉格朗日乘數(shù)法'的揣摩和理解。

第二十五篇 多元函數(shù)全微分和隱函數(shù)倒數(shù)的臆想

多元函數(shù)的全微分

開門見山，上述為《數(shù)學(xué)分析》教科書中關(guān)于復(fù)合函數(shù)全微分的公式，且教科書對此有詳細(xì)證明。拋開證明，小白試圖想直觀的理解此公式。但覺有一點(diǎn)稍費(fèi)解，就是中間的'＋'號。從上述公式看，不論f(x,y)函數(shù)的表達(dá)式如何，z的微分都是函數(shù)表達(dá)式基于各個變量偏導(dǎo)數(shù)乘以各自微分再相加。如何理解呢？

舉個例子，如z=x*y。那么dz=y*dx +x*dy（此處不準(zhǔn)確，應(yīng)該采用偏導(dǎo)的字符書寫）；小白臆想，微分是在描述一個函數(shù)在一個點(diǎn)上的微觀變化。想象一下，在某一點(diǎn)(x0,y0），x0變化了dx那么引起z變化了dz＝y(tǒng)0*dx，誤差為dx的高階無窮小，忽略不計(jì)；但是y0同樣也會變化啊，那么dy引起dz的變化dz＝x0*dy，誤差為dy的高階無窮小，忽略不計(jì)。還有一個誤差，那就是dx引起dy的增長，進(jìn)而間接引起的dz的變化，但這個也屬于dx(或者dy)的高階無窮小，所以可以忽略。

因此，仔細(xì)思考，在任意一個函數(shù)的某一個點(diǎn)上，自變量基于這一點(diǎn)的一個細(xì)微的變化（無窮小）所引發(fā)的因變量的變化的大小的尺度僅取決于這一個點(diǎn)的位置。這一結(jié)論有兩方面的誤差，第一方面的誤差是，自變量的變化引起自變量位置的變化，進(jìn)而間接引發(fā)的因變量的變化，這一誤差是自變量直接變化引起因變量變化的高階無窮?。▍⒖葱“咨掀恼隆秾τ诤瘮?shù)和微分和函數(shù)距離線性臆想》中的泰勒公式），微分計(jì)算時可忽略。第二方面的誤差是，

多個自變量各自細(xì)微變化所引發(fā)的因變量變化彼此之間獨(dú)立。也就是說，對于一個自變量的變化引起的另一個自變量的變化進(jìn)而間接引起因變量的變化，這個間接的變化也是自變量直接變化引起因變量變化的高階無窮小，微分時忽略不計(jì)。同時基于這一點(diǎn)，我們可以理解本小節(jié)所聚焦的全微分公式，即因變量的微分是由各自變量的微分線性疊加而成。小白臆想，大自然微觀和宏觀之間的聯(lián)系是否本質(zhì)上有兩種，一個是靜態(tài)的，這種關(guān)聯(lián)就是我們的微分；另一種是動態(tài)的，傳說中的蝴蝶效應(yīng)。

隱函數(shù)的倒數(shù)

開門見山，上述為《數(shù)學(xué)分析》教科書中隱函數(shù)求導(dǎo)公式，書中也有大段內(nèi)容對其證明。經(jīng)過前面我們的思考和臆想，其實(shí)在微分的層面，我們可以拋開復(fù)雜的函數(shù)表達(dá)式，僅關(guān)注各個變量微分項(xiàng)之間的線性疊加關(guān)系即可（即用加減乘除去推導(dǎo)微分之間的關(guān)系即可）

首先問題是，有函數(shù)F(x,y) = 0，目標(biāo)是得到dy/dx.

第一步，假如另z= F(x,y); 我們得到dz=Fx(x,y)dx和dz=Fy(x,y)dy（這里指的是偏微分）

第二步，所以Fx(x,y)dx = Fy(x,y)dy;

第三步，所以dy/dx = Fx(x,y)/Fx(x,y);

但是還缺少一個'－'號，從哪里來呢？我們知道隱函數(shù)是y=q(x)的形式．因此，在F(x,y)=0形式下，dx或者dy相當(dāng)于一個移動到了等號的另一側(cè)。因此需要加上一個等號。這就是隱函數(shù)的求導(dǎo)公式。

第二十六篇 拉格朗日乘數(shù)法

拉格朗日乘數(shù)法，在機(jī)器學(xué)習(xí)SVM算法中常被提及。本章節(jié)延續(xù)前面章節(jié)的套路，依托教科書的公式和證明過程并附加小白的臆想來揣摩下拉格朗日乘數(shù)法背后的所描摹的小世界。

開門見山，拉格朗日乘數(shù)法的任務(wù)是解決上述條件極值問題。我們知道假如在沒有條件的情況下，一個函數(shù)的極值可以通過求導(dǎo)的方法加以處理。那么在有條件的情況下呢？

我們細(xì)想這個問題，根據(jù)小白《對于函數(shù)和微分和函數(shù)距離的臆想》的一些觀點(diǎn)，首先，條件函數(shù)C：是一個曲線，是一維的線?？梢韵胂蟪晌覀兊孛嫔弦粭l彎曲的小路。而極值函數(shù)z=f(x,y)相當(dāng)于曲線膨脹彎曲了，這個'膨脹'是在z的維度下觀察（'＝'號）才能感覺到，即這條曲線又在z的維度下彎曲了。而現(xiàn)在任務(wù)是要找到在曲線上Z的維度下達(dá)到最大值的一個點(diǎn)。

可以想象一下，一個大氣球未充氣前扁平的撲在地上（x和y形成面），氣球上面有一條彎曲的線（約束條件函數(shù)C:形成的曲線），一個螞蟻（螞蟻代表曲線上的點(diǎn)）沿著曲線在爬。這時，氣球由于吹氣膨脹了（假如氣球不存在彈性的拉伸，函數(shù)z=f(x,y)在維度ｚ方向上引起平面的彎曲，或者理解為，x和y的平面由于函數(shù)表達(dá)式f(x,y)中運(yùn)算符的疊加變換導(dǎo)致在z維度下觀察('＝'號)膨脹彎曲了）。我們的任務(wù)是，螞蟻沿著曲線爬，什么時候會爬到z方向上的最高點(diǎn)呢？

上圖是教科書用于描述這條膨脹后曲線的幾何視圖。假如現(xiàn)在極值點(diǎn)是（x0,y0）（即螞蟻爬到x0,y0處為z方向的最高點(diǎn)）。

此時，我們另：

這里，y=g(x)（g(x)為約束條件C：對應(yīng)的顯函數(shù)）。我們z轉(zhuǎn)換成了關(guān)于x的函數(shù)h(x)。試想象一下，剛才的曲線，如果從y維度的方向看過去，我們看到了一個曲線在x和z平面的一個投影，這個投影就是h(x)。我們很容易理解極值點(diǎn)(x0,y0)被投影成h(x)后，仍舊是z關(guān)于x的一個極值點(diǎn)。于是，我們有了如下的公式：

根據(jù)上一節(jié)中，我們的隱含數(shù)求導(dǎo)公式，我們有：

把兩個公式合并后，得到如下：

由上面這個公式，我們可以得到：

上面這個公式很有意思，右側(cè)其實(shí)就是g(x)函數(shù)倒數(shù)在x0,y0的值。對于左側(cè)，假如令m=f(x,y)(這里的m假如是一個常數(shù))，那么左側(cè)就表示m=f(x,y)這條曲線的倒數(shù)在x0,y0處的值。這里，靈光一閃，我們忽然會想到，m=f(x,y)不就是z=f(x,y)這個曲面的等高線嘛。而導(dǎo)數(shù)在x0,y0的值就是曲線在x0,y0點(diǎn)切線的斜率。也就是說曲面在x0,y0點(diǎn)等高線的切線和約束函數(shù)曲線在x0,y0點(diǎn)的斜率相同。教科書中有如下，圖示：

此處，拉格朗日乘數(shù)就上場了。我們稱這個約束曲線和等高線曲線的公共切線的斜率為拉格朗日乘數(shù)，并另：

上面恒等式末位的變量就是拉格朗日乘數(shù)，這時候就有如下的幾組等式成立了：

這個時候，我們不難發(fā)現(xiàn)，上述三個等式可以看成對一個關(guān)于x,y,和拉格朗日乘數(shù)的三個自變量的函數(shù)的分別求導(dǎo)。這個函數(shù)很容易想到是：

因此，這里我們就把條件極值的問題轉(zhuǎn)換成了對函數(shù)L無條件極值的問題，我們只要解出上面的幾組等式即可。