【原】如何在無限維空間中求導(dǎo)數(shù)？用變分法，推導(dǎo)出歐拉-拉格朗日方程

老胡說科學(xué) 2023-05-02 發(fā)布于江蘇

展開全文

變分法是對(duì)已知的微積分進(jìn)行擴(kuò)展，將其應(yīng)用于無限維空間，特別是函數(shù)空間。普通的微積分關(guān)注的是一個(gè)或多個(gè)實(shí)變量的函數(shù)，而變分法處理的是函數(shù)的函數(shù)，即泛函。本文的主要目的是證明，只要給出正確的導(dǎo)數(shù)定義，變分法與普通微積分非常相似。我將有限維和無限維優(yōu)化問題進(jìn)行比較，并揭示無限維問題可以使用有限維的思想來求解。我利用這些思想推導(dǎo)出著名的歐拉-拉格朗日方程（Euler-Lagrange equations）。

優(yōu)化（Optimization）

優(yōu)化是數(shù)學(xué)、工程學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域中尋找最佳解決方案的過程。優(yōu)化的目標(biāo)通常是在給定約束條件下，最大化或最小化某個(gè)目標(biāo)函數(shù)。在實(shí)際應(yīng)用中，優(yōu)化問題可以涉及到不同領(lǐng)域的諸多問題，如資源分配、生產(chǎn)調(diào)度、投資組合選擇、機(jī)器學(xué)習(xí)模型調(diào)整等。

最簡(jiǎn)單的形式是，優(yōu)化問題作為一個(gè)函數(shù)給出，我們尋求使這個(gè)函數(shù)達(dá)到最小值或最大值的點(diǎn)。

以金融領(lǐng)域的馬科維茨投資組合（Markowitz Portfolio）為例。假設(shè)我持有兩種風(fēng)險(xiǎn)證券，其收益率方差分別為σ?和σ?。它們的協(xié)方差是c。我應(yīng)該持有多少比例的每種證券以使投資組合的方差最??？

假設(shè)投資組合中第一種證券的比例為w，那么投資第二種證券的比例為（1-w）。給定這些參數(shù)，兩個(gè)證券投資組合的總方差可以寫成：

要解決這個(gè)問題，我們需要找到一個(gè)使這個(gè)方差最小化的w。

方法

在上述示例中，問題被建模為一個(gè)未知變量的函數(shù)。我們尋求一個(gè)值，使得函數(shù)的值最小。首先，我們要明確最小值的含義。

最小值的定義：設(shè)??是一個(gè)集合，f:??→?是從這個(gè)集合到實(shí)數(shù)的函數(shù)。如果在??中的???點(diǎn)，f有一個(gè)局部最小值，那么???的某個(gè)鄰域滿足??(??)≥??(???)，對(duì)所有??∈??成立。如果對(duì)于所有??∈??，都有??(??)≥??(???)，那么???是全局最小值。

我還沒有定義什么是鄰域。直觀地說，鄰域是一個(gè)包含接近??點(diǎn)的??的子集。為了判斷點(diǎn)是近還是遠(yuǎn)，我們需要在集合??上定義一些距離度量。幸運(yùn)的是，實(shí)數(shù)軸以及任何歐幾里得空間都自帶了一種自然的距離度量。

如果x和y是n維向量空間中的點(diǎn)，我們可以將它們的坐標(biāo)寫為，

x和y之間的距離由它們的差的范數(shù)給出：

微積分定理中的關(guān)鍵結(jié)果是解決優(yōu)化問題的：

定理：必要優(yōu)化條件

設(shè)f：??→?是一個(gè)連續(xù)可微函數(shù)。如果??在???處有一個(gè)局部最小值，那么???(???)=0。

逆命題并非總是成立，但如果??有二階導(dǎo)數(shù)，那么有一個(gè)更強(qiáng)的條件來保證最小值。

當(dāng)且僅當(dāng)???(???)=0且?2??(???)≥0時(shí)，??在???處有一個(gè)局部最小值。

注意，???表示向量

在一維情況下，這就是我們熟知的導(dǎo)數(shù)????/????。下圖展示了一個(gè)函數(shù)的導(dǎo)數(shù)為0的點(diǎn)。

這個(gè)性質(zhì)表明了一種尋找最小值的簡(jiǎn)單算法：找到函數(shù)導(dǎo)數(shù)為0的所有點(diǎn)。如果有多個(gè)，計(jì)算函數(shù)在每個(gè)點(diǎn)的值，并選擇最小值。

利用這個(gè)算法，我們現(xiàn)在可以解決方差最小化問題：

取方差V關(guān)于w的導(dǎo)數(shù)，得到

我們將這個(gè)表達(dá)式設(shè)為0，求解w，得到最小方差投資組合的解：

局限性

我們有一個(gè)在多維度上計(jì)算最優(yōu)性的強(qiáng)大工具。然而，到目前為止，還有一些問題無法解決?？紤]以下問題：

我在兩點(diǎn)??1和??2之間畫出一個(gè)函數(shù)??(??)：?→?的圖像。然后我將圖像繞??軸旋轉(zhuǎn)，形成一個(gè)表面。這樣描述的旋轉(zhuǎn)表面的面積由下式給出：

下面是一個(gè)旋轉(zhuǎn)表面的示例

我們感興趣的是在兩個(gè)固定點(diǎn)之間找到一個(gè)函數(shù)，使得旋轉(zhuǎn)表面的面積最小。到目前為止，我們討論的方法無法解決這個(gè)問題，因?yàn)槲覀儗ふ业牟粌H僅是一個(gè)數(shù)，而是整個(gè)函數(shù)。

導(dǎo)數(shù)

上述問題需要優(yōu)化一個(gè)函數(shù)的函數(shù)。這樣的函數(shù)通常被稱為泛函（Functional）。我們可以將泛函視為一個(gè)函數(shù)F：V→?，其中V是函數(shù)空間。與我們之前處理的域??：??→?具有有限維數(shù)的情況不同，這個(gè)新的函數(shù)空間具有潛在的無限維數(shù)。

我們可以在無限維空間中求導(dǎo)數(shù)嗎？

首先要做的是仔細(xì)研究導(dǎo)數(shù)的定義，并了解如何將其擴(kuò)展。在微積分課程中，點(diǎn)??處的導(dǎo)數(shù)通常定義為

即使在這個(gè)簡(jiǎn)單的一維定義中，我們也必須小心，因?yàn)槿绻麖淖髠?cè)（h負(fù)）或右側(cè)（h正）接近0，可能會(huì)得到不同的結(jié)果。

定義：變分導(dǎo)數(shù)

設(shè)??：??→?是一個(gè)定義在向量空間V（可能是無限維）上的實(shí)值函數(shù)。??在??處沿?方向的變分導(dǎo)數(shù)定義為

其中??是一個(gè)正實(shí)數(shù)。

注意，這個(gè)導(dǎo)數(shù)通常取決于方向向量?。如果在計(jì)算導(dǎo)數(shù)時(shí)發(fā)現(xiàn)它與?無關(guān)，那么這是一個(gè)好兆頭，因?yàn)樗馕吨鴮?dǎo)數(shù)可能在每個(gè)方向上都有良好的定義。

歐拉-拉格朗日方程

給定一個(gè)未知函數(shù)x及其導(dǎo)數(shù)的已知泛函L，找到使以下積分最小化的函數(shù)x：

這是一個(gè)無限維空間中的優(yōu)化問題。事實(shí)證明，情況與有限維情況類似，需要尋找I的導(dǎo)數(shù)等于0的地方。

??是變量??和??及其導(dǎo)數(shù)的函數(shù)。 ??(??,??˙)可以被視為兩個(gè)變量??(??,??)的函數(shù)。這樣的函數(shù)??在點(diǎn)(??+????′,??+????′)的泰勒展開式為

其中e是一個(gè)很小的數(shù)。我可以將上式寫為

計(jì)算導(dǎo)數(shù)

現(xiàn)在，使用變分導(dǎo)數(shù)的定義

首先，我計(jì)算??(??+???)???(??)，其中??是一個(gè)很小的數(shù)，?是一個(gè)任意函數(shù)。然而，它并不是完全任意的。h必須使端點(diǎn)???和???處的值保持不變。換句話說，必須有f(x?)+h(t?)=f(x?)，從而得到h(t?)=0。同樣的道理也適用于t?。下面的圖片說明了這一點(diǎn)。

因此，我們得到：

現(xiàn)在我可以使用泰勒展開來得到

注意，O(e2)項(xiàng)可以忽略不計(jì)?，F(xiàn)在我關(guān)心的是括號(hào)中的第二項(xiàng)。使用微積分中的萊布尼茲規(guī)則：

得到了第二項(xiàng)的表達(dá)式：

兩邊積分：

正如我們討論過的，h必須使端點(diǎn)保持固定，這意味著h(t?)=h(t?)=0。因此，上述積分的值為0。

這是剩下的部分

取極限消除了O(e)項(xiàng)。為了找到最優(yōu)值，我令導(dǎo)數(shù)為0。

但由于?是一個(gè)（幾乎）任意的函數(shù)，唯一使這成立的方式是對(duì)于每個(gè)?，積分項(xiàng)恒等于0。

歐拉-拉格朗日方程

應(yīng)用：旋轉(zhuǎn)曲面

讓我們回到之前遇到的問題。我們想要找到兩點(diǎn)之間的旋轉(zhuǎn)曲面，使得其面積最?。?/p>