0 引言

1 問題描述

其中，表示定義域。u(x)為未知解。?為微分算子，可以是ODE算子、PDE算子或者是IDE算子等。λ為方程中的參數(shù)。B(u,x)為邊界條件，如狄里克雷（Dirichlet）條件、諾依曼（Neumann）條件、洛平（Robin）條件或者一些周期邊界條件。

其中，t∈[0,T]。該方程表示曲面沿其法線以與平均曲率成比例的速度運(yùn)動(dòng)的演化過程。采用深度神經(jīng)網(wǎng)絡(luò)來近似式（3）的解u(x,t)，并定義近似u(x,t)的神經(jīng)網(wǎng)絡(luò)為，一個(gè)簡單的 3 層前饋神經(jīng)網(wǎng)絡(luò)（feed forward network，F(xiàn)NN）的表示形式如式（4）所示：

其中，為神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣，為偏置向量，σ(·)為激活函數(shù)。進(jìn)一步可得到偏微分方程的表示形式f(x,t)如式（5）所示：

其中， 表示初始條件和邊界條件產(chǎn)生的訓(xùn)練數(shù)據(jù)，也可是從實(shí)際應(yīng)用中觀測得到的數(shù)值，可視為數(shù)據(jù)驅(qū)動(dòng)的部分。表示采樣數(shù)據(jù)，用于計(jì)算控制方程的殘差，可視為物理定律驅(qū)動(dòng)的部分。

顯然，f(x,t)的真實(shí)值為 0，調(diào)整的網(wǎng)絡(luò)參數(shù)以最小化 f(x,t)的殘差，同時(shí)滿足初始條件和邊界條件，能夠獲得方程解的一種可行的數(shù)據(jù)驅(qū)動(dòng)估計(jì)。深度學(xué)習(xí)求解微分方程的基本框架如圖1所示。

圖1   深度學(xué)習(xí)求解微分方程基本框架

2 微分方程求解的深度學(xué)習(xí)方法

2.1 方法概述及分類

其中，表示第 l 層神經(jīng)網(wǎng)絡(luò)的輸出，θ_l和 b_l為權(quán)重向量和偏置，σ_l(?)為第l層的激活函數(shù)。網(wǎng)絡(luò)規(guī)模需根據(jù)方程解的復(fù)雜性來選擇。

圖2   數(shù)據(jù)和物理信息量不同的3種情形

2.2 數(shù)據(jù)驅(qū)動(dòng)求解方法

針對PDE算子的近似問題，研究者期望神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的解算子是一個(gè)以函數(shù)為輸入，以函數(shù)為輸出的函數(shù)。采用神經(jīng)網(wǎng)絡(luò)逼近算子，有以下一般近似定理。假設(shè)φ是一個(gè)連續(xù)的非多項(xiàng)式函數(shù)， X表示一個(gè)巴拿赫空間，K₁、K₂為兩個(gè)緊集，且有K₁?X，，V為C(K₁)中的緊集，G為一個(gè)非線性連續(xù)算子表示，表示從V到C（K₁）的映射。接下來，對于ε＞0，有正整數(shù)p、q與r，常數(shù)，則有式（10）：

對所有和都成立。該定理表明對于任意的非線性連續(xù)算子，總存在包含兩個(gè)子網(wǎng)絡(luò)的算子網(wǎng)絡(luò)，其中分支網(wǎng)絡(luò)用于編碼輸入函數(shù)，主干網(wǎng)絡(luò)用于編碼輸出函數(shù)在特定位置上的值。因此，對于任意的非線性連續(xù)算子，總能找到滿足式（10）的神經(jīng)網(wǎng)絡(luò)形式無限逼近?；诜蔷€性算子的神經(jīng)網(wǎng)絡(luò)近似理論，Lu L等人采用兩個(gè)深度神經(jīng)網(wǎng)絡(luò)分別編碼離散的輸入函數(shù)空間和輸出函數(shù)域，提出了一種具有較小泛化誤差的深度算子網(wǎng)絡(luò)：DeepONet，并給出了該網(wǎng)絡(luò)能夠基于數(shù)據(jù)有效近似各種顯式算子、各種確定和隨機(jī)微分方程隱式算子的數(shù)學(xué)證明。神經(jīng)算子的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，基于神經(jīng)網(wǎng)絡(luò)關(guān)于算子的一般近似定理，能夠以自監(jiān)督的方式有效地學(xué)習(xí)微分方程的解算子。

2.3 物理知情求解方法

3 應(yīng)用案例

4 邁向科學(xué)智能大模型：DeDAO

4.1 支撐技術(shù)

4.2 DeDAO

• 數(shù)據(jù)預(yù)處理。DeDAO旨在處理微分方程數(shù)值求解及其應(yīng)用的相關(guān)問題，所以處理的數(shù)據(jù)不僅包含一般的數(shù)值數(shù)據(jù)，還包括實(shí)際應(yīng)用中的自然語言、圖像、視頻等數(shù)據(jù)。為此，需要對數(shù)據(jù)進(jìn)行預(yù)處理，包括填補(bǔ)數(shù)據(jù)、修復(fù)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)以及標(biāo)準(zhǔn)化（Tokenization）等，將這些數(shù)據(jù)統(tǒng)一處理成計(jì)算機(jī)可處理的形式。
• 單模態(tài)特征提取、多模態(tài)特征和專家知識融合。首先是單模態(tài)特征提取模塊，該模塊采用自注意機(jī)制從單模態(tài)數(shù)據(jù)中初步提取特征。但是不同微分方程背后的數(shù)學(xué)本質(zhì)是一樣的，可采用相同或類似的“基函數(shù)”進(jìn)行描述，因此單模態(tài)特征的初步提取是不夠的。為了進(jìn)一步提取多模態(tài)數(shù)據(jù)中的特征并獲得混合多模態(tài)特征，多模態(tài)特征和專家知識融合模塊采用混合注意機(jī)制將單模態(tài)特征和專家知識（物理定律）進(jìn)一步融合。同時(shí)，值得指出的是，單模態(tài)數(shù)據(jù)中提取出的特征并非都被使用，而是根據(jù)具體需求選擇。因此多模態(tài)特征和專家知識融合模塊采用了混合專家（mixture-of-experts）機(jī)制，即哪個(gè)特征參與最后的多模態(tài)和知識混合由該模塊決定，這既減小了計(jì)算量，也有助于提升性能。

• 預(yù)訓(xùn)練任務(wù)。預(yù)訓(xùn)練任務(wù)設(shè)計(jì)是訓(xùn)練大模型的關(guān)鍵步驟。通常來說，預(yù)訓(xùn)練任務(wù)需滿足兩個(gè)條件：預(yù)訓(xùn)練任務(wù)與下游任務(wù)相關(guān)；預(yù)訓(xùn)練任務(wù)需以自監(jiān)督的形式實(shí)現(xiàn)。第一個(gè)條件主要確保預(yù)訓(xùn)練任務(wù)提取的特征是適用于下游任務(wù)的；第二個(gè)條件則是因?yàn)榇竽Ｐ托枰Ａ坑?xùn)練數(shù)據(jù)，如果每個(gè)數(shù)據(jù)都需手工標(biāo)注，則很難實(shí)現(xiàn)，同時(shí)也不利于長期學(xué)習(xí)優(yōu)化。為此，DeDAO 的預(yù)訓(xùn)練任務(wù)可設(shè)計(jì)為如下3類：單步/多步狀態(tài)預(yù)測、微分方程求解及虛擬空間任務(wù)。由于DeDAO處理動(dòng)力學(xué)系統(tǒng)，其狀態(tài)預(yù)測是一個(gè)關(guān)鍵問題，且具有廣泛的應(yīng)用。對于單步/多步狀態(tài)預(yù)測任務(wù)，可以先挖空一段數(shù)據(jù)再對其預(yù)測，做到自監(jiān)督學(xué)習(xí)。對于微分方程求解任務(wù)，基于自然語言描述的微分方程知識、微分方程定律和數(shù)據(jù)等，可做到自監(jiān)督，如在式（5）中令f(x,t)=0。而對于虛擬空間任務(wù)，由計(jì)算機(jī)技術(shù)產(chǎn)生的虛擬任務(wù)，其數(shù)據(jù)和標(biāo)簽通常是成對出現(xiàn)的，無須額外的人工標(biāo)注，這也是采用人工系統(tǒng)的好處。

• 下游任務(wù)適配。下游任務(wù)適配模塊主要針對實(shí)際應(yīng)用。由于預(yù)訓(xùn)練任務(wù)很難覆蓋所有實(shí)際的下游任務(wù)，所以預(yù)訓(xùn)練任務(wù)的主要功能是從數(shù)據(jù)中提取盡可能全面而精確的特征。在下游任務(wù)適配模塊，基于遷移學(xué)習(xí)等方式，通過少量數(shù)據(jù)的微調(diào)DeDAO，使其可高效處理下游任務(wù)，并通過模型壓縮、知識蒸餾等方式縮小模型，使其符合部署條件。同時(shí)，微調(diào)后的模型將同時(shí)應(yīng)用于人工系統(tǒng)和實(shí)際系統(tǒng)，云端系統(tǒng)將持續(xù)跟蹤和分析DeDAO在實(shí)際系統(tǒng)和人工系統(tǒng)中的性能。當(dāng)性能不符合預(yù)期時(shí)， DeDAO 和人工系統(tǒng)會被優(yōu)化以達(dá)到期望的效果。DeDAO 的設(shè)計(jì)、訓(xùn)練、運(yùn)行和優(yōu)化遵循平行系統(tǒng)“邊緣簡單，云端復(fù)雜”的基本原則。

4.3 DeDAO之基于最佳格點(diǎn)集的最小二乘法

其中，c為待定參數(shù)，將式（11）帶入式（3）可得殘差如式（12）所示：

由于微分方程的解為連續(xù)函數(shù)，因此定義域中點(diǎn)列的選取與近似解的精度相關(guān)，也就是說在離散空間中表示原函數(shù)，需要采取一定的標(biāo)準(zhǔn)。對此，參考文獻(xiàn)采用最佳格點(diǎn)集來實(shí)現(xiàn)最小二乘法求解微分方程的配點(diǎn)，式（13）是常見的一種佳點(diǎn)集：

其中，，p為素?cái)?shù)，具有偏差。采用一致分布使配點(diǎn)分布均勻，離散殘差能較好地逼近連續(xù)型殘差，這一點(diǎn)比高斯配點(diǎn)法優(yōu)越。

在計(jì)算機(jī)技術(shù)快速發(fā)展的當(dāng)下，采用人工神經(jīng)元取代試函數(shù)作為基底能夠形成通用的近似結(jié)構(gòu)，方便工程實(shí)踐。采用物理知識輔助進(jìn)行深度學(xué)習(xí)，可實(shí)現(xiàn)無網(wǎng)格的求解，借助人工智能解決物理中的數(shù)學(xué)問題。基于神經(jīng)網(wǎng)絡(luò)的通用逼近定律如式（10），深度學(xué)習(xí)求解微分方程的方法，有望取得與有限元法與有限體積法等常用數(shù)值方法相似甚至更好的精度。因此，在DeDAO中，本文采用深度神經(jīng)網(wǎng)絡(luò)描述方程解的特征，以取代試函數(shù)的組合，給出使用最小二乘法優(yōu)化網(wǎng)絡(luò)參數(shù)的一種求解方法框架，其殘差加權(quán)損失函數(shù)設(shè)計(jì)如式（14）所示：

5 結(jié)束語