物理信息機器學(xué)習(xí)（PIML），指的是將物理學(xué)的先驗知識（歷史上自然現(xiàn)象和人類行為的高度抽象），與數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)模型相結(jié)合，這已經(jīng)成為緩解訓(xùn)練數(shù)據(jù)短缺、提高模型泛化能力和確保結(jié)果的物理合理性的有效途徑。在本文中，我們調(diào)查了最近在PIML方面的大量工作，并從三個方面進行了總結(jié)：（1）PIML發(fā)展的動機，（2）PIML中的物理知識，（3）PIML中的物理知識整合方法。我們還討論了當(dāng)前PIML的挑戰(zhàn)和相應(yīng)的研究機會。

? ?

簡介：物理知識嵌入機器學(xué)習(xí)

機器學(xué)習(xí)/深度學(xué)習(xí)模型已經(jīng)在一些領(lǐng)域取得了巨大的成功，如計算機視覺[1-5]和自然語言處理[6-14]，大量的訓(xùn)練數(shù)據(jù)和高表現(xiàn)力的神經(jīng)網(wǎng)絡(luò)架構(gòu)給出了超越之前方法的解決問題的方案。因此，研究人員也開始探索應(yīng)用機器學(xué)習(xí)模型來推進科學(xué)發(fā)現(xiàn)和進一步改善傳統(tǒng)分析建模的可能性[15-21]。

雖然給定一組輸入和輸出對，深度神經(jīng)網(wǎng)絡(luò)能夠在充分的大量數(shù)據(jù)上通過適當(dāng)?shù)膬?yōu)化來得到輸入和輸出之間的復(fù)雜關(guān)系，但先驗知識仍然在尋找最優(yōu)解方面起著重要作用。作為對數(shù)據(jù)分布和任務(wù)屬性的高層次提取，先驗知識如果納入得當(dāng)，可以提供在有限的訓(xùn)練數(shù)據(jù)中不存在或難以提取的豐富信息，并有助于提高數(shù)據(jù)效率、泛化能力和產(chǎn)生模型的合理性。

在漫長的歷史中，物理知識在理論和實驗上都得到了明確的收集和驗證，在許多重要的科學(xué)和工程應(yīng)用中包含了對自然現(xiàn)象和人類行為的抽象和總結(jié)。因此本文重點討論了將先驗物理知識整合到機器學(xué)習(xí)模型中的課題，即PIML。與其他類型的先驗知識，如知識圖譜、邏輯規(guī)則和人類反饋[22]的整合相比，由于物理知識的特殊屬性和形式，物理知識的整合需要特殊設(shè)計。

本文調(diào)查了最近在PIML方面的大量工作，并從三個方面對其進行總結(jié)。(1) PIML的動機，可以進一步歸類為使用機器學(xué)習(xí)來服務(wù)于物理領(lǐng)域的任務(wù)，和將物理學(xué)原理融入到現(xiàn)有機器學(xué)習(xí)模型中用于現(xiàn)實世界的任務(wù)。(2) PIML中的物理知識，每一類都是涵蓋廣泛問題的一般原則。(3) PIML中物理學(xué)知識整合的方法。根據(jù)知識整合的位置，我們將這些方法分為數(shù)據(jù)增強、神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計和物理信息優(yōu)化。

本文的結(jié)構(gòu)如下。第2節(jié)使用 PIML分析了兩大動機：一類主要服務(wù)于物理領(lǐng)域的任務(wù)，另一類服務(wù)于現(xiàn)實世界的問題。第3節(jié)介紹了PIML中廣泛使用的幾個通用物理原理。第4節(jié)研究物理知識整合的方法。第5節(jié)討論了PIML的挑戰(zhàn)和潛在的未來研究方向。第6節(jié)是整篇論文的總結(jié)。

PIML的動機：

物理用于機器學(xué)習(xí)，機器學(xué)習(xí)用于物理

物理科學(xué)問題涉及各種數(shù)據(jù)密集型任務(wù)，包括時空數(shù)據(jù)建模、因果推理、計算機視覺、概率推理等。由于機器學(xué)習(xí)方法在這些任務(wù)中取得了巨大的成功，近年來使用機器學(xué)習(xí)模型來促進物理學(xué)的科學(xué)發(fā)現(xiàn)越來越受到關(guān)注。

另一方面，與現(xiàn)有的基于數(shù)值或純物理的方法相比，基于物理的機器學(xué)習(xí)方法在靈活性、通用性和計算成本方面具有優(yōu)勢。同時，它們?nèi)匀痪哂形锢砩系暮侠硇?。本?jié)介紹了將機器學(xué)習(xí)用于若干物理相關(guān)任務(wù)的最新進展，包括替代模型模擬、數(shù)據(jù)驅(qū)動的PDE求解器、物理模型的參數(shù)化、降維模型和知識發(fā)現(xiàn)。

PIML中的物理知識

本節(jié)介紹了集成在PIML中的幾類通用物理知識。雖然有更多的領(lǐng)域/任務(wù)特定的知識可以用于相應(yīng)的解決方案，但我們在本節(jié)中介紹的每個類別都涵蓋了廣泛的問題，并給出了一系列普遍適用的解決途徑，而不是僅僅解決一兩個特定任務(wù)的方案。

首先是經(jīng)典力學(xué)和能量守恒定律。牛頓力學(xué)、拉格朗日力學(xué)和哈密頓力學(xué)是描述經(jīng)典力學(xué)系統(tǒng)的三種典型方法。牛頓力學(xué)被廣泛用于描述位置、速度、加速度和力之間的關(guān)系，而拉格朗日和哈密頓力學(xué)則提供了有效的工具，遵守動力學(xué)系統(tǒng)建模中的能量守恒定律。

其次是對稱性和不變量。定義在一個物體或系統(tǒng)上的對稱性是一些保持某些屬性不變的變換。典型的對稱性包括視覺對象分類問題中的移動、分子屬性預(yù)測問題中的旋轉(zhuǎn)以及粒子系統(tǒng)中的排列組合。

PIML中的通用物理知識還包括偏微分方程的數(shù)值方法和Koopman理論。

PIML的方法

機器學(xué)習(xí)問題的典型解決方案涉及三個關(guān)鍵部分：數(shù)據(jù)、模型和優(yōu)化，每個部分都可以與物理知識相結(jié)合。接下來的部分分別介紹將物理知識結(jié)合到每個部分的現(xiàn)有技術(shù)。但是，我們應(yīng)該注意到，這些技術(shù)并不是相互排斥的：物理知識可以集成到機器學(xué)習(xí)解決方案的多個部分中。

我們根據(jù)物理知識的形式和整合方法對現(xiàn)有的工作進行分類。我們注意到，對于具有分析形式的知識，現(xiàn)有的工作可以將知識整合到所有三個方面，包括數(shù)據(jù)、模型和優(yōu)化。然而，關(guān)于整合其他通用類型物理知識的研究工作，包括能量守恒定律、對稱性、偏微分方程的數(shù)值方法和Koopman理論，主要側(cè)重于將相應(yīng)的知識納入計算圖。主要原因是這種通用的物理知識有可能轉(zhuǎn)化為可重復(fù)使用的網(wǎng)絡(luò)架構(gòu)中的歸納偏差，這在預(yù)測性能和數(shù)據(jù)效率方面比數(shù)據(jù)增強和基于物理知識的損失函數(shù)有優(yōu)勢。這是由于 (1) 通用的物理知識適用于各種問題，從而導(dǎo)致通用的網(wǎng)絡(luò)架構(gòu)，(2) 與為特定領(lǐng)域問題（如天氣和湍流）設(shè)計的復(fù)雜數(shù)值模擬器相比，歸納偏差具有更簡單的形式，可以轉(zhuǎn)化為有限數(shù)量的不同可微算子的組合。

挑戰(zhàn)和未來的方向

挑戰(zhàn)一：手工選擇導(dǎo)入的物理知識

現(xiàn)有工作需要對任務(wù)特定領(lǐng)域的專業(yè)知識有所了解，以選擇最合適的物理學(xué)知識。雖然這能夠利用領(lǐng)域知識緩解純數(shù)據(jù)驅(qū)動方法的缺陷，但它缺乏根據(jù)任務(wù)確定正確物理知識的靈活性。因此，一個研究方向是自動識別要納入的適當(dāng)?shù)奈锢碇R。這需要在特定領(lǐng)域的知識和純數(shù)據(jù)驅(qū)動的方式之間找到一個中間點。

挑戰(zhàn)二：缺乏PIML方法的基準和評估

綜合性的基準已經(jīng)顯示出對相應(yīng)研究領(lǐng)域發(fā)展的巨大推動作用。例如，計算機視覺領(lǐng)域的ImageNet Large Scale Visual Recognition Challenge（ILSVRC）[23]和Common Objects in Context（COCO）[24]，自然語言處理領(lǐng)域的Workshop on Statistical Machine Translation（WMT）[25]和 Stanford Question Answering Dataset（SQuAD）[26]。然而，由于問題設(shè)置的復(fù)雜性，PIML仍然缺乏評估各種知識整合方法的全面基準，這給PIML的發(fā)展帶來了障礙。首先，PIML中的大多數(shù)問題來自于物理或工程應(yīng)用，在這些應(yīng)用中，獲取數(shù)據(jù)和形式化任務(wù)對于沒有領(lǐng)域知識和經(jīng)驗的再搜索者來說可能是一種挑戰(zhàn)。其次，現(xiàn)有的工作，有些嚴重依賴特定領(lǐng)域數(shù)據(jù)集，這大大增加了公平比較不同PIML方法的難度。構(gòu)建PIML的綜合基準是推動其發(fā)展的迫切需要。

挑戰(zhàn)三：現(xiàn)有神經(jīng)網(wǎng)絡(luò)架構(gòu)的次優(yōu)性和PIML的優(yōu)化方法

神經(jīng)網(wǎng)絡(luò)架構(gòu)和優(yōu)化方法的理論和經(jīng)驗結(jié)論大多是在神經(jīng)網(wǎng)絡(luò)方法首先獲得優(yōu)勢的領(lǐng)域發(fā)展起來的，如計算機視覺和自然語言處理。然而，它們在PIML中可能不再有效。原因是PIML方法通常涉及在前向過程和目標函數(shù)中明確使用梯度，導(dǎo)致在反向過程中存在高階導(dǎo)數(shù)，這使得優(yōu)化空間的形狀與典型的深度學(xué)習(xí)模型明顯不同。例如，常規(guī)的參數(shù)初始化方法，如Kaiming和Xavier是不夠的，因為不尋常的優(yōu)化目標是特殊的非線性的。PIML的新型神經(jīng)網(wǎng)絡(luò)設(shè)計和傳統(tǒng)的深度學(xué)習(xí)任務(wù)在網(wǎng)絡(luò)結(jié)構(gòu)和目標上存在巨大差異，這意味著PIML的新型神經(jīng)網(wǎng)絡(luò)設(shè)計在結(jié)構(gòu)和優(yōu)化方面都很重要。

總結(jié)

本文對現(xiàn)有的PIML工作進行了徹底和全面的調(diào)查。文章從三個方面進行總結(jié)：（1）PIML的動機；（2）PIML中的物理知識；（3）PIML中的知識整合方法。最后討論了PIML的現(xiàn)有挑戰(zhàn)，并相應(yīng)地指出了未來潛在的研究方向。我們希望本文能成為PIML用戶選擇合適的物理知識和適當(dāng)?shù)恼戏椒ǖ闹改?，也能成為PIML研究者確定現(xiàn)有差距和有前景的研究方向的指南。