如何發現 AI+Science 中的下一個 AlphaFold 和 ChatGPT？

導語

從微觀到宏觀，跨越廣闊的空間和時間尺度，AI + Science 在發現基本粒子、量子計算、蛋白質模擬、材料設計、可控核聚變、氣象預測、碳捕捉等政策設計、探索浩瀚宇宙等各個方面，都發揮著重要作用。

一方面，各個科學領域中的重大問題為 AI 研究帶來全新的挑戰和機會；另一方面，最新的 AI 技術為解決科學領域的問題提供了強大的工具。

在集智俱樂部 AI + Science 讀書會第一期，斯坦福大學計算機科學系博士後研究員吳泰霖從 AI for Science 和 Science for AI 兩個方向，探討為何要將 AI 與 Science 結合，以及 AI + Science 下一步關注的重要問題和未來面對的挑戰。

今天的文章整理自此次分享。

關鍵詞： AI for Science，Science for AI，科學仿真，科學設計，科學發現

吳泰霖| 講者

陶如意| 整理

梁金| 編輯

本文由第一期 AI + Science 讀書會第一期總結而成。

在此次分享中，講者吳泰霖主要就以下幾個方面展開論述：

我們為什麼要討論 AI + Science？
AI for Science 關注的核心問題，以及前沿進展有哪些；
Science for AI 領域的核心問題，以及前沿進展有哪些；
AI + Science 下一步關注什麼問題？

AI + Science 下一步關注什麼問題？

1. 我們為什麼要討論 AI + Science ？

AI + Science 這一領域可以分為 AI for Science 和 Science for AI 兩個部分。

前者指利用AI技術為科學發現賦能，後者指利用科學知識設計出更強大的AI技術。

在 AI for Science 部分，許多前沿的AI技術可以幫助科學發現，主要包括：

1》在數值模擬方面提升速度和準確性。

如 DeepMind 提出的 GraphCast[1] 能通過輸入60秒的歷史天氣，預報未來10天的天氣，不僅在準確度上極大優於傳統預測手段，在運算效率上也有極大的提升。

AlphaFold [2] 的提出將人類蛋白質結構預測的準確度提升到了前所未有的水平。

2》幫助科學家探索科學框架的設計。

我們可以讓AI去更大的設計空間搜索設計策略和控制優化策略。

比如近期發表在Nature 上的工作，使用深度強化學習控制核聚變反應中的等離子體，第一次發現了全新的等離子體結構[3]。

3》揭示未發現的科學定律和知識。

比如近年的工作 AI Feynman2.0[4]，讓AI重新發現了《費曼物理學講義》中的100個物理方程，甚至還發現了新的方程。

這類工作可能在很大程度上可以做到幫助人類加快科學發現。

更進一步來說，科學技術的進步對於人類而言，是解放生產力以及獲得可持續增長的重要方式之一。

[1]Lam，Remi，et al. “GraphCast: Learning skillful medium-range global weather forecasting.” arXiv preprint arXiv:2212.12794 (2022).

[2]Lumper，John，et al. “Highly accurate protein structure prediction with AlphaFold.” Nature 596.7873 (2021): 583-589

[3]Degrave，Jonas，et al. “Magnetic control of tokamak plasmas through deep reinforcement learning.” Nature 602.7897 (2022): 414-419

[4]AI Feynman 2.0 [1]: rediscover top-100 physics equations in Feynman lectures

[1]Lam，Remi，et al. “GraphCast: Learning skillful medium-range global weather forecasting.” arXiv preprint arXiv:2212.12794 (2022).

[2]Lumper，John，et al. “Highly accurate protein structure prediction with AlphaFold.” Nature 596.7873 (2021): 583-589

[3]Degrave，Jonas，et al. “Magnetic control of tokamak plasmas through deep reinforcement learning.” Nature 602.7897 (2022): 414-419

[4]AI Feynman 2.0 [1]: rediscover top-100 physics equations in Feynman lectures

在 Science for AI 方面，當前的科學也可以為促進AI的發展提供非常有效的幫助，為AI技術帶來了新的挑戰。

如許多物理、化學等科學問題面臨超大的狀態空間搜索，當前的AI技術無法很好地解決。

如何解決這些科學問題，對AI的發展提出了更大挑戰。

其次，基於一些科學先驗知識，我們也可以設計出更強大的AI模型，在這方面已經有了很多工作。

比如等變圖網路[5]的提出，就是啟發於物理中的對稱性，使得模型可以在藥物分子建模等方面滿足需求。

同樣在模型中引入對稱性的工作還有[6]，在不同的系統中都極大提高了分子動力學模擬器的性能。

另外還有擴散模型[7]、能量模型[8]等，都對神經網路的建模提供了啟發。

[5] Victor Garcia Satorras，Emiel Hoogeboom，Max Welling,E(n) Equivariant Graph Neural Networks [2022]

[6] Zhang L，Han J，Wang H，et al. Deep potential molecular dynamics: a scalable model with the accuracy of quantum mechanics. Physical review letters，2018，120(14): 143001.

[7] Sohl-Dickstein J，Weiss E，Maheswaranathan N，et al. Deep unsupervised learning using nonequilibrium thermodynamics.

[8] Greydanus，Samuel，Misko Dzamba，and Jason Yosinski. “Hamiltonian neural networks.” Advances in neural information processing systems 32 (2019)

[5] Victor Garcia Satorras，Emiel Hoogeboom，Max Welling,E(n) Equivariant Graph Neural Networks [2022]

[6] Zhang L，Han J，Wang H，et al. Deep potential molecular dynamics: a scalable model with the accuracy of quantum mechanics. Physical review letters，2018，120(14): 143001.

[7] Sohl-Dickstein J，Weiss E，Maheswaranathan N，et al. Deep unsupervised learning using nonequilibrium thermodynamics.

[8] Greydanus，Samuel，Misko Dzamba，and Jason Yosinski. “Hamiltonian neural networks.” Advances in neural information processing systems 32 (2019)

AI 和 Science 的結合是一種雙向的賦能，我們當前還有許多事情可以做。

下面本文將對上述提到的內容進一步詳細展開論述。

2. AI for Science

一方面是AI對科學的賦能。

首先我們可以對科學做一個分解，這個過程首先是發現科學定律，並據此建立模型，這個過程在傳統范式中往往非常依賴科學家個人的洞察力，如開普勒定律和牛頓定律等；然後我們會根據這一模型去模擬真實世界，解釋更大范圍的事物；最後，我們會嘗試設計出新的系統，比如修改模型的參數，或者對系統進行實驗和幹預等，對系統進行控制，對系統產生進一步的了解，從而為進一步的科學發現創造條件。

而在機器學習中同樣也存在這樣類似的步驟：通過數據驅動的方式發現一個模型；使用模型對系統進行模擬；最後可以通過控制等方式設計出新的系統。

所以這二者的相似性就可以引出AI如何賦能科學的三個方面：科學仿真《Simulation》、科學設計《design》、科學發現《discovery》。

圖1. 科學仿真、科學設計與科學發現三階段與機器學習的對應

2.1 AI 之於科學仿真

科學仿真是指用數值模擬的形式，在給定系統初始狀態，邊界條件以及參數的時候，模擬系統的動力學或者穩態。

而通過引入機器學習的方法，模擬的速度和精度都會得到極大的提高。

圖2. 動力系統仿真示意圖。

μ t 是系統的初始狀態，可以是一個連續函數，或者一個圖；f*是演化動力學，可以是偏微分方程的演化，或者是真實世界的演化；a 是系統不隨時間變化的靜態參數；∂X是系統的邊界條件。

在科學仿真過程中，我們首先關心的問題是希望做到精確模擬。

我們可以用傳統的方式，基於第一性原理建立偏微分方程，然後求解。

這樣做的好處是解釋性高，並且求解精度有理論保證。

但缺陷是運算慢，而且對於很多復雜的系統，可能難以求解，甚至難以寫出偏微分方程。

我們也可以考慮用純數據驅動的方式，將圖1中的f*動力學參數化，用神經網路強大的擬合能力學習出一個f( θ)，使其盡可能接近真實的動力學。

不過，一個更好的方式是，我們可以取兩者的長處，即保留神經網路的運算能力，同時也加入一些物理先驗信息對神經網路結構進行約束，或者使用更符合物理直覺的訓練方式，使得模型的表現更好。

比如圖神經網路通過引入圖結構的先驗信息，即事先給定微觀粒子之間的相互作用關系，從而提升神經網路的預測能力。

這裡就我們以一系列基於GNN的工作為例，展開論述GNN在科學仿真領域的進展。

首先是 DeepMind 提出了一種圖網路模擬器《Graph Network Simulator，GNS》[8]，模擬粒子物理系統，可以應用於流體力學或者計算圖形學等領域的模擬。

具體架構如下圖所示。

首先根據先驗信息建立一個圖，然後基於消息傳遞《Message Passing》機制更新節點的特征，這裡的『消息』可以代表粒子之間的相互作用關系，通過神經網路的映射，實現粒子狀態的更新，最終實現模擬粒子通過相互作用發生運動的動力學過程。

圖3. 使用圖神經網路模擬復雜系統。

| 圖片來源: Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Network. ICML 2020. http://proceedings.mlr.press/v119/sanchez-gonzalez20a/sanchez-gonzalez20a.pdf

隨後提出的 HGNS《Hybrid Graph Network Simulator》方法 [9] 則通過引入多步預測，和 sector-based 訓練技巧，使得神經網路可以在更加復雜的系統上進行模擬。

前文提到的天氣預報模型 GraphCast[1]，則進一步引入多尺度信息，從而實現大規模和大尺度的預測效果。

另外一個基於網格的仿真《mesh-based simulation》也使用了圖網路建模[10]，它們除了引入網格網路之外，還基於位置信息引入了不同網格之間的相互作用。

這種建模方式也被證明在網格數據中有非常好的預測效果。

這篇工作發表在了2021年的 ICLR 上。

而後續也有對其進行的改進工作，比如通過引入一個調控參數，用來平衡預測準確度與預測精度[11]。

當然該領域還有一系列其他優秀的工作，比如基於對稱性提出的等變圖網路《equivariant graph》[5]，引入動量守恒的約束從而提高準確度[6，12]。

而除了圖神經網路之外，還有可以引入無限維函數《infinite dimensional function》建模狀態空間，引入傅裡葉神經算子[13]等等，無法在此窮舉展示。

[8]Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Network. ICML 2020.

[9] Wu，Tailin，et al. “Learning large-scale subsurface simulations with a hybrid graph network simulator.” SIGKDD 2022

[10]Lam C Y，Lu J R，Udalski A，et al. An Isolated Mass-gap Black Hole or Neutron Star Detected with Astrometric Microlensing[J]. The Astrophysical Journal Letters，2022，933(1): L23.

11]Pfaff，Tobias，et al. “Learning mesh-based simulation with graph networks.” ICLR 2021

[11]Wu T，Wang Q，Zhang Y，et al. Learning large-scale subsurface simulations with a hybrid graph network simulator. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022: 4184-4194.

[12]Prantl L，Ummenhofer B，Koltun V，et al. Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics. NeurIPS 2022

[13]Li，Zongyi，et al. “Fourier neural operator for parametric partial differential equations.” ICLR2021

[8]Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Network. ICML 2020.

[9] Wu，Tailin，et al. “Learning large-scale subsurface simulations with a hybrid graph network simulator.” SIGKDD 2022

[10]Lam C Y，Lu J R，Udalski A，et al. An Isolated Mass-gap Black Hole or Neutron Star Detected with Astrometric Microlensing[J]. The Astrophysical Journal Letters，2022，933(1): L23.

11]Pfaff，Tobias，et al. “Learning mesh-based simulation with graph networks.” ICLR 2021

[12]Prantl L，Ummenhofer B，Koltun V，et al. Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics. NeurIPS 2022

[13]Li，Zongyi，et al. “Fourier neural operator for parametric partial differential equations.” ICLR2021

在仿真領域，我們關心的另一個問題是，求解出系統的穩定狀態。

這在材料、凝聚態物理等領域是非常重要的問題。

對於這類問題，模型的輸入就是一個邊界條件，輸出就是系統的穩態。

比如像蛋白質折疊問題，我們關心的是最終結構，而不關心折疊的過程。

一個好的方法就是使用神經算子《neural operators》進行求解[14-16]。

圖4. 根據系統邊界條件和參數，求解系統穩定狀態圖示

[14]Li，Zongyi，et al. “Fourier neural operator for parametric partial differential equations.” ICLR2021

[15] Li，Zongyi，et al. “Neural operator: Graph kernel network for partial differential equations.” arXivpreprint arXiv:2003.03485 (2020).

[16]Raissi et al.，Journal of Computational physics 378 (2019): 686-707

[14]Li，Zongyi，et al. “Fourier neural operator for parametric partial differential equations.” ICLR2021

[15] Li，Zongyi，et al. “Neural operator: Graph kernel network for partial differential equations.” arXivpreprint arXiv:2003.03485 (2020).

[16]Raissi et al.，Journal of Computational physics 378 (2019): 686-707

關於科學仿真這個大領域，除對於科學問題來說有重要意義之外，其實背後還有更大的圖景。

比如數字孿生，我們可以設想在制造業中造一個數字孿生體，完全模擬生產過程的發動機結構、系統狀態、系統演化等等整個流程，從而實現對系統進行實時監測和調控。

圖5. 數字孿生和元宇宙

2.2 AI 之於科學設計

對於科學設計，在此處可以定義為，我們設置一個目標，希望可以通過某些方式，讓神經網路自動找到可以實現這一目標的初始條件，如蛋白質結構設計；或者找到邊界條件，如設計飛機的形狀；亦或者外部控制條件，如調控全球變暖。

圖6. 科學設計的框架圖

具體實現方式包括如下幾種：

a) 可以用學習好的模擬器作為一個內部優化循環，實現邊界條件的確定。

比如前文提到的，基於圖網路的模擬器GNS就屬於這類方法 [8]。

圖7. GNS實現粒子運動路徑的優化

b) 可以通過迭代的形式實現收斂，如 diffusion model，從一個隨機分佈開始，最終收斂到我們想要的分佈。

工作[17]是使用幾何圖網路《Geomeric Graph Neural Network》，結合擴散模型實現等變圖的生成任務。

對藥物生成有很強的現實意義。

圖8. 基於擴散模型的等變圖生成

c) 可直接映射，比如使用 transformer 直接學習邊界條件或者系統參數到目標的映射 [18]。

圖9. 直接映射

d) 通過強化學習直接設計系統本身 [19,20]，比如在分子設計這一任務上，可以通過強化學習的方式逐一加入原子。

還有前面提到的系統控制等任務，也是強化學習的強項。

圖10. 基於強化學習的系統設計

而實際使用也並不局限於以上提到的方法和模型。

並且同樣，AI對於科學設計的增強也使得我們解決數字孿生這樣的大問題有了進一步潛力。

[17]Xu，Minkai，et al. “Geodiff: A geometric diffusion model for molecular conformation

[18]Guo，Ruchi，Shuhao Cao，and Long Chen. “Transformer meets boundary value inverse problems.” NeurIPS 2022

[19]You，Jiaxuan，et al. “Graph convolutional policy network for goal-directed molecular graph generation.” Advances in neural information processing systems 31 (2018).

[20]Degrave，Jonas，et al. “Magnetic control of tokamak plasmas through deep reinforcement learning.” Nature 602.7897

[17]Xu，Minkai，et al. “Geodiff: A geometric diffusion model for molecular conformation

[18]Guo，Ruchi，Shuhao Cao，and Long Chen. “Transformer meets boundary value inverse problems.” NeurIPS 2022

[19]You，Jiaxuan，et al. “Graph convolutional policy network for goal-directed molecular graph generation.” Advances in neural information processing systems 31 (2018).

[20]Degrave，Jonas，et al. “Magnetic control of tokamak plasmas through deep reinforcement learning.” Nature 602.7897

2.3 AI 之於科學發現

科學家是如何實現科學發現的呢。

伽利略發現單擺周期規律的過程，首先是通過觀察教堂的臺燈擺動為靈感，發現臺燈的擺動周期是固定的，並且和擺動的幅度沒有關系。

然後他將這一過程抽象為了一個單擺運動，在這一系統上總結出了一些定量的規律。

最後，再將這一過程向所有類似的系統中進行泛化。

所以，根據這一例子我們可以總結來看，科學發現的步驟可以大致分為：概念的發現，規律的總結，以及概念的泛化這幾個步驟《如圖11所示》：

圖11. 科學發現的環節及其之間的關系

首先第一個步驟，發現概念、表示或者性質。

比如我們需要對細胞的分類進行辨識、分類、表示，或發現系統的因果結構，或者發現系統的對稱性等性質等等。

而AI在表征學習、分類學習、因果發現等領域都能夠幫助我們在這一個步驟的能力得到增強。

近期劉子鳴等人的工作使用機器學習算法發現了守恒律 [21]。

其次是發現概念之間的關系，即物理定律發現的過程。

我們也可以使用數據驅動的方式發現公式。

這裡涉及到符號回歸相關的技術，也有了相當一部分的工作，比如前文提到的AI費曼2.0等 [22-24]。

最後是概念的泛化。

這可以對應的例子是，將能量模型《Energy-based model》累加後得到更復雜的模型[25，26]，從而獲得更好的效果。

以及 few-shot 學習[27]，大模型中上下文學習的使用等 [28]，都可以做到將模型泛化到更復雜的概念和使用場景中。

圖12. 使用符號回歸發現物理定律。

| 來源：Udrescu，Silviu-Marian，et al. “AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity.” NeurIPS 2020 https://arxiv.org/abs/2006.10782

[21]Liu，Ziming，and Max Tegmark. “Machine learning conservation laws from trajectories.” Physical Review Letters 126.18 (2021): 180604.

[22]Udrescu，Silviu-Marian，et al. “AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity.” NeurIPS 2020

[23] Wu，Tailin，and Max Tegmark. “Toward an artificial intelligence physicist for unsupervised learning.” Physical Review E 100.3 (2019): 033311.

[24] Mundhenk，Terrell，et al. “Symbolic regression via deep reinforcement learning enhanced genetic programming seeding.” NeurIPS 2021

[25] Du，Yilun，Shuang Li，and Igor Mordatch. “Compositional visual generation with energy based models.” NeurIPS 2020

[26] Wu，Tailin，et al. “Zeroc: A neuro-symbolic model for zero-shot concept recognition and acquisition at inference time.” NeurIPS 2022

[27] Cao，Kaidi，Maria Brbic，and Jure Leskovec. “Concept learners for few-shot learning.” ICLR 2021

[28] Brown，Tom，et al. “Language models are few-shot learners.” NeurIPS 2020