GNN for Science上的应用

中国人民大学高瓴人工智能学院助理教授

黄文炳，现为中国人民大学高瓴人工智能学院助理教授。2017年取得清华大学计算机科学与技术博士学位，2012年取得北京航空航天大学数学与应用数学学士学位。主要研究兴趣为图神经网络与图模型理论方法及其在物理系统的表示与决策、智能化学药物发现等任务上的应用。在人工智能领域顶级会议或期刊（NeurIPS、ICLR、TPAMI等）发表论文30余篇，谷歌学术引用3000余次。代表性工作包括快速图学习算法AS-GCN、深度图网络训练方法DropEdge、多体物理动力学仿真模型GMN、大规模分子图预训练网络GROVER等。

01/Science、GNN 背景介绍

1. AI for Science：一个新的转折点

最近几年来，人工智能领域的前沿研究主要着眼于基于大规模无标注数据的模型预训练，从 2020 年以来，GPT3、ViT、Switch Transformer 等语言、视觉模型的提出，成为当前研究的主流趋势。

而 DeepMind 在 2021 年提出的 AlphaFold2 模型，也使机器学习方法在生物领域成功落地，并成为使机器学习从处理经典 AI 任务的数据（如图像和自然语言）到处理科学数据（如生物、物理领域的数据）的一个新的转折点。

DeepMind 将 AI 应用于科学领域的思想，有望成为从人工智能转变为人工专家智能的新转折点。在 2021 年末到 2022 年初，DeepMind 接连发表多篇 AI for Science 领域文章，将 AI 技术应用于传统自然科学如数学、物理、物理化学等领域，实现利用深度学习算法进行数学推理、控制核聚变、提升 DFT 的预测性能等重要突破。

2. 广泛存在于科学领域的“图”（Graph）

生活中我们所说的粒子一般是指分子，分子由原子组成，而原子之间又由化学键形成连边。分子本质上是一个“图”（graph）；具体在医药领域，我们生命服用的小分子药物和病毒蛋白质（属于大分子）的结合也和图上的连接的概念相似；除此之外，在天体运动过程中，我们同样可以将其看作是一个全连接图（基于它们的相互作用来建边）。

将科学领域的数据建模成图数据之后，我们便可以使用处理图结构的方法（如 GNN）对这些模型进行进一步表示和分析。

3. 图神经网络（GNN）是处理图数据的有效工具之一

关于 GNN，和我们的直接认知所不同的一点是：最早的图神经网络并不是由机器学习领域的学者提出，而是早在 1997 年由意大利学者 A. Sperduti, et al 在 Supervised neural networks for the classification of structures 文章中作为处理图结构数据的方法提出。

在那之后，最近几年（2014~2021）中，图神经网络也受到越来越多的关注。在 2022年 ICLR 的 Submission Keywords 中，“graph neural network”也排到了第三名。而发布在各个顶会上的关于 GNN 的论文量也随着年份呈指数性增长。

接下来我们来简单回顾 GNN 的发展历程。

2005 年，几位意大利学者 Scarselli et al. 最先提出 GNN 这个词，为 GNN 的发展起到了奠基的作用。