微分几何和代数拓扑在主流机器学习中并不常见。在本系列文章中，作者展示了如何使用这些领域的工具重新解释图神经网络并解决一些常见困境。本文的作者是Twitter首席科学家、DeepMind人工智能教授MichaelBronstein。以下是博客原文。

对称，无论从广义还是狭义的角度讲，都是人类一直以来试图理解和创造秩序与美的一种观念。

——HermannWeylHermannWeyl这种诗意的描述强调了对称性在科学中的基石作用。FelixKlein在年的「ErlangenProgramme」中用对称群表征几何。这不仅是数学上的一个突破，即统一了「几何大家庭」，还推进了现代物理理论的发展，这些理论可以完全从对称性的第一原理推导出来。几何深度学习领域也出现了类似的原则，通过群不变性和等变性能够推导出大多数流行神经网络架构的通用蓝图。图神经网络可以被认为是几何深度学习蓝图的一个特例，其构建模块是具有对称群的域（在这种情况下是具有置换群的图）、域上的信号（节点特征）和此类信号的群等变函数（消息传递）。几何深度学习蓝图可以应用于不同的领域，例如grid、mesh或图(graph)。然而，前两者具有明确的连续形式的类比对象，grid可以被认为是欧几里得空间或更一般的均匀空间（如球体）的离散化，mesh则是二维流形的常见离散化），图却没有直接的连续形式的类比。这种不可类比有点令人不安，因此我们决定仔细研究用于图学习的连续模型。图神经网络扩散。图神经网络(GNN)通过在图上执行某种形式的消息传递来学习。其中，特征通过边从一个节点传递到另一个节点。这种机制与图上的扩散过程有关，可以用称为「扩散方程」的偏微分方程(PDE)形式表示。我们最近在一篇论文中展示了这种具有非线性可学习扩散函数的PDE的离散化（称为GRAND），泛化了一大类GNN架构，例如图注意力网络（GAT。PDE的思维方式提供了多种优势，例如可以利用兼具稳定性和收敛性的高效数值求解器（例如隐式、多步、自适应和multigrid方案）。其中一些求解器在流行的GNN架构中没有直接的类比，可能会促成一些新型图神经网络设计。由于我们考虑的扩散PDE可以看作是一些相关能量的梯度流，因此这种架构可能比典型架构更易于解释。同时，虽然GRAND模型提供连续时间来代替传统GNN中的层，但方程的空间部分仍然是离散的，并且依赖于输入图。重要的是，在这个扩散模型中，域（图）是固定的，其上定义的某些属性会演化。微分几何中常用的一个不同概念是几何流（geometricflow），域本身的属性不断演化。我的博士生导师RonKimmel等研究者20世纪90年代在图像处理领域就采用了这个想法。他们将图像建模为嵌入在联合位置和颜色空间中的流形，并通过PDE对它们进行推导演化，以最小化嵌入的谐波能量。这样的偏微分方程称为贝尔特拉米流（Beltramiflow），具有各向同性非欧几里得扩散的形式，并产生保边图像去噪。我们将这种范式应用于「Beltrami神经扩散（BLEND）」框架中的图。图的节点现在由位置坐标和特征坐标来表征，这两个坐标都是经过演化的，并且都决定了扩散性。在这种思维模式下，图本身就变成了一个辅助角色：它可以从位置坐标生成（例如作为k-最近邻图）并在整个演化过程中重新连接。下图说明了这种同时演化的过程。图的表达能力在最近的工作中，人们对图神经网络（GNN）的表达能力给予了极大的

转载请注明:http://www.aideyishus.com/lkgx/177.html