过去十年的最令人兴奋的发展之一是神经网络的出现以及解决现实世界问题的深度学习。通过对大脑中的神经元连接的方式启发的想法是巧妙的简单：数据被传递给节点网络，当数据的加权和超过一些阈值时，该节点被“火”。然后在许多“层”上迭代该过程，直到网络输出有用的东西：分类，概率或也可以重建数据集本身。加权总和的参数（知道为“权重”和“偏置”）是随机初始化的，并且根据一些用户定义的标准，在许多范围内通过网络通过网络，并通过该标准匹配所需的值。The mathematical techniques are familiar from first-year multivariable calculus and linear algebra, but somehow, this iterated structure can recognize handwritten digits and symbols, beat the world’s best players at games like go and poker, recognize faces and people, translate foreign languages, and even generate realistic conversation from a prompt.

神经网络内部正在发生什么？现在，众所周知：工具有效，所以为什么要问太多问题？对于一个，如果我们想使用这些工具进行物理实验的数据分析，我们需要了解输出对输入参数的系统的不确定性。另一个重要原因是物理学的原则，如Lorentz Invariance，可以从一开始就烘焙到网络架构中，这比强调网络从头开始发现这些对称原理，每次在新数据上培训都会发现这些对称原理。最后，在所有物理分支中，我们在遇到的神经网络与情况之间存在许多诱人的类比。大量实体的相互作用导致简单的集体行为是强烈的，强烈让人想起统计力学和凝聚态物理学，并且在许多常见情况下，优化权重和偏差的方程类似于来自古典的运动方程用随机部队术语的力学。

Since my expertise is in high-energy physics, I’m interested in how concepts used in field theory can help explain the behavior of neural networks, and at the end of the day let us turn the problem around to design better neural networks to help us do high-energy physics. One recent project involved showing that topological properties of a dataset (for example, how many “holes” it has, or how many points need to be removed before it can be mapped to a plane) affect the performance of autoencoders, neural networks that attempt to “compress” a dataset to its essential features. Since the manifold of Lorentz-invariant phase space has the topology of a sphere, our results have important implications for autoencoders attempting to perform anomaly detection on high-energy physics events.

参考