文章提出了一个利用一阶优化算法设计具有万有逼近性质保障的神经网络架构的统一框架，拓展了基于优化设计网络架构范式的方法。该方法可以与现有大部分聚焦网络模块的架构设计方法相结合，可以在几乎不增加计算量的情况下设计出高效的模型。
>>
加入极市CV技术交流群，走在计算机视觉的最前沿
以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果。在实践中，网络架构可以显著影响学习效率，一个好的神经网络架构能够融入问题的先验知识，稳定网络训练，提高计算效率。目前，经典的网络架构设计方法包括人工设计、神经网络架构搜索（NAS）[1]、以及基于优化的网络设计方法 [2]。人工设计的网络架构如 ResNet 等；神经网络架构搜索则通过搜索或强化学习的方式在搜索空间中寻找最佳网络结构；基于优化的设计方法中的一种主流范式是算法展开（algorithm unrolling），该方法通常在有显式目标函数的情况下，从优化算法的角度设计网络结构。
然而，现有经典神经网络架构设计大多忽略了网络的万有逼近性质 —— 这是神经网络具备强大性能的关键因素之一。因此，这些设计方法在一定程度上失去了网络的先验性能保障。尽管两层神经网络在宽度趋于无穷的时候就已具有万有逼近性质 [3]，在实际中，我们通常只能考虑有限宽的网络结构，而这方面的表示分析的结果十分有限。实际上，无论是启发性的人工设计，还是黑箱性质的神经网络架构搜索，都很难在网络设计中考虑万有逼近性质。基于优化的神经网络设计虽然相对更具解释性，但其通常需要一个显式的目标函数，这使得设计的网络结构种类有限，限制了其应用范围。如何系统性地设计具有万有逼近性质的神经网络架构，仍是一个重要的问题。
为了解决这个问题，北京大学林宙辰教授团队提出了一种易于操作的基于优化算法设计具有万有逼近性质保障的神经网络架构的方法，其通过将基于梯度的一阶优化算法的梯度项映射为具有一定性质的神经网络模块，再根据实际应用问题对模块结构进行调整，就可以系统性地设计具有万有逼近性质的神经网络架构，并且可以与现有大多数基于模块的网络设计的方法无缝结合。论文还通过分析神经网络微分方程（NODE）的逼近性质首次证明了具有一般跨层连接的神经网络的万有逼近性质，并利用提出的框架设计了 ConvNext、ViT 的变种网络，取得了超越 baseline 的结果。论文被人工智能顶刊 TPAMI 接收。
-
论文：Designing Universally-Approximating Deep Neural Networks: A First-Order Optimization Approach
-
论文地址：
https://ieeexplore.ieee.org/document/10477580
方法简介
传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发，采用特定的优化算法进行求解，再将优化迭代格式映射为神经网络架构，例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4]，这种方法受限于目标函数的显式表达式，可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数，再利用算法展开等方法设计网络结构，但他们也需要如权重绑定等与实际情况可能不符的假设。
论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发，将梯度或邻近点算法写成如下的更新格式：
其中
表示第
步更新时的 (步长) 系数，再将梯度项替换为神经网络中的可学习模块
，即可得到
层神经网络的骨架:
整体方法框架见图 1。
图 1 网络设计图示
论文提出的方法可以启发设计 ResNet、DenseNet 等经典网络，并且解决了传统基于优化设计网络架构的方法局限于特定目标函数的问题。
模块选取与架构细节
该方法所设计的网络模块
只要求有包含两层网络结构，即
，作为其子结构，即可保证所设计的网络具有万有逼近性质，其中所表达的层的
宽度是有限的
（即不随逼近精度的提高而增长)，整个网络的万有逼近性质不是靠加宽
的层来获得的。模块
可以是 ResNet 中广泛运用的 pre-activation 块，也可以是 Transformer 中的注意力 + 前馈层的结构。T 中的激活函数可以是 ReLU、GeLU、Sigmoid 等常用激活函数。还可以根据具体任务在中添加对应的归一化层。另外，
时，设计的网络是隐式网络 [5]，可以用不动点迭代的方法逼近隐格式，或采用隐式微分（implicit differentiation) 的方法求解梯度进行更新。
通过等价表示设计更多网络
该方法不要求同一种算法只能对应一种结构，相反，该方法可以利用优化问题的等价表示设计更多的网络架构，体现其灵活性。例如，线性化交替方向乘子法通常用于求解约束优化问题:
， s.t.
. 通过令
，即可得到一种可启发网络的更新迭代格式:
其启发的网络结构可见图 2。
图 2 线性化交替方向乘子法启发的网络结构
启发的网络具有万有逼近性质
对该方法设计的网络架构，可以证明，在模块满足此前条件以及优化算法（在一般情况下）稳定、收敛的条件下，任意一阶优化算法启发的神经网络在高维连续函数空间具有万有逼近性质，并给出了逼近速度。论文首次在
有限宽度
设定下证明了具有一般跨层连接的神经网络的万有逼近性质（此前研究基本集中在 FCNN 和 ResNet，见表 1），论文主定理可简略叙述如下：
主定理（简略版）：设d≥2，0＜m≤d，1≤p＜∞，A 是一个梯度型一阶优化算法。若算法 A 具有公式 (1) 中的更新格式，且满足收敛性条件（优化算法的常用步长选取均满足收敛性条件。若在启发网络中均为可学习的，则可以不需要该条件），则由算法启发的神经网络：
在连续（向量值）函数空间
以及范数
下具有万有逼近性质，其中可学习模块 T 只要有包含两层形如
的结构
