激活函数
对深度神经网络的成功可太重要了，
它可以提升学习复杂关系的能力，减少过拟合，增强模型性能，与它相关的研究一直是重中之重。最近，这方向有了不少新突破。
ECCV 2024上的这篇，提出了一种可训练的高表达激活函数DiTAC，基于高效微分CPAB实现，在下游分割任务、图像生成、回归问题等上都达成了大超越！
另外还有性能更佳，推理速度提升8倍的新型架构SineKAN！其核心创新在于，SineKAN将传统的 B-Spline 激活函数替换为正弦激活函数...
为方便论文er了解前沿，本文整理了
激活函数
12篇
最新的论文
，包含一部分顶会成果（比如ECCV、CVPR），有开源代码的都放上了，需要的同学可无偿获取~
扫码添加小享，
回复“
激活新版
”
免费获取
全部论文+开源代码
Trainable Highly-expressive Activation Functions
方法：
论文提出了一种名为DiTAC的新型可训练激活函数，它基于高效的微分同胚变换（CPAB），通过引入极少的可训练参数显著提升深度神经网络的表现和表征能力，在语义分割、图像生成、回归问题及图像分类等任务中超越了现有的固定与可训练激活函数。
创新点：
-
DiTAC 是一种基于高效微分同胚变换（CPAB）的高表达力可训练激活函数。
-
首次将 CPAB 变换用于构建可训练激活函数（TAF），而不是传统上应用于信号域（如图像的空间域或时间序列的时间域）。
-
DiTAC 利用 CPAB 变换的闭式表达式，提供了一个高效的方法来参数化和优化非线性单调增函数。
Sinekan: Kolmogorov-arnold networks using sinusoidal activation
方法：
论文主要研究的是一种新型的神经网络架构——SineKAN（KAN使用正弦激活函数），核心创新点是将传统的 B-Spline 激活函数替换为正弦激活函数。在MNIST基准测试中，相比B-SplineKAN模型，SineKAN不仅在数值性能上表现更优，还在推理速度上实现了4-8倍的显著提升。
创新点：
-
SineKAN模型使用正弦函数作为激活函数，替代了传统的B-Spline激活函数。
-
SineKAN模型采用了新的权重初始化策略和相位输入项的引入，这些技术在不同深度和尺寸的相位网格上保持了一致的数值性能。
扫码添加小享，
回复“
