本文通过信息论的视角揭示了非线性操作在 LLM 中的双重作用，提-20250109054906

本文通过信息论的视角揭示了非线性操作在 LLM 中的双重作用，提出了一种高效的、基于熵引导的注意力机制和 PI 友好的架构简化方案，在大幅降低计算和通信开销的同时，保持了模型的性能，其反直觉之处在于，通过移除 LayerNorm 和 FFN 中的非线性结构，并利用巧妙的正则化方法，也能获得性能良好的 LLM 模型，为未来高效隐私保护的 LLM 部署提供了新的思路。