大模型日报（11月22日学术篇）

LLM SPACE · 公众号 · AI 互联网安全 · 2024-11-22 21:39

正文

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

学术分析报告：ResearchFlow -- 奇绩F23校友的开发的深度研究产品，PC端进入RFlow的分析报告，可直接点击节点右侧的小数字展开节点，登录后可在节点上直接“询问AI”，进一步探索深度信息

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

信号

Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset

神经网络传统上是在假设数据来自一个平稳分布的情况下进行训练的。然而，违反这一假设的设置正变得越来越普遍；例子包括在分布变化下的监督学习、强化学习、持续学习和非平稳上下文赌徒。在这项工作中，我们引入了一种新颖的学习方法，能够通过具有自适应漂移参数的奥恩斯坦-乌伦贝克过程自动建模和适应非平稳性。自适应漂移倾向于将参数拉向初始化分布，因此该方法可以理解为一种软参数重置的形式。

https://arxiv.org/abs/2411.04034

Diffusion For World Modeling: Visual Details Matter in Atari

日内瓦大学、爱丁堡大学的研究人员提出了一个在扩散世界模型中训练的强化学习智能体DIAMOND（DIffusion As a Model Of eNvironment Dreams），文中分析了使扩散模型适应于世界建模（world modeling）所需的设计要素，并展示了如何通过改善视觉细节来提高智能体的性能。