专栏名称: PaperWeekly
PaperWeekly是一个分享知识和交流学问的学术组织,关注的领域是自然语言处理的各个方向。我们热爱知识,分享知识,希望通过我们大家的努力为自然语言处理的发展做出一点点贡献。我们每周会分享一期特定话题的论文笔记和本周值得读的相关论文。
目录
相关文章推荐
科研大匠  ·  顶尖985,布局浙江! ·  4 天前  
小张聊科研  ·  研究Parthanatos细胞死亡,这篇AS ... ·  6 天前  
51好读  ›  专栏  ›  PaperWeekly

ICLR 2025 Workshop 征稿:推动基础模型的开源、开放、可复现

PaperWeekly  · 公众号  · 科研  · 2025-01-07 13:33

正文


国际学习表征会议 ICLR 作为深度学习领域的顶级学术活动,将于 2025 年 4 月 24-28 日在新加坡举办。期间,首届 Open Science for Foundation Models (SCI-FM) Workshop 将在会场同步开启,现面向业界进行征稿。


时下,基础模型(Foundation Models)在自然语言处理、计算机视觉、语音识别和多模态理解等领域展现出显著价值。然而,高性能基础模型通常隐藏了训练数据、架构设计等关键技术细节,限制了基础模型的进一步发展。 


为此,2025 年 ICLR 期间,第一届 Open Science for Foundation Models (SCI-FM) Workshop 将一同举办。该 Workshop 致力于推动基础模型的开源、开放、可复现。我们邀请了国内外基础模型相关学者参与本次 Workshop ,赋能基础模型的发展和繁荣。 


即日起,Open Science for Foundation Models (SCI-FM) Workshop 开启论文征稿,欢迎相关研究者投递。 


所有被接受论文都将以海报形式呈现,同时,我们将选择约 3 篇论文进行简短的口头报告,另授予 2 篇投稿优秀论文奖。



01|论文征集要求


本次 Workshop 鼓励投稿论文尽可能提供开源材料,包括但不限于数据集、模型、训练过程等等。投稿类型分为长文与短文,其中,短文正文不超过 6 页,长文正文不超过 9 页,投稿文章末尾须包含参考文献和附录。 


主题包括(但不限于)以下内容: 


  • Open Datasets:通过手动或算法方法获取、管理和合成预训练、指令和偏好数据集。 
  • Open Foundation Models:预训练策略,包括数据扩展、模型架构、多模态和多任务预训练。学习算法,如元学习、模型融合、模型合并和为开放、可扩展模型设计的持续学习。 
  • Open Training Protocols:对缩放规律、可解释性、复杂性分析、涌现能力等现象进行训练动力学研究。对齐技术,包括提示调优、前缀调优、指令调优和具有人类 AI 反馈的强化学习。 
  • Open Evaluation:制定开放的评测基准,评估协议和指标。 
  • Open Compute Efficiency Techniques:专注于模型蒸馏、压缩、量化和优化注意力或内存机制,以提高基础模型的计算效率。 
  • Open Multi-Modal Foundation Models:扩展到视觉、音频等多模态场景。 
  • Open Interactive and Agent Systems:对话式人工智能、交互式学习模型、多代理系统的开发。 
  • Open Replication of Proprietary Systems:复现专有的基础模型和系统,确保更广泛的研究和开发的透明度和可重复性。


02|投稿入口与时间


投稿入口:

https://openreview.net/group?id=ICLR.cc/2025/Workshop/SCI-FM 

提交开放日期:2025 年 1 月 6 日 

提交截止日期:2025 年 2 月 10 日 

接收/拒绝通知:2025 年 3 月 5 日 

同时,本次 Workshop 诚邀相关领域学者参与审稿,填写链接中的表单即可报名:

https://forms.office.com/e/SdYw5U75U3?embed=true

03|现场演讲嘉宾


04|SCI-FM组织委员会成员

 更多活动详情及现场安排,欢迎点击阅读原文进入 Workshop 主页了解。