01 Opening
讲者：
王翔
时间：3月12日
15:00-15:05
个人简介：中国科学技术大学特任教授、博导，入选 2021年海外优青项目，数据科学实验室LDS成员（负责人：何向南教授）。研究兴趣包括信息检索与推荐、大模型、可信可解释人工智能等，在相关领域的国际顶会（如SIGIR、WWW、NeurIPS、ICLR）和顶刊（如IEEE TPAMI、ACM TOIS）上发表论文70余篇，谷歌学术引用2万余次，H-因子56，Elsevier中国高被引学者，其中10余篇论文是相关会议的最具影响力论文和最高引论文，4篇论文获得最佳论文级别奖项，获得国际基础科学大会前沿科学奖（2023、2025），信息检索国际顶级会议SIGIR青年学者奖（2024），入选《麻省理工科技评论》“35岁科技创新35人”，连续三年入选AI 2000人工智能全球最具影响力学者榜单。
02🌟Oral
AlphaEdit: Null-Space Constrained Model Editing for Language Models
讲者：
方俊峰
时间：3月12日
15:05-15:20
个人简介：新加坡国立大学博士后，师从Chua Tat-seng&何向南&王翔教授。以通讯/一作（含共一）发表计算机顶级期刊/会议15篇以上，包含多篇深度学习三大会Oral Presentation（平均录用率＜2%）。曾获博士国家奖学金、天津学术物理竞赛一等奖等。
报告简介：LLMs中可能存储着错误、危险、过时的知识，而微调（FT）则有资源消耗大、易过拟合和灾难性遗忘等问题。因此，知识编辑（Knowledge Editing）被提出，用于高效、准确地进行 “手术刀” 式的知识更新。然而，当前方法在更新知识的同时，会不可避免地破坏模型的通用能力。AlphaEdit通过零空间投影技术解决了这一问题，首次实现了
理论上完全无损
的知识编辑。实验表明，仅需增加一行代码用于零空间投影，AlphaEdit可以实现36.7%的效果提升。
03
Unified Parameter-Efficient Unlearning for LLMs
讲者：
丁陈璐
时间：3月12日
15:20-15:35
个人简介：中国科学技术大学硕士研究生，师从王翔、何向南教授。目前已在在ICLR、AAAI、CIKM等计算机顶级会议上发表多篇论文。曾获国家奖学金、省优秀毕业生等。
报告简介：大型语言模型（LLMs）的发展极大推动了自然语言处理的进步，使其在多种任务中展现出强大的理解与推理能力。近年来，针对特定领域对这些模型进行微调已成为常见实践，尤其是 LoRA 等参数高效微调（PEFT）策略因其高效性而广受关注。然而，这一过程也引发了隐私与安全方面的重大挑战，模型可能无意中保留并传播敏感或不良信息。为此，我们提出了一种全新的实例级遗忘框架 LLMEraser，通过系统化的任务分类与基于影响函数的精确参数调整，实现高效可靠的模型遗忘。相较于传统方法，LLMEraser 适用于更广泛的遗忘任务，同时避免了高昂的重新训练开销。大量基准实验表明，LLMEraser 在有效执行多种遗忘任务的同时，依然能够保持模型的整体性能与实用性。
04
Towards Robust Alignment of Language Models: Distributionally Robustifying Direct Preference Optimization
讲者：
吴俊康
时间：3月12日
15:35-15:50
个人简介：中国科学技术大学四年级博士生，师从王翔、何向南教授。以一作在ICLR、NeurIPS、WWW、ICDE等计算机顶级会议上发表多篇论文。研究方向为大模型偏好对齐。
报告简介：本研究通过分布鲁棒优化（DRO）增强直接偏好优化（DPO）对噪声数据的鲁棒性。文章指出，DPO 在对齐大语言模型（LLM）与人类偏好时，对训练数据质量高度依赖，而现实中的数据常常存在噪声。作者将噪声分为点噪声（低质量数据点）和成对噪声（错误的偏好排序），并从理论上证明 DPO 本身对点噪声具有一定的鲁棒性。在此基础上，文章提出了 Distributionally Robustifying DPO（Dr. DPO），通过优化最坏情况下的成对偏好场景，进一步提升模型对成对噪声的鲁棒性。实验表明，Dr. DPO 在有噪和无噪数据集上均显著提升了生成文本的质量和偏好准确性，且仅需在原 DPO 的基础上增加一行代码，具有很高的实用价值。
05
Fine-Grained Verifiers: Preference Modeling as Next-token Prediction in Vision-Language Alignment
讲者：
崔晨航
时间：3月12日
15:50-16:05
个人简介：电子科技大学2021级本科生, 新加坡国立大学访问学生。研究兴趣主要为多模态大模型对齐, 大模型安全，目前已在NeurIPS，ICLR，ECCV，AAAI等多个国际会议发表论文。
报告简介：本文提出 FiSAO（Fine-Grained Self-Alignment Optimization），一种基于视觉编码器的细粒度自对齐优化方法，用于提升视觉-语言大模型（VLLMs）的模态对齐能力。不同于传统偏好调整方法，FiSAO 无需额外数据或人工标注，而是通过令牌级别反馈优化视觉-语言对齐，从而提高模型性能。
06 🌟Oral
Language Representations Can be What Recommenders Need: Findings and Potentials
讲者：
盛乐恒
时间：3月12日
16:05-16:20
个人简介：新加坡国立大学一年级博士生，师从Chua Tat-Seng教授。以一作（含共一）在ICLR、NeurIPS、SIGIR等计算机顶级会议上发表多篇论文，一作论文获得
ICLR Oral
。
报告简介：语言模型在表征空间编码了丰富的世界知识。然而，其表征对于推荐知识的理解尚未被完全探索。本文通过线性映射的方式，揭示了语言表征空间与良好的推荐表征空间之间的同态关系。基于这一发现，本文提出了一个纯基于语言表征的简单有效的推荐模型AlphaRec。实验证明这个简单的模型可以超过传统ID-based推荐算法。同时，通过对AlphaRec进行深入分析，本文揭示了语言表征具有提供良好的物品初始表征、zero-shot推荐迁移能力、用户意图感知能力。本文发现为利用语言表征构建推荐算法提供了新的见解。
07
Preference Diffusion for Recommendation
讲者：
刘硕
时间：3月12日
16:20-16:35
个人简介：华东师范大学2022级硕士生，新加坡国立大学访问学生。研究兴趣主要为推荐系统、扩散模型，目前已在NeurIPS，ICLR，KDD，WWW等多个国际会议上发表论文。
报告简介：推荐系统通过历史行为数据预测个性化物品排名。近年来，扩散模型（DM）因能建模复杂分布而受到关注，但现有DM推荐系统通常依赖传统目标（如均方误差），未能充分利用DM的生成能力。为此，我们提出了PreferDiff，一个专为DM推荐系统设计的优化目标。PreferDiff将BPR转化为对数似然排名目标，整合多个负样本，利用变分推断处理不可解性，并用余弦误差代替MSE以提高推荐对齐度。它在提高排序性能、加速收敛和处理难负样本方面表现突出，并与直接偏好优化有理论联系。实验结果表明，PreferDiff在多个基准数据集上优于现有方法，并具有优异的序列推荐能力。
08
NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation
讲者：
刘致远
时间：3月12日
16:35-16:50
个人简介：新加坡国立大学博士后，师从蔡达成教授，张阳教授，王翔教授。在ICLR、NeurIPS、ACL、EMNLP等计算机顶级会议上发表10余篇文章，研究兴趣包括多模态的科学领域语言模型，小分子生成和表示学习，和扩散模型。
报告简介：3D 分子生成在药物发现和材料设计中至关重要。虽然现有研究主要关注 3D 扩散模型，以利用其在连续 3D 构象建模方面的优势，但它们忽略了基于 1D SELFIES 的语言模型（LMs）的优点——这些模型可以生成 100% 有效的分子，并能充分利用规模达数十亿的 1D 分子数据集。为结合这些优势进行 3D 分子生成，我们提出了一个基础模型——NExT-Mol：3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation。NExT-Mol 采用经过大规模预训练的分子语言模型进行 1D 分子生成，并随后利用 3D 扩散模型预测生成分子的 3D 构象。我们通过扩展语言模型的规模、优化扩散神经架构，并应用 1D 到 3D 迁移学习来提升 NExT-Mol 的性能。值得注意的是，我们的 1D 分子语言模型在确保生成分子有效性的同时，在分布相似性方面远超基线方法，并且我们的 3D 扩散模型在构象预测任务中取得了领先的表现。借助这些 1D 和 3D 建模方面的改进，NExT-Mol 在 GEOM-DRUGS 数据集上的 de novo 3D 生成任务中实现了 3D FCD 26% 的相对提升，并在 QM9-2014 数据集上的条件 3D 生成任务中取得了 13% 的平均相对增益。
09
SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding
讲者：
李思杭
时间：3月12日
16:50-17:05
个人简介：中国科学技术大学四年级博士生，师从王翔、何向南教授。研究兴趣包括大语言模型推理增强，科学语言模型和图表征学习等，在ICML，ICLR，EMNLP等人工智能顶级会议上发表多篇论文。
报告简介：科学文献的理解对于提炼学术研究关键信息至关重要，从而推动科学发现。尽管大型语言模型（LLMs）取得了显著的成功，但它们在科学文献理解方面仍面临挑战，主要原因是：（1）缺乏科学知识；（2）对专业科学任务不熟悉。为了开发一个专门用于科学文献理解的LLM，我们提出了一种混合策略，结合了持续预训练（CPT）和监督微调（SFT），以同时注入科学领域知识并增强针对领域特定任务的指令遵循能力。在此过程中，我们提出两个关键挑战：（1）构建高质量的CPT语料库；（2）生成多样化的SFT指令。我们设计了一个通用流程来解决这些挑战，包括PDF文本提取、解析内容错误校正、质量过滤和合成指令创建。应用这一策略，我们训练了专门用于科学文献理解的LLMs：SciLitLLM。
10
DiffGAD: A Diffusion-based Unsupervised Graph Anomaly Detector
讲者：
李静涵
时间：3月12日
17:05-17:20
个人简介：中国科学技术大学二年级硕士生，师从王翔、何向南教授。在ICLR、TKDE、BMVC等计算机顶级会议上发表多篇文章，研究兴趣包括数据挖掘、图表示学习、多模态大模型强化对齐。
报告简介：图异常检测（GAD）是识别网络中异常实体的关键技术，在各个领域受到广泛关注。传统的无监督方法以重构为重点，对未标记数据的隐空间编码进行解码，通常无法捕获关键的判别性内容，导致异常检测效果不理想。为了解决上述问题，我们提出了一种基于扩散模型的图异常检测器（DiffGAD）。DiffGAD的核心是一种全新的隐空间学习范式，使用判别性内容来指导模型，从而提高模型的熟练程度。我们利用扩散采样向隐空间注入判别性内容，并引入内容保存机制，在不同尺度上保留有价值的信息，显著提高了模型在有限时间和空间复杂度下识别异常的熟练程度。我们对DiffGAD进行了综合评估，在六个具有各种指标的真实世界及大规模数据集上表现良好，证明了它的卓越性能。
进入Bilibili直播间观看，
提问有可能会被选中由讲者回答！
欢迎关注AITIME论道 Bilibili 观看更多讲者回放！
添加"AI TIME小助手"，发送“ICLR”，
将拉您进“AI TIME 交流群”！
