报告介绍了Google Vizier服务的算法实现细节,包括其算法改进、设计选择、实验验证以及在Google内部的应用。报告嘉宾Richard是Google DeepMind的高级研究科学家,从事大型语言模型在自动化机器学习和强化学习中的集成研究。
Google Vizier已经执行了数百万次优化,并加速了Google的多个研究和生产系统,展示了贝叶斯优化作为大规模服务的成功。
报告详细介绍了Google Vizier默认算法的实现细节,包括输入输出预处理、高斯过程建模、上置信界采集函数以及Firefly采集函数优化等。
报告在多种实验中验证了Google Vizier算法的鲁棒性和竞争力,展示了其相较于其他业内算法的优越性。
报告嘉宾Richard是Google DeepMind的高级研究科学家,具有在OpenAI、Citadel Securities和Microsoft Research Asia的工作经验,目前从事大型语言模型在自动化机器学习和强化学习中的集成研究。
报告主题:Google Vizier服务算法的实现细节
报告日期:09月12日(周四)10:30-11:30
报告要点:
Google Vizier has performed millions of optimizations and accelerated numerous research and production systems at Google, demonstrating the success of Bayesian optimization as a large-scale service. Over multiple years, its algorithm has been improved considerably, through the collective experiences of numerous research efforts and user feedback. In this talk, we discuss the implementation details and design choices of the current default algorithm provided by Open Source Vizier. Our experiments on standardized benchmarks reveal its robustness and versatility against well-established industry baselines on multiple practical modes.
Google Vizier已经执行了数百万次优化,并加速了Google的许多研究和生产系统,展示了贝叶斯优化作为大规模服务的成功。论文介绍了Google Vizier默认算法的实现细节,包括输入输出预处理、高斯过程建模、上置信界采集函数以及Firefly采集函数优化等,并在多种实验中证明了其相较于其他业内算法的鲁棒性与竞争力。使用马泰恩核、MAP估计、上置信界限采集函数以及Firefly进化优化采集函数最大化。
Richard is currently a Senior Research Scientist at Google DeepMind in New York City. He works on the integration of Large Language Models (LLMs) for Automated Machine Learning and Reinforcement Learning. Previously, he has worked at OpenAI, Citadel Securities, and Microsoft Research Asia.
宋星佑,Google DeepMind高级研究科学家。他曾在OpenAI担任强化学习泛化方面的研究员,2019年以高级研究科学家的身份加入Google Brain,并从2023年起担任DeepMind高级研究科学家,从事GenAI方面的工作。
扫码报名