专栏名称: 机器之心
专业的人工智能媒体和产业服务平台
目录
相关文章推荐
量子位  ·  全网都在扒的DeepSeek团队,是清北应届 ... ·  17 小时前  
爱可可-爱生活  ·  今天深度体验了NotebookLM自动生成“ ... ·  昨天  
宝玉xp  ·  一个 Claude ... ·  2 天前  
黄建同学  ·  有时间的可以学一下 Andrej ... ·  3 天前  
51好读  ›  专栏  ›  机器之心

没有博士学位却开启了GPT时代,奥特曼盛赞Alec Radford,爱因斯坦级天才

机器之心  · 公众号  · AI  · 2025-01-01 12:04

主要观点总结

本文介绍了Alec Radford在OpenAI的贡献以及他的人生经历。他在自然语言处理和计算机视觉领域有深入研究,曾是OpenAI的研究员,参与了多项开创性的研究,包括GPT系列。他的工作从根本上改变了AI语言模型的工作方式。他的人生故事充满传奇色彩,包括他在富兰克林・W・奥林工程学院的求学经历以及他在OpenAI的工作历程。

关键观点总结

关键观点1: Alec Radford在OpenAI扮演重要角色,其工作从根本上改变了AI语言模型的工作方式。

他参与了多项开创性的研究,包括GPT系列,这些研究对现代大语言模型的发展产生了重要影响。

关键观点2: Alec Radford是自然语言处理和计算机视觉领域的研究者。

他在OpenAI工作期间参与了多篇关于语言模型生成式预训练的论文,并在著名会议和期刊上发表过许多论文。

关键观点3: Alec Radford的人生故事充满传奇色彩。

他曾在富兰克林・W・奥林工程学院学习并获得学士学位,这所学院以其精英化教育和独特的学术体系著称。他在学校期间就表现出对机器学习的热情,并创立了indico公司。后来,他选择加入OpenAI,并在那里取得了许多重要的研究成果。

关键观点4: Alec Radford即将离开OpenAI进行独立研究。

人们对于他未来的职业计划和研究方向充满好奇和期待,无论他选择进入大学获得博士学位还是继续进行独立研究,他都是未来AI领域的重要人物。


正文

机器之心报道

机器之心编辑部

《连线》曾在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色,比作 Larry Page 发明 PageRank。PageRank 彻底革新了互联网搜索方式,Radford 的工作(特别是在 Transformer 和后来的 GPT 方面的研究)从根本上改变了 AI 语言模型的工作方式。

几天前,OpenAI 宣布组织结构调整,裂变成了一家营利性公司和一个非营利组织。与此同时,OpenAI CEO 山姆・奥特曼在 X 上用一个系列推文感谢了 OpenAI 的多位元老。



之后,他又单独发了一条推文对一位「爱因斯坦级别的天才」表达了特别感谢:Alec Radford。奥特曼还表示 Radford 是他一直以来最喜欢的人,并指出 AI 领域当今的进步很多都可以追溯到他的研究成果。上个月 20 号,传出了 Radford 即将离开 OpenAI 进行独立研究的消息,详情可参阅机器之心的报道《刚刚,OpenAI 元老级研究员 Alec Radford 离职,他主导了 GPT-1、GPT-2 的研发》。


根据谷歌学术的数据,Alec Radford 论文的引用量现在已经超过了 19 万,并拥有多篇超过 1 万引用的重要论文。


事实上,早在一年多以前,就已经有人指出了这位当时还声名不显的研究者的巨大贡献:他是 GPT 原始论文等多篇奠基性研究成果的第一作者!而更让人惊讶的是,他并没有博士学位,也没有硕士学位;并且他的许多研究成果最早都是在 Jupyter Notebook 中完成的。


新年伊始,Alec Radford 的故事又再一次火遍了 AI 社交网络。人们在谈到他时莫不称颂。




下面我们就来简单了解下这位谦逊的天才的人生故事吧。

Alec Radford 的人生故事

Alec Radford 是自然语言处理和计算机视觉领域的研究者。曾在 OpenAI 担任机器学习开发者 / 研究员。在此之前,他曾担任 indico 公司的研究主管。

在 OpenAI 担任研究员期间,他参与撰写了多篇关于语言模型生成式预训练(GPT)的论文,并在 NeurIPS、ICLR、ICML 和 Nature 等著名会议和期刊上发表过许多论文。 

他也曾活跃在 X/Twitter 上,在那里分享他对人工智能各个领域的见解和观点。遗憾的是,2021 年 5 月之后他就再未在 X 上现身,最后一条推文是在回复 Anthropic 的研究者 Simon Kornblith,解释 GPT-1 层宽度设置为 768 的原因。


LinkedIn 显示,2011 年 - 2016 年, Alec Radford 就读于富兰克林・W・奥林工程学院,并获得学士学位。这是一所位于美国马萨诸塞州尼达姆(Needham)的私立工程学院,以其非常低的录取率和精英化教育著称。

该校的课程结构非常独特,其学术体系「欧林三角」包括科学和工程基础、创业以及文学。学校也仅提供四种学位:ME(机械工程)、ECE(电子与计算机工程)、CS(计算机科学)、BCE(生物医药工程)。

奥林工程学院非常重视实用教育,将知识和实际生活中的挑战和课题联系起来,鼓励学生追求自己的兴趣和激情。

本科时期,Alec Radford 就对机器学习充满热情,并与同学一起参加 Kaggle 比赛获得了成功,最终拿到风投 。2013 年,Alec Radford 和伙伴在宿舍创立了 indico ,为企业提供机器学习解决方案。

作为公司的研究主管,Alec Radford 主要从事识别、开发和改进有前景的图像和文本机器学习技术,并将其从研究阶段转化为更广泛的行业应用。

在那里,他进行了生成对抗网络(GAN)相关研究,并提出 DCGAN 以改善 GAN 的可训练性,这也是 GAN 领域的一个重要突破。 

由于波士顿地区在 AI 领域的影响力已被西海岸科技巨头超越,加上资源限制,2016 年,Radford 选择加入 OpenAI 。


他形容这份新工作「类似于加入研究生课程」,有一个开放、低压力的 AI 研究环境。

Radford 比较低调,不愿与媒体接触。他通过邮件回应了《连线》关于他在 OpenAI 早期工作的提问。他表示,最感兴趣的是让神经网络与人类进行清晰的对话。

他认为,当时的聊天机器人(从 ELIZA 到 Siri 和 Alexa)都存在局限性。他的目标是探索语言模型在各种任务、设置、领域和场景中的应用可能。

他的第一个实验是使用 20 亿条 Reddit 评论来训练语言模型,虽然失败,但 OpenAI 给予了足够的试错空间,也成为后续一系列革命性突破的开始,如大家熟知的初代 GPT,还主导了 GPT-2 的研发等。

这些工作为现代大语言模型奠定了重要基础,以致于《连线》在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色,比作 Larry Page 发明 PageRank。有趣的是, PageRank 虽然是 Larry Page 在斯坦福攻读博士期间的产物,但他此后再也没有回去完成博士学位。

不仅如此,Alec Radford 还参与了 GPT-3 论文的撰写、以及 GPT-4 的预训练数据和架构研究工作。

2024 年年末,在 OpenAI 赚尽眼球的 12 天连发的最后一天前,Alec Radford 即将离开 OpenAI 的消息传出,但没有任何消息透露这是否与 OpenAI 的组织结构调整有关。


遗憾的是,对于他之后的职业计划,我们所知的仅仅是他将成为一位独立研究者。或许他将进入大学获得一个博士学位,也或许他会在沉寂一段时间之后带着新的震撼性研究成果问世。

不管怎样,Alec Radford 参与创造的未来正在到来。无论今年是否会如奥特曼曾经预测的那样实现 AGI,2025 年注定会是 AI 领域至关重要的一年。


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]