专栏名称: 人工智能学家
致力成为权威的人工智能科技媒体和前沿科技研究机构
目录
相关文章推荐
爱可可-爱生活  ·  【[37星]Ola:打破多模态边界,实现图像 ... ·  14 小时前  
爱可可-爱生活  ·  《爱可可微博热门分享(2.6)》 ... ·  昨天  
黄建同学  ·  John Rush对24+种AI编码 ... ·  2 天前  
爱可可-爱生活  ·  【五个Jupyter实用技巧】1. ... ·  3 天前  
爱可可-爱生活  ·  关键或许不在于对抗AI的“幻觉”,而是要重塑 ... ·  3 天前  
51好读  ›  专栏  ›  人工智能学家

Nature:大型语言模型在预测神经科学结果方面超越人类专家

人工智能学家  · 公众号  · AI  · 2024-11-29 15:08

正文

大型语言模型是一种分析文本的人工智能,一项新研究发现,它能够比人类专家更准确地预测拟议的神经科学研究的结果。研究结果表明,在大量文本数据集上训练的大型语言模型 (LLM) 可以从科学文献中提炼出模式,从而使它们能够以超人的准确度预测科学结果。研究人员表示,这凸显了它们作为加速研究的强大工具的潜力,其作用远远超出了知识检索。

大规模语言模型(Large Language Models, LLMs)是一种能够分析文本的人工智能技术。伦敦大学学院(UCL)的研究人员领导的一项新研究发现,这些模型在预测神经科学研究结果方面比人类专家更准确。

这项研究发表在《Nature Human Behaviour》上,表明通过对海量文本数据的训练,LLMs能够从科学文献中提炼出模式,从而以超越人类的准确性预测科学结果。

研究人员指出,这凸显了LLMs作为加速科研的强大工具的潜力,其能力远不止知识检索。

主要作者、伦敦大学学院心理学与语言科学系的Dr. Ken Luo表示:
“自生成式人工智能(如ChatGPT)问世以来,大量研究集中在LLMs的问答能力上,展示了它们从大规模训练数据中总结知识的非凡技能。然而,与其强调它们向后看的能力以检索过去信息,我们研究了LLMs是否能够综合知识以预测未来结果。

“科学进步通常依赖于试验和错误,但每项精心设计的实验都需要时间和资源。即使是最优秀的研究人员,也可能忽略文献中的关键见解。我们的研究探讨了LLMs是否能在大量科学文本中识别模式,并预测实验结果。”

国际研究团队首先开发了名为 BrainBench 的工具,用于评估LLMs预测神经科学结果的能力。

BrainBench包含多个神经科学研究摘要对。其中一个版本是真实研究摘要,简要描述了研究背景、所用方法和研究结果。另一个版本中,背景和方法相同,但结果经过相关领域专家修改为看似合理但实际上错误的结果。

研究人员测试了15种通用LLMs和171名神经科学专家(均通过筛选测试以确认其专业性),以确定AI或人类是否能正确辨别哪一个摘要是具有实际研究结果的真实版本。

所有LLMs的表现均优于神经科学家,LLMs的平均准确率为81%,而人类专家的平均准确率为63%。即使在研究团队仅限于具有最高自我报告领域专业性的神经科学家时,其准确率仍低于LLMs,仅为66%。此外,研究发现,当LLMs对其决定更有信心时,它们的判断更可能是正确的。研究人员表示,这一发现为未来人类专家与校准良好的模型合作铺平了道路。

随后,研究人员通过对现有的开源LLM(Mistral的一个版本)进行特定于神经科学文献的训练,改进了这一模型。新的神经科学专用LLM被命名为BrainGPT,其预测研究结果的准确率更高,达到86%(相比之下,Mistral的通用版本为83%)。

资深作者、伦敦大学学院心理学与语言科学系的Bradley Love教授表示:
“鉴于我们的研究结果,我们认为科学家使用AI工具来设计最有效的实验只是时间问题。尽管我们的研究集中在神经科学领域,但我们的方法是通用的,可以成功应用于所有科学领域。

“令人瞩目的是LLMs在预测神经科学文献方面表现得如此出色。这一成功表明,大量科学并非真正的创新,而是遵循了文献中现有结果的模式。我们不禁想知道,科学家是否足够具有创新性和探索性。”

Dr. Luo补充道:
“基于我们的研究结果,我们正在开发AI工具来协助研究人员。我们设想一个未来,研究人员可以输入其拟议的实验设计和预期结果,AI则提供各种结果发生可能性的预测。这将使实验设计更快速迭代并基于更明智的决策。”

该研究由经济与社会研究委员会(ESRC)、微软和皇家学会Wolfson奖学金资助,并联合了来自英国、美国、瑞士、俄罗斯、德国、比利时、丹麦、加拿大、西班牙、澳大利亚的研究机构,包括伦敦大学学院、剑桥大学、牛津大学、马克斯·普朗克行为神经生物研究所(德国)和比尔肯特大学(土耳其)等。

阅读最新前沿科技研究 报告,欢迎访问 欧米伽研究所的“未来知识库”


未来知识库 是“ 欧米伽 未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。 目前拥有超过8000 篇重要资料。 每周更新不少于100篇世界范围最新研究 资料 欢迎扫描二维码或点击本文左下角“阅读原文”进入。



截止到10月25日 ”未来知识库”精选的100部前沿科技趋势报告


1. 牛津大学博士论文《深度具身智能体的空间推理与规划》230页

2. 2024低空经济场景白皮书v1.0(167页)

3. 战略与国际研究中心(CSIS)人类地月空间探索的总体状况研究报告(2024)

4. 人工智能与物理学相遇的综述(86页)

5. 麦肯锡:全球难题,应对能源转型的现实问题(196页)

6. 欧米伽理论,智能科学视野下的万物理论新探索(50页报告)

7. 《美国反无人机系统未来趋势报告(2024-2029 年)》

8. Gartner 2025 年主要战略技术趋势研究报告

9. 2024人工智能国外大模型使用手册+中文大模型使用手册

10. 详解光刻巨人ASML成功之奥妙-241015(94页)

11. CB Insights:未来变革者:2025年九大科技趋势研究报告

12. 国际电信联盟2023-2024年联合国人工智能AI活动报告388页

13. 《人工智能能力的人类系统集成测试和评估》最新51页,美国防部首席数字和人工智能办公室(CDAO)

14. 2024瑞典皇家科学院诺贝尔化学奖官方成果介绍报告

15. MHP:2024全球工业4.0晴雨表白皮书

16. 世界经济论坛白皮书《AI价值洞察:引导人工智能实现人类共同目标》

17. 瑞典皇家科学院诺贝尔物理学奖科学背景报告资料

18. AI智能体的崛起:整合人工智能、区块链技术与量子计算(研究报告,书)

19. OpenAI o1 评估:AGI 的机遇和挑战(280页)

20. 世界知识产权组织:2024 年全球创新指数(326页)

21. 美国白宫:国家近地天体防御策略与行动计划

22. 【CMU博士论文】持续改进机器人的探索,243页

23. 中国信通院:量子计算发展态势研究报告2024年58页

24. 2024年OpenAI最新大模型o1革新进展突出表现及领域推进作用分析报告

25. 【新书】通用人工智能,144页

26. 联合国:《未来契约》、《全球数字契约》和《子孙后代问题宣言》三合一

27. 世界气候组织:2024团结在科学中,守卫地球系统的未来

28. 世界经济论坛 《量子技术助力社会发展:实现可持续发展目标》研究报告

29. 人工智能科学家:迈向全自动开放式科学发现

30. 欧盟:石墨烯旗舰项目十年评估报告

31. 美国信息技术和创新基金会:美国的数字身份之路研究报告

32. 麦肯锡:2024能源转型挑战未来研究报告

33. 联合国贸易与发展会议:2024世界投资报告

34. 兰德:评估人工智能对国家安全和公共安全的影响

35. 兰德:2024评估人工智能基础模型市场的自然垄断条件

36. 经合组织:2015-2022 年生物多样性与发展融资

37. ITIF:中国半导体创新能力研究报告

38. 英国皇家学会:数学未来计划, 数学和数据教育的新方法研究报告

39. 欧盟:10年人类大脑计划创新评估报告

40. GLG格理集团:2024深度解读半导体行业关键趋势和专家洞见报告15页

41. 华为智能世界2030报告2024版741页

42. 联合国:2024为人类治理人工智能最终报告

43. 达信Marsh:2024全球科技产业风险研究报告英文版27页

44. 鼎帷咨询:2024英伟达人工智能发展战略研究报告149页

45. 【博士论文】大语言模型的测试与评价:准确性、无害性和公平性,223页pdf

46. 麦肯锡:2024世界能源产业展望

47. 世界经济论坛《太空:全球经济增长的 1.8 万亿美元机遇》

48. 世界经济论坛:世界“技术先锋”名单100家公司名单

49. 世界经济论坛:2024绘制地球观测的未来:气候情报技术创新

50. 核聚变技术作为清洁能源供应替代来源的全球发展和准备情况

51. 大模型生成的idea新颖性与人类对比研究报告(94页)

52. IQM :2024 年量子状况报告

53. 2024十大新兴技术研究报告

54. 2024地球观测 (EO) 洞察带来的全球价值(58页)

55. 2023-2024世界基础设施监测报告

56. 世界银行:2024世界发展报告,中等收入陷阱

57. 2024国际前沿人工智能安全科学报告132页







请到「今天看啥」查看全文