出品 | AI 科技大本营(ID:rgznai100)
一分钟速览新闻点!
-
英伟达开源规模最大的 LLM Nemotron-4 340B
-
OpenAI 对或将踢掉董事会变成营利性公司做出回应
-
Meta 更新隐私政策,从月底起将把用户数据用于训练 AI
-
Meta 被爆将一次性裁掉50多位副总裁
-
苹果文生图应用新特性:仅产卡通图像,元数据由 AI 智能标注
-
苹果:不会根据用户的私人数据或用户互动来训练模型
-
苹果和 Meta 或因未能遵守数字市场法案面临被欧盟指控
-
DeepMind 最新研究提出用混合架构的方法解决 Transformer 模型的推理缺陷
-
Tempus AI 在纳斯达克首次亮相,市值约为 66 亿美元
-
Sakana AI 即将获得新一轮1亿美元融资,估值达10亿美元
英伟达开源规模最大的 LLM Nemotron-4 340B
英伟达于当地时间6月14日开源Nemotron-4 340B(3400亿参数)系列模型。据英伟达介绍,开发人员可使用该系列模型生成合成数据,用于训练大型语言模型(LLM),用于医疗保健、金融、制造、零售和其他行业的商业应用。
Nemotron-4 340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token(文本单位)进行训练。Nemotron-4 340B-Base在常识推理任务,如ARC-c、MMLU和BBH基准测试中,可以和Llama-3 70B、Mixtral 8x22B和Qwen-2 72B模型媲美。
Nemotron-4 340B 现已可从Hugging Face下载。开发人员很快就能在ai.nvidia.com上访问这些模型,它们将被打包为NVIDIA NIM微服务,并带有可在任何地方部署的标准应用程序编程接口。
官网链接:
https://research.nvidia.com/publication/2024-06_nemotron-4-340b
Hugging Face:
https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911
OpenAI 对或将踢掉董事会变成营利性公司做出回应
当地时间6月14日,知情人士消
息称,OpenAI CEO Sam Altman 告诉一些股东,公司正在考虑改变其治理结构,非盈利董事会将不控制营利性业务。董事会考虑的一个方案是转变为营利性公益公司,类似竞争对手 Anthropic 和 xAI 使用的模式。此举将最终为 OpenAI 进行 IPO 打开大门。目前 OpenAI 的估值为 860 亿美元。对于这一报道,当地时间6月15日,OpenAI 在回复路透社有关该报道的询问时表示,“我们仍然专注于打造造福于每个人的人工智能。非营利组织是我们的核心使命,并将继续存在。”(The Information )
Meta 更新隐私政策,从月底起将把用户数据用于训练 AI
Meta 更新隐私政策,将从 6 月 26 日起使用用户在 Facebook、Instagram、Threads 或 WhatsApp 上的发帖和聊天数据来训练其生成式人工智能模型。即使用户未使用 Meta 服务,只要其他人发布了包含用户数据的内容,Meta 仍可收集这些数据。用户如不同意可选择退出,虽然 Meta 不保证完全同意,但会根据数据保护法审查请求。在美国或其他无数据隐私法国家,用户难以阻止 Meta 使用数据训练人工智能。Meta 表示不会使用私人对话数据,但公开社交媒体帖子可能被收集。用户可设置账号私密以降低风险,且欧盟和英国用户因严格的数据保护法律较容易选择退出。
Meta 被爆将一次性裁掉50多位副总裁
当地时间 6 月 13 日,据三位知情人士透露,Meta 正考虑裁减数百名副总裁。
据一位知情人士透露,去年 Meta 的副总裁人数达到顶峰时约有 300 人。这一数字比前几年的 180 人有所增加。这位知情人士补充说,尽管去年在第二波大规模裁员潮来临之前,有几位副总裁离开了公司,但扎克伯格希望 Meta 的副总裁总数接近 250 人。副总裁职位分为五个级别。
据数据显示,经过多轮裁员后,截至 2024 年 3 月 31 日,Meta 在全球的员工总人数为 6.9 万人,减少了大约 22% 的员工数量。Meta CEO 扎克伯格曾表示:“更精简的组织将更快地执行其最高优先事项,人们的工作效率将会更高,他们的工作也会更加有趣和充实。”
“总体目标仍然是减少中高层管理者人数,增加底层员工的人数,”该人士表示。“现在又出现了中高层人数过多的情况。”(Business Insider)
苹果文生图应用新特性:仅产卡通图像,元数据由 AI 智能标注
苹果公司在其 2024 年全球开发者大会(WWDC)上透露,未来 iOS 系统将通过 AI 技术在生成的图片元数据中标注「AI 生成」,以提高信息透明度和帮助用户识别图像来源。同时,iOS 18 Beta 1 的更新代码中出现了用于标记人工智能生成图像的「取证」功能。苹果还推出了「Image Playground」功能,允许用户输入描述并生成个性化图像,该应用仅生成卡通化图像以避免错误信息传播风险。用户可在设备上直接生成预览图像,并在多个应用中查看和使用,同时可在 Image Playground 应用中进行编辑和分享。
苹果:不会根据用户的私人数据或用户互动来训练模型
苹果正在为 Apple Intelligence 使用自己制作的 AI 模型。苹果指出,它不会使用私人数据或用户交互来训练其模型,这与其他公司相比是独一无二的。相反,苹果同时使用授权材料和由该公司的 Applebot 网络爬虫抓取的公开在线数据。如果出版商不希望他们的数据被苹果获取,他们必须选择退出,这听起来类似于谷歌和OpenAI的政策。苹果还表示,它不会提供网上流传的社保和信用卡号码,也不会理会“脏话和其他低质量内容”。(The Verge)
苹果和 Meta 或因未能遵守数字市场法案面临被欧盟指控
布鲁塞尔当地时间6月14日消息, 据三位知情人士周五表示,欧盟很可能因未能遵守前不久刚刚生效的数字市场法案(DMA)而面临指控。欧盟的调查针对的是苹果的指导规则,监管机构称,苹果的指导规则施加了限制,阻碍应用程序开发商告知用户其应用商店之外的免费优惠,以及向应用程序开发商征收的新费用。
DMA 要求大型科技公司为较小的竞争对手开放竞争空间,并让人们更容易在社交媒体平台、互联网浏览器和应用商店等相互竞争的在线服务之间转换。
消息人士称,欧盟监管机构将在8月份暑假前发布类似反垄断指控的初步调查结果,首先受到指控的是苹果,其次是Meta。委员会和Meta拒绝置评。苹果引用了其 3 月份的声明,称其有信心其计划符合 DMA,并将继续与委员会进行建设性接触。(路透社)
DeepMind 最新研究提出用混合架构的方法解决 Transformer 模型的推理缺陷
DeepMind发表了一篇名为《当 Transformer 遇见神经算法推理机》的论文,提出用混合架构的方法解决Transformer模型的推理缺陷。将Transformer的NLU技能与基于GNN的神经算法推理器(NAR)的强大算法推理能力相结合,可以实现更加泛化、稳健、准确的LLM推理。
当 Transformer 执行算法形式的推理时,这种语言模型仍然很脆弱,因为计算必须精确且稳健。为了解决这一限制,该团队提出了一种新颖的方法,将 Transformer 的语言理解与基于图神经网络 (GNN) 的神经算法推理器 (NAR) 的稳健性相结合。当以图形形式指定时,此类 NAR 被证明是有效的算法任务通用求解器。为了使 Transformer 可以访问它们的嵌入,研究者提出了一种具有两阶段训练过程的混合架构,允许语言模型中的标记交叉关注来自 NAR 的节点嵌入。研究者在 CLRS-Text(CLRS-30 基准的基于文本的版本)上评估了得到的 TransNAR 模型,并证明了在算法推理方面比仅使用 Transformer 的模型有显著的提升,无论是在分布内还是分布外。