专栏名称: 歸藏的AI工具箱
产品设计师🎨 AI画图工具操作员🔧 AI课程撰写与信息收集整理📰 致力于发掘借助AI工具改善设计与产品开发流程的各种可能性🤔
目录
相关文章推荐
老张投研  ·  均胜电子,藏不住了! ·  2 天前  
老张投研  ·  均胜电子,藏不住了! ·  2 天前  
sven_shi  ·  我回答了 @乐把金针度与人 ... ·  2 天前  
少数派  ·  我们 9 月买到了这些好东西,还有 2 ... ·  4 天前  
爱可可-爱生活  ·  【PaperVision:自定义OpenCV ... ·  5 天前  
宝玉xp  ·  brilliant.org ... ·  6 天前  
51好读  ›  专栏  ›  歸藏的AI工具箱

上周AI重要内容:搜索、具身智能、游戏实时生成、代码

歸藏的AI工具箱  · 公众号  · 科技自媒体 AI  · 2024-11-04 07:00

正文

Open AI 的一些消息:SearchGPT、完全体 O1、AMA

最近 Open AI 动作挺多的可能终于感受到压力了,先是推出了 SearchGPT,然后疑似故意泄露完全体 O1 模型使用链接,还跟自己的新领导层搞了一个 AMA。

发布 Search GPT[2]

之前测试了很久的 ChatGPT 搜索功能终于出了,他们说可以提供更快、更准确的网络搜索体验,并直接链接到高质量来源。

为了获得更高质量的数据他们还跟天气、股票、体育、新闻和地图数据服务商合作获取数据,而且这些内容都做了单独的 UI 适配比看文字直观很多。

你可以直接在 ChatGPT 网站上搜索,也可以安装他们的浏览器插件[3]设置成默认搜索。

完全体多模态 O1 模型泄露

在上周六下午推上突然说完全体的 O1 泄露了,从一个指定链接[4]进去就可以使用,进去看了一下还真是,支持多模态而且能力也非常强,有 200K 的长下文窗口。

拿一个高中数学联赛的几何题试了一下居然能答对。另外还拿一个正常的高中奥赛数学题试了一下,Claude 3.5不行、o1-preview都做不对,都在瞎做,他也答对了。

刚想要上点重量给他一个出生日期让它算依稀八字命盘,结果就被修复了,细带大选之后可以使用

Open AI 主创的的 AMA 总结[5]

31 号 SearchGPT 发布之后 Sam 和其他 Open AI 的领导层一起在 Reddit 做了一次 AMA,回答了很多问题,列几条相对重要的,完整的总结可以在这里看[6]

今年没有计划发布名为 GPT-5 的模型,不过之后会有重要发布。目前重点是改进 o1 系列及其后续版本,而不是推出 GPT-5(完全体 O1 这就出了)。OpenAI 将继续开发 GPT 和 o1 两个模型系列,预计这两个系列最终会合并。新的文本生成图像模型正在开发中,但未宣布发布日期。o1 模型将在未来几个月支持图像输入,以及多模态和工具使用等功能。OpenAI 认为可以用现有硬件实现 AGI。ChatGPT 独立执行任务的能力预计将成为 2025 年的主要主题。当被问及是否是"草莓哥"时,Sam 回应了一个草莓表情。

Physical Intelligence 发布通用机器人策略模型 π0[7]

Physical Intelligence 发布了一个通用机器人策略模型。

目前的机器人大多是窄领域的专家,它们的行为需要大量的手动编程。而通过 AI 技术,机器人能够学习并遵循用户指令,使得编程新的行为变得更加简单。

可以指导机器人完成各种开放域的任务,而不需要专门训练,比如洗衣服、叠箱子、收拾餐桌等家务。这个机器人在智能上比马斯克前几天发布那个强多了。

训练方法

模型结合了大规模的多任务和多机器人数据收集,以及一种新型的网络架构,使得机器人能够以前所未有的能力和灵巧性进行控制。

π0 模型继承了互联网规模的语义知识和视觉理解,并通过流匹配方法将预训练的视觉语言模型增强为连续动作输出,实现了高频率的灵巧控制。

Oasis:实时生成可操作的AI游戏生成模型[8]

虽然有很多关于AI实时生成可操作的游戏内容研究了,但是都停留在研究和Demo阶段,而且操作也很简单稳定性也很差。

Decart 发布的这个Oasis第一次提供了可以试玩的Demo,而且几乎具备完全体的《我的世界》功能,你可以砍树、挖石头等等。

Oasis 是交互式视频游戏,但由transformer在逐帧的基础上端到端生成。Oasis 接收用户键盘和鼠标输入并在内部生成实时游戏玩法,可以以 20 帧的速度实时渲染,零延迟。

为了实现 Oasis,需要两方面的根本进展:一是改进模型架构,以便模型能够捕捉并模拟整个世界;二是在模型推理技术上的突破,以便用户可以通过最小延迟实时交互。

Decart 发布了 Oasis 的代码和模型权重,以及一个可在本地运行的更大的模型的实时可玩演示。

同时他们因为这个Demo获得了2100 万美元的种子轮融资。

同时类似的研究还有:腾讯出的游戏视频模型 GameGen-O[9]谷歌发布 GameNGen 项目[10]DIAMOND 这个项目可以实时玩 CS GO[11]

Github发布会发布多个AI功能和产品[12]

Github 发布会的主要内容,GitHub Spark 新产品类似 Bolt 或者 V0 这种输入需求直接生成。

GitHub Copilot 多模型支持

新增对多个 AI 模型的支持:Claude 3.5 Sonnet、 Gemini 1.5 Pro、o1-preview 和 o1-mini。开发者可以自由选择最适合的模型组织和企业可以控制团队使用的模型范围

AI 原生开发体验增强

Copilot Workspace:在 Pull Request 中快速优化和验证代码,与 Copilot Code Review、Autofix 和第三方扩展集成Copilot Code Review:PR 创建后即可获得 AI 反馈,支持 C#、Java、JavaScript、Python、TypeScript、Ruby、Go 和 Markdown,可配置团队规则以保证代码质量

GitHub Spark (技术预览版)

面向个人的软件创作工具使用自然语言创建微型应用支持实时历史记录、预览和直接代码编辑目标是帮助 10 亿人成为开发者

GitHub Models

不再需要等待名单,直接可用模型并排比较支持多模态模型保存和分享提示词与参数新的 Codespaces 支持CLI 扩展:可直接在终端中使用和测试模型


以上就是上周重点AI内容,完整版的周刊还有更多AI动态、AI产品推荐、上周重点AI教程和文章还有论文,可以从下面渠道订阅。

Quail 渠道https://quail.ink/op7418/upgrade

新增小报童渠道https://xiaobot.net/p/guizangNews

References

[1] 封面提示词在这里: https://catjourney.life/
[2] 发布 Search GPThttps://openai.com/index/introducing-chatgpt-search/
[3] 浏览器插件: https://chromewebstore.google.com/detail/chatgpt-search/ejcfepkfckglbgocfkanmcdngdijcgld
[4] 指定链接: https://chatgpt.com/?model=o1
[5] Open AI 主创的的 AMA 总结https://www.reddit.com/r/ChatGPT/comments/1ggixzy/ama_with_openais_sam_altman_kevin_weil_srinivas/
[6] 完整的总结可以在这里看: https://x.com/op7418/status/1852194089854480558
[7] Physical Intelligence 发布通用机器人策略模型 π0: https://www.physicalintelligence.company/blog/pi0
[8] Oasis:实时生成可操作的AI游戏生成模型: https://www.decart.ai/articles/oasis-interactive-ai-video-game-model
[9] 腾讯出的游戏视频模型 GameGen-O: https://x.com/op7418/status/1834631028557893868
[10] 谷歌发布 GameNGen 项目: https://gamengen.github.io/
[11] DIAMOND 这个项目可以实时玩 CS GO: https://github.com/eloialonso/diamond/tree/csgo
[12] Github发布会发布多个AI功能和产品: https://github.blog/news-insights/product-news/universe-2024-previews-releases/