火山引擎原动力大会纪要

游戏行业校企合作游学活动需求意向调查

上午开发者主论坛

开场：

大模型时代的开发者过去几十年其实开发的方式发生了非常多的变化，在过去写代码的时代，程序是要在纸袋上来打孔的， Debug的时候要把纸袋对着天来看。后面就好很多了，有了编译器，有了高级语言，有了面向对象，过去10年其实最重要的开发模式是云原生。通过云计算软容器化服务网格等方式，我们能够快速的去构建大规模的业务系统，而现在到了大模型的时代，由于模型自己就能生成代码，运行代码，我们也可以第一次用更自然的方式来编写代码，而且可以利用模型的强大能力去实现各种神奇的创造。

在大模型的开发时代，开发者的画像也变得越来的多元化，开发者已经不再局限于传统的互联网行业，向更多的行业电商、教育、金融、汽车还有传统行业的业务人员也融入进来。AI开发也不再是某个特定行业的专属领域，而是渗透到了各行各业之中。

从组织规模来看，从大公司到小团队，再到个人的创业者都投身其中，再去到职业的背景，扣子平台的开发者已经不再是专业的技术人员，产品运营市场人员也都可以基于扣子来轻松的开发，甚至连小学生都能涉足其中，为自己定做对应的学习助手。

豆包语言大模型，豆包PRO，这次也完成了新一轮的迭代，全面的对齐了GPT4o，而且价格只有GPT的1/8。我们其他的垂类模型，比如音乐模型图、声纹模型、角色扮演模型也都发布了新版本。

在AI开发者的在AI的开发平台层面，火山方舟提供了全栈的MarsCode能力，能够支持模型的精调、推理、评测等全方位的功能，而且也提供了丰富的插件能力，扩展API和高代码的解决方案。

火山方舟新增全新的开启API记忆解决方案，AI搜索引擎和联网的Agent，并且我们开放了代码的实验室

扣子1.5版本完成了三个方面的重要的升级：

1）发布的形态不再仅仅是chat box，还有小程序，API外部SDK等多种形态，并且结合扣子推出的无线画布的功能，用扣子就已经可以可视化的搭整出完整的AI应用，并且嵌入到已有的系统和程序的流程之中。

2）不仅仅是大语言模型，扣子这次在多模态能力上也进行了全面的升级，方舟上的新模型可以在扣子上直接的体验，同时我们针对AI加硬件也提供了更完整的解决方案。

3）为了进一步的降低门槛，扣子还提供了一个多行业的精品模板库，对于开发者而言，还可以把自己的模板上架到扣子的精品库里面去，并且定进行定价和变现。

火山方舟：让大模型开发更友好、更专业、更高效

火山方舟即将正式推出应用实验室，为客户和开发者提供完整的场景化解决方案和完整的源代码，将着眼于那些高难度高价值的问题，用开源开放的方式把应该怎么做告诉大家。

举例：

动画短片的生成依赖若干模型协同工作，这里面既有用脚本生成的LLM模型，也有动画角色的图像生成模型、视频生成模型、音生成模型、视觉理解模型、语音转文本等等一系列的AI原子能力。

以儿童动画生成为例，不同的客户对于适配的清晰度、故事性、生成标准配音等等都会有不同的要求：

自动生成分镜、语音、视频

应用实验室的核心价值在于要找到高难度高价值的那些挑战，来帮助大家解决挑战中的80%的工作，并且把源代码开发给开发者和客户。

通过Cache API 实现更低延迟和更低成本，如果没有使用session cache，那么多轮对话在长上文窗口下实际上是无法产品化的，因为延迟太高太慢了。用好session Cache对延迟的改善的确是非常显著的。

火山方舟推出了全周期的安全可行方案，保证数据从离开用户的手中，离开用户域，到经过方舟安全执行环境处理后，返回用户域之间都不留任何痕迹：

1）全链路加密：着眼的是用户数据，在用户域到火山方舟安全沙箱之间的传输安全。全链路具体指的是用户到火山的API网关、网关，再到方舟的安全沙箱。我们在会话层的tls加密的基础上，结合安全沙箱的身份公钥，对用户会话进行二次加密，只有安全沙箱内部才能把它解开，保证即使是PLA这种链路上的所有组件也无法看到或者窃取会话的铭文。

2）数据高保密：指的是方舟上的用户的金条的训练数据以及金条后的模型参数的保密级别非常高，只有在安全沙箱的内存中，才会有权限去请求密钥，并且解除训练集以及模型的明文。在离开安全沙箱的内存之前，这些所有的数据一定会先被重新加密，然后再持久化去落盘，加密的密钥和kms都由客户自己控制。

3）环境的强隔离：指的是安全沙箱实现任务级的隔离策略，限制程序只能以非特权的模式启动，防止攻击横移到其他住户域内，这种实力级别的隔离策略，包括容器沙箱技术，动态网络隔离以及可信代理等。

4）可验证的审计日志：包括安全沙箱的所有连接日志，容器的逃逸日志，kms的访问日志等等。

AI搜索推荐一体化产品：

搜推引擎是一款基于豆包大模型的企业级搜索推荐一体化产品，通过多模态大模型和信息技术的一个融合，我们支持自然语言理解多轮多模态交互，使用户能够便捷地获取全域的丰富信息，为企业提供完整的搜索推荐能力。

数据层：支持大规模的异构数据的揭露和处理，具有很强的非结构化数据和结构化数据的处理吞吐能力，单个向量库的库容量可以达到百亿级别，当日的文档处理的一个规模可以达到10余万篇，当文档的解析规模可以达到数千页。

索引构建层：提供了跟抖音同款的高性能向量库，知识图谱以及全文检索的多种的索引类型，整个向量库里面的索引库容可以达到百亿的库容，10万q ps压力下达到大概3~5毫秒的一个延迟一个程度。

模型层：内置支持了豆包家族全系列大模型和基于用户序列的一个推荐模型，以及多模态向量化模型，提供结合行业场景化的算法模型能力。Ai的搜索推荐引擎可以支持多种企业级的搜索推荐服务。

候选集的角度，多模态的内容理解技术则将文本、图像、音、视频等信息结合在一起，为精准的信息匹配提供了很强大的技术支持，从而进一步延伸出先搜索后推荐，先推荐后搜索以及多轮对话搜索推荐的很多很新的产品形态，进一步拉近了人和信息的距离。我们深度结合了豆包家族大模型的能力，运用搜索推荐一体的a卷的编排框架，实现各种垂类场景下的更好的业务效果呈现，为用户提供更为智能高效的信息服务。用户在使用搜索引擎时，其表达的搜索意图同时包含了明比较明确的那部分和比较不明确的那部分，系统需要对这种混合的意图进行综合的理解和处理，以提供更符合用户需求的搜索结果。

随着多模态模型的发展，多模态检索也将变得越来越流行，这种方法可以更细致、更精确、更方便的形式来捕获用户的搜索意图。多模态检索中最常见的任务之一就是合成图像检索，其中用户提供包含参考图像在内的，还有一些描述性标题的查询，这种多重输入的方式，可以通过将视觉内容与文本指令相结合，使用户能够更自然并且更高精度的表达复杂的查询意图。此外用户行为也可以被视为一种模态，在个性化方面起到了很重要的作用。

通过对上下文信息的深入挖掘，以及对多轮对话的逐渐的展开，客户将可以更加精准的把握最终用户的真实意图，基于用户长期积累的行为习惯以及个人兴趣偏好，为其推荐高度相关的内容，从而且能够显著提升最后的搜索的准确性以及产品体验。

销售场景：

这4张图是1个公司的几个不同部门不同角色的人，在问了同一个Qury同一个问题的情况下，系统分别给出的回答结果。

首先整个系统和算法会理解问题，根据不同部门不同职能角色所具备的数据权限范围，进行对应的数据分析和统计，生成答案，并且对应的整个图表的展示。例如销售部的华北区的销售总监，人事部的总监和品牌市场部的总监都问了同一个问题，就请帮我总结一下我们部门本季度的业务完成情况，系统会根据各自需要的业务的统计，数据结果以及不同的回复的风格，实现了搜索和推荐的完美融合。

只有搜索是不够的，只有推进也是不够的，但 AI搜索结合强大的AI推进，就会呈现出1+1>2的一个效果。

整体技术架构升级

豆包通过全面优化技术架构，实现了开发工具和能力的显著提升。高效ID（集成开发环境）、通过引入Apache C提升性能，支持分屏编写，兼容VS Code插件，同时提供40多个功能插件，包括大模型助手、开发提效、质量保障等。流水线扩展程序基于数据管理方法论，支持80多个插件，实现开发规范、数据质量、运维保障的全自动化操作。开发者工具与智能市场提供脚手架、极速调试能力，打造智能市场，支持插件共享与生态共建。

大模型能力落地

豆包大模型技术在多个核心场景中成功落地。智能代码补全可自动补全约49%的代码内容，拥有800万日活用户，94%的用户反馈效率显著提升。智能运维与诊断通过整合日志数据，实现任务错误诊断、性能优化和异常检测，降低了对专业知识的依赖，提高了问题处理效率。

典型案例分享

在IDE场景扩展中，版本管理助手可追踪代码修改记录，便于团队协作；代码速读工具通过精简字段处理逻辑，提高了代码阅读效率，节省了90%的时间。在流水线自动化方面，通过插件实现任务上线的质量检查与监控，确保代码符合架构规范并满足质量要求。

实际效果

豆包的技术优化和大模型应用带来了显著成效。每季度拦截超过12,000个质量问题，大幅提高开发效率。同时，构建了开放共赢的插件生态，进一步提升了用户满意度并推动了更多场景的实际应用。

豆包AI应用开发平台扣子的升级与特点

功能全面升级

扣子1.5实现了从智能体开发平台到多模态AI应用开发平台的全面升级，赋能开发者从低代码搭建到复杂业务逻辑的开发，提升开发效率和应用落地能力。

1.低代码界面搭建能力

扣子1.5支持桌面端、小程序和移动H5开发，提供无限延伸的画布布局，让开发者轻松构建灵活多样的用户交互界面。同时对工作流、数据库和知识库进行了全面升级，提升业务逻辑处理能力，满足多模态AI场景需求。

2.高效协作开发与稳定性提升

扣子支持复杂的对话流编排、历史记录管理与高效协作开发，通过多标签界面和资源管理工具提升开发效率，并提供调试日志分析和性能评估工具，确保应用服务稳定性。

3.快速发布与多渠道支持

扣子1.5支持一键发布AI应用至多平台，如小红书、小程序和硬件端，实现更广泛的用户覆盖，同时全面开放渠道合作，帮助开发者快速连接AI应用与商业化场景。

多模态能力拓展

1.整合视觉、音乐和图像生成能力

扣子将多模态能力深度整合，提供视觉理解模型、音乐模型和图像生成模型等功能，为AI应用赋能多样性。

2.视觉理解Pro

开发者可在平台上体验图像识别、推理和描述能力，快速构建视觉相关应用。

3.文生图与音乐模型

文生图和音乐模型支持图像和音频内容的快速生成与修改，广泛应用于营销和内容创作场景。

模板功能与行业赋能

1.丰富的模板库

扣子推出涵盖客服智能体、生图营销、AI搜索等多种AI应用方向的模板，开发者可一键复制、修改模板并快速发布应用。

2.赋能大消费行业

针对零售场景，扣子提供舆情分析、导购、客服陪练等模板，帮助企业以低成本引入AI能力，提升效率与市场表现。