本文主要介绍了蚂蚁集团的代码大模型应用项目CodeFuse，包括其在推动研发效能提升中的角色，创新技术突破，以及面临的挑战和解决方案等。同时，也涉及CodeFuse在蚂蚁集团研发全生命周期中的具体应用，如集成到研发流程中的代码补全、智能问答等功能，以及如何利用内部知识库增强CodeFuse性能的措施和数据质量与模型训练的平衡问题。此外，本文还介绍了嘉宾肖斌对CodeFuse未来的期待和行业启示。
肖斌分享了CodeFuse在蚂蚁集团的应用和其对研发流程的影响，包括其在提高代码编写速度、降低重复工作和编码门槛等方面的作用。
肖斌提到了在构建CodeFuse过程中遇到的技术挑战，如应对大模型实时应用中的性能需求，以及解决模型幻觉问题。同时，他也介绍了CodeFuse的创新技术突破，如自适应语法粒度的代码块生成技术和跨文件跨仓库的上下文代码理解与补全。
肖斌解释了CodeFuse如何通过程序分析、质量模型筛选高质量代码数据，结合蚂蚁集团的安全能力对训练数据进行清洗，以及通过用户反馈对模型进行强化学习。
肖斌展望了CodeFuse的未来，包括将其覆盖到非研发人员，为代码大模型在研发领域的落地铺平道路，以及在开源社区的贡献。
代码大模型被视为大模型在垂直领域落地的“低垂果实”，各大互联网公司如今纷纷推出了自家的解决方案。然而，落地的过程真的如想象中简单吗？在既有的技术平台上，代码大模型该如何改造和升级？Devin 工程师提出的研发模式革新，又是如何从零开始结合现有能力构建的？
在蚂蚁集团，CodeFuse 代码大模型自落地以来已逾一年，它如何推动了蚂蚁集团整体研发效能的提升？在即将举行的 QCon 上海大会上，我们特别邀请了蚂蚁集团技术专家肖斌为大家分享他在这一领域的见解。
在会前采访中，肖斌深入探讨了 CodeFuse 的创新、挑战以及它对研发流程的深远影响。以下是采访内容，期待您阅读后收获新的启发。
此外，在本届 QCon 上海大会，我们特别策划了《AI 重塑技术工作流程》专题。来自百度、字节、华为、蚂蚁、腾讯、去哪儿网、盛派网络等多家企业的专家将共同探讨 AI 对当前工作模式的颠覆与重塑，欢迎关注。
InfoQ：您提到了“智能研发的点与面”，能否具体解释一下这个概念？
肖斌
:“点”：一个个智能化平台。“面”：从需求到发布等各个方面的智能化共同组成智能研发之“面”。用户每使用的一个研发平台的智能化可被理解为智能研发的“点”，例如编码、发布、测试、运维等。而众多智能化的“点”组合起来便能够形成智能研发的“面”。
InfoQ：能否详细谈谈 CodeFuse 在推动蚂蚁集团整体研发效能提升中的定位？
肖斌
：基础模型与 AI 生成工具正重塑技术人员的工作方式。在此大背景下，CodeFuse 于蚂蚁代码大模型落地进程中占据至关重要的地位，是蚂蚁大模型研发提效的核心力量之一，其涵盖范围包括但不限于在提高代码编写速度、降低重复工作以及降低编码门槛等多个方面。同时，CodeFuse 有幸荣获数个公司级别的奖项。
InfoQ：在构建 CodeFuse 的过程中，最具创新性的技术突破是什么？能否详细讲述一个最为骄傲的技术创新或架构设计？这对 CodeFuse 的功能和性能产生了怎样的影响？
肖斌
：在做大模型相关的工作中，每一步都是在探索和创新，我认为我们团队技术突破主要体现在以下几个方面:
1) 基于海量高质量代码数据训练的多语言代码底座大模型
2) 自适应语法粒度的代码块生成技术
3) 跨文件跨仓库的上下文代码理解与补全
4) 强化学习持续提升模型效果
其中我们在不断的探索和创新过程中，也会不断的分享一些我们的成果和突破，比如现阶段已经发表“CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model” 和 “REPOFUSE: Repository-Level Code Completion with Fused Dual Context”两篇论文，并且还有多篇论文在编写和审核过程中，感兴趣的同学可以持续关注我们的公众号。
InfoQ：每个大厂都结合大模型推出了代码助手的产品，CodeFuse 有什么特别之处？觉得目前 CodeFuse IDE 插件做的最好的功能是哪个？为什么？
肖斌
：首先，数据训练上和蚂蚁背景强结合，这一点是其他产品无法做到的。比如学习蚂蚁内沉淀的优秀知识库；其次，产品能力上和蚂蚁业务强结合，比如图生代码，以及对话和内网仓库，内网部署平台结合；最后自研代码助手也能保证数据安全。
目前最好的是代码补全，因为补全会在写代码过程中时时刻刻的辅助研发工作。是目前核心能力。但深入研究代码补全技术同时，我们还探索其他方向，比如智能问答，图生代码等。虽然目前能力上给研发同学带来的帮助不如代码补全，但相信在不久的将来，AI 能力会覆盖研发领域各个阶段，从整体上共同提高研发幸福感。
InfoQ：在构建 CodeFuse IDE 系列插件的过程中，遇到了哪些关键的技术挑战？例如，如何应对大模型在实时应用中的性能需求？是如何克服这些挑战的？
肖斌
：所遇到的技术挑战众多，在此主要阐述性能方面的内容。我们采取了一系列举措以克服这些挑战，包括对模型进行 INT4 量化、多卡并行、投机采样、Continuous Batching 等技术，以提升推理速度。同时，我们深知“独行快，众行远”这一道理。在相关技术探索方面，我们也与多个业务方展开合作。携手英伟达，加速模型推理效果；与各大高校合作，将一些前沿的学术方案落地到工业界，以提高 CodeFuse 的 AI 能力。
InfoQ：之前，你提到了 Copilot 模式和 Copilot + Agent 模式，这两种模式在技术实现上有何不同？在实际应用中，这些模式带来了哪些实际效果和反馈？
肖斌
：Copilot 模式，确切来讲是 Copilot+Chat 模型。该模式呈现出重模型、轻工程的特点，即借助研发平台的知识库或其他数据对模型进行微调，研发平台通过通用的交互方式，调用不同模型以迅速集成 AI 相关能力。然而，此模式存在无法与研发平台原有能力相结合的弊端。鉴于此，衍生出了 Copilot+Agent 模式。与 Copilot+Chat 模式相比，Copilot+Agent 是工程能力与算法能力的有机结合，使 AI 能够通过特定方式调用效能平台原有的 API，从而使用户能够以更加智能化的方式使用效能平台。在蚂蚁集团，我们亦通过这两种方式将蚂蚁的效能平台基本实现 AI 化。当前，效能平台的 AI 化基本处于从 Copilot+Chat 向 Copilot+Agent 模式的转换进程之中。
InfoQ：基于上下文感知学习 (ICL) 的能力，CodeFuse 如何解决模型幻觉问题？
肖斌
：为解决模型幻觉问题，我们进行了大量尝试。其中，上下文感知学习是重要的一部分。在模型推理之前，通过检索上下文相关联信息，以引导模型生成更为准确的结果。此外，我们还采用了代码分析、置信度评估、反馈飞轮等手段，进一步增强模型的准确性。
InfoQ：CodeFuse 在蚂蚁集团研发全生命周期中具体是如何提升效能的？能否详细介绍一下具体的应用场景，例如代码补全、智能问答等功能是如何集成到研发流程中的？
肖斌
：CodeFuse 存在多种方式可集成至研发流程之中。例如最为常见的集成方式为 IDE 插件，用户安装插件后，即可在研发流程中运用代码大模型相关能力。其中，既涵盖本地 IDE，云端 IDE。此外，我们还提供 openAPI 接口面向各类研发领域的业务方。例如，用户在数据库平台上编写 SQL 的过程中，也能通过调用 CodeFuse 接口以实现多个 AI 能力。对于研发效能的提升，我们一般使用 AI 生成代码占用户新增代码比例，采纳率等多种指标指标进行评估。具体案例及数据内容比较多，可以关注之后我分享的 PPT，我会进行详细分享。
InfoQ：CodeFuse 强大的数据训练能力是其一大优势，蚂蚁集团是如何利用内部知识库来增强 CodeFuse 的性能的？在数据质量与模型训练的平衡上，采取了哪些措施？
肖斌
：CodeFuse 主要会通过程序分析、质量模型筛选高质量代码数据，也会结合蚂蚁集团已有的安全相关能力，对训练数据进行安全方面的清洗，还会通过用户的反馈，比如是否采纳 CodeFuse 推荐代码的行为，对模型进行对比学习，强化学习。至于数据质量和模型训练的平衡，其实最终都是提升用户体验，我们会用大量 AB 实验来验证最终的效果，以最终给用户提升的效果为准。
InfoQ：对 CodeFuse 在未来的研发效能提升方面有哪些期待或计划？作为大模型在编码领域应用的前沿探索者，认为 CodeFuse 为行业带来了哪些重要的启示或贡献？
肖斌
：我们致力于保持前瞻性的技术视野，积极开展对新兴技术领域的深入调研和探索，虽然目前 CodeFuse 仍以提高研发效能为主要目标，但针对未来，我们同时也希望，将 CodeFuse 覆盖到非研发人员，来完成相关的研发工作。做到技术普惠。同时，CodeFuse 也致力于在开源社区能有一些贡献，这块大家可以关注 CodeFuse 对外 PR 的一些文章。总而言之，目前大模型还是处于快速发展的过程中，这块大家相互学习相互进步把。
肖斌
，蚂蚁集团 CIO 技术部技术专家。自 2021 年加入蚂蚁以来便致力于研发效能领域的前沿技术落地，先后负责代码力度量项目，以及青燕编程助手项目，对编码领域提效有多年实践经验。目前是 CodeFuse 研发助手技术负责人，从 0 到 1 建设 CodeFuse IDE 系列插件，为代码大模型在蚂蚁研发领域落地铺平道路。
2024年8月18-19日，AICon 全球人工智能开发与应用大会·上海站成功举办，汇聚超过60位大模型行业先锋，全方位剖析大模型训练与推理机制、多模态融合、智能体Agent前沿进展、检索增强（RAG）生成策略、端侧模型优化与应用等热点内容。经过嘉宾授权，「
AI前线
」为你独家整理了一份演讲PPT合集，不容错过。关注「
AI前线
」，回复关键词「
PPT
」免费获取。
10 月 18 日 -19 日，QCon 全球软件开发大会将在上海举办。
从云原生工程、架构、线上可靠性、大前端、技术管理等经典内容，到 AI Agent、AI Infra、RAG 等大热的 AI 话题，60+ 资深专家共聚一堂，深度剖析相关落地实践案例，共话前沿技术趋势。
大会火热报名中，详情可联系票务经理 17310043226 咨询。
