导读 本文将介绍 Deepexi滴普企业大模型方案及具体场景中的落地实践。
1. Deepexi滴普企业大模型方案
2. 语料工程
3. 模型工程
4. 制造行业落地实践
5. 问答环节
分享嘉宾｜冯森 滴普科技 Deepexi产品线总裁
编辑整理｜陈沃晨
内容校对｜李瑶
出品社区｜DataFun
Deepexi 滴普企业大模型方案
1. DEEPEXI 产品逻辑架构
下面是算力基础设施，包括 Fast5000E 企业算力平台。上面 FastData 企业融合数据平台，目前在原有基础上向 AI 进行了跨越，可以支持在大数据平台处理非结构化数据，比如文档或者音视频数据可以在平台上进行训练数据的加工。加工之后的数据提供给 FastAGI 企业大模型服务平台进行模型工程做训练。在上面会有 Agent，基于 LangChain 框架，实现 RAG 召回，可以创建 AI 智能助手，为企业应用嵌入或者直接进行知识问答。基于上述产品，可以支持多种场景，包括数据智能分析，即通过对话的方式来进行数仓数据的分析；单品大脑，即企业面向整个供应链进行快速反应；以及知识问答和用车助手，将企业知识数据训练进去之后，通过问答的方式进行精准检索。
上图是 DEEPEXI 产品的功能架构图，下面是 Fast5000E 训推一体机和 Deepexi滴普企业多模态大模型。其上，在语料工程部分，可以从不同数据源进行数据采集，包括数仓、数据库，还有文档的一些存储路径，对象存储、云上的存储等等。同时提供统一的 catalog，对应用层以及 FastAGI 企业大模型服务平台提供统一的元数据，使其可以直接访问结构化数据、非结构化数据或者是大模型训练加工的数据。模型工程部分，在 FastAGI 企业大模型服务平台的基础上，支持智能体的构建、模型的训练和微调，以及模型的推理和评估。再向上，我们可以面向不同的场景提供产业 AI 应用的能力。
这张 DEEPEXI 产品技术架构图展示了目前大模型相关的一些核心技术能力。左边是语料工程，可以对本地数据源或外部数据源的数据进行加工。在一些场景中会进行预训练，比如某些客户需要自动地基于业务场景写代码，如果让客户去整理应用场景和代码的关系是比较复杂的，因此我们先是把客户大概十万多个 API 进行了预训练，再把这种应用场景和代码进行指令精调。同时我们还通过 Prompt 的方式对输出结果进行优化。我们的 Deepexi 滴普企业多模态大模型，除了基础的 300 亿参数之外，对于文档的解析也用了很多小模型，比如对 PDF、word 进行解析，生成 markdown 格式的数据，再进行切片、数据的合成，并进行训练。Fast5000E 训推一体机方面，我们具有对 GPU 集群的管理、对模型的管理、算力的池化等能力。
无论是公司还是整个行业，都在从原有的数据时代向智能时代跨越。语料工程
下面介绍模型训练之前，我们在语料工程方面所做的工作。
我们认为模型训练的效果 80% 取决于训练数据集的质量。我们在项目实际落地过程中，80% 的工作也都是做数据加工，包括训练模型之后如何进一步提升任务的准确率，都是在做数据的清洗加工和不断调整，包括跟业务进行比对，不断提升数据质量。
数据加工的过程如上图所示。文档可以从产品侧上传，之后通过嵌入在产品里面的一些小模型对数据进行解析，然后对解析之后的数据进行标注，可以通过模型进行标注，也会投入一些人工标注。比如我们在一个项目上落地大概有 1000 本左右的文档，进行解析之后，由六位技术人员标注，模型标注完之后还需要人工去看数据是否正确。标注完成后，我们会对数据进行切片，按三级标题来切成一个一个的知识点，基于这些知识点生成问答对。当然，我们也会用 GPT 的方式去生成问题，也可以自己训练一个小模型去合成 QA 对。最后，利用这些问题，为 RAG 提升 Retrieve 的准确度。
上图展示了基于 RAG 的召回过程。生成的知识点会放到向量库中进行向量化，之后一个问题过来时会到这个向量库里面去检索，检索完的上下文，会用 Prompt 的方式，通过模型进行总结回答。这部分的核心工作就是对 embedding 模型的训练。
在数据 AI 分析方案这个场景，一方面我们通过模型的能力自动生成 SQL，当然在企业很多复杂的场景中，生成的 SQL 准确度是不够的，因此我们采用的方案是，有一些指标可能有 API 能够直接取到，或者是我们可以配一些 SQL 模板，把一些参数变成变量来根据其意图识别到。在实际落地过程中，不一定全是靠模型去生成，我们也测试过，单靠模型生成 SQL 的准确度只能达到 60%~70% 左右。加上 API 和 SQL 模板这些手段之后，目前准确度可以提升 90%。目前该功能已在企业生产环境中正式使用。模型工程
关于通用大模型与企业大模型之间的关系，从上图中可以看到，最下面 L0 层是我们经常看到的一些大模型厂商，它们具有一些通用能力，包括知识理解能力、推理能力、音视频的生成或者解析的能力。上面一层是行业大模型，比如法律的大模型、医疗的大模型，它们是面向整个行业的。我们在企业落地的时候，需要拿着企业真实的业务数据，结合行业大模型和通用大模型进行再训练或者微调，才能满足企业的应用场景，所以其实我们目前在落地过程当中，主要做的是 L1 和 L2 这部分的工作。
我们目前的定位是把数据和模型结合到一起，帮助企业进行快速落地。
大模型微调过程，首先是选择大模型，我们选择的是 300 亿参数级别的模型。我们认为这个参数级别对于客户压力不会特别大，使用两台一体机，配置 8 张主流的 GPU卡，基本上就可以落地。如果参数过大，对于私有化场景，企业落地应用的成本比较高。如果选择特别小的参数级别的话，又无法满足企业一些比较复杂的场景需求。第二是准备数据集，一方面是行业的数据，另一方面是企业自身的私有化数据。我们大部分工作集中在第三部分，即微调，采用了全参、Lora 以及适配器层调优几种方式。最后一部分就是模型的测试评估和部署。
我们在落地 Deepexi 滴普企业大模型过程当中总结了一些具体的方案，核心是帮助企业去训练和调整其业务场景会用到的模型能力，主要包括以下三个方面：- 第二块是 API 数据。模型的能力落地实际上还是在其业务流程中以嵌入式的方式实现一些智能化，或是做一些辅助分析、辅助决策。在决策过程中可能会产生一些动作，比如下单操作，要调系统 API 进行操作，所以我们主要是训练它语义上的意图理解能力，还有 FunctionCall 的能力，以精准调用 API。
- 第三块是 SQL 数据。在面向数据分析场景中，我们的一个核心优势是数据服务能力，很多老客户需要提升数据分析场景的智能性，核心是需要这种 SQL 的能力，我们会训练 SQL 的生成能力，再加上 API、SQL 模板能力来提升整个数据查询的准确度。
大模型微调也是围绕这三个能力，生成三类训练或者微调的数据。我们对模型进行训练或者微调，调整的核心参数包括 learning_rate、warmup_ratio、num_train_epochs、model_max_length 等，根据 loss 值的下降情况，来判断如何调整模型参数和数据集。
模型训练之后，在模型推理过程中我们需要考虑客户自身的成本，因此要对模型进行量化，核心是降低其计算复杂度，使得客户能用更少的资源进行推理。当然，降低精度的话，准确度也会有一些丧失，我们也做了一些工作，尽量减少由于精度降低对推理的影响。
目前业界对于模型安全的要求是非常高的，比如在一些政府行业项目中，有些敏感词，如涉政、地域歧视、人身攻击等是不能出现的，因此我们造了 23 万条敏感词汇数据集对模型进行微调，使敏感词过滤能力有较大提升。制造行业落地实践
1. 某鞋服行业头部企业联手滴普科技自建 AI 训推平台，快速上线智能应用某鞋服行业头部企业在国内拥有万余家自营门店，我们与其共创了一整套与业务深入结合的流程，覆盖了从底层算力服务一体机，到大数据平台，再到基于模型的 AGI 平台，核心落地实现了以下三大应用场景：通过图文模式、多图融合、关键词反推、线稿渲染、款式配色实现鞋服新品设计，引领创意，提升设计效率。商品全生命周期的知识问答、数据分析、业务推理，实时了解库存，提供补货建议，提升商品流通效率。打通供应链管理系统和零售运营系统数据，通过业务执行辅助问答实现供应链流程智能化，提升决策效率。我们目前与该鞋服行业的头部企业共同探索的另外一个非常核心的场景是 OTB-滚动预算，即如何根据业务情况进行进行智能分析和调整预算目标。2. 某国内工程设计服务业的头部企业联手滴普自建 AI 训推平台，快速上线智能应用
某国内工程设计服务业的头部企业通过建设 AI 智能体平台，实现了问答助手和设计助手两大应用场景。基于知识图谱数据，利用 LLM 实现自然语言问答。其内部有 80 多万字的核心规范，我们也是在企业内部进行训练的。这是一个私有化的场景，没法用通用大模型，也没法用云的服务器，所以使用我们的一体机加上我们的模型训练和 AGI 平台来进行落地。对已有图纸文档分析理解、专业文档辅助生成、专业图纸校审。最大的挑战是要求 90% 的准确度，目前仍在不断的优化中，我们 80% 的工作都是要对齐这一需求，不管是回答风格、规范，还是语义场景。有时一个问题可能会涉及到七八本规范数据，模型推理可能会出现遗漏，影响准确度，所以我们做了大量的语料和训练优化的工作，目前已经训了十几轮来不断优化和改进，包括 RAG 的增强，训练 embedding 模型。
滴普科技是领先的企业 AI 基础设施服务商，聚焦产业 AI 应用，为客户提供 DeepexiOS 企业 AI 平台及 DeepexiGenAI 企业核心领域的生成式 AI 应用，助力企业构建智能化基础设施，并实现产业 AI 应用落地。目前除了上述两个典型场景之外，也在其他企业进行着不同程度的落地。凭借众多标杆合作案例，滴普科技入选福布斯中国人工智能科技企业 TOP50 榜单，并被认证为 2024 年第六批国家级专精特新 “小巨人” 企业。问答环节
Q1：前面介绍的案例，比如鞋服行业的例子里面，很多都是获取如销量数据或者销量情况，如果我想问一些关于决策的问题，比如今天这个鞋要备货多少件，或者是一些更偏向于归因的问题，比如销量变差是什么原因，这种情况下“问答助手”是怎么实现的？
A1：这其实就是刚才介绍的智能补货场景，内部称为单品大脑。我们核心训练三个任务，第一个任务就是识别商品编号，提供给系统调用，这里用到语义识别是通过模型进行训练；第二个任务是拿到编号和一些参数之后，需要调哪个系统的 API，补货逻辑在系统中已经实现，我们只要更精准地调用 API 拿到这些数据；第三个任务是，有一些分析总结，有特别的规范，我们会按照规范的语料来进行训练，最终把拿到的数据以及分析的结果通过规范的形式输出出来。具体补多少量并不是模型给到他的，而是以 FunctionCall 的形式去调已有的业务系统来给出要补多少，我只是把这种分析的趋势或者分析的结果给到这个系统，让它给我返回结果。Q2：模型的准确率如何匹配设计行业的实际需求？
A2：目前模型的能力达到 100% 几乎是不太可能的，客户要求是 90% 以上，这一目标涉及很多复杂问题，比如一个问题涉及到多本规范，还有复杂的表格、复杂的公式、复杂的图纸，规范里边还会有一些计算逻辑。模型需要帮助做好复杂推理，同时还有一些知识图谱，会基于图数据库的知识，进行复杂的推理，这些都是需要进行提升的。对于剩下的 10% 的不正确或不准确的回答，我们在回答问题过程中，不仅有结论，还会有分析过程，另外还会引用问题答案是从哪个规范里面出来的。基本上用户可以快速判断。另外还可以通过产品化的方式来解决，我们有点赞或者点踩，会在后台收集到日志，如果这个问题回答的不好，被点踩了，我们会分析这类问题该如何优化语料，以进一步提升。10 余年数据库和大数据的研发及技术管理经验。曾获得 Nvidia 官方认证的 CUDA 培训讲师，负责过装备制造、高校和科研机构的 GPU 并行加速项目。
