Deepseek专家交流纪要

更多投研资料点击进入知识星球

。 转 星球内每日更新内容超300条 发文章至朋友圈或微信群，即可免费获得一周调研纪要合辑

星球内每日更新内容超300条

1、大模型技术进展与市场关注

近期，机器学习领域的大模型成为科技界和舆论界的焦点。最新推出的第四代推理模型通过自主进化、多步验证等机制，提升了推理能力。此外，一款参数量达670亿的V3大模型已发布，并计划进一步升级至V4，增加参数量并深化多模态模型的应用。商业化进程相对谨慎，重点在于打造中国最强的开源大模型。

2、大语言模型的推理能力与多模态挑战

大语言模型在推理能力方面展现出显著优势，尤其在长文本处理、上下文依赖和跨文档信息整合上表现出色。通过采用混合精度训练框架和分布式部署策略，模型的性能和效率得到了提升。然而，在多模态领域（如文本、视频、音频），预训练数据不足导致模型表现受限。初创企业在文本模型方面具有潜力，但在多模态任务中面临算力需求的巨大挑战。未来，模型将通过定制化AI加速卡、分布式训练管理系统和服务化架构来优化基础设施，以支持动态弹性伸缩功能和无限长度批量处理。

3、算力资源与模型升级的资本投入及市场应用

2023年至2025年，某机构在算力资源上持续扩大，预计到2025年将新增5000张算力卡，总计持有约1.6万张。2023年和2024年的算力卡数量分别为1万张和1.1万张，主要采购了H800和H20等型号。算力资源储备不仅来自自有计算中心，还依赖外部合作，如润泽科技提供的3000个机柜资源。资本支出方面，2025年计划投资5-6亿元用于算力卡采购，另投入2亿元进行模型训练和研发。尽管设备初始投资较大，但通过销售模型服务，整体仍保持盈利状态。下游客户涵盖教育、金融、办公等领域，日均调用量达30多亿次。

4、开源模型与算力基础设施的优化策略

在开发过程中，团队使用了671B参数的开源模型，并通过微调和后训练提升了推理能力。后续选代将聚焦于多模态模型的升级，无论是图片、音频和视频处理能力的增强，以提升模型的推理效率和精度。目前，基础设施主要部署在国内，合作伙伴涵盖数据中心和硬件供应商。未来计划逐步引入国产芯片，如寒武纪，以降低对外部供应商的依赖。2025年，预计采购5000张显卡，其中英伟达和华为各占3000张和2000张。推理任务主要依赖自有显卡资源，但随着流量增长，未来可能存在算力缺口。

5、算力集群的应用场景与商业化策略

萤火一号算力集群主要提供A卡和H卡，广泛应用于金融、教育、电商及游戏等多个领域。其中，教育和电商类客户调用量较大，咨询服务类客户调用量中等，而股市类客户也有一定需求。多模态模型升级计划在2025年四季度实现更大突破，基于现有大语言模型进行优化。商业化策略包括两条路径一是与行业内的垂类客户联合开发，二是作为基础通用大模型通过API接口或私有化部署提供服务。C端用户主要通过使用过程中的反馈帮助优化模型，自前没有大规模商业化计划。推理端成本控制良好，得益于独特的推理模式，减少了传统逻辑链的复杂性。

6、算力集群与推理训练架构解析

当前的算力集群主要采用GPU服务器和类似ToR（TopofRack）架构进行组网，通过内部调度平台优化廊坊和北京数据中心的资源分配，确保算力高效利用。推理和训练在硬件配置上基本一致，但推理对硬件性能要求较低，可使用国产设备。未来大规模训练可以通过增加算力提升模型性能，兼容更多类型的计算卡。个人助手类产品已推出，可在安卓端下载，具备独立处理能力，无需调用外部APP。推理成本较低，主要是因为其计算资源需求少，且不需要复杂的预训练模型加载。

7、业务协同与合作伙伴关系概述

为提升市场竞争力，已开展多项业务协同合作。主要合作伙伴包括并行科技、敬业达和卓创资讯等。这些合作旨在优化产品和服务，增强供应链的稳定性和效率。通过与下游厂商的合作，能够有效消耗特定产品的库存量，并提高整体运营效率。此外，还与其他公司建立了合作关系，以调优系统稳定性和性能，确保服务质量。

Q&A

Q：如何评价当前大模型训练中的算力优化及其对行业的影响？

A:当前大模型训练中的算力优化是推动AI技术发展的重要因素之一。算力优化不仅降低了训练成本，还提高了模型的训练效率。具体而言，通过无幅度损失的负载均衡策略，可以有效减少因负载不均导致的性能下降问题，确保大规模集群在训练过程中的稳定性。此外，引入黎明斯坦姆偏执像（一种特定的技术手段）能够进一步提升模型性能，特别是在多任务处理和预测自标方面表现出色。这种优化措施使得即使在资源有限的情况下，也能实现高效的模型训练。

从行业角度来看，算力优化为中小企业提供了更多参与AI研发的机会。以往，只有少数拥有强大计算资源的企业才能涉足大模型训练，但现在随着技术进步，更多企业能够以较低的成本进行高质量的模型训练。这将促进整个行业的创新和发展，加速AI技术的普及。同时，算力优化也为跨领域的合作创造了条件，例如医疗、金融等行业可以通过更高效的模型训练，开发出更具针对性的应用，从而推动各行业的数字化转型。

Q：大模型的多模态发展方向有些潜在应用场景？

A:多模态大模型的发展为多种应用场景带来了新的可能性。首先，在自然语言处理（NLP）领域，多模态模型可以结合文本、图像、音频等多种数据类型，提供更加全面的理解和生成能力。例如，智能客服系统不仅可以理解用户的文学输入，还能识别用户的情绪变化（通过语音），进而提供更为个性化的服务。

这种多模态融合的能力使得AI系统能够更好地模拟人类的交流方式，增强用户体验。

其次，在医疗健康领域，多模态模型可以整合病历记录、影像资料、基因数据等多种信息源，帮助医生做出更准确的诊断。比如，利用多模态模型X光片、CT扫描结果以及患者的症状描述，可以提高疾病检测的准确性，甚至提前发现潜在的风险因素。这对于早期预防和治疗具有重要意义。

再者，在自动驾驶领域，多模态模型可以综合处理摄像头、雷达、激光雷达等多种传感器的数据，构建更加精确的环境感知系统。通过多模态融合，车辆能够实时感知周围环境的变化，及时做出反应，确保行驶安全。此外，多模态模型还可以用于城市规划、环境监测等领域，通过对多种数据源的综合，提供科学决策支持。

Q：面对激烈的市场竞争，如何保持天模型技术的领先地位？

A:面对激烈的市场竞争，保持大模型技术的领先地位需要从多个方面入手。首先是持续的技术创新。虽然现有的大模型已经在参数规模、训练效率等方面取得了显著进展，但未来仍需不断探索新的算法和技术，如改进的优化方法、更高效的训练框架等。技术创新不仅能提升模型性能，还能降低成本，增强竞争力。

其次是加强产学研合作。学术界在基础理论研究方面具有优势，而工业界则擅长将研究成果转化为实际应用。通过建立紧密的合作关系，可以加速新技术的研发和应用落地。例如，高校和研究机构可以为企业提供最新的理论支持和技术指导，而企业则可以通过实际项自反馈，帮助学术界调整研究方向，形成良性循环。这种合作模式不仅有助于解决当前的技术难题，还能为未来的创新奠定坚实基础。

最后是重视人才培养和引进。大模型的研发涉及多个学科领域，包括计算机科学、数学、统计学等。因此，吸引和培养高素质的人才至关重要。企业可以通过设立专项奖学金、举办技术竞赛等方式，激发年轻人对AI技术的兴趣，吸引更多优秀人才加入。同时，积极引进海外高端人才，吸收国际先进经验，提升整体研发实力。通过这些措施，可以在激烈的市场竞争中保持技术领先地位，推动AI技术的持续进步。

Q：如何应对多模态任务中的算力瓶颈？

A：多模态任务对算力的需求远超传统文本任务，主要体现在数据量庞大和计算复杂度高。为了应对这一瓶颈，首先需要优化现有硬件资源的利用率。例如，通过引入定制化的AI加速卡，可以显著提高特定任务的处理速度。其次，开发分布式训练管理系统，使得多个节点能够协同工作，从而分散计算压力。

此外，算法层面的优化也至关重要，包括设计高效的多模态融合机制和轻量化模型结构，以减少不必要的计算开销。最后，探索新兴技术如量子计算和神经拟态计算，这些技术有望在未来提供更强大的算力支持，彻底解决当前的瓶颈问题。

Q：逻辑推理能力的优势具体体现在哪些应用场景中？

A：逻辑推理能力在多个应用场景中具有明显优势。首先是智能客服系统，具备强大逻辑推理能力的模型能够更好地理解用户意图，提供更加精准和个性化的服务。其次是法律和金融领域的合同审查与风险评估，模型可以通过天量案例和法规条文，快速识别潜在风险并提出合理的建议。再者是医疗诊断辅助系统，通过对患者病历和症状的综合，模型可以给出初步诊断意见，帮助医生做出更准确的判断。此外，在科学研究中，逻辑推理能力强的模型能够协助科学家处理复杂的数据集，发现隐藏规律，加速科研进程。总之，逻辑推理能力的应用场景广泛且重要，能够大幅提升工作效率和准确性。

Q：未来多模态模型的发展方向是什么？

A：未来多模态模型的发展将集中在几个关键方向。首先是增强跨模态理解能力，即实现不同模态（如文本、图像、音频）之间的无缝转换和联合表示。这不仅要求模型具备更强的语义解析能力，还需要创新的特征提取方法。其次是构建更加通用的基础模型，使其能够在多种任务间迁移学习，减少对大规模标注数据的依赖。第三是提升实时处理能力，特别是在移动设备和边缘计算环境中，确保模型可以在低功耗条件下高效运行。第四是加强安全性和隐私保护，尤其是在涉及敏感信息的场景下，防止数据泄露和滥用。最后是探索人机协作的新模式，使模型不仅能完成任务，还能与人类进行自然流畅的交互，提供更好的用户体验。

Q：如何评估未来三年算力需求的增长趋势及其对市场竞争力的影响？

A：未来三年算力需求的增长趋势需从多个维度进行评估。首先，随着人工智能模型复杂度的提升，无论是大规模预训练模型的应用，算力需求将显著增加。其次，市场需求的变化也会推动算力需求的上升。例如，教育、金融、办公等领域对智能化解决方案的需求不断增加，这些行业对高性能计算能力的要求也在逐步提高。此外，市场竞争加剧也促使企业不断优化其算力资源配置，以确保在技术选代中保持领先地位。

为了应对这一趋势，企业需要制定灵活的算力扩展策略。一方面，可以通过自建数据中心或与第三方合作，确保充足的算力供应；另一方面，要优化现有算力的使用效率，减少不必要的浪费。同时，还需关注新技术的发展，如量子计算、边缘计算等，提前布局，以应对未来的挑战。最终，算力需求的增长将直接影响企业的市场竞争力，拥有更强算力支持的企业将在技术创新和服务质量上占据优势，从而赢得更多的市场份额。

Q：开源模型在大模型训练中的作用及其局限性是什么？

A：开源模型在大模型训练中扮演着重要角色。首先，开源模型为研究者提供了基础架构和技术框架，降低了开发门槛。许多开源模型经过广泛验证，具有较高的稳定性和可靠性，能够快速启动项目并缩短开发周期。此外，开源社区的活跃度高，开发者可以借助社区资源获取最新的算法和技术，加速模型的优化和改进。

然而，开源模型也存在一定的局限性。首先是安全性问题，由于开源模型的开放性，可能存在代码漏洞或恶意攻击的风险。其次是定制化不足，开源模型通常适用于通用场景，对于特定行业的特殊需求可能无法满足。再者，开源模型的质量参差不齐，部分模型可能缺乏完善的文档和支持，导致使用过程中遇到困难。最后是知识产权问题，企业在使用开源模型时需要注意版权和专利限制，避免法律风险。

因此，在使用开源模型时，企业应综合考虑其优点和局限性，合理选择适合自身需求的模型，并在此基础上进行定制和优化，以确保模型的安全性和适用性。

Q：如何衡量模型升级的投资回报率（ROI）及其对长期业务发展的影响？

A：衡量模型升级的投资回报率（ROI）需要建立一套全面的评估体系。首先，从直接经济效益来看，模型升级带来的收入增长是关键指标之一。例如，通过提供更精准的预测、更高效的处理能力等，可以吸引更多客户，增加销售收入。其次，成本控制也是重要的考量因素。虽然初期投资较大，但如果能有效降低运营成本，如减少人力投入、提高资源利用率等，则可显著提升利润率。

除了直接经济收益外，还应关注模型升级对长期业务发展的潜在影响。一是技术壁垒的建立，先进的模型有助于企业在竞争中脱颖而出，形成难以复制的核心竞争力。二是用户体验的提升，更智能的服务可以增强用户粘性，促进口碑传播，进而扩大市场份额。三是数据积累的价值，通过模型升级收集更多高质量数据，可用于后续的学习和创新应用，形成良性循环。

综上所述，衡量模型升级的ROI不仅要看短期的财务表现，更要注重其对长期业务发展的战略意义。企业应根据自身特点，结合市场环境和技术发展趋势，科学制定投资决策，确保在实现经济效益的同时，推动可持续发展。

Q：多模态模型的升级对推理效率的具体影响是什么？

A：多模态模型的升级不仅能够显者提升推理效率，还能扩展模型的应用场景。传统的大语言模型主要基于文本数据进行训练，而引入多模态数据（如图片、音频、视频）可以使得模型具备更全面的理解能力。例如，在图像识别领域，多模态模型可以通过结合文本描述和视觉信息，提供更加精准的分类结果。

音频处理方面，模型可以在语音识别的基础上，进一步理解语义内容，从而实现更自然的人机交互。视频处理则可以让模型从动态图像中提取关键信息，应用于监控、医疗影像等场景。此外，多模态模型的推理效率提升还体现在计算资源的优化上。通过对不同类型数据的高效处理，模型能够在保持高精度的同时减少计算时间，降低能耗，提高整体性能。这种技术进步不仅有助于解决现有问题，也为未来的创新应用奠定了坚实基础。

Q：引入国产芯片对算力基础设施的影响有哪些潜在挑战？

A：引入国产芯片，如寒武纪等，虽然有助于降低对外部供应商的依赖，但也带来了若干潜在挑战。首先，技术兼容性是一个重要问题。国产芯片的设计架构可能与现有系统存在差异，导致集成难度增加。特别是在大规模分布式计算环境中，确保不同芯片之间的无缝协作至关重要。其次，性能优化也是一个难点。尽管国产芯片在某些特定任务上表现出色，但在通用计算任务中的表现仍需验证。如何根据具体应用场景调整算法和硬件配置，以充分发挥国产芯片的优势，是需要深入研究的方向。再者，供应链稳定性同样不容忽视。虽然国内供应商能够提供一定的支持，但其生产能力和服务水平尚待提升。面对突发需求或市场波动时，能否保证稳定的供货渠道和售后服务质量，将是决定引入国产芯片成功与否的关键因素之一。最后，安全性和合规性也是必须考虑的因素。国产芯片的安全机制是否足够完善，能否满足国际标准和法规要求，这些都是在实际应用中不可忽视的问题。

Q：推理任务的算力需求快速增长，如何应对未来可能出现的算力缺口？

A：随着推理任务需求的快速增长，未来可能会面临算力缺口的问题。为应对这一挑战，可以从多个角度采取措施。首先，优化现有算力资源的利用率是关键。通过改进调度算法，确保每个任务都能在最合适的时间分配到最合适的计算资源，从而最大化资源使用效率。同时，采用混合云架构也是一种有效策略。将部分非核心任务迁移到第三方云计算平台，既能缓解本地算力压力，又能享受云端灵活扩展的优势。其次，探索新型计算技术也具有重要意义。例如，量子计算、神经形态计算等前沿技术有望在未来提供更强的计算能力。尽管这些技术目前尚处于早期阶段，但提前布局研发合作，有助于在未来占据技术制高点。此外，推动软硬件协同设计也是提升算力的有效途径。通过定制化硬件加速器和专用集成电路（ASIC），可以大幅提高特定任务的执行速度。最后，加强与其他机构的合作也不可或缺。通过共建共享算力平台，整合各方资源，形成规模效应，共同应对算力需求的增长。

Q：如何评估不同应用场景对算力的需求差异？

A：不同应用场景对算力的需求差异显著，主要体现在数据处理量、实时性要求以及计算复杂度等方面。例如，金融领域的高频交易系统需要极高的实时性和低延迟，因此对高性能GPU和快速网络连接有较高要求；而教育领域的在线学习平台则更注重稳定性和并发用户数的支持，对算力的需求相对平稳但持续时间较长。电商和游戏行业则更侧重于图像渲染和大规模数据处理，尤其是在促销活动或新游戏发布期间，瞬时流量激增对算力的要求极高。理解这些差异有助于合理配置算力资源，确保各行业应用的高效运行。

Q：多模态模型的升级将如何影响现有客户的业务流程？

A：多模态模型的升级将对现有客户的业务流程产生深远影响。首先，增强的多模态能力将使客户能够处理更多种类的数据，如文本、图像和视频，从而扩展其业务范围和服务内容。其次，升级后的模型可能带来更高的准确率和更低的错误率，减少人工干预的需求，提高自动化水平。此外，模型性能的提升也可能促使客户重新设计业务流程，以充分利用新技术带来的优势，进一步优化用户体验和运营效率。

Q：在推理端成本控制方面，有哪些技术创新可以进一步降低成本？

A：在推理端成本控制方面，技术创新是关键。一种方法是采用轻量化模型架构，通过剪枝、量化和蒸馏等技术，减少模型参数数量而不显著降低性能，从而降低计算资源消耗。另一种方法是优化推理引擎，通过引入高效的调度算法和内存管理机制，提高计算资源利用率。此外，分布式推理也是一种有效的手段，通过将推理任务分散到多个节点上并行处理，不仅可以加快处理速度，还能分摊硬件成本。最后，利用边缘计算技术，将部分推理任务从云端迁移到终端设备，减少数据传输带宽需求，进而降低整体推理成本。这些创新措施不仅有助于降低成本，还能提升系统的灵活性和响应速度。

Q：如何进一步优化算力调度平台以提高资源利用率？

A：为了进一步优化算力调度平台，可以从多个方面入手。首先，引入更智能的负载均衡算法，能够根据实时任务需求动态调整各节点的算力分配，避免某些节点过载而其他节点闲置的情况。其次，开发预测性调度机制，通过机器学习模型预测未来的算力需求，提前进行资源预留或释放，减少突发任务带来的压力。此外，还可以引入多租户管理功能，充许多个用户共享同一集群，同时保证数据隔离和安全性。最后，针对不同类型的计算任务（如训练、推理等），可以定制化调度策略，确保不同类型的任务都能获得最优的资源配置，从而最大化整体资源利用率。

Q：推理模式相较于传统训练模式有哪些具体的优势和劣势？

A：推理模式与传统训练模式相比，具有显著的不同特点。优势方面，推理模式通常对硬件性能的要求较低，因为它主要用于执行已训练好的模型，而不是从零开始构建复杂的神经网络。这意味着推理可以在性能稍逊的设备上运行，降低了硬件采购成本。此外，推理任务所需的计算资源较少，尤其是对于已经优化的轻量化模型，这使得推理可以在边缘设备上 更多投研资料每日更新300条加V: tmmt44 实现低延迟响应，适合实时应用场景。 然而，推理模式也存在一些劣势。 例如，在处理复杂推理任务时，仍需依赖高质量的数据标注和预处理，这部分工作量不容忽视。 另外，推理过程中如果遇到未见过的数据或异常情况，可能需要重新调用训练资源进行微调，增加了额外的成本和时间开销。 因此，尽管推理模式在某些场景下更具优势，但在实际应用中仍需综合考虑各种因素，选择最合适的方案。

Q：大规模训练对算力的需求是否会随着模型规模的扩大而线性增长？

A：大规模训练对算力的需求并非总是随着模型规模的扩大而线性增长。实际上，这种关系更加复杂，受到多种因素的影响。一方面，当模型参数量增加时，确实会带来更多的计算需求，无论是在前向传播和反向传播过程中，涉及大量的矩阵运算。然而，现代学习框架和硬件加速器的进步，使得大规模训练的效率得到了显著提升。例如，通过分布式训练技术，可以将单个模型的训练任务分解到多个GPU或TPU上并行处理，从而大幅缩短训练时间。另一方面，模型结构的优化也起到了关键作用。许多研究发现，通过剪枝、量化等手段，可以在不明显降低模型性能的前提下，显著减少参数量和计算量。此外，随着自监督学习和迁移学习的发展，预训练模型的应用越来越广泛，这使得新任务的训练过程变得更加高效，减少了从头训练所需的时间和资源。综上所述，虽然模型规模的扩大确实会增加算力需求，但通过技术创新和优化手段，可以有效缓解这一趋势，实现更为高效的训练过程。

Q：如何评估合作伙伴的选择标准及其对业务发展的贡献？

A：选择合作伙伴时，需综合考虑多个因素，包括但不限于技术实力、市场地位、财务健康状况以及战略契合度。首先，技术实力是关键考量之一，合作伙伴的技术水平直接决定了能否提供高质量的产品或服务。例如，拥有先进技术的公司在研发创新方面更具优势，有助于推动双方在技术上的共同进步。其次，市场地位也至关重要。具有良好市场声誉和广泛客户基础的伙伴可以带来更多的商业机会和市场份额。此外，财务健康状况决定了合作伙伴是否有足够的资金支持长期合作项目自。最后，战略契合度是确保双方目标一致的基础，只有当双方的战略方向高度一致时，才能实现互利共赢的局面。因此，选择合适的合作伙伴不仅能够弥补自身短板，还能为业务发展注入新的动力。

Q：如何确保合作伙伴关系的长期稳定性和可持续性？

A：确保合作伙伴关系的长期稳定性和可持续性需要从多方面入手。首先是建立透明的沟通机制，确保双方在合作过程中信息畅通无阻。定期举行高层对话和工作交流会，及时解决潜在问题，避免误解和冲突。其次是制定明确的合作协议，详细规定双方的权利和义务，确保合作有章可循。特别是在涉及利益分配、风险分担等方面，更应提前达成共识。第三，要注重合作共赢的理念，通过共同投资、联合开发等方式，深化合作层次，形成命运共同体。例如，在技术研发上进行合作，不仅可以共享资源和技术成果，还能共同应对市场变化带来的挑战。最后，建立有效的监督和评估机制，定期对合作效果进行评估，及时调整合作策略，确保合作始终朝着既定目标前进。

Q：在优化供应链管理方面，如何利用合作伙伴的优势？

A：在优化供应链管理方面，充分利用合作伙伴的优势可以显著提升供应链的整体效率和灵活性。首先，通过与技术领先的合作伙伴合作，可以引入先进的供应链管理系统和技术工具，如物联网、大数据等，实现供应链的智能化管理。这些技术能够实时监控物流状态、预测需求波动，从而减少库存积压和运输成本。其次，借助合作伙伴的市场渠道和分销网络，可以扩大产品的覆盖面，缩短交货周期，提高客户满意度。例如，与具有广泛销售网络的合作伙伴合作，可以使产品更快地到达终端用户手中。此外，还可以通过与供应商建立紧密合作关系，确保原材料供应的稳定性和质量控制。最后，利用合作伙伴的专业知识和经验，可以优化采购流程，降低采购成本，同时提高供应链的响应速度和抗风险能力。

END

【知识星球】 ：第一时间分享市场、个股、行业动态，这将构成市场最新的预期差，星球让大家 无需自己消耗大量时间，就可以获得最有效、最及时的投研信息 。 星球已然成为 投研资料库 ，超60000份投研资料供你随时搜索和 【下载】

知识星球目前覆盖内容有 PDF纪要、路演音频、行业数据库、 个股动态点评 、深度研报等。 星球每日更新内容超300条。

长按识别下方二维码加入知识星球

关注基本面的，寻求超额收益，没有渠道或者追求效率和便捷的， 认可自己的时间价值远超星球费用的投资者， 都可以尝试加 入。

咨询(备注公众号）＋v：tmmt44

注意： 再好的逻辑、预期，也需要择时、择股。以上内容仅是基于行业以及公司基本面的静态分析，非动态买卖指导。股市有风险，入市需谨慎，请勿跟风买卖！

如造成不便，请联系后台删除 。