首个数据代码完全开源！ 受区块链启发的大模型多智能体协作根因分析框架

本篇文章为大家介绍由北航带来的被EMNLP 2024 findings 接收的工作：基于大模型的系统根因分析框架，mABC: Multi-Agent Blockchain-inspired Collaboration for Root Cause Analysis in Micro-Services Architecture（受区块链启发的多智能体协作根因分析框架）。

本文探讨了云原生技术中微服务架构日益复杂化所带来的系统稳定性和效率维护方面的挑战。为了解决警报事件的根本原因分析（RCA）和解决问题，本文提出了一种创新的框架——基于区块链启发的多智能体协作根本原因分析框架（mABC），以彻底改革人工智能运维（AIOps）领域。在该框架中，基于强大的大型语言模型（LLMs）的多个智能体通过区块链启发式投票来达成最终协议，遵循智能体工作流程提供的任务和查询的标准化处理过程。具体来说，从智能体工作流程中派生出的七个专业智能体根据其专业知识和LLMs的内在软件知识，通过协作形成去中心化链，为根本原因分析提供有价值的见解。为避免LLMs中潜在的不稳定性问题，并充分利用去中心化结构的透明和平等优势，mABC采用了受区块链治理原则启发的决策过程，同时考虑每个智能体的贡献指数和专业指数。在公共基准AIOps挑战数据集和我们创建的火车票数据集上的实验结果表明，与以前的强基线相比，mABC在准确识别根本原因和制定有效解决方案方面表现优异。消融研究进一步突显了mABC中每个组件的重要性，智能体工作流程、多智能体和区块链启发式投票对于实现最佳性能至关重要。mABC提供了一种全面自动化的微服务架构根本原因分析和解决方案，并在AIOps领域相比现有基线取得了显著的改进。

mABC的从警报开始到根本原因分析的总体流程。

两种不同的代理工作流

警告接收器: 负责接收和分类警告事件，根据事件的紧急性和影响范围进行排序，并将最高优先级的警告传递给流程调度器。

流程调度器: 接收来自警告接收器的信息，启动一个综合的处理流程，包括数据收集、依赖性分析、概率评分等，同时协调各个专门的代理进行任务。

数据侦探: 负责从指定的节点收集数据，包括但不限于平均延迟、流量、错误率、资源饱和度和并发用户数。数据收集后，通过数据分析工具进一步加工处理，以便于理解和决策。

依赖性探索器: 分析微服务架构内部节点之间的依赖关系。在接到流程调度器的请求后，根据全局拓扑和时间窗口内的调用数据，识别出与特定节点直接或间接相关的其他节点。

概率预测器: 评估不同节点的故障概率。这涉及到基于性能指标如响应时间、错误率或资源使用情况来评估每个节点的故障风险。

故障映射器: 负责更新和可视化故障网络（Fault Web），它展示了不同节点间的故障概率和连接。

解决方案工程师: 在确定故障根源分析和解决方案开发后，根据流程调度器提供的数据进行节点级或指标级分析，制定实际有效的解决策略。

Agent Chain的投票流程

审查阶段：所有代理对答案进行审查，确保其准确性和适当性。

发起投票：如果某个代理认为答案需要进一步验证或改进，可以发起投票。

进行投票：所有代理在代理链上对答案进行投票，投票选项包括赞成、反对和弃权。

结果判定：根据投票结果决定答案是否被接受。如果答案未通过，提出答案的代理需要根据反馈重新生成答案。

主要实验结果

各个组件的消融研究

在本文中，作者介绍了mABC，这是一个通过结合多智能体系统、LLM 和区块链投票来改善复杂 微服务架构 中警报事件解决能力的框架。我们还开发了火车票基准，这是 微服务架构中根因分析的开源数据集。AIOps 挑战和Train-Ticket数据集上的实验结果表明mABC在识别根本原因和提供解决方案方面的有效性，其中 Agent Workflow和投票机制至关重要。mABC增强了根本原因分析，提高了系统可靠性和运营效率。未来的工作将侧重于增强组件、整合更多数据源和改善代理协作，旨在使mABC成为 IT 运营必不可少的一部分。为推动开源社区的发展，相关微调和benchmark数据也将一并开源，敬请期待。