MGDebugger：多粒度LLM代码调试工具

项目简介

MGDebugger 是一种分层LLM代码调试方法，旨在隔离、识别和解决各种粒度级别的错误。MGDebugger 采用分层自下而上的调试方法，系统地从各个子功能推进到整个系统，从而实现精确的错误检测和纠正。

通过MGDebugger，开发人员可以通过进行粒度分析来高效调试复杂的代码和函数，减少调试时间，提高解决复杂问题的成功率。

MGDebugger 系统架构概述

子功能调试模块

入门

先决条件

在运行 MGDebugger 之前，请确保您的环境满足以下要求：

• Python ：3.8 或更高版本。

• vLLM ：版本 0.6.0 或更高版本。模型加载和推理所需。您可以按照官方安装指南进行设置。

• 其他依赖项 ：使用以下命令安装所有必需的 Python 包：

pip install -r requirements.txt

配置 vLLM 服务器

使用以下命令启动 vLLM 服务器 DeepSeek-Coder-V2-Lite-Instruct 模型，执行以下命令：

python -m vllm.entrypoints.openai.api_server \    --model deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct \    --trust-remote-code \    --dtype auto \    --api-key token-abc123s \    --port 18889

这将初始化模型并在端口 18889 上启动服务器。

用法

运行演示

我们准备了一个演示代码片段来展示 MGDebugger 的调试功能。启动vLLM服务器后，您可以通过执行以下命令来运行演示：

python demo.py

运行实验

vLLM 服务器启动并运行后，通过执行以下命令启动 MGDebugger：

python main.py

日志管理

MGDebugger 自动将所有调试和错误日志存储在 output_data 目录中。您可以查看这些日志以更深入地了解调试细节和性能分析。