LLM Transparency Tool：用于分析LLM工作原理的交互工具包

项目简介

用于分析LLM工作原理的交互工具包 与之前的LLM推理可视化项目（ https:// bbycroft.net/llm ）类似，都是用于透视推理过程。

关键功能

• 选择您的模型，选择或添加您的提示，运行推理。

• 浏览贡献图。

• 选择要从中生成图形的令牌。

• 调整贡献阈值。

• 选择任何块后任何标记的表示形式。

• 对于表示形式，请参阅其对输出词汇表的投影，查看哪些标记被提升/抑制，但前一个块。

• 以下内容是可点击的：

• 边缘。这显示了有关贡献注意力头的更多信息。

• 选择边时的头部。你可以看到这个头在促进/压制什么。

• FFN 块（图形上的小方块）。

• 选择 FFN 模块时的神经元。

安装

Dockerized 运行

# From the repository root directorydocker build -t llm_transparency_tool .docker run --rm -p 7860:7860 llm_transparency_tool

本地安装

# downloadgit clone [email protected]:facebookresearch/llm-transparency-tool.gitcd llm-transparency-tool
# install the necessary packagesconda env create --name llmtt -f env.yaml# install the `llm_transparency_tool` packagepip install -e .
# now, we need to build the frontend# don't worry, even `yarn` comes preinstalled by `env.yaml`cd llm_transparency_tool/components/frontendyarn installyarn build

启动

streamlit run llm_transparency_tool/server/app.py -- config/local.json

添加自己的LLM

最初，该工具只允许您从少数几个模型中进行选择。 以下是您可以尝试在工具中使用模型的选项，从最少到最多。

TransformerLens 已经支持该模型

完整的型号列表在这里。在这种情况下，可以将模型添加到配置 json 文件中。

TransformerLens 支持的模型的调整版本

将模型的正式名称以及从中读取权重的位置添加到配置中。

TransformerLens 不支持该模型

在这种情况下，UI 不知道如何为模型创建正确的钩子。您需要实现 TransparentLlm 类的版本，并更改 Streamlit 应用以使用您的实现。