前段时间想进一步了解Transformer的工作原理，于是研读了一些可解释性的文章，发现今年关于
Transformer可解释性
的成果还真不少。
比如Nature子刊上的一种VIFG诊断模型，在两大MRI数据集上实现了超越SOTA的分级准确率。另外还有性能提升30%+的TransFlower模型、可解释性准确性暴涨73.1%的SE-SGformer模型...热度可见一斑。
不过
Transformer的可解释性研究确实是学术界经久不衰的热点，同时也是实际应用中的重要需求。
这是因为它在提高模型决策过程的透明度、促进模型调优与改进等方面都具有非常重要的必要性，对于AI技术的可持续发展不可或缺。
本文整理了
11篇
Transformer可解释性最新的文章（开源代码有）
，方便有同样需求的同学快速了解前沿，每篇文章也加上了我的一点解析，有问题欢迎大家一起讨论~
扫码
添加小享，
回复“
可解释T
”
免费获取
全部
论
文+开源代码
Visual interpretable MRI fine grading of meniscus injury for intelligent assisted diagnosis and treatment
方法：
论文提出了VIFG诊断模型，基于MR利用可解释性Transformer模型实现半月板损伤自动分级。该模型基于多级迁移学习框架，结合了归因注意力模块和注意力增强反馈模块，以实现对半月板损伤位置的精确定位和损伤区域的区分。
创新点
：
-
提出了一种细化智能分级方法（VIFG），用于半月板损伤的自动分割与预处理、损伤信号强度的定量分析以及自动细化分级和亚型细分。
-
通过MR成像特征，无需使用侵入性关节镜，即可获得半月板损伤的血供状态。
-
将年龄、性别、体重等非影像变量嵌入模型中，显著提高分级性能。
TransFlower: An Explainable Transformer-Based Model with Flow-to-Flow Attention for Commuting Flow Prediction
方法：
论文提了一个名为TransFlower的可解释的Transformer模型，它结合了流到流的注意力机制，用于预测城市通勤流量。TransFlower模型特别强调了模型的可解释性，它通过结合地理空间编码器（能够感知各向异性）和Transformer基础的流预测器，来有效地捕捉流量之间的交互，并提供了对模型预测的解释。
创新点：
-
TransFlower是一个基于Transformer的可解释模型，专门用于预测城市通勤流动模式。它通过引入流对流的注意力机制，实现了对复杂流动关系的建模。
-
该模型采用了一种新的相对位置编码器，能够捕捉出发地和目的地之间的空间关系。
-
TransFlower集成了流动起点和终点区域的地理特征，通过地理空间编码器将这些信息与空间关系数据结合。
扫码
添加小享，
回复“
可解释T
”
免费获取
全部
论
文+开源代码
An Explainable Transformer-based Model for Phishing Email Detection: A Large Language Model Approach
方法：
论文提出了一个基于可解释的Transformer模型，用于钓鱼邮件检测。作者通过使用两种不同的可解释性技术（LIME和Transformer Interpret）来提升模型的透明性。研究使用了DistilBERT模型进行文本分类任务，通过数据清理和平衡技术，优化并微调模型，以提高钓鱼邮件的检测精度。
创新点：
-
提出了一种基于Transformer的网络钓鱼邮件检测模型，使用了经过微调的DistilBERT模型。通过优化批量大小、优化函数和学习率等关键参数，该模型在平衡和不平衡数据集上均表现出色，测试精度达到98.48%。
-
结合使用了两种可解释人工智能（XAI）技术：LIME和Transformer Interpret，以揭示模型的决策过程。
