这篇论文提出了张量积注意力（TPA）机制，通过对查询、键和值进行-20250119061826

这篇论文提出了张量积注意力（TPA）机制，通过对查询、键和值进行上下文相关的低秩张量分解，在显著减少推理时KV缓存内存消耗的同时，保持甚至提高了模型性能，并统一了对现有多种注意力机制的理解，为解决大型语言模型在处理长序列时的内存瓶颈问题提供了一种高效且灵活的方案。