ICLR 2022 || Transformer 与 海马体神经表征

大家好，今天给大家介绍一篇ICLR 2022的研究论文，这篇论文探讨了Transformer模型与海马体神经表征之间的关系，特别是如何通过递归位置编码使Transformer再现海马体的空间表征。本文通过数学关系揭示了Transformer与当前海马体模型之间的联系，为理解海马体的计算角色及Transformer位置编码的功能提供了新视角。

1. 基本信息

论文题目 : Relating Transformers to Models and Neural Representations of the Hippocampal Formation

作者 : James C.R. Whittington, Joseph Warren, Timothy E.J. Behrens

作者研究单位 : University of Oxford, DeepMind, University College London

会议 : ICLR 2022

2. 研究背景

这篇论文的研究背景涉及Transformer模型和神经科学中的海马体空间表征。海马体是大脑中负责空间导航和记忆的区域，其包含的地点细胞（place cells）和网格细胞（grid cells）能够在环境中创建空间地图。Transformer，特别是其位置编码（positional encoding）机制在序列建模中非常重要。本文作者旨在探索Transformer与海马体神经表征之间的关系，通过引入递归位置编码，使Transformer能够再现海马体的空间表征。

3. 方法

本文将递归位置编码（recurrent positional encodings, RPEs）引入Transformer模型，以模拟海马体的空间表征。具体方法如下：

1. 递归位置编码 : 为了使Transformer再现地点细胞和网格细胞的表征，本文引入了一种递归位置编码机制。该机制通过递归地更新位置编码，使其具备空间表征能力。递归位置编码的数学表达式如下：

   其中， 表示时间步 的递归位置编码， 表示输入， 是递归函数。

2. Transformer模型 : 基于递归位置编码，构建了一个新的Transformer模型。该模型在每一层的自注意力机制中都使用了递归位置编码，从而使模型具备空间表征能力。具体公式如下：

   其中， 表示时间步