本文提出了一种基于超网络的动态词元化方法，显著提升了语言模型的效-20241129053441

本文提出了一种基于超网络的动态词元化方法，显著提升了语言模型的效率和跨语言公平性，并通过两种不同策略分别解决了编码器和解码器模型中的动态词元化问题，尤其是在解码器中，利用百万级词表和近似最近邻搜索实现了高效的自回归生成。