DReSD：用稠密检索提升推测性解码效率 查看图片 //@爱可-20250225075030

DReSD：用稠密检索提升推测性解码效率 查看图片 // @爱可可-爱生活 :本文创新性地提出了基于稠密检索的推测解码框架 DReSD，通过语义相似性检索克服了稀疏检索的局限性，显著提升了推测解码的接受率和生成速度，实验表明 DReSD 性能优于稀疏检索方法，并深入分析了影响稠密检索推测解码性能的关键因素，揭示了 LLM 隐藏状态的冗余性，为未来检索式推测解码研究提供了新的方向和优化策略，尤其反直觉地证明了更复杂的稠密检索方法能够在推测解码中实现更高的效率和性能提升。