专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
目录
相关文章推荐
爱可可-爱生活  ·  [LG] A Survey on ... ·  昨天  
爱可可-爱生活  ·  本文通过提出 ConTAM ... ·  4 天前  
爱可可-爱生活  ·  【SmolLM2:一款轻量级语言模型,包括 ... ·  5 天前  
黄建同学  ·  之前聊过 Claude Computer ... ·  1 周前  
51好读  ›  专栏  ›  爱可可-爱生活

Induction-Gram 语言模型通过巧妙地结合n-gram-20241110070655

爱可可-爱生活  · 微博  · AI  · 2024-11-10 07:06

正文

2024-11-10 07:06

Induction-Gram 语言模型通过巧妙地结合n-gram模型和一个基于神经网络相似性度量的“归纳头”,在保证模型可解释性的同时,显著提升了预测准确率和推理效率,并在fMRI反应预测中展现了其跨领域应用的潜力,其反直觉的发现在于上下文匹配的优越性,即使在数据量较小的情况下也能取得显著效果。
[CL]《Interpretable Language Modeling via Induction-head Ngram Models》E Kim, S Mantena, W Yang, C Singh... [Microsoft Research] (2024) 网页链接 #机器学习##人工智能##论文#