[LG] RWKV-7 "Goose" with Expressive Dynamic State Evolution
网页链接
RWKV-7 "Goose" 创新性地扩展了 delta 规则,并结合多项架构优化和大规模多语言数据集训练,打造出一种兼具卓越性能和高效推理能力的新型 RNN 架构,在多语言建模和长上下文处理方面取得了突破性进展,为开源社区贡献了强大的语言模型基座。
网页链接
RWKV-7 "Goose" 创新性地扩展了 delta 规则,并结合多项架构优化和大规模多语言数据集训练,打造出一种兼具卓越性能和高效推理能力的新型 RNN 架构,在多语言建模和长上下文处理方面取得了突破性进展,为开源社区贡献了强大的语言模型基座。