【北航团队提出专家协同框架,小尺寸大模型协同效果或优于“巨无霸”大模型】
目前,以工业界为主导的大模型研究,主要通过拼算力、拼数据的方式,训练出一系列“巨无霸”大模型,并在各个评测榜单上争夺“头把交椅”,以此增强在 #大模型# 领域的影响力。
然而,这种以竞争内卷为主的“个人英雄主义”思路,不仅会让大模型在训练时消耗大量算力,还会导致其在真正应用时,出现推理成本过高而实用性不足的问题。
那么,为了解决上述问题,能否采用以合作共赢为主的“团队合作主义”思路,允许多个小尺寸大模型协同工作,以达到甚至优于那些参数量非常大的大模型才能实现的效果呢?
近期,来自 #北京航空航天大学# 的团队提出了一个利用评测榜单的专家协同框架 Bench-CoE。
该框架包含了一组由 #大语言模型# 驱动的专家模型(可以是多模态模型,其特点为用自然语言来交互信息),一系列评测榜单信息,以及一个用来选择专家模型执行具体任务的路由模型。
戳链接查看详情: 北航团队提出专家协同框架,小尺寸大模型协同效果或优于“巨无霸”大模型
目前,以工业界为主导的大模型研究,主要通过拼算力、拼数据的方式,训练出一系列“巨无霸”大模型,并在各个评测榜单上争夺“头把交椅”,以此增强在 #大模型# 领域的影响力。
然而,这种以竞争内卷为主的“个人英雄主义”思路,不仅会让大模型在训练时消耗大量算力,还会导致其在真正应用时,出现推理成本过高而实用性不足的问题。
那么,为了解决上述问题,能否采用以合作共赢为主的“团队合作主义”思路,允许多个小尺寸大模型协同工作,以达到甚至优于那些参数量非常大的大模型才能实现的效果呢?
近期,来自 #北京航空航天大学# 的团队提出了一个利用评测榜单的专家协同框架 Bench-CoE。
该框架包含了一组由 #大语言模型# 驱动的专家模型(可以是多模态模型,其特点为用自然语言来交互信息),一系列评测榜单信息,以及一个用来选择专家模型执行具体任务的路由模型。
戳链接查看详情: 北航团队提出专家协同框架,小尺寸大模型协同效果或优于“巨无霸”大模型