其实,显卡是永远都不够用的。。。
训练侧,算法不断进步,加上数据优化上面,还有大量的工作可以做,所以可能百万卡集群的需求不是那么迫切。deepseek 已经证明了这一点。
但是在推理侧,可能很多人不知道,模型其实本质上是无状态的。也就是说,你们疯狂的访问,并不能让他变得更聪明。所以,在线学习一直是一个未解决的问题。如此大规模的神经网络,要想正确的改变他太难了。
训练侧,算法不断进步,加上数据优化上面,还有大量的工作可以做,所以可能百万卡集群的需求不是那么迫切。deepseek 已经证明了这一点。
但是在推理侧,可能很多人不知道,模型其实本质上是无状态的。也就是说,你们疯狂的访问,并不能让他变得更聪明。所以,在线学习一直是一个未解决的问题。如此大规模的神经网络,要想正确的改变他太难了。