AI新摩尔定律到来,中国人才流失严重,年轻人要进入AI领域,这个是最有前途的。
过去有个摩尔定律,就是每18个月晶体管密度加一倍。现在有个新摩尔定律,就是每18个月AI大模型参数增加10倍。这个规律这几年对得上。
比如2018Bert模型是1.09亿参数,到了2020年GPT3就达1750亿参数,增加了1000多倍;而2023的GPT4就达到1.8万亿参数,又比上一代增加了10倍。GPT3是3000亿 Tokens的数据,GPT4则13万亿Tokens。根据AI大模型,需要模型参数20倍数据才会喂饱和。
现在数据也是AI大模型的关键支撑,所以现在有社交平台、知识平台的百度、腾讯、字节,他们会有优势。而阿里京东他们在商务方面估计依然有优势。
而人类平均有860亿个神经元、高达100万亿个突触,所以百万亿大模型参数可以相当于人的物理能力。
现在是2万亿参数大模型都有了,估计按这个成长速度3-5年内大模型就相当于人脑子物理水平。训练得好,等于小学生的智慧能力是可能的。但是10年后,也许人在大模型智慧面前就相当于小学生见到博士了。所以这是一个快速颠覆时期。
这也是我说不能错过AI,也是美国人拼命要让中国落后几年,因为落后几年就是相当于落后100倍大模型参数能力。当然参数能力增加10倍,模型处理能力只会增1倍,呈现指数与线性增加的不对应关系。从这点来说,有华为昇腾芯片是中国的福气,否则被美国人拉开,那真是要出大事的。
而这么军备竞赛,小公司对大模型已经玩不起了,比如GPT4一次训练成本6000万美元。小公司只能在大模型基础上抓好专业应用才是有出路的;所以看到小公司如果说在整大模型,十有八九跑偏了。
全球AI其实就剩下中美在竞争,其他国家已经无法竞争了。当前处于喜忧参半的情景,喜的是,全球顶尖AI人才的 75%都在中美,我们只需要盯紧一个对手就行。
忧的是,人才流到美国的问题,中国培养了相当大比例的全球顶尖AI研究人员,从2019年的29%上升到2022年的47%;但是美国仍是顶级AI人才的首选工作地,中国有一半AI顶级人才被美国捞走了。
我们AI留学生回来的寥寥无几,都去硅谷贡献了。当然,回来也在增加,不过真的损失惨重;非常担心类似半导体设备和芯片其实都是中国留学生开发的,最终却用来绞杀中国产业问题再次发生,至少目前英伟达大量AI工程师就是中国留学生。