专栏名称: 前HR随笔
HR,ICT行业,战略,热点观察
目录
相关文章推荐
北京大学中国古代史研究中心  ·  中古史荐读|荣新江:悼念项楚先生——中国敦煌 ... ·  昨天  
历史地理研究资讯  ·  秦磊:清代云南科举宾兴与边疆文教治理 ·  5 天前  
51好读  ›  专栏  ›  前HR随笔

AI新摩尔定律到来,中国人才流失严重,需要重视

前HR随笔  · 公众号  ·  · 2024-03-22 06:03

正文

AI新摩尔定律到来,中国人才流失严重,年轻人要进入AI领域,这个是最有前途的。


过去有个摩尔定律,就是每18个月晶体管密度加一倍。现在有个新摩尔定律,就是每18个月AI大模型参数增加10倍。这个规律这几年对得上。

比如2018Bert模型是1.09亿参数,到了2020年GPT3就达1750亿参数,增加了1000多倍;而2023的GPT4就达到1.8万亿参数,又比上一代增加了10倍。GPT3是3000亿 Tokens的数据,GPT4则13万亿Tokens。根据AI大模型,需要模型参数20倍数据才会喂饱和。

现在数据也是AI大模型的关键支撑,所以现在有社交平台、知识平台的百度、腾讯、字节,他们会有优势。而阿里京东他们在商务方面估计依然有优势。


而人类平均有860亿个神经元、高达100万亿个突触,所以百万亿大模型参数可以相当于人的物理能力。

现在是2万亿参数大模型都有了,估计按这个成长速度3-5年内大模型就相当于人脑子物理水平。训练得好,等于小学生的智慧能力是可能的。但是10年后,也许人在大模型智慧面前就相当于小学生见到博士了。所以这是一个快速颠覆时期。

这也是我说不能错过AI,也是美国人拼命要让中国落后几年,因为落后几年就是相当于落后100倍大模型参数能力。当然参数能力增加10倍,模型处理能力只会增1倍,呈现指数与线性增加的不对应关系。从这点来说,有华为昇腾芯片是中国的福气,否则被美国人拉开,那真是要出大事的。


而这么军备竞赛,小公司对大模型已经玩不起了,比如GPT4一次训练成本6000万美元。小公司只能在大模型基础上抓好专业应用才是有出路的;所以看到小公司如果说在整大模型,十有八九跑偏了。


全球AI其实就剩下中美在竞争,其他国家已经无法竞争了。当前处于喜忧参半的情景,喜的是,全球顶尖AI人才的 75%都在中美,我们只需要盯紧一个对手就行。

忧的是,人才流到美国的问题,中国培养了相当大比例的全球顶尖AI研究人员,从2019年的29%上升到2022年的47%;但是美国仍是顶级AI人才的首选工作地,中国有一半AI顶级人才被美国捞走了。

我们AI留学生回来的寥寥无几,都去硅谷贡献了。当然,回来也在增加,不过真的损失惨重;非常担心类似半导体设备和芯片其实都是中国留学生开发的,最终却用来绞杀中国产业问题再次发生,至少目前英伟达大量AI工程师就是中国留学生。







请到「今天看啥」查看全文