两次提及Sora
在刚结束的杭州市新春第一会——“深化改革、强基固本”主题年推进大会上,省委副书记、杭州市委书记刘捷两次提到Sora大模型,这在政府的开年大会上并不常见。
首次提及Sora大模型时,刘捷着重强调了其在数字经济加速发展中的战略意义。他说到:
“Sora大模型为数字经济创新发展打开了一扇大门,形成了引领人工智能产业发展的一个新的通道,这不仅带来很大启发,更大地带来了产业的冲击。”
城市的崛起靠的是能抓住创新产业。
近年来,杭州凭借数字经济发展迅猛,2023年已成为中国第八座“两万亿之城”,数字经济核心增加值突破5675亿元大关,增速稳健且占比刷新历史记录。
面向未来,刘捷说到,
杭州数字经济高速发展,在这一轮人工智能发展新机遇上,唯有加快改革、加快发展,适应和抢抓新机遇。
在第二次提及Sora大模型时,刘捷转向了算力成本的问题,强调杭州在人工智能时代的目标是将算力成本降至最低。
“创新推出‘算力券’,发展通用大模型和垂直领域大模型,着力打造全国算力成本洼地和模型输出地”。
为实现这一目标,杭州将全面推进新型算力中心建设,提供信创云和人工智能算力服务,构建一个包含通用算力、超算算力和边缘算力协同发展的新型算力体系。
就在今年1月,浙江省政府发布了一份《关于加快人工智能产业发展的指导意见》,
该文件特别强调了增强算力供给能力的重要性,并将浙江打造成长三角新型算力中心。
这不仅是对浙江数字经济创新升级的一个重要推动,也是其作为长三角算力枢纽节点一部分的战略规划。
大模型发展的关键是算法、人才、算力和软件应用的突破
当一个国家经济不断升级和转型,对智能化的追求也日益增强,而这一切需要算力提供强大保障。
算力在人工智能时代的重要性,不亚于过往蒸汽机对于工业革命的意义。
从GPT-3.5到GPT-4,再到现在的Sora,再到更为先进的GPT-5,
所需的高性能计算资源是一个指数级的增长,对算力的需求更是难以估量。
早在1961年,美国的John McCarthy教授就提出了类似的观点,认为计算力应当像电话系统一样普及,让用户能够随时获取所需的计算资源,并根据使用量付费。1990年,美国的Ian Foster教授进一步提出,
算力应该像电力一样成为一种公共服务。
但是,中国在这一领域面临的挑战尤为明显,主要是国际政治环境使得中国在获取先进算力资源方面,
受到了极大的限制。
美国对芯片领域的出口限制,使得中国难以获取到如英伟达等公司的先进GPU,这些是大模型发展不可或缺的资源——
GPT3.5需要1万张V100 GPU,GPT4则要2.5万张A100(A100的性能是V100的1.4-1.9倍),而现在OpenAI团队正努力将1000万量级的最先进的GPU资源整合,以支撑起更复杂的人工智能模型所需的巨大算力。
但我们这边己经(在台面上)买不到英伟达最先进的GPU了:
2022年美国禁售了Nvidia H100(这是OpenAI 等美国人工智能公司的首选处理器),而到了2023年,减速版本(H800或A800)也被美国商务部禁售了。这些先进芯片是训练大模型的基石。而英国智库人工智能治理中心在2023年对中国26个大型模型做了一个分析发现,
超过一半的模型依赖于英伟达的芯片。
更气人的是,在出台了这一系列的禁令后,美国政府官员表示,这些政策无意损害中国经济增长。
我心里一万头羊驼已经飞奔而过了无数遍。
但这也改变不了现实。
而现实就是,我们能买到的GPU非常有限,而这些有限的GPU又都分散在字节跳动、腾讯、阿里巴巴、百度等企业中,
据估计每家手里只有几千或者几万张GPU的规模。
早在2022年,全球著名的智库CSIS就出了一份报告,报告中提及,
这些芯片禁售令是美中关系中真正的里程碑,意在阻止中国进入人工智能的未来 ↓
原文链接:https://www.csis.org/analysis/choking-chinas-access-future-ai
所以,如何突破现有的限制,如何集结和优化资源,如何加快自主高性能AI GPU的研发与量产,成为了摆在我们面前的一个个挑战。
另外一个桎梏是数据,2023年5月英国《经济学人》提出,中国在建立基础模型方面比美国落后两到三年,造成这一差距的原因之一就是数据,AI模型在训练时难以充分利用互联网内容——51.2% 的网站是英文的,而只有 1.5% 是用中文编写的。
在右边没有看到chinese? 因为我们被归类到了others
https://www.statista.com/chart/26884/languages-on-the-internet/
AI迟早会进入到所有的领域
今年1月份,AI苏州年度大会暨大模型创新应用峰会在苏州举行,南京大学计算机系主任兼人工智能学院院长周志华在主旨演讲,他说道:
“以机器学习为核心的人工智能技术已在改变世界,在生命科学领域,人工智能实现蛋白质结构破解;在艺术领域,AI画作《太空歌剧院》在人类的艺术比赛中夺冠。”
Midjourney,Jason Michael Allen:来源:wikipedia.org
周教授强调,人工智能是一种“赋能技术”,它如同电力一样,
终将渗透至所有行业和生活的方方面面。
然而,这个AI全面拥抱的未来并非一蹴而就。
《权力与预测》一书,技术革新需要经过三个阶段:
1,点解决方案The Point、
2,应用解决方案The Application和
3,系统解决方案The System。
那如蒸汽时代到电力时代的转变来举例:起初,技术革新提供了简单的改进,如电灯取代蜡烛。随后,生产设备的变革允许了更为高效的使用,比如独立电源的引入。最终,这种变革促成了整个生产方式的重大变化,例如生产流水线的创新。
目前,尽管AI在某些领域已经展现了其应用潜力,但广泛影响生产和生活方式的根本性变革还未完全到来。
但随着AI技术的进一步发展,预期将会出现更多行业的应用,最终带来系统性变革。