人工智能专家 Rich Sutton 2019年曾有雄文"痛苦的教训" (The bitter lesson),总结过去七十年来人工智能研究的教训,其核心观点是:
算力的大规模进步会碾压各种局部算法的改进,但研究者往往会假设算力不会改变太多,用自己主观经验和局部知识去改进 AI, 短期内会收获一些进步,研究者会有成就感,但这些改进一般最终遭遇瓶颈,在 10-20年后被以高几个数量级的计算蛮力为基础的通用型的方法完全替代,导致之前努力全部白费,因此这些研究者会很痛苦,很纠结。然后新一代 AI 研究者又会本能的重蹈前人之覆辙。
在医学领域:
青霉素通过和特定蛋白质的结合,抑制弱化病菌的细胞壁的形成,而最终杀死病菌。
青霉素在 1928年被发现,一方面是运气,一方面是多项新技术慢慢发展成熟,使得其发现成为可能。这些技术包括,并不限于:放大一千倍的高精度显微镜技术,克服色散 (chromatic abberation), 折射等技术问题 ;在细菌培养液里培育细菌 ;从自然资源里分离出有效的化合物,等等。
没有青霉素之前,遇到细菌感染,人们只能依靠自身抵抗力,或者尝试用水银,草药或者其它巫术来治病。这就是没有理解底层机制之前的盲动。
虽然我很尊重以 Bryan Johnson 为代表的研究长生术的人群的钻研努力,但窃以为现有技术条件下绝大部分试图长生不老的各种外科手术,各种药片都是在底层机制不清晰,观测验证的技术手段不精准的情况下的治标不治本,副作用不清晰的白费力。类似于人工智能发展早期阶段的各种专用的,局部有效的算法。
与其现在就跳得老高,试图在现有技术条件下开发各种治标但其实无法治本的长生之术,不如继续躺平,等待各种底层技术手段的进步之后,在长生领域,类似青霉素级别的技术的自然涌现,然后“躺享其成”.
这和人工智能领域的 “痛苦的教训”的机制非常相似。
算力的大规模进步会碾压各种局部算法的改进,但研究者往往会假设算力不会改变太多,用自己主观经验和局部知识去改进 AI, 短期内会收获一些进步,研究者会有成就感,但这些改进一般最终遭遇瓶颈,在 10-20年后被以高几个数量级的计算蛮力为基础的通用型的方法完全替代,导致之前努力全部白费,因此这些研究者会很痛苦,很纠结。然后新一代 AI 研究者又会本能的重蹈前人之覆辙。
在医学领域:
青霉素通过和特定蛋白质的结合,抑制弱化病菌的细胞壁的形成,而最终杀死病菌。
青霉素在 1928年被发现,一方面是运气,一方面是多项新技术慢慢发展成熟,使得其发现成为可能。这些技术包括,并不限于:放大一千倍的高精度显微镜技术,克服色散 (chromatic abberation), 折射等技术问题 ;在细菌培养液里培育细菌 ;从自然资源里分离出有效的化合物,等等。
没有青霉素之前,遇到细菌感染,人们只能依靠自身抵抗力,或者尝试用水银,草药或者其它巫术来治病。这就是没有理解底层机制之前的盲动。
虽然我很尊重以 Bryan Johnson 为代表的研究长生术的人群的钻研努力,但窃以为现有技术条件下绝大部分试图长生不老的各种外科手术,各种药片都是在底层机制不清晰,观测验证的技术手段不精准的情况下的治标不治本,副作用不清晰的白费力。类似于人工智能发展早期阶段的各种专用的,局部有效的算法。
与其现在就跳得老高,试图在现有技术条件下开发各种治标但其实无法治本的长生之术,不如继续躺平,等待各种底层技术手段的进步之后,在长生领域,类似青霉素级别的技术的自然涌现,然后“躺享其成”.
这和人工智能领域的 “痛苦的教训”的机制非常相似。