2026年7月14日星期二

通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

本文分析AI从AGI跃迁至超级智能的路径,指出自动化AI研究可将十年算法进步压缩至一年。基于算力规模与研究投入百万倍增长,预测2028年前后可能实现超级智能,带来军事与经济变革。适合关注AI前沿与科技趋势的读者。

Tags:

通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析
第二章:从通用人工智能到超级智能-智能爆炸 AI 的进步不会止步于人类水平。
数以亿计的通用人工智能可以将 AI 研究自动化,把原本需要十年才能实现的算法进展——超过 5 个数量级——压缩到一年之内。我们将迅速从人类水平的人工智能,跃迁到远超人类的超级智能系统。
超级智能所带来的力量,以及它所伴随的危险,都将是极其巨大的。
可以将“超智能机器”定义为这样一种机器:无论一个人多么聪明,它都能在所有智力活动中远远超过他。

既然机器设计本身也是一种智力活动,那么一台超智能机器就能够设计出更优秀的机器。随后,毫无疑问,将会发生一场“智能爆炸”,而人类的智能将被远远甩在身后。

因此,人类需要完成的最后一项发明,就是第一台超智能机器。

——I. J. 古德,1965 年

01.
原子弹与氢弹
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

在人们通常的想象中,冷战时期的恐怖主要始于洛斯阿拉莫斯——原子弹在那里诞生。
但单就原子弹而言,它的重要性或许被高估了。从“原子弹”迈向“超级炸弹”——也就是氢弹——可以说同样关键。
在东京大空袭中,数百架轰炸机向城市投下了数千吨常规炸弹。同年晚些时候,投向广岛的“小男孩”原子弹,仅凭一枚装置便释放出了与之相近的破坏力。
然而,仅仅七年之后,泰勒主持研制的氢弹又将爆炸当量提高了一千倍:一枚氢弹的爆炸威力,甚至超过了整个第二次世界大战期间投下的所有炸弹之和。
原子弹只是让轰炸行动变得更加高效。
而氢弹,则是一种足以摧毁整个国家的武器。³²
AGI 与超级智能之间,也将呈现类似的关系。
AI 的进步不会止步于人类水平。
AlphaGo 最初通过学习最优秀的人类棋局来提升能力,后来开始与自己对弈,并很快超越了人类。它下出了极具创造性且极其复杂的棋步,而这些棋步是人类棋手几乎不可能想到的。
在上一篇文章中,我们讨论了通往 AGI 的道路。
一旦实现 AGI,我们只需要再转动一次曲柄——或者再转动两三次——AI 系统就会超越人类,而且是大幅度地超越人类。
它们将在性质上比你我更加聪明,聪明得多。它们与我们的差距,或许就像你我与小学生之间的智力差距一样。
即使 AI 继续按照当前这种快速但相对连续的速度发展,从 AGI 跃迁至超级智能也已经足够惊人。
如果我们能够在 GPT-4 出现后的四年内实现 AGI,那么再过四年或八年,又可能出现什么?
但假如 AGI 能够自动化 AI 研究本身,这一跃迁可能会快得多。
一旦实现 AGI,我们拥有的不会只有一个 AGI。
后面我会详细计算这些数字,但大致来说:考虑到届时用于推理的 GPU 集群规模,我们很可能能够同时运行数百万个 AGI 实例——也许相当于一亿名人类工作者,并且不久之后,它们还可能以人类十倍以上的速度运行。
即便这些系统还不能在办公室里自由走动,也不能为人冲咖啡,它们仍然可以在计算机上开展机器学习研究。
届时,负责 AI 研究的将不再只是某家顶尖实验室里的几百名研究人员和工程师,而是一支规模超过其十万倍的研究力量。
它们将夜以继日、全速推进算法突破。
没错,这可以被称为递归式自我改进,但并不需要任何科幻式的设定。
这些系统只需要进一步加速现有的算法进步趋势就足够了——目前,算法能力大约每年提升 0.5 个数量级。
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析
自动化的 AI 研究,很可能可以把人类需要十年才能取得的算法进展,压缩到一年以内——而且这似乎仍然是一个相当保守的估计。
这意味着超过 5 个数量级的提升,相当于在已经实现 AGI 的基础上,再经历一次从 GPT-2 到 GPT-4 规模的跃迁。
换一种更直观的说法:如果 AGI 已经具备顶尖 AI 研究人员和工程师的能力,那么接下来的跃迁,就类似于让一个原本只有学龄前儿童水平的系统,突然成长为一名聪明的高中生。
当然,这一过程可能面临若干瓶颈,包括用于实验的算力有限、AI 仍需要与人类形成互补,以及算法进步可能会变得越来越困难。后文我会逐一讨论这些问题。
但这些瓶颈似乎都不足以确定性地减缓这一进程。
在我们意识到发生了什么之前,超级智能可能已经出现在我们手中。
届时,我们面对的将是远比人类聪明的 AI 系统。它们能够展现出新颖、富有创造力且极其复杂的行为,而我们甚至可能连理解这些行为的起点都找不到。
甚至可能出现一个由数十亿个超级智能体组成的小型文明。
它们所拥有的力量也将极其巨大。
自动化的 AI 研究可能显著加速算法进步,使有效算力在一年内获得超过 5 个数量级的提升。
在智能爆炸结束时,我们所拥有的 AI 系统,其智能水平将远远超过人类。
一旦超级智能被应用于其他领域的研发,爆发式进步就不会再局限于机器学习研究。
这些系统可能很快解决机器人技术中的关键问题,并在短短几年内推动其他科学与技术领域取得巨大突破,随后引发一场工业爆炸。
超级智能还很可能带来决定性的军事优势,并释放出此前难以想象的破坏能力。
人类将因此面对历史上最紧张、最不稳定,也最具决定性的时刻之一。

02.
自动化 AI 研究
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

我们并不需要把一切都自动化——只需要自动化 AI 研究。
对于 AGI 将产生变革性影响,一个常见的反对意见是:要让 AI 完成所有事情会非常困难。
怀疑者可能会以机器人技术为例:即便 AI 在认知能力上已经达到博士水平,让机器人真正进入物理世界,仍然会是一个极其棘手的问题。再比如,生物学研发的自动化可能需要大量实体实验室工作和人体试验。
但要让 AI 自动化 AI 研究,我们并不需要先解决机器人技术——事实上,许多其他问题也不需要解决。
顶尖 AI 实验室中的研究人员和工程师,几乎所有工作都可以完全在虚拟环境中完成,因此不像现实世界中的工作那样受到物理瓶颈的限制。当然,AI 研究仍然会受到算力限制,这一点我稍后会讨论。
从更宏观的角度看,一名 AI 研究人员的工作其实相当直接:
阅读机器学习文献,提出新的问题或想法;编写并运行实验来验证这些想法;解释实验结果;然后不断重复这一过程。
这些任务显然属于这样一个领域:只要简单外推当前 AI 能力的发展趋势,到 2027 年底,AI 就很可能达到甚至超过最优秀人类研究人员的水平。³³
值得强调的是,过去十年中,一些最重要的机器学习突破,其实现方式其实非常直接,甚至带有相当强的“工程技巧”色彩:
  • “只要加一个归一化层就行了”——LayerNorm、BatchNorm;
  • “不要只计算 (f(x)),改成计算 (f(x)+x)”——残差连接;
  • “修复一个实现错误”——从 Kaplan 缩放定律到 Chinchilla 缩放定律。
AI 研究是可以被自动化的。
而只要实现 AI 研究的自动化,就足以启动极其强大的正反馈循环。³⁴


数以百万计的自动化 AI 研究人员
我们将能够同时运行数百万个自动化 AI 研究人员的副本,而且它们很快还可能以人类十倍以上的速度工作。
即使到 2027 年,我们也应该预期全球用于 AI 的 GPU 集群规模会达到数千万块。
仅训练集群的规模,就可能比此前扩大接近 3 个数量级,相当于超过一千万块 A100 的算力。而用于推理的 GPU 集群还会大得多。
关于这一点,我会在第三部分第一章《奔向万亿美元集群》中进一步讨论。
这样的算力将允许我们运行数百万个自动化 AI 研究人员副本,也许相当于一亿名人类研究人员,日夜不停地工作。
具体数字依赖于若干假设。
例如,我们可以粗略假设,人类“思考”的速度约为每分钟 100 个 token——可以把人的内心独白作为一个大致参照。
同时,我们还需要假设:随着前沿模型能力增强,每个 token 的推理成本仍大致维持在相同数量级。这一假设来自历史趋势以及 Chinchilla 缩放定律。³⁵
当然,我们还需要预留一部分 GPU,用于运行实验和训练新的模型。
完整计算见脚注。³⁶
换一种方式理解:以 2027 年可能拥有的推理集群规模,我们每天生成的 token 数量,可能相当于整个互联网的文本规模。³⁷
无论如何,具体数字并不是最关键的。
这些计算的主要作用,只是证明这种情景在数量级上完全具有合理性。


自动化研究人员可能以远超人类的速度运行
不仅如此,我们的自动化 AI 研究人员很快还可能以远快于人类的速度工作。
我们可以接受一定的推理效率损失,用减少副本数量的方式,换取更快的串行思考速度。例如,我们可以不再运行那么多副本,而是让约一百万个自动化研究人员以接近人类 100 倍的速度工作。³⁸
更重要的是,自动化 AI 研究人员首先会研究的算法创新之一,很可能就是如何让自己获得十倍甚至一百倍的速度提升。
Gemini 1.5 Flash 的运行速度大约是最初版本 GPT-4 的十倍,尽管它仅晚发布了一年,但在推理基准测试中却拥有与最初版本 GPT-4 接近的性能。³⁹
如果几百名人类研究人员在一年内就能找到这样的算法加速方法,那么自动化 AI 研究人员很可能在极短时间内找到类似的改进。
换句话说,在我们刚刚具备自动化 AI 研究能力后不久,就应该预期出现这样的局面:
一亿名自动化 AI 研究人员,每一个都以人类一百倍的速度工作。
它们每隔几天,就能够完成相当于一名人类研究人员一整年的工作。
与今天顶尖 AI 实验室里的几百名人类研究人员相比——这些脆弱的人类只能以区区一倍人类速度工作——研究投入的增长将是惊人的。


将十年算法进展压缩到一年
这种规模的研究能力,很容易显著加速现有的算法进步趋势,将十年的技术进展压缩到一年之内。
我们不需要假设任何完全新奇、充满科幻色彩的机制,自动化 AI 研究就能够极大加快 AI 的发展速度。
在上一篇文章中,我们通过具体数字看到,算法进步一直是过去十年深度学习进步的核心驱动力之一。
仅算法效率的提升,就大约呈现出每年 0.5 个数量级的趋势。除此之外,通过解除模型限制、充分释放已有能力,还能获得额外的巨大算法增益。
我认为,许多人低估了算法进步的重要性。
而真正理解算法进步的作用,是理解为什么“智能爆炸”可能发生的关键。
数百万个自动化 AI 研究人员——不久后还会以人类十倍或一百倍的速度工作——是否能够把人类研究人员原本需要十年才能找到的算法进步,压缩到一年之内?
这相当于一年内实现超过 5 个数量级的提升。
这里不要只想象一亿名初级软件工程实习生——这样的系统,我们可能在未来几年里就会更早得到。
真正的自动化 AI 研究人员将会非常聪明。
除了在数量和速度上拥有巨大优势之外,它们还将具备许多人类研究人员不可能拥有的优势。
它们能够阅读历史上发表过的每一篇机器学习论文,深入思考实验室过去进行过的每一次实验,在所有副本之间并行学习,并迅速积累相当于数千年研究经验的知识。它们将形成比任何人类都深刻得多的机器学习直觉。
它们能够轻松编写数百万行复杂代码,把整个代码库同时保留在上下文中,并花费相当于人类数十年的时间,反复检查每一行代码中的错误与优化空间。它们将能够极其出色地完成研究工作中的每一个环节。
我们不需要分别培训每一个自动化 AI 研究人员。事实上,要培训和引导一亿名新招聘的人类员工,几乎是不可能完成的任务。对于 AI,我们只需要教会并引导其中一个,然后复制它即可。
我们也不需要担心办公室政治、文化适应以及各种组织摩擦。它们能够日夜保持最高水平的精力与专注力。
数量庞大的自动化 AI 研究人员可以共享上下文,甚至可能直接访问彼此的潜在空间,从而实现远比人类研究人员更加高效的协作与协调。
当然,无论最初的自动化 AI 研究人员有多聪明,我们很快都能够再次完成一个或多个数量级的跃迁,制造出更聪明、也更擅长自动化 AI 研究的模型。
想象一亿个 Alec Radford
想象一个自动化的 Alec Radford。
然后想象一亿个自动化的 Alec Radford。⁴⁰
我认为,OpenAI 几乎每一名研究人员都会同意:
如果他们拥有十个 Alec Radford,更不用说一百个、一千个,或者一百万个以人类十倍乃至一百倍速度运行的 Alec Radford,他们就能够极快地解决大量现有问题。
即使还存在其他各种瓶颈——下一节将继续讨论——将十年的算法进展压缩到一年,仍然是一个非常合理的结果。
研究投入增加一百万倍,最终只产生十倍的进展加速,这个估计甚至可能过于保守。
仅此一项,就可能产生超过 5 个数量级的算法增益。
五个数量级的算法提升,与推动 GPT-2 跃迁至 GPT-4 的总体规模相近。
那次跃迁使 AI 的能力大致从“学龄前儿童”提升到了“聪明的高中生”。
现在想象一下:
在已经实现 AGI 的基础上,再发生一次同等规模的质变;
在系统已经拥有 Alec Radford 级别研究能力的基础上,再经历一次从学龄前儿童到聪明高中生的能力跃迁。
因此,从 AGI 迅速迈向超级智能——也许只需要一年——是一种令人震惊但又极具现实可能性的情景。
脚注
Alec Radford 是深度学习领域的重要研究人员,曾参与多项关键模型与技术的研发。
这里使用他的名字,是为了代表极高水平、能够推动前沿 AI 算法突破的研究能力。

03.
可能存在的瓶颈
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

尽管上述基本逻辑出人意料地有力,而且也得到了严谨经济模型研究的支持,但现实中确实存在一些合理的瓶颈,它们很可能减缓由自动化 AI 研究引发的智能爆炸。
我先在这里做一个总结。感兴趣的读者可以继续阅读后面的可选章节,了解更详细的讨论。
  1. 算力有限
    AI 研究并不只需要好的想法、思考能力或数学能力,还需要实际运行实验,从经验结果中判断一个想法是否有效。即使自动化研究劳动力让研究投入增加一百万倍,也不意味着进步速度会提高一百万倍,因为可用于实验的算力仍然有限。实验算力很可能成为主要瓶颈。不过,即便无法实现一百万倍的加速,我仍然很难想象,自动化 AI 研究人员不能把现有算力的使用效率至少提高十倍。它们能够形成极其强大的机器学习直觉——因为它们可以吸收全部机器学习文献,以及实验室曾经运行过的每一个实验。它们还可以用相当于数百年的人类思考时间,准确判断应该运行哪个实验、如何对实验进行最优配置,以及如何从实验中获得最大的信息价值。即便面对一个很小的实验,它们也可以先投入相当于数百年的人类工程时间,检查代码、排除错误,力争第一次就把实验做对。它们可以通过集中研究最有可能产生巨大收益的方向,减少不必要的算力消耗。它们还能够尝试大量较小规模的实验。考虑到届时有效算力已经大幅增长,所谓“较小规模”,可能意味着一年之内训练十万个 GPT-4 水平的模型,用来测试潜在的架构突破。即使获得相同数量的算力,一些人类研究人员和工程师所产生的进展也能达到其他人的十倍。对于自动化 AI 研究人员,这种差异很可能更加显著。我认为,算力限制是最重要的瓶颈,后文将对此进行更深入的讨论。
  2. 互补性与能力长尾
    经济学中的一个经典教训——可参见鲍莫尔成本病——是:假如一项工作只有 70% 被自动化,那么最初确实可以获得一定收益,但剩余的 30% 很快就会成为新的瓶颈。只要不能实现完全自动化,例如系统最终只是非常优秀的 AI 副驾驶,那么人类 AI 研究人员仍然会成为重要瓶颈,算法进步速度的整体提升也会相对有限。此外,实现 AI 研究自动化可能需要一系列长尾能力。一名 AI 研究人员工作中最后的 10%,可能特别难以自动化。这可能会让起飞过程变得相对缓和,但我的最佳判断是,它大概只会把时间表向后推迟一两年。也许 2026 年或 2027 年的模型只能算作自动化研究人员的原型。之后还需要一两年,完成最后的能力解锁、获得稍微更强的模型、提高推理速度,并解决各种实际问题,才能实现完整的研究自动化。最终,可能到 2028 年左右,我们才会获得十倍的研究加速,并在本十年结束前实现超级智能。
  3. 算法进步存在内在上限
    也许再实现 5 个数量级的算法效率提升,在根本上是不可能的?我对此表示怀疑。算法进步当然存在最终上限。⁴¹ 但既然过去十年已经取得了约 5 个数量级的提升,我们至少应该预期,未来仍存在相当于另一个十年的进步空间。更直接地说,当前的模型架构和训练算法仍然非常初级,理论上应该存在效率远高于现有方法的方案。生物智能这一参照对象同样表明,更加高效的算法完全有可能存在。
  4. 新想法越来越难发现,因此自动化研究只能维持现有速度
    一种反对意见认为,虽然自动化研究会大幅增加有效研究投入,但新想法本身也会越来越难寻找。今天,一家实验室只需要几百名顶尖研究人员,就能够维持每年约 0.5 个数量级的算法进步。但随着容易获得的成果逐渐被开发殆尽,维持同样的进步速度需要越来越多的研究投入。因此,一亿名自动化研究人员可能只是维持现有进步速度所必需的投入,而不能进一步加速进展。我认为这个基本模型在方向上是正确的,但经验数据并不支持如此极端的结论。自动化带来的研究投入增长可能达到一百万倍,这远远超过了历史上为了维持技术进步而必须增加的研究投入。用经济模型的语言来说,假设自动化增加的研究投入恰好只能抵消研究难度的上升,使技术进步速度保持不变,是一种非常反常的“刀锋假设”。
  5. 新想法越来越难发现,边际收益递减会让智能爆炸迅速熄火
与上一种反对意见相关,即使自动化 AI 研究人员最初引发了一轮快速进步,能否持续高速发展,仍取决于算法进步的边际收益递减曲线。
根据我对经验数据的最佳理解,相关指数更支持爆炸式或加速式进步,而不是快速停滞。
无论如何,研究人员数量从几百人一次性增加到几亿人,这种规模的冲击很可能足以克服相当长一段时间内的边际收益递减,并推动算法进步跨越若干个数量级。
当然,这种过程不可能无限自我维持。


总体判断
总体而言,这些因素可能会在一定程度上减慢进程。
最极端版本的智能爆炸——例如一夜之间完成整个跃迁——似乎不太可信。
这些瓶颈也可能带来更长的准备阶段。
也许我们需要额外等待一两年,让较为迟缓的自动化研究原型逐渐发展成真正的“自动化 Alec Radford”,之后智能爆炸才会全面启动。
但这些因素绝不足以排除一次非常迅速的智能爆炸。
从实现完全自动化的 AI 研究人员,到出现远超人类的 AI 系统,最合理的基准预期应该是:
这一过程可能持续一年,最多只有几年,甚至也可能只需要几个月。
不想阅读以下瓶颈详细分析的读者,可以直接跳至下一节。


实验算力有限
可选深入讨论
算法进步的生产函数包含两种互相补充的生产要素:
研究投入与实验算力。
数百万个自动化 AI 研究人员能够使用的实验算力,并不会比人类 AI 研究人员更多。
因此,它们也许会花费大量时间等待实验任务完成。
这可能是智能爆炸最重要的瓶颈。
归根结底,这是一个定量问题:算力瓶颈究竟会有多严重?
综合考虑后,我很难相信,一亿个 Alec Radford 级别的自动化研究人员,不能把实验算力的边际产出至少提高十倍。
如果它们能够做到这一点,技术进步速度仍然可以提高十倍。
小规模算力也能完成大量研究
AI 研究通常会先在小规模实验中测试想法,再通过缩放定律外推到更大的模型。
历史上许多关键突破,只使用了很少的算力。
例如,最初的 Transformer 只使用了 8 块 GPU,训练了几天。
而且,考虑到未来四年基础算力可能扩大约 5 个数量级,届时所谓的“小规模”实验,可能已经相当于今天的 GPT-4 规模。
自动化 AI 研究人员可以在一年内,利用训练集群运行十万个 GPT-4 水平的实验,以及数千万个 GPT-3 水平的实验。
这意味着,它们可以测试数量惊人的潜在突破性新架构。
无须对每个微小改进进行大规模验证
目前,大量算力会被用于最终预训练过程的大规模验证。
实验室需要确认某些边际效率提升具有足够高的可信度,才能将其用于一年一度的旗舰产品。
但在智能爆炸期间,如果系统正在快速跨越多个数量级,就可以节省这部分算力,只关注真正巨大的改进。
解除模型限制通常不需要大型预训练
正如上一篇文章所讨论的,模型常常可以通过相对低算力的“解除束缚”获得巨大能力提升。
这类改进并不需要重新进行大规模预训练。
智能爆炸完全可能以这样一种方式启动:
自动化 AI 研究人员发现了一种更好的强化学习方法,在现有模型之上获得几个数量级的能力释放,随后整个过程迅速加速。
算法效率改进会反过来增加实验算力
随着自动化 AI 研究人员发现新的效率提升,它们将可以运行更多实验。
上一篇文章提到,在实现相同 MATH 基准性能的情况下,推理成本在两年内下降了接近一千倍。
仅在过去一年,一般推理效率也提高了约十倍。
这些成果只是由普通人类研究人员推动的算法进步。
自动化 AI 研究人员首先会做的事情之一,很可能就是迅速找到类似的改进。
这反过来可能让它们在新的强化学习方法等方向上,多运行一百倍的实验。
或者,它们可以迅速制造出在特定领域拥有相同性能、但规模更小的模型。
可以参考前面对 Gemini Flash 的讨论:它的成本接近 GPT-4 的百分之一,却能在相关任务上取得类似性能。
自动化研究人员可以使用这些更小的模型,尝试更多不同的强化学习方案。
可能还存在其他尚未被充分利用的潜力。
例如,自动化 AI 研究人员也许能够迅速开发出更好的分布式训练方法,把全部推理 GPU 用于训练,仅此一项就可能获得至少十倍的额外算力。
更一般地说,它们每获得一个数量级的训练效率提升,就会同时获得一个数量级的额外有效实验算力。
自动化研究人员的工作效率可能高得多
只要能够第一次就把实验做对,减少的实验数量可能会非常惊人。
没有棘手的软件错误,能够更有选择地决定应该运行什么实验,并正确配置整个流程,这些都会节省大量算力。
想象一下,在真正启动一个实验之前,先让一千名自动化 AI 研究人员花费相当于一个月的时间检查代码,确保实验设计与实现完全正确。
我曾就这一问题询问过一些 AI 实验室的同事,他们也表示认同:
仅仅通过避免无意义的程序错误、第一次就把事情做对,并只运行信息价值较高的实验,大多数项目的算力消耗就应该可以轻松减少到原来的三分之一乃至十分之一。
自动化研究人员可能拥有更强的研究直觉
最近,我与一家前沿实验室的一名实习生交谈。
他说,过去几个月中最常见的经历是:他提出很多想运行的实验,但主管——一名资深研究人员——会告诉他,实验结果已经可以提前预测,因此没有必要运行。
资深研究人员多年来不断尝试各种模型实验,由此形成了对哪些想法会有效、哪些不会有效的深刻直觉。
类似地,AI 系统很可能轻松获得超越人类的机器学习实验直觉。
它们可以阅读全部机器学习文献,从其他所有实验结果中学习并进行深入思考,还可以接受训练,预测数百万个机器学习实验的结果。
它们最先完成的工作之一,也许就是建立一套强大的基础科学,用来回答以下问题:
“只观察一个大型实验最初 1% 的训练过程,能否预测它最终是否会成功?”
或者:
“只观察这个实验的小规模版本,能否预测大规模版本的结果?”
除了对研究方向拥有良好直觉之外,Jason Wei 指出,对实验中的几十个超参数和细节拥有出色直觉,也可以带来惊人的收益。
Jason 将这种依靠直觉、第一次就把实验运行正确的能力称为 “YOLO runs”。
用他的话说:
“我唯一可以确定的是,能够做到这一点的人,无疑是效率高出十倍到一百倍的 AI 研究人员。”
算力瓶颈不会阻止快速加速
算力瓶颈意味着,研究人员数量增加一百万倍,不会直接转化为研究速度提高一百万倍。
因此,智能爆炸不太可能在一夜之间完成。
但自动化 AI 研究人员相对于人类研究人员将拥有非同寻常的优势。
很难想象,它们不能找到方法,把现有算力的使用效率或实际效果至少提高十倍。
因此,算法进步速度提高十倍,是一个非常可信的情景。
这里我想暂时停下来,承认一种我听过的、或许最有说服力的反对意见。这个观点来自我的朋友 James Bradbury:
如果增加机器学习研究投入真的能够如此显著地加快进步,那么为什么目前至少有数万人的学术机器学习研究群体,并没有为前沿实验室的技术进展作出更大贡献?
目前看来,推动前沿算法进步的大部分工作,仍然由各家实验室内部的团队承担。这些团队加在一起,可能也只有一千人左右。
James 的解释是:算法进步受到算力瓶颈的限制,而学术界根本没有足够的算力。
对此,我有几点回应。
  1. 学术界真正有效的研究力量可能只有数千人
    如果根据研究质量进行调整,我认为学术界真正能够从事前沿机器学习研究的人数,更可能是几千人,而不是几万人。例如,可以只考虑顶尖大学中的研究人员。这一规模可能并没有显著超过各大前沿实验室的研究人员总数,更远远低于自动化 AI 研究可能带来的数亿名研究人员。
  2. 学术界往往研究的不是最关键的问题
    直到最近——或许直到今天仍然如此——学术机器学习领域的绝大多数人甚至并没有研究大语言模型。如果只统计学术界中真正从事大语言模型研究的优秀研究人员,他们的人数可能明显少于各家实验室相关研究人员的总和。
  3. 学术界无法接触真正的前沿技术状态
    即使学术研究人员确实研究大语言模型预训练,他们通常也无法接触当前最先进的技术体系。前沿实验室内部已经积累了大量关于模型训练细节的知识,而学术界并不掌握这些信息。因此,学术研究人员可能不知道哪些问题才真正重要。或者,他们只能贡献一些一次性的研究结果,但由于实验基线没有得到充分调优,其他人无法判断其方法是否真的构成改进,也很难利用这些结果继续推进研究。
  4. 学术研究人员远不如自动化 AI 研究人员
学术研究人员无法以人类十倍或一百倍的速度工作。
他们无法阅读并真正吸收历史上发表过的每一篇机器学习论文。
他们无法花费相当于十年的人类时间检查每一行代码,也无法通过复制自身来消除招聘、培训和入职过程中的瓶颈。
因此,学术研究群体并不是自动化 AI 研究人员的良好参照对象。
此外,还有一个与“学术界论证”方向相反的例子:
据传,Google DeepMind 拥有的实验算力远多于 OpenAI,但从算法进步来看,Google DeepMind 似乎并没有大幅领先于 OpenAI。
自动化研究可能形成不同的研究方式
总体而言,我预计自动化研究人员会发展出一种不同的研究风格。
这种研究方式会充分利用它们自身的优势,并尽可能缓解算力瓶颈。
对于这一过程最终会如何发展,保持不确定性是合理的。
但仅仅因为人类很难绕过算力瓶颈,就确信 AI 模型也一定无法做到,是不合理的。
例如,自动化研究人员可以在早期投入大量精力,建立一门基础科学,用来研究:
如何通过小规模实验预测大规模实验的结果。
我预计,它们能够做到很多人类无法做到的事情。
例如,它们也许可以在只观察一个大型实验最初 1% 的训练过程后,就预测这个实验最终是否会成功。
对于拥有极强研究能力和超越人类直觉的自动化研究人员来说,这似乎完全可行,而且可以节省大量算力。
当我想象 AI 系统自动化 AI 研究时,我认为它们仍然会受到算力限制。
但它们可以在很大程度上通过更多、更快、更高质量的思考来弥补这一限制。
例如,它们的思考量可能是人类研究人员的一千倍,同时还能以更快的速度完成这些思考。
它们的思考质量也可能高于人类。
比如,通过接受预测数百万个机器学习实验结果的训练,它们可以形成超越人类的机器学习直觉。
除非这些系统在思考方面的能力远弱于工程执行能力,否则这种优势应该能够弥补相当大一部分算力限制。
这与学术研究人员面临的情况在性质上完全不同。
大规模训练任务也是一个瓶颈
除了实验算力之外,还有一个额外瓶颈:
最终仍然需要运行一次大规模训练,而这样的训练目前往往需要几个月。
不过,我们很可能可以减少这种训练的次数。
在智能爆炸发生的一年里,也许只需要运行少数几次大型训练任务,而每次训练都整合比今天更多数量级的算法改进,从而一次跨越更大的能力距离。⁴²
另一种方法是,将获得的 5 个数量级算力效率提升中的 1 个数量级,用于把原本持续几个月的训练压缩到几天内完成。


互补性以及实现百分之百自动化的能力长尾
可选深入讨论
经济学家对于 AI 自动化加速经济增长的经典反对意见是:
不同工作任务之间具有互补性。
例如,即使把 1800 年人类劳动中的 80% 自动化,也并没有引发经济增长爆炸或大规模失业。
相反,剩余的 20% 变成了所有人类集中从事的工作,并继续构成整个经济体系的瓶颈。
我认为,经济学家的这个模型是正确的。
但这里有一个关键区别:
我讨论的只是当前经济体系中一个规模较小的领域,而不是整个经济。
在这段时间里,人们可能仍然以传统方式理发。
机器人技术可能尚未完全解决,所有行业专用 AI 可能还没有准备好,社会层面的推广和部署问题也可能尚未处理完成。
但 AI 已经能够开展 AI 研究。
正如上一篇文章所讨论的,按照当前 AI 进步的路径,我们可能会获得可以直接替代远程工作人员、智力水平与最聪明人类相当的系统。
而正如本篇所讨论的,AI 研究人员这一工作,似乎完全属于可以被彻底自动化的范围。
百分之百自动化仍然存在长尾
即使对于 AI 研究人员和工程师这一职业,我仍然预计,实现真正的百分之百自动化会存在一定的长尾。
例如,我们可能会先得到几乎能够替代工程师的系统,但它们仍然需要一定程度的人类监督。
尤其是,我预计 AI 在不同领域中的能力会表现得不均衡,并呈现明显的尖峰结构。
它可能在编程能力上超过最优秀的人类工程师,但在某些任务或技能上仍然存在盲区。
当它终于在自己最薄弱的领域达到人类水平时,它在更容易训练的领域——例如编程——可能早已显著超越人类。
这也是我认为它们能够比人类研究人员更加有效地利用算力的原因之一。
当百分之百研究自动化实现、智能爆炸开始时,这些系统很可能已经在部分领域中拥有相对于人类的巨大优势。
这对于之后的超级对齐问题也会产生重要影响。
因为这意味着,为了对齐最早一批自动化 AI 研究人员,我们就必须对齐那些在许多领域已经明显超越人类的系统。
不过,我不认为这个过渡阶段会持续超过几年。
考虑到 AI 当前的进步速度,完成最后一步可能只需要进一步“解除束缚”——也就是移除某个阻碍模型完成最后一公里工作的明显限制——或者等待下一代模型出现。
可能出现的时间线
总体而言,这种长尾可能会让起飞过程变得稍微缓和一些。
实际发展路径可能不会是:
2027 年实现 AGI,2028 年实现超级智能。
它可能更接近以下过程。
  1. 2026—2027 年:自动化工程师原型
    系统已经可以承担大量工程工作,但在其他领域中仍然存在明显盲区。它已经能够让研究工作加快约 1.5 倍至 2 倍,技术进步开始逐步加速。
  2. 2027—2028 年:自动化研究人员原型
    系统已经可以自动完成超过 90% 的研究工作。仍然存在一些人类瓶颈,同时还需要解决如何协调由大量自动化研究人员组成的庞大组织等实际问题。即便如此,它已经可以让进步速度提高三倍以上。这种加速会迅速完成最后必要的“解除束缚”,使研究自动化最终达到百分之百。
  3. 2028—2029 年:进步速度提高十倍以上
算法进步速度提升十倍以上,并最终迈向超级智能。
这仍然快得惊人。


算法进步的根本上限
算法进步在物理上很可能存在一个真正的上限。
例如,再实现 25 个数量级的算法进步似乎不可能,因为这将意味着,只需要不到约 10 次浮点运算,就能训练出一个 GPT-4 水平的系统。⁴³
但大约 5 个数量级的进步,完全处于可能范围之内。
再次强调,这只需要延续另一个十年的算法效率趋势,甚至还没有把通过“解除束缚”获得的算法收益计算在内。
从直觉上看,我们显然还没有摘完所有容易获得的果实。
过去最重要的一些突破本身极其简单,而当前的模型架构和训练技术仍然显得十分初级,并且明显受到各种限制。
例如,我认为,我们很可能先通过能够借助思维链“出声思考”的 AI 系统,逐步实现 AGI。
但这显然不可能是最高效的实现方式。
如果系统能够通过内部状态、循环结构或其他机制完成推理,效率理应高得多。
再考虑自适应算力分配。
Llama 3 在预测一个简单的“and”词元时,花费的算力与回答一个复杂问题时一样多,这显然不是最优方案。
目前,我们仅仅通过一些微小调整,就能够获得巨大的、跨数量级的算法收益。
与此同时,还有数十个领域,很可能可以找到效率远高于现有方案的模型架构和训练方法。
生物智能表明仍有巨大提升空间
生物智能同样说明,现有算法还有巨大的改进余地。
例如,人类内部的智力差异范围非常大,但这种差异只需要极小的架构变化。
人类与其他动物拥有相近数量的神经元,但人类的智能却远高于这些动物。
而当前 AI 模型的效率,与人脑相比仍然相差多个数量级。
人类可以使用远少于 AI 模型的数据进行学习,这也意味着,人类完成学习所需的“算力”只占 AI 模型的一小部分。
这表明,我们的算法与架构仍然拥有极大的提升空间。


新想法越来越难发现与边际收益递减
可选深入讨论
随着容易获得的成果逐渐被发现,新想法会越来越难寻找。
这在所有技术进步领域都成立。
从本质上说,我们通常会在双对数坐标图中看到一条直线:
进步的对数,是累计研究投入对数的函数。
每再取得一个数量级的进步,所需要的研究投入都会超过上一个数量级。
这引出了两种对智能爆炸的反对意见:
自动化 AI 研究只是维持现有进步速度所必需的条件,并不会显著加速进步。
仅依赖算法进步的智能爆炸无法持续。随着算法突破越来越难寻找,或者边际收益不断递减,这一过程会迅速熄火。
在我过去从事经济学研究时,我曾花费大量时间思考这类模型。
尤其是,半内生增长理论是描述技术进步的标准模型之一,它同时刻画了两种相互竞争的力量:
一方面,研究投入不断增加;
另一方面,新想法越来越难发现。
简而言之,我认为这些反对意见背后的基本模型是合理的。
但这个模型最终会得出什么结果,是一个经验问题,而我认为反对者对经验数据的判断是错误的。
关键问题
真正的关键问题是:
每取得十倍进步,之后的进一步进步会变得超过十倍困难,还是不到十倍困难?
我们可以用类似经济学文献中的粗略计算,对这个问题作出一定限制。
假设我们认真对待算法进步每年约 0.5 个数量级的趋势。这意味着四年内大约取得一百倍进步。
但是,在同一家领先 AI 实验室中,经过质量调整后的人员数量或研究投入,四年内肯定没有增加一百倍。
也许它增加了十倍——例如,从几十名从事相关工作的人员增加到几百名——但即使是十倍,在经过质量调整后也并不确定。
尽管如此,算法进步趋势仍然得以维持。
对第一种反对意见的回应
针对第一种反对意见,我们可以指出:
研究投入增加约一百万倍,显然远远超过维持现有进步速度所需要的增幅。
也许四年后,一家实验室需要几千名从事相关研究的人员,才能维持当前进步速度。
但一亿个 Alec Radford 级别的自动化研究人员,仍然是一个极其巨大的增长,几乎必然会带来大规模加速。
认为自动化研究带来的投入增长,恰好只能维持现有进步速度,是一种非常奇怪的“刀锋假设”。
而且,这还没有计算 AI 以人类十倍速度思考,以及它们相对于人类研究人员拥有的其他各种优势。
对第二种反对意见的回应
针对第二种反对意见,我们可以指出两件事。
第一,是上面提到的数学条件。
根据粗略计算,在算法取得一百倍进步的同时,经过质量调整后的研究投入增长远小于一百倍。
这强烈表明,收益曲线的形状更有利于自我维持的进步。⁴⁴
第二,即使收益曲线不足以支持一场完全自我维持的连锁反应,我们仍然可能获得一次有上限、但跨越多个数量级的算法进步浪潮。
从本质上说,我们不一定需要出现“增长效应”。
足够大的“水平效应”就已经足够。
也就是说,研究投入增加一百万倍,再叠加自动化研究人员相对于人类研究人员的众多优势,会构成一个极其巨大的单次冲击。
即使这场连锁反应无法完全自我维持,它仍然可能带来一次规模极大的、跨越多个数量级的提升。⁴⁵
总体判断
综合来看,这种进步显然不可能无限持续。
对于它最终能够走多远,我也存在很大不确定性。
但仅仅依靠算法收益和自动化 AI 研究,实现大约 5 个数量级的智能爆炸,我认为是非常可信的。
Tom Davidson 和 Carl Shulman 也曾在增长模型框架下研究相关经验数据,并得出了类似结论。
Epoch AI 最近同样对这一问题进行了经验研究。
他们也认为,算法研发的经验回报更支持爆炸式增长,并对这一结论的含义作出了很有帮助的分析。

04.
超级智能的力量
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

无论你是否认同上述论证中最强的版本——无论智能爆炸是在不到一年内完成,还是需要数年时间——有一点已经十分明确:
我们必须正视超级智能出现的可能性。
到本十年结束时,我们很可能拥有的 AI 系统,将强大到难以想象。


在数量上远超人类
首先,它们当然会在数量和速度上全面超越人类。
到本十年末,我们可能拥有由数亿块 GPU 组成的计算集群。依靠这些集群,我们将能够运行一个由数十亿个 AI 系统构成的文明,而它们的“思考”速度可能比人类快上多个数量级。
它们可以迅速掌握任何领域,编写数万亿行代码,阅读每一个科学领域有史以来发表的每一篇论文——它们将成为完美的跨学科研究者。
当你还没有读完一篇论文的摘要时,它们可能已经完成阅读,并写出了新的论文。
它们可以从所有副本的并行经验中共同学习。
面对一项新的技术创新,它们可以在短短数周内,积累相当于数十亿人类工作年的经验。
它们可以百分之百地投入工作,始终保持最高水平的精力和专注力,也不会因为某个进度落后的队友而被拖慢。
诸如此类的优势还可以继续列举下去。


在性质上远超人类
但更重要、也更难想象的是,它们将在性质上超越人类。
一个较为狭窄的例子是,大规模强化学习已经能够产生完全新颖、极具创造性,并且超出人类理解范围的行为。
最著名的例子之一,就是 AlphaGo 对阵李世石时下出的“第 37 手”。
超级智能将在许多不同领域展现出类似的能力。
它可能发现人类代码中的漏洞,而这些漏洞微妙到任何人类都无法察觉。
它也可能编写出复杂到人类无法理解的代码——即使模型花费数十年时间向我们解释,我们仍然可能无法真正明白。
那些足以让人类科学家和工程师困扰数十年的极端困难问题,对它们来说可能显而易见。
我们与它们之间的差距,可能就像一群还停留在牛顿力学上的高中生,而它们已经开始探索量子力学。


一个更直观的例子
要感受这种情景可能有多么离奇,可以观看一些电子游戏速通视频。
例如,有人能够在 20 秒内通关《我的世界》。
如果你完全不知道视频中发生了什么,不必担心,你并不孤单。事实上,就连绝大多数普通《我的世界》玩家,也几乎无法理解速通者究竟做了什么。
现在想象一下:
把这种远超普通人理解范围的技巧,应用到所有科学、技术和经济领域。
当然,这些预测存在极大的误差范围。
但这一进程确实正在发生,而我们必须认真思考:一旦超级智能出现,它所带来的影响将会有多么深远。
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析
在智能爆炸的最初阶段,爆炸式进步可能只发生在自动化 AI 研究这一相对狭窄的领域。
但随着超级智能出现,以及我们把数十亿个已经达到超级智能水平的智能体投入各个领域的研发,我预计这种爆炸式进步将迅速扩展。

05.
AI 能力爆炸
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

最初的 AGI 可能仍然存在某些局限,使它们无法彻底自动化其他领域的工作,只能率先完成 AI 研究的自动化。
但自动化 AI 研究将迅速解决这些局限,最终使任何形式的认知劳动都能够被自动化。


解决机器人技术
超级智能不会长期停留在纯认知领域。
让机器人真正可靠地工作,主要是一个机器学习算法问题,而不是硬件问题。自动化 AI 研究人员很可能能够解决这一问题,后文将进一步讨论。
工厂可能会经历这样一个转变过程:
最初由人类管理和运营;
随后由 AI 进行调度和指挥,但仍然使用人类完成体力劳动;
再之后,则由大规模机器人群彻底自主运行。


极大加速科学与技术进步
诚然,爱因斯坦一个人不可能同时建立神经科学,也不可能独自建成整个半导体产业。
但如果拥有十亿名超级智能科学家、工程师、技术专家和机器人技术人员——而且这些机器人能够以人类十倍甚至更快的速度行动——那么它们可能在短短数年内,在许多领域取得非同寻常的突破。⁴⁶
十亿个超级智能体能够把人类研究人员原本需要在未来一个世纪完成的研发工作,压缩到几年之内。
想象一下,如果二十世纪全部技术进步被压缩到不到十年的时间里:
人类可能会在短短几年间,从认为飞行只是幻想,发展到制造飞机,再到把人送上月球,并部署洲际弹道导弹。
我预计,2030 年代的科学与技术发展,很可能就会呈现类似的速度。


工业与经济爆炸
极端加速的技术进步,再加上自动化全部人类劳动的能力,可能会显著提高经济增长速度。
可以想象一下:具有自我复制能力的机器人工厂,迅速覆盖整个内华达沙漠。⁴⁷
经济增长率的变化,很可能不会只是从每年 2% 提高到 2.5%。
这更可能是经济增长机制的一次根本转变,其规模更接近工业革命所带来的历史性跃迁——人类经济从长期极其缓慢的增长,突然转向每年几个百分点的持续增长。
我们可能会看到每年 30% 甚至更高的经济增长率,也完全可能一年内实现多次翻倍。
从经济学家的增长模型来看,这其实是一个相当直接的结论。
当然,这一过程可能会受到社会摩擦的延迟。
晦涩而复杂的监管制度可能仍然要求律师和医生必须由人类担任,即使 AI 系统已经远比人类更擅长这些工作。
当机器人工厂试图迅速扩张时,社会对于变化速度的抵制也必然会不断向整个系统“撒沙子”,阻碍其顺畅运转。
我们也许还会坚持保留人类保姆。
所有这些因素,都会减缓总体 GDP 统计数字的增长。
但在任何人类主动移除这些障碍的领域,工业爆炸仍然会发生。
例如,军事竞争可能迫使各国取消相关限制,以最大限度提高军事生产能力。
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析


获得决定性且压倒性的军事优势
即使是早期的认知型超级智能,也可能已经足以实现这一点。
例如,某种超越人类水平的网络攻击方案,或许能够直接瘫痪对手的军事系统。
无论如何,从历史上看,军事力量始终与技术进步紧密相连。伴随极其迅速的技术发展,必然也会出现相应的军事革命。
无人机集群和机器人军队将产生重大影响,但这些仅仅是开始。
我们应该预期出现全新的武器形态,包括新型大规模杀伤性武器、近乎无法突破的激光导弹防御系统,以及目前根本无法想象的技术。
与超级智能时代之前的武器库相比,这种差距可能就像二十一世纪的现代军队,对阵一支仍然依靠战马和刺刀的十九世纪旅。
我将在后续文章中进一步讨论,超级智能如何可能带来决定性的军事优势。


具备推翻美国政府的能力
控制超级智能的一方,很可能拥有足够强大的力量,从尚未掌握超级智能的政治和军事力量手中夺取控制权。
即使没有机器人,由超级智能组成的小型文明也可能具备以下能力:
入侵任何防御不足的军事、选举或电视系统;
以极高水平的策略和说服能力影响将领与选民;
在经济竞争中击败民族国家;
设计新型合成生物武器,再用比特币雇佣一名人类完成实际合成;
以及采取其他类似行动。
十六世纪初,科尔特斯率领大约 500 名西班牙人,征服了拥有数百万人口的阿兹特克帝国。
皮萨罗率领约 300 名西班牙人,征服了拥有数百万人口的印加帝国。
阿方索率领约 1,000 名葡萄牙人,控制了印度洋的关键贸易网络。
他们并不拥有神一般的力量。
但旧大陆在技术上的领先,以及在战略和外交谋略上的优势,为他们带来了彻底而决定性的胜势。
超级智能所造成的力量差距,可能与此类似。
表 3
增长机制发生转变,并非历史上从未出现过的现象。
随着人类文明从狩猎社会发展到农业社会,再到科学与商业繁荣,最终进入工业时代,全球经济增长的速度不断加快。
超级智能可能会引发下一次增长模式的转变。
本表基于 Robin Hanson 的论文《作为一系列指数模式的长期增长》。
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

06.
机器人
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

对于上述观点,一个常见的反对意见是:
即使 AI 能够承担认知任务,机器人技术的发展仍然远远落后,因此会成为 AI 影响现实世界的主要制约因素。
我过去也比较认同这种看法,但现在我越来越确信,机器人不会构成真正的障碍。
多年来,人们一直认为机器人主要是一个硬件问题。但如今,机器人硬件已经在很大程度上接近解决。
越来越清楚的一点是:
机器人本质上是一个机器学习算法问题。
大语言模型拥有一条容易得多的启动路径,因为整个互联网可以作为它们的预训练数据。
机器人则不存在规模相当的动作数据集。
因此,训练机器人需要更加巧妙的方法。例如,可以先使用多模态模型作为基础,再结合合成数据、仿真环境以及经过精心设计的强化学习方法。
目前,大量资源和研究精力正在投入解决这一问题。
但即使我们在 AGI 出现之前仍未解决机器人技术,数以亿计的 AGI 或超级智能也会成为极其强大的 AI 研究人员——这正是本文的核心论点。
因此,它们很可能能够找到所需的机器学习方法,制造出真正强大的机器人。
所以,机器人技术确实可能导致几年的延迟。
例如,我们需要解决相关机器学习问题;需要在物理世界中进行测试,而现实测试从根本上比仿真测试更慢;还需要扩大第一批机器人的产量,直到机器人能够自行建造工厂。
但我认为,这种延迟不会比几年更长。
2030 年代的这一切究竟会如何展开,非常难以预测,这也是另一个需要单独讨论的故事。
但至少有一点是明确的:
人类将迅速被推入有史以来最极端的处境。
达到人类水平的 AI 系统,也就是 AGI,本身就会产生极其深远的影响。
但在某种意义上,它们或许仍然只是我们已经熟悉的人类认知能力的一种更高效版本。
然而,完全有可能的是,仅仅一年之后,我们就会过渡到更加陌生的系统。
这些系统的理解能力、行动能力以及所拥有的原始力量,可能超过全体人类的总和。
在这一快速过渡过程中,我们将不得不把越来越多的信任和控制权交给 AI 系统,因此人类确实存在失去控制的可能。
更广泛地说,一切都会突然以令人难以置信的速度发生。
整个世界将开始陷入疯狂。
可以想象,如果二十世纪那些地缘政治最紧张的时刻,以及人类制造的各种危险,都被压缩到短短几年之内——这大概就是超级智能出现后,我们应该预期面对的局势。
等这一阶段接近尾声时,超级智能 AI 系统很可能已经在运行我们的军事和经济体系。
而在整个疯狂过程中,我们能够用来作出正确决定的时间将极其有限。
我们面对的挑战将无比巨大。
要想完整地度过这一时期,我们必须调动人类所拥有的一切能力。
智能爆炸,以及超级智能出现后的最初阶段,将成为人类历史上最动荡、最紧张、最危险,也最疯狂的时期之一。
而到本十年结束时,我们很可能已经身处其中。

07.
再次面对“链式反应”
通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析

正视智能爆炸的可能性——也就是正视超级智能的出现——常常让人想起早期围绕核链式反应可能性的争论,以及这种反应最终可能带来的原子弹。
H. G. 威尔斯早在 1914 年的一部小说中,就预言了原子弹。
1933 年,西拉德第一次想到核链式反应的概念时,他无法说服任何人相信这种可能性,因为当时这一切还只是理论。
1938 年,核裂变在实验中被发现后,西拉德再次变得极度警觉。
他强烈主张对相关研究保密,也开始有少数人意识到原子弹可能成为现实。
爱因斯坦此前并没有认真考虑过链式反应的可能性。
但当西拉德向他说明这一问题后,他很快理解了其中的含义,并愿意采取任何必要行动。
他愿意发出警告,也不害怕因此显得愚蠢。
但费米、玻尔以及大多数科学家却认为,更“保守”的做法是淡化这种可能性,而不是认真面对原子弹可能带来的非凡后果。
在他们看来,为了避免德国获得相关进展而实施保密,或者采取其他不惜一切代价的行动,似乎都十分荒谬。
链式反应听上去太疯狂了。
然而事实证明,原子弹距离成为现实,当时只剩下大约半个十年。
今天,我们必须再次面对一种链式反应的可能性。
它也许在你听来仍然充满推测。
但在 AI 实验室的资深科学家中,许多人认为,快速发生的智能爆炸具有令人震惊的现实可能性。
他们已经能够看到这条路径。
超级智能是可能出现的。
这些深度内容值得一读:



通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析



godzilla.dev


通用人工智能到超级智能:智能爆炸将在一年内实现|AI研究自动化解析


为后稀缺时代  

构建长期、冷静、可进化的系统


没有评论:

发表评论

印度H-1B扬言集体离美,美国IT业会被拖垮吗

2026年,特朗普政府接连出台的签证紧缩政策,系统性地压缩科技人才的留美空间。 与此同时,印度H-1B从业者群体中出现了这样一种声音:如果大批印度技术人才集体离开,美国IT业将面临崩溃。这种说法是否成立?现实的数据和趋势又再告诉我们什么呢? 01 印度H-1B群体: 美国科技业...