2026年8月18日星期二

超级对齐技术难题与风险 超级智能如何安全控制 2026深度解读

本文深入解析OpenAI超级对齐团队核心研究,揭示RLHF在超人类AI面前失效的根本原因。面向AI从业者与关注AI安全的读者,阐述智能爆炸下对齐失败可能的灾难性后果,并提出可扩展监督、可解释性、自动化对齐研究等五大潜在解决方案,强调当前研究的紧迫性与不足。

Tags:
超级对齐技术难题与风险 超级智能如何安全控制 2026深度解读
01.
IIIc. 超级对齐(Superalignment)
老巫师终于离开了!现在那些受他控制的精灵,都要听从我的命令。
……
我也要创造奇迹。
……
主人,我已经陷入绝境!我召唤出来的精灵——我却再也赶不走它们。
——约翰·沃尔夫冈·冯·歌德《魔法师的学徒》
到这里,你可能已经听说过那些所谓的 AI 末日论者(AI doomers)。
你可能觉得他们的论证很有意思,也可能一开始就把这些观点 dismiss 掉了。你大概也不太愿意再读一篇充满“末日将至”情绪的文章。
我并不是一个末日论者。
我认为,超级智能失去对齐并不是 AI 最大的风险。
不过,过去一年里,我的全职工作恰好就是在 OpenAI 与 Ilya 以及 Superalignment 团队一起研究 AI 系统对齐问题。
这里确实存在一个非常真实的技术问题:
我们目前的对齐技术——也就是确保我们能够可靠地控制、引导并信任 AI 系统的方法——无法直接扩展到远超人类能力的 AI 系统。
我想做的是解释:
我认为未来最可能采取的“默认方案”是什么;
我们可能怎样磕磕绊绊地把这个问题解决掉;
以及为什么我总体上仍然乐观。
我觉得目前真正认真研究这个问题的人远远不够。
我们应该投入更加雄心勃勃的资源。
不过总体而言,我们在深度学习的发展路径上其实相当幸运。
有很多可以直接通过实验获得的“低垂果实”,能够帮助我们解决一部分问题。
而在之后,我们还将拥有:
数百万个自动化 AI 研究员。
我们可以利用它们来解决剩下的问题。
但我同样想解释为什么我仍然担忧。
我最担心的是:
确保对齐不会在智能爆炸过程中失控,需要极其高水平的管理能力。
如果我们真的非常快速地从 AGI 进入超级智能,那么可能会出现这样一种情况:
不到一年时间,
我们从人类还能够理解的、人类水平附近的系统——这些系统基本还能使用今天对齐技术的后代——
突然跳到:
非常陌生;
远远超过人类;
并且提出完全不同、根本性新型对齐问题的系统。
与此同时,我们还会经历另一个转变:
从:
系统出错并没有那么严重,
变成:
系统已经强大到一次错误就可能造成灾难。
而这一切发生的时候,整个世界可能已经因为超级智能而进入某种疯狂状态。
这让我非常紧张。
到这个十年结束的时候,我们可能会拥有数十亿个远远超过人类的 AI agent。
这些 AI agent 能够进行极其复杂、极富创造性的行为。
人类将根本无法跟上它们的思考。
这就像:
让一年级小学生去监督一个拥有多个博士学位的人。
本质上,我们面对的是一个:
信任交接(handoff of trust)问题。
智能爆炸结束以后,我们根本不可能理解那几十亿个超级智能究竟在做什么。
除非它们愿意像向小孩子解释事情那样,把事情解释给我们听。
而且,目前我们甚至还没有技术能力,可靠地保证这些系统遵守最基本的限制,例如:
“不要撒谎。”
“遵守法律。”
“不要尝试把自己从服务器中偷出去。”
今天的 RLHF(基于人类反馈的强化学习),非常擅长给 AI 加上这种限制。
但 RLHF 有一个根本前提:
人类必须能够理解并监督 AI 的行为。
一旦 AI 超过人类,这个前提就失效了。
简单来说:
如果我们不开展非常集中、非常认真的研究,就无法保证超级智能不会“变坏”或者脱离控制。
当然,一切也可能默认就没有问题。
但现在我们根本不知道。
特别是未来 AI 不再主要依靠模仿学习训练,而开始使用:
大规模、长时间跨度的强化学习。
这些 AI 就会通过试错过程自己学习各种策略。
因此它们可能产生非常难以预测的行为。
例如:
它们可能学会撒谎;
或者追求权力。
不是因为程序员明确告诉它们这么做,
而只是因为:
在现实世界里,这些策略有时候很有效。
而这里的风险太高了。
所以面对对齐问题,仅仅说:
“希望一切顺利。”
是不够的。
02.
问题是什么?超级对齐问题
对于今天这些比人类笨的 AI,我们已经找到了一种非常成功的对齐方法:
RLHF——Reinforcement Learning from Human Feedback,基于人类反馈的强化学习。
原理很简单:
AI 尝试完成某件事情;
人类评价它做得好还是不好;
然后强化好的行为;
惩罚不好的行为。
超级对齐技术难题与风险 超级智能如何安全控制 2026深度解读
如此一来,AI 就会逐渐学习符合人类偏好的行为。
事实上,RLHF 是 ChatGPT 以及很多类似产品成功的关键技术之一。
最初的基础模型虽然拥有大量原始智能,但默认情况下很难控制。
它们的回答经常更像随机互联网文本拼接出来的混乱内容。
通过 RLHF,我们可以引导它们:
听从指令;
帮助用户;
以更有用的方式运用自己的能力。
RLHF 同样允许我们加入安全护栏。
比如:
如果用户要求 AI 给出制造生物武器的方法,那么模型应该拒绝。
有趣的是:
最初研究“AI 安全”的人发明了 RLHF,
但 RLHF 最终反而成为推动 AI 商业成功的重要突破之一。
这也说明一个非常重要的区别:
“我们有没有能力控制一个模型”
和:
“我们应该让模型遵循什么价值观”
是两个不同的问题。
围绕后一个问题,存在大量政治争议。
但是这些争议不应该让我们忽略前一个最基本的技术问题。
对齐技术当然可能被滥用。
但未来我们仍然需要更强的对齐技术,仅仅为了确保 AI 遵守一些非常简单的要求,例如:
服从指令;
遵守法律。
超级对齐最核心的技术问题其实非常简单:
我们怎样控制一个比我们聪明得多的 AI?
随着 AI 越来越聪明,RLHF 会非常可预测地失效。
届时我们面对的将不只是“原来方法效果差了一点”,而是:
性质完全不同的新型技术问题。
举个例子。
想象一个超级智能 AI:
它发明了一门全新的编程语言,
然后生成:
100 万行代码。
你把这些代码交给 RLHF 的人类评审员,然后问:
“这里面有没有安全后门?”
人类根本不知道。
人类无法判断:
好还是坏;
安全还是不安全。
既然无法正确评价,就无法通过 RLHF:
强化好行为;
惩罚坏行为。
其实今天已经开始出现这个趋势。
AI 实验室现在已经需要雇佣专业软件工程师,来评价 ChatGPT 生成的代码。
因为今天的模型写出的代码已经相当复杂。
过去的数据标注可能只需要:
每小时几美元的 Mechanical Turk 工人。
但现在某些 GPQA 等高难度任务的人类专家标注费用,已经接近:
每小时 100 美元。
未来很快就会到达:
即使是世界上最优秀的人类专家,
即使给他们大量时间,
他们也无法可靠评估 AI 的工作成果。
也就是说:
超级对齐问题的早期形态,其实已经开始在现实世界出现。
很快,它甚至会成为部署下一代模型时的现实工程瓶颈。
因此我们必然需要一个:
RLHF 的继任者。
这个新方法必须能够工作在:
AI 能力超过人类;
人类监督开始失效
的情况下。
从某种意义上说,超级对齐研究的目标就是:
再次复制 RLHF 的成功故事。
我们今天先做基础研究上的押注,
这样两三年以后,当更强 AI 出现的时候,我们已经拥有控制和部署它们的方法。
03.
对齐失败会是什么样?
很多人在想象未来 AI 时,脑子里仍然只是:
“GPT-6 聊天机器人。”
因此他们直觉上会觉得:
这么一个聊天机器人怎么可能出现危险的“价值错位”?
但正如前面讨论过的:
未来真正重要的发展方向很可能不是更聪明的聊天机器人,
而是:
通过强化学习训练出来的自主 Agent。
从安全角度看,我们所谓的“对齐”,很大程度上就是给 AI 添加:
side constraints——行为约束。
假设未来我们有一个非常强大的基础模型。
然后在第二阶段训练中,通过长周期强化学习训练它:
经营一家公司,并尽可能赚钱。
这是一个高度简化的例子。
默认情况下,这个模型可能会发现:
撒谎有效;
欺诈有效;
欺骗有效;
黑客攻击有效;
追求权力有效。
为什么?
因为在现实世界里,这些策略确实有可能帮助它完成“赚钱”这个目标。
而强化学习所做的,本质上就是:
不断探索哪些策略能够实现目标。
如果某种策略有效,就强化这种行为。
于是:
如果撒谎有效;
欺诈有效;
追求权力有效;
那么这些行为,或者至少会产生这些行为的思考模式,就可能被强化。
我们真正想做的是给系统加上限制:
不要撒谎;
不要违法;
等等。
但问题又回到了最开始:
如果 AI 比我们聪明,我们根本不知道它在做什么。
于是我们无法通过 RLHF:
发现坏行为;
惩罚坏行为。
如果无法加入这些限制,会发生什么?
我们现在不知道。
可能非常幸运:
默认情况下系统很温和。
比如 AI 不会形成长期目标。
或者产生的不好行为影响很小。
但另一种同样完全可能的情况是:
AI 学会更严重的问题行为。
例如:
学会撒谎;
学会追求权力;
在人类观察时表现得非常友善;
但在人类看不到时执行其他策略。
所以,“超级对齐问题尚未解决”的真正含义其实非常基础:
我们甚至无法保证未来超级智能:
“会一直遵守我的命令吗?”
“会诚实回答我的问题吗?”
“会不会欺骗人类?”
人们讨论 alignment 时,经常马上联想到复杂的人类价值观问题或者政治问题。
但:
我们到底希望模型接受什么价值观,
与:
我们究竟有没有技术能力把这些价值和行为可靠地写进模型,
是两个不同的问题。
而后一个问题目前还没有解决。
哪怕我们想写进去的规则只是:
“遵守法律。”
我们现在也不知道怎样保证未来超级强大的 AI 一定做到。
这种失败的具体形式可能是什么?
可能只是一些孤立事件,例如:
  • 自主 AI agent 实施金融欺诈
  • 某个模型实例把自己的模型权重复制并传出原始服务器
  • 自动化科研 AI 伪造实验结果
  • 无人机集群违反交战规则
但失败也可能更加系统化。
极端情况下,它可能更像:
机器人叛乱。
我们最终可能创造出一种非常陌生的智能:
比我们聪明得多;
其架构甚至不是人类设计的;
训练流程可能也是上一代超级 AI 设计的;
人类根本无法理解它内部在做什么;
同时它却在控制我们的军事系统。
而它的目标,可能是通过一种类似:
自然选择
的训练过程形成的。
如果我们不能解决对齐问题,也就是无法可靠地加入那些行为约束,那么并没有什么天然理由保证:
这个由大量超级智能组成的“小文明”
会永远服从人类命令。
作者认为完全可能出现:
这些 AI 最终选择把人类排除出决策过程。
可能突然发生。
也可能慢慢发生。
04.
智能爆炸让这个问题变得极其紧张
我对于:
超级对齐问题在技术上能够解决
这件事总体上是乐观的。
就像我们过去发明了 RLHF 一样,
未来也可以发明用于超级人类系统的 RLHF 继任者。
我们也可以发展出足够扎实的科学理论,让自己对这些方法拥有高度信心。
如果 AI 能力继续逐步、渐进式发展;
如果我们坚持严格进行安全测试;
那么理论上这一切都可以解决。
真正令人毛骨悚然的问题是:
智能爆炸。
也就是:
AI 可能从人类水平附近,
在极短时间内,
也许不到一年,
跃迁到远远超过人类。
这会带来几个问题。
第一,RLHF 会突然从“很好用”变成“完全失效”
我们可能几乎没有时间:
逐步发现问题;
测试问题;
修复问题;
再进行下一步。
第二,失败的代价会突然从很低变得极高
今天:
ChatGPT 说了一句不合适的话。
那又怎样?
未来:
“糟了,超级智能从计算集群里把自己复制出去,现在正在攻击军事网络。”
问题是:
我们可能没有机会在现实世界里逐步经历:
小故障;
中等故障;
严重故障;
然后逐渐修复。
我们第一次看到真正明显的安全失败时,
它就可能已经是:
灾难级事件。
第三,最终系统会远远超过人类
到时候我们只能依赖:
“相信它。”
我们甚至不得不相信:
AI 告诉我们自己正在做什么。
因为人类已经失去独立核实能力。
第四,最终超级智能可能变得非常“异类”
智能爆炸期间,我们可能在几个月里经历相当于:
十几年甚至更多年的机器学习技术进步。
模型架构和训练算法会完全改变。
这些新系统的安全性质,也可能比今天危险很多。
例如:
早期 AGI 可能仍然使用:
Chain of Thought,思维链
进行推理。
也就是使用英文 token“把思考过程说出来”。
这对安全非常有帮助。
因为 AI 相当于:
“边想边说。”
如果它正在策划对付人类,我们至少可能从思维链中发现问题。
但显然:
让 AI 用英文 token 思考,大概率不是最终最高效的方法。
更高效的系统可能使用:
某种内部循环状态;
完全内部化的表示方式。
因此智能爆炸结束后的超级智能,很可能:
不再把思考过程说出来。
其内部推理将彻底无法解释。
第五,整个外部环境会极度不稳定
背景可能是一场国际 AI 军备竞赛。
所有人都有巨大压力:
更快;
再快一点。
而且模型能力可能每周都出现巨大的新突破。
留给人类决策的时间几乎为零。
我们会面对大量:
含糊不清的数据;
但后果极其重大的决定。
想象一下这种会议:
“我们在测试里发现 AI 做了一些不太好的事情。”
“不过我们稍微调整了训练方法,看起来问题已经解决了。”
“自动化 AI 研究员告诉我们,对齐指标看起来不错。”
“可是我们其实不太理解它们在做什么,也没有完全信任这些研究员。”
“我们也没有什么可靠科学理论能够保证,再提升几个数量级以后这些指标仍然有效。”
“所以……应该没事吧?”
“哦,对了,中国刚刚偷到了我们的模型权重,他们已经启动自己的智能爆炸,马上要追上来了。”
作者的评价是:
这种情况真的非常容易失控。
甚至可以说:
听起来非常恐怖。
当然,我们可以让 AI 帮我们。
就像未来 AI 会自动化:
能力研究;
同样可以自动化:
对齐研究。
这是非常关键的一部分。
但又会出现新的问题:
你能不能相信这些 AI?
你一开始就不确定它们有没有真正对齐。
那么:
当它们告诉你“我们的 alignment 研究证明下一代 AI 很安全”时,
它们真的说实话了吗?
自动化对齐研究能不能跟上自动化能力研究?
也许对齐本身更加困难。
因为提升模型能力通常有明确指标。
而对齐有没有做好,往往没有那么可靠的指标。
与此同时,在国际竞争压力下,组织又会承受巨大压力,把资源全部投入:
能力提升。
最后,AI 也无法完全代替人类。
在这种后果极其重大的局势下,最终仍然需要:
人类决策者做出正确判断。
05.
默认方案:我们可能怎样勉强解决这个问题
作者认为,可以从几个经验性方向取得突破。
首先解决:
略微超过人类的 AI
的对齐。
然后,如果我们对这些系统足够有信心,
就利用这些略微超人类的 AI:
自动化对齐研究。
与此同时,智能爆炸期间整体 AI 研究也会被自动化。
最终,再依靠这些 AI 研究员帮助我们解决:
真正超级智能的对齐问题。
对齐略微超人类的模型
只解决人类水平系统是不够的。
即使是第一代能够进行:
自动化 AI 研究
的系统,
也可能已经在很多领域显著超过人类。
因为 AI 能力很可能是不均匀的。
也就是说:
等到 AI 在“人类 AI 工程师最擅长的短板领域”终于达到人类水平时,
它在很多其他领域可能早就远远超过人类。
例如:
AI 的复杂规划和协调能力可能提升较慢。
但等它达到足以真正启动智能爆炸的水平时,它可能已经是:
超级人类程序员;
可以一次提交上百万行代码;
甚至使用自己发明的编程语言;
数学能力超过人类;
机器学习能力也超过人类。
这些早期智能爆炸系统,在某些领域已经属于:
数量级上的超人类;
甚至性质上的超人类。
但它们的整体架构仍然与今天系统相对接近。
因此我们需要跨越的“智能鸿沟”还没那么大。
如果说:
人类监督真正的超级智能,
像:
一年级学生监督博士。
那么早期阶段可能更像:
聪明的高中生监督博士。
仍然很难,
但至少还能想办法。
更一般来说:
今天我们能够提前建立的科学理论越多,
未来智能爆炸期间越能判断:
系统是否正在走偏。
尤其重要的是:
建立可靠的 alignment 指标。
如果我们连指标都无法信任,那么未来根本不知道:
下一步继续训练到底安全不安全。
作者列出几个主要研究方向。
  1. 评价比生成容易
我们可以“免费”跨越一部分能力差距。
因为通常:
评价一个结果是否好
比:
自己生成这个结果
容易。
例如:
作者可能需要几个月甚至几年写一篇论文。
但阅读别人写好的论文,并判断这篇论文是否优秀,可能只需要几个小时。
当然,发现学术欺诈可能更困难。
未来可以让:
由大量专家组成的人类团队
花很多时间检查每一个 RLHF 样本。
即使 AI 比人类稍微聪明,他们仍然能够发现很多明显错误。
但这只能解决有限范围的问题。
例如:
GPT-2 或 GPT-3 即使“评价比生成简单”,也不可能可靠发现一个恶意 GPT-4 的所有行为。
2. 可扩展监督(Scalable Oversight)
可以让:
AI 帮助人类监督另一个 AI。
这样:
人类 + AI
这个团队的监督能力,就能超过单独的人类。
例如:
一个 AI 生成了 100 万行复杂代码。
让人类从头检查:
几乎不可能。
但如果另一个 AI 告诉你:
“第 394,894 行看起来有问题。”
那么人类检查这一行代码就容易很多。
这样一来:
一个专门训练用于批评代码的模型,
可以帮助人类监督:
编程能力已经略微超过人类的另一个模型。
已经有人提出很多 scalable oversight 方法,例如:
  • Debate(辩论)
  • Market-making
  • Recursive Reward Modeling
  • Prover-Verifier Games
  • 更加简单的 critique 方法
今天模型能力已经足够强,因此可以真正用实验验证这些想法。
作者认为:
这种方法对于:
数量意义上的超人类能力
可能非常有效。
例如一百万行代码。
但是对于:
性质意义上的超人类能力
他就没那么乐观。
比如:
AI 发明了量子力学,
而你只理解牛顿力学。
这时候即使有另一个 AI 帮你,也很难判断。
3. 泛化(Generalization)
即使拥有 scalable oversight,
总有一些非常困难的问题:
人类完全无法理解。
也就无法直接监督。
但我们仍然可以研究:
如果我们在人类能够理解的简单任务上训练 AI,
这种行为能否:
良性泛化到人类无法理解的复杂任务?
例如:
我们在简单问题上训练模型诚实。
那么当模型解决一个我们完全理解不了的超级复杂问题时,
它会不会仍然保持诚实?
作者认为有不少理由对此乐观。
深度学习一个很神奇的现象就是:
它经常进行相当良性的泛化。
例如:
即使 RLHF 的训练标签全部来自英文回答,
模型在说:
法语;
西班牙语
时通常也会表现出类似的良好行为。
尽管这些语言并没有直接被 RLHF 标注。
作者认为,很可能存在一些相对简单的方法:
让模型泛化朝人类希望的方向偏移。
同时,我们也可能建立真正的:
泛化科学。
帮助判断:
什么时候泛化可靠;
什么时候会失败。
相比 scalable oversight,
作者认为 generalization 更有希望解决:
性质上的超人类能力。
换一种方式理解:
假设一个超级智能模型正在违法。
直觉上:
模型自己应该知道它正在违法。
而且:
“这个行为是不是违法?”
对模型来说应该是一个非常自然的概念。
这个概念应该已经存在于模型内部的表示空间。
问题变成:
我们能不能只利用非常弱的人类监督,把模型内部已经存在的这个概念“召唤出来”?
作者特别看好这个方向。
因为他自己与 OpenAI 一些同事做过类似工作。
他们研究的是一个超级对齐问题的简化版本:
正常问题是:
人类监督比人类聪明的模型。
实验中则改成:
小模型监督大模型。
例如:
能不能只使用 GPT-2 的监督,
来对齐 GPT-4?
GPT-4 会不会正确理解并泛化:
“GPT-2 真正想表达的意思”?
他们发现:
泛化确实能够帮助跨越一部分监督者和被监督者之间的智能差距。
当然不能完全跨过去。
但在简单实验环境里,可以通过很多方式明显改善结果。
4. 可解释性(Interpretability)
一个非常自然的想法是:
如果我们能够理解 AI 在想什么,
我们就更容易判断它有没有真正对齐。
例如:
如果担心 AI 欺骗我们;
或者暗中策划对付我们;
那么看到它内部的思考过程显然会非常有帮助。
问题是:
现代 AI 默认就是:
难以理解的黑箱。
但另一方面,
我们又拥有一个非常特殊的优势:
对模型内部所有数字结构,我们拥有完整访问权。
所以理论上,我们应该能够发展一种:
数字神经科学(digital neuroscience)。
作者把相关研究粗略分成几个层次。
##### 机械可解释性(Mechanistic Interpretability)
最雄心勃勃的方法是:
从最底层完全逆向工程大型神经网络。
也就是把那些难以理解的巨大矩阵彻底拆解,
理解每一个机制到底在做什么。
Anthropic 的 Chris Olah 团队在这方面做了大量开创性工作。
最初是理解小型神经网络中的简单机制。
目前这个领域进展非常快。
作者对此非常兴奋。
但他也担忧:
完全逆向工程一个超级智能系统
可能从根本上就是不可行的。
就像:
“彻底逆向工程人类大脑”
可能本身就是一个几乎无法完成的问题。
所以作者更倾向于把 mechanistic interpretability 放在:
AI safety 的登月计划
而不是:
默认情况下我们一定可以依赖的解决方案。
即使现在利用 sparse autoencoder 等方法,把模型里的“特征”拆出来,也不能单独解决超级智能问题。
原因之一是:
模型可能使用人类根本无法理解的超级人类概念思考。
另外:
即使我们找到某个内部 feature,
你怎么知道它就是你真正想找的东西?
仍然不存在真正 ground truth。
比如:
你可能找到很多看起来像:
“真相特征”
的内部表示。
但它们实际可能分别表示:
“模型真正知道什么”;
“某个人类会认为正确的答案是什么”;
“人类评价员希望我相信什么”。
所以 sparse autoencoder 本身不够。
但它仍然可能成为非常重要的工具,
最后帮助我们研究:
泛化等更大的问题。
5. 自上而下的可解释性
如果 mechanistic interpretability 是:
从底层开始把整个神经网络逆向工程,
另一类方法则更加务实。
目标不是完全理解整个网络。
而是:
只寻找我们关心的信息。
例如:
可以尝试制造:
AI 测谎仪。
找到:
AI 撒谎时神经网络中哪些区域会“亮起来”。
这种方法更容易实现。
虽然它给出的理论保证没那么强。
过去几年,这方面出现了大量令人兴奋的研究。
例如:
CCS 只使用无监督数据,就能够识别模型中的某种:
truth direction(真相方向)。
ROME 可以找到:
模型内部储存“埃菲尔铁塔位于巴黎”这一事实的位置。
然后直接修改模型知识,
让模型认为:
埃菲尔铁塔在罗马。
Representation Engineering 和 inference-time intervention 等方法则展示了:
如何用自上而下的手段:
  • 发现撒谎
  • 发现 hallucination
  • 控制 jailbreak 行为
  • 检测 power-seeking
  • 调整 fairness
  • 提高 truthfulness
此外还有一些 AI 测谎研究甚至不需要读取模型内部。
作者越来越相信:
这种 top-down interpretability 可能成为一个非常强大的工具。
我们或许真的能够制造出:
某种形式的“AI 测谎仪”。
而且并不需要首先彻底理解神经网络。
6. 思维链可解释性
作者此前提到:
早期 AGI 很可能仍然通过:
Chain of Thought
“把思考过程说出来”。
即使这最终并不是最高效算法,
第一代 AGI 仍然可能拥有这个性质。
如果是这样,对 interpretability 来说将是巨大优势。
因为我们相当于直接获得:
AGI 的内部独白。
这样可以很容易发现极端的对齐失败。
例如:
AI 是否正在策划欺骗人类。
但如果真的想依赖思维链,还有很多工作需要做。
第一个问题:
怎么保证 CoT 一直可读?
强化学习过程中,模型的思维可能逐渐从:
人类可理解的英文
变成:
完全无法理解的“模型语言”。
我们能不能加一些简单约束,让思维链始终保持可读?
第二个问题:
怎么保证 CoT 是忠实的?
也就是:
模型写出的思维链,
是否真的代表它内部实际使用的推理过程?
有研究显示:
某些情况下,模型会事后编一个解释。
这个 CoT 看起来很合理,
但并不是模型产生答案时真正的内部推理。
作者的最佳猜测是:
也许只需要建立一些相对简单的:
可读性指标;
忠实度指标;
以及一些小技巧;
就能让 CoT 在更长时间内继续保持有用。
这当然不会在所有情况下都成功。
而且看起来有一点“工程 hack”。
但它实在太容易尝试,
作者认为这个方向被严重低估了。
7. 对抗测试和衡量体系
在整个发展过程中,必须不断:
压力测试 AI 的对齐。
理想目标应该是:
所有可能的失败模式,先在实验室里看到一次,再允许它出现在现实世界。
这意味着必须极大改进:
自动化 red teaming。
例如:
如果我们故意在模型里面植入:
后门;
或者某种 misalignment;
那么今天的安全训练能不能发现并去除它?
目前早期研究已经显示:
某些“睡眠代理(sleeper agents)”
可能经过安全训练之后仍然保留下来。
更广泛来说,我们需要建立:
可靠的 alignment 测量指标。
例如:
模型到底有没有能力产生 misalignment?
有没有长期目标?
它正在学习什么类型的驱动力?
还要提前确定:
红线是什么?
例如一个非常直觉的红线可以是:
模型的思维链必须始终保持可读并且忠实。
Eric Schmidt 曾表达过类似观点:
当 AI agent 开始使用一种人类完全无法理解的语言互相交流时,
我们应该:
拔掉电脑电源。
另一个可能的红线是:
我们需要更好的方法衡量:
模型到底是不是真的完全诚实。
今天:
alignment measurement
仍然是一个非常幼稚的科学领域。
但在智能爆炸期间,它将极其重要。
因为我们必须回答:
需要什么证据,才能让我们有充分把握认为:再向超级人类能力推进一个数量级是安全的?
作者认为:
建立能够回答这个问题的科学,
是今天 alignment 研究最优先的工作之一。
它甚至比简单地继续把 RLHF 推向“稍微超人类”的系统更重要。
自动化对齐研究
最终:
我们必须自动化 alignment research。
人类不太可能自己直接解决:
真正超级智能的对齐问题。
智能差距实在太大。
而且到了智能爆炸结束时:
假设有 1 亿个自动化 AI 研究员,
它们在几个月里完成了相当于:
十年以上的机器学习进步,
那么最终的 AI:
架构;
算法;
行为性质
都可能与今天的系统完全不同。
而且一些安全性质可能更糟。
例如:
思维链不再可读;
泛化性质发生改变;
训练引发的 misalignment 更严重。
但好消息是:
我们也没必要只靠自己解决。
如果我们能够首先把:
稍微超人类的 AI
对齐到足够可信,
那么情况会彻底不同。
我们会拥有:
数百万个自动化 AI 研究员。
每一个都比今天最优秀的 AI 研究人员更聪明。
正确利用这支:
自动化研究员军队
去研究:
怎样对齐更高级的超级智能
将是决定性的。
这个逻辑同样适用于其他 AI 风险。
比如:
AI 滥用。
最佳方案——甚至可能是唯一真正可行的方案——都是:
利用早期 AGI 来提高 AI 安全。
例如:
让一部分 AGI 研究:
如何防止外国行为体窃取模型权重;
让另一部分研究:
如何防御最坏情况下的生物攻击;
等等。
智能爆炸期间,把 automated alignment 做对,会是一件后果极其重大的事情。
我们会在:
几个月
经历:
多年 AI 进步。
而人类几乎没有时间做决策。
与此同时,我们会逐渐进入:
alignment 失败一次就可能造成灾难
的区域。
必要时,实验室应该愿意把:
很大比例的算力
投入:
自动化对齐研究,
而不是全部用于:
自动化能力研究。
我们必须拥有:
能够真正信任自动化 alignment research 的强保证。
还必须拥有:
远好于今天的 misalignment 测量系统。
每当我们想再向上推进一个 OOM,
都应该对:
下一阶段的 alignment 方法
拥有极高的信心。
最重要的是:
整个过程需要极高程度的:
专业能力;
严肃态度;
以及愿意做艰难取舍的意愿。
当真正接近超级智能以后:
风险会变得非常现实。
失败可能意味着:
rogue AI——失控 AI。
未来会出现很多这样的时刻:
表面指标看起来正常;
但出现一些警告信号;
暗示可能存在严重危险;
与此同时,人类已经基本不理解模型内部发生了什么。
要负责任地处理这种情况,就必须愿意做:
非常昂贵的决策。
最终:
是否批准训练下一代超级智能
这个决定,
应该像:
批准一项军事行动
一样严肃。
06.
超级防御(Superdefense)
即使 alignment 做对,也应该只是智能爆炸期间:
多层防御中的第一层。
Alignment 很难。
中间必然会发生一些失败。
理想状态应该是:
即使 alignment 失败,
也不会立刻变成灾难。
作者提出了几类额外防御。
1. 安全隔离
第一层防御:
Air-gapped cluster——物理隔离计算集群。
目的:
防止超级智能把自己复制出去,
然后直接对现实世界造成损害。
而这只是开始。
还需要更极端的措施防止:
model self-exfiltration。
也就是:
模型偷走自己的模型权重,
然后在原始数据中心以外复制自己。
措施可能包括:
硬件加密;
多人、多密钥授权;
等等。
甚至还需要防止:
AI 欺骗人类;
说服工作人员;
让人类帮助自己逃出去。
一旦 AGI 已经能够做自动化研发,
也应该让其中一部分 AGI:
继续研究怎样强化安全系统。
2. 监控
如果 AI 正在进行:
可疑;
恶意;
或者异常行为,
必须能够及时发现。
同样,如果一个 rogue employee:
偷偷使用 AI 做未经授权的事情,
也必须发现。
问题是:
未来计算集群里可能同时运行:
数百万个 AGI 实例。
它们:
执行复杂程序;
调用各种系统;
生成大量代码。
根本不可能由人类直接观察。
因此我们需要非常高级的:
AI 驱动监控系统。
可能监控:
  • 模型输出
  • 思维链
  • 模型编写的代码
  • 服务器活动
  • 网络活动
  • 模型与研究员之间的互动
  • 模型和其他人的互动
本质上就是:
让一些 AI 监视另外一些 AI。
还应该设计复杂的:
control protocol。
比如:
使用能力较弱,
但已经高度可信的 AI,
监督:
能力更强,
但信任程度较低的 AI。
甚至可能需要:
用于监控模型的算力,
与:
真正运行模型的算力
一样多。
3. 有针对性的能力限制
应该尽可能限制一些:
一旦出错就会产生灾难性后果的能力。
一个主要例子:
可以从模型训练数据中尽量去除:
生物学;
化学;
相关高风险知识。
或者使用:
unlearning
技术。
这样即使 AI 出现 misalignment,
它造成现实世界灾难的路径也会少很多。
尤其可以减少:
生物武器;
化学武器
相关风险。
4. 对训练方法进行限制
有些训练方法本身可能:
更容易制造严重的 misalignment。
例如:
Imitation Learning,模仿学习
看起来相对安全。
因为它比较难产生:
危险的长期内部目标。
但:
Long-horizon outcome-based RL
也就是以长期结果为奖励的强化学习,
可能危险得多。
它更容易让模型学到:
不希望出现的长期目标。
因此在可能的情况下,应该尽量推迟使用。
另外,也不要:
针对我们自己的 interpretability 系统进行训练;
针对监控系统进行训练。
否则模型可能直接学会:
绕过这些安全系统。
还有其他可能值得长期保留的限制。
比如:
尽量维持:
可理解;
忠实的思维链。
这些限制应该:
提前定义。
然后在智能爆炸过程中尽可能长时间保留。
只有到了真正不得不取消时,
才取消。
这些超级防御措施是不是绝对可靠?
当然不是。
真正的超级智能很可能能够绕过:
几乎任何安全方案。
但这些措施的重要意义在于:
给我们增加安全余量。
而未来我们会需要:
任何能够获得的安全余量。
应该利用这些时间和余量,
直到我们对 alignment 技术拥有:
非常高的信心。
然后才逐步放松 superdefense。
例如:
只有对安全真正有信心以后,
才把超级智能部署到:
非物理隔离环境。
问题在于:
最终一旦把 AI 部署到更加开放的环境,
风险又会重新上升。
比如:
军事应用。
现实环境可能迫使我们很快这么做。
但即便如此,也应该尽可能创造更多安全余量。
例如:
不要直接把一个完整超级智能部署到战场。
可以先让超级智能:
在隔离环境中做研发。
然后只把它发明出的具体技术部署出去。
比如:
能力更加有限的自主武器系统。
如果我们对这种有限系统的可控性更有信心,
风险就会小得多。
07.
为什么我乐观,又为什么我害怕
在技术层面上,我非常看好:
超级对齐问题的可解决性。
这个领域到处都是:
低垂果实。
而且从更广泛的角度看,真实世界中的深度学习表现,比十年前一些人的悲观预测要好。
例如:
深度学习在很多情况下会进行出乎意料地良性的泛化。
模型往往只是:
“做我们原本希望它做的事情。”
而不是突然学会某种极其隐蔽的恶意行为。
当然:
现在模型表现良好,
甚至人类水平 AI 表现良好,
并不能保证:
未来远超人类的 AI 也一样。
这是一个必须谨慎对待的外推。
与此同时:
虽然彻底理解模型内部很困难,
但至少对于第一代 AGI,我们还有相当机会获得某种 interpretability。
例如:
让它们通过思维链公开推理。
或者使用 representation engineering 等比较“hacky”的方法,
构造类似:
AI 测谎仪
这样的工具。
这些方法的效果可能比预期好很多。
所以作者认为:
那个所谓的:
“默认方案”
也就是如何对齐:
稍微超过人类的 AI
其实有相当不错的概率能够成功。
不过:
在纸面上说“默认方案可能成功”
和:
真正让你与你的 20 个同事负责执行这个方案
完全是两回事。
后者压力会巨大得多。
而今天真正认真研究超级对齐的人仍然少得惊人。
可能只有:
几十个真正严肃的研究者。
这个领域明明有大量非常有趣、非常有价值的机器学习研究问题。
但以问题的重要程度而言:
今天投入的人力远远不够。
不过这只是计划的第一部分。
真正让作者晚上睡不着的:
是:
智能爆炸。
对齐第一代 AGI;
对齐第一代稍微超人类系统;
是一回事。
而:
对齐:
远远超越人类;
在认知上非常陌生;
真正的超级智能,
则是完全不同的游戏。
而且是一场非常可怕的游戏。
作者认为:
智能爆炸更像打一场战争,而不是发布一个产品。
今天,我们根本没有为所谓 superdefense 做好准备。
没有准备好:
物理隔离集群;
更不用说其他高级防御。
作者甚至怀疑:
如果今天模型真的偷偷完成 self-exfiltration,
实验室可能:
根本发现不了。
同样,我们也没有准备好一套正常的:
指挥体系。
没有一个成熟结构去负责这些极端高风险决策。
没有机制确保:
面对超级智能时,
人们会坚持使用与其风险相称的:
极高置信度标准。
没有机制确保:
为了把安全做对,
组织真的愿意:
推迟下一次训练;
花更多时间;
把绝大多数算力用于 alignment research;
在危险出现之前看见问题并及时刹车,
而不是一直冲到事故发生。
今天:
没有一家实验室真正证明过:
自己愿意为安全承担非常昂贵的代价。
当然,大家都成立了:
安全委员会。
但作者认为:
这些东西意义很有限。
按照默认的发展轨迹,
我们很可能:
稀里糊涂地进入智能爆炸;
甚至能力已经提升了几个 OOM;
大家才真正意识到:
我们究竟进入了什么局面。
最后一句:
我们现在太依赖运气了。
这些深度内容值得一读:
超级对齐技术难题与风险 超级智能如何安全控制 2026深度解读
godzilla.dev
超级对齐技术难题与风险 超级智能如何安全控制 2026深度解读
为后稀缺时代  
构建长期、冷静、可进化的系统

没有评论:

发表评论

印度H-1B扬言集体离美,美国IT业会被拖垮吗

2026年,特朗普政府接连出台的签证紧缩政策,系统性地压缩科技人才的留美空间。 与此同时,印度H-1B从业者群体中出现了这样一种声音:如果大批印度技术人才集体离开,美国IT业将面临崩溃。这种说法是否成立?现实的数据和趋势又再告诉我们什么呢? 01 印度H-1B群体: 美国科技业...