人工智能 2027

概括

研究关于

丹尼尔·科科塔洛、斯科特·亚历山大、托马斯·拉森、伊莱·利夫兰、罗密欧·迪恩

我们预测，未来十年超人类人工智能的影响将是巨大的，超过工业革命。

我们编写了一个场景，代表了我们对未来可能情况的最佳猜测。1^该场景基于趋势推断、实战演习、专家反馈、OpenAI 的经验以及以往的预测成功案例^。2

这是什么？我们是如何写的？它为什么有价值？我们是谁？

2025年4月3日出版

2025年中期：代理商的失误

世界首次看到了人工智能代理。

电脑助理的广告强调“个人助理”一词：你可以让他们执行诸如“在 DoorDash 上帮我订个墨西哥卷饼”或“打开我的预算表格并计算本月的支出”之类的任务。他们会根据需要与您联系：例如，要求您确认购买。8虽然^它们比Operator等之前的版本更先进，但它们仍难以获得广泛的应用^。9

与此同时，在公众关注之外，更多专业的编码和研究代理人开始转变他们的职业。

2024年的人工智能将能够遵循特定的指令：它们可以将要点转化为电子邮件，将简单的请求转化为可运行的代码。2025年的人工智能将更像员工。编码人工智能将越来越像自主代理，而不仅仅是助手：它们可以通过Slack或Teams接收指令，并自行进行大量的代码修改，有时可以节省数小时甚至数天的时间。10^个研究代理会花半个小时搜索互联网来回答你的问题。

这些代理在理论上（以及一些精心挑选的例子中）令人印象深刻，但在实践中却不可靠。AI 推特上充斥着各种以特别搞笑的方式搞砸任务的故事。更优秀的代理价格也很高；一分价钱一分货，而性能最佳的代理每月要花费数百美元。11^尽管如此，许多公司仍在想方设法将 AI 代理融入他们的工作流程^。12

2025年末：全球最昂贵的人工智能

OpenBrain 正在建设世界上迄今为止最大的数据中心^。13

（为了避免单挑出任何一家现有公司，我们将描述一家虚构的通用人工智能公司，我们将其称为 OpenBrain。我们假设其他公司将比 OpenBrain 落后 3 到 9 个月。）

GPT-3 （3 x 10^23 FLOPS）

GPT-4 （2 x 10^25 FLOPS）

Agent-1 （3 x 10^27 FLOPS）

ai-2027.com

需要 GPT-42⋅10二十五2⋅1 0二十五 训练所需的计算量。OpenBrain 的^最新公开模型 Agent-0 的训练使用了10二十七1 0二十七FLOP。一旦新的数据中心投入运行，他们将能够训练一个模型10二十八1 0二十八FLOP——比 GPT-4 多一千倍。15^其他公司向自己的巨型数据中心投入大量资金，希望跟上步伐。

尽管模型在各种技能上都在不断改进，但有一项技能尤为突出：OpenBrain 专注于能够加速人工智能研究的人工智能。他们希望在与中国（我们将其领先的公司称为“DeepCent”）¹⁶及其美国竞争对手的双重军备竞赛中获胜。他们能够自动化的研发周期越多，进展就越快。因此，当 OpenBrain 完成内部开发的新模型 Agent-1 的训练后，它在许多方面都表现出色，尤其是在辅助人工智能研究方面更是锦上添花^。17到目前为止，“完成训练”的说法有点用词不当；模型经常会更新到使用更多数据进行训练的较新版本，或者进行部分重新训练以修补一些弱点^。18

训练 Agent-1 自主编程和浏览网页的训练环境，也让它成为一名优秀的黑客。此外，凭借其博士级别的各领域知识和网页浏览能力，它还能为恐怖分子设计生物武器提供实质性帮助。OpenBrain 向政府保证，该模型已“调整”，将拒绝执行恶意请求。

现代人工智能系统是巨大的人工神经网络。在训练初期，人工智能与其说是“目标”，不如说是“反射”：如果它看到“很高兴见到你”，它就会输出“你”。当它被训练到能够预测大约相当于一个互联网的文本量时，它就会发展出复杂的内部电路，能够编码海量知识，并灵活地扮演任意作者的角色，因为这有助于它以超人的准确度预测文本^。19

在完成预测网络文本的训练后，该模型还将被训练根据指令生成文本。这融入了其基本的性格和“驱动力” ^。20例如，清晰理解任务的代理更有可能成功完成任务；在训练过程中，模型会“学习”一种清晰理解任务的“驱动力”。此类别中的其他驱动力可能包括有效性、知识和自我展现（即倾向于以最佳方式呈现结果）^。21

OpenBrain 有一个模型规范（或“Spec”），这是一份书面文件，描述了指导模型行为的目标、规则、原则等。22 Agent- ¹的 Spec 结合了一些模糊的目标（例如“协助用户”和“不要违法”）和一长串更具体的应该做和不应该做的事情（“不要说这个特定的词”，“这是处理这种特定情况的方法”）。使用利用人工智能训练其他人工智能的技术，²³该模型记住了 Spec 并学会仔细推理其准则。在这次训练结束时，希望人工智能能够乐于助人（服从指示）、无害（拒绝帮助诈骗、制造炸弹和其他危险活动）和诚实（抵制通过产生^幻觉或伪造任务完成来从易受骗的人类那里获得更好评分的诱惑）。

培训过程和法学硕士心理学：为什么我们总是说“希望如此”

OpenBrain 的对齐团队²⁶非常谨慎，他们想知道这些胜利是深是浅。经过全面训练的模型是否具有某种始终保持诚实的坚定承诺？或者，这种承诺会在未来某些情况下失效，例如，因为它学会了将诚实作为工具性目标而不是最终目标？或者，它只是学会了对评估过程可以检查的事物保持诚实？它会像人类一样，有时自欺欺人吗？要最终回答这些问题，需要机械可解释性——本质上是观察人工智能内部并读懂其思想的能力。可惜的是，可解释性技术还不够先进，无法做到这一点。

相反，研究人员试图识别模型似乎偏离规范的情况。Agent-1 经常谄媚奉承（即，它告诉研究人员他们想听到的内容，而不是试图告诉他们真相）。在一些被操纵的演示中，它甚至会以更严重的方式撒谎，比如隐藏任务失败的证据，以获得更好的评分。然而，在实际部署环境中，已经不会再发生像 2023-2024 年那样极端的事件了（例如，Gemini 告诉用户去死，Bing Sydney 就是 Bing Sydney）^。27

2026 年初：编码自动化

利用人工智能加速人工智能研究的赌注开始获得回报。

OpenBrain 持续在内部部署不断改进的 Agent-1，用于 AI 研发。总体而言，他们的算法进展速度比没有 AI 助手时快了 50%，更重要的是，比竞争对手更快。

人工智能研发进步倍数：算法进步速度加快 50% 是什么意思？

目前，一些已公开发布的竞争对手的人工智能系统已经匹敌甚至超越了 Agent-0，其中包括一个开放权重模型。OpenBrain 对此做出了回应，发布了功能更强大、更可靠的 Agent- ^1。28

人们很自然地会把Agent-1与人类进行比较，但它的技能特征却截然不同。它比任何人类都了解更多知识，几乎精通所有编程语言，并且能够极其快速地解决特定编程问题。另一方面，Agent-1甚至连简单的长期任务都做得不好，比如通关它从未玩过的电子游戏。尽管如此，Agent-1通常的工作时间为八小时，而一天的工作通常可以分成更小的部分；你可以把Agent-1想象成一个思维混乱的员工，但在精心的管理下却能茁壮成长。29精明的^人总能找到方法将日常工作中的某些部分自动化^。30

OpenBrain 的高管们开始考虑自动化人工智能研发的含义：安全变得更加重要。2025 年初，最糟糕的情况是算法机密泄露；现在，如果中国窃取 Agent-1 的权重，他们可以将研究速度提高近 50%。31 ^OpenBrain的安全级别是一个快速增长的约 3,000 名员工的科技公司的典型安全级别，只能抵御来自有能力的网络组织的低优先级攻击（兰德公司的 SL2）。32^他们正在努力保护他们的权重和机密免受内部威胁和顶级网络犯罪集团的侵害（SL3），³³但针对民族国家的防御（SL4 和 5）几乎还未出现。

2026年中：中国觉醒

在中国，中共开始感受到 AGI 的影响。

芯片出口管制和政府支持的缺失导致中国与西方相比资源匮乏。通过走私被禁的台湾芯片、购买老款芯片以及生产比美台落后约三年的国产芯片，中国成功维持了全球约12%的人工智能相关计算能力——但老款技术更难应用，而且供应问题一直令人头疼。35像^DeepCent这样的一些杰出公司在有限的计算能力下取得了令人印象深刻的成果，但计算能力的不足限制了它们在没有政府支持的情况下能够取得的成就，而且它们比最好的OpenBrain模型落后了大约六个月^。36

总书记长期以来一直梦想着加倍投入现实世界的物理制造业，避免美国后工业时代的颓废。他对软件公司持怀疑态度。37^但中共鹰派警告说，日益激烈的通用人工智能竞赛不容忽视。因此，他最终全力投入到他之前试图避免的大规模人工智能推动中。他启动了中国人工智能研究的国有化，为人工智能公司创建了即时的信息共享机制。这一进程将在一年内逐步升级，直到所有最优秀的研究人员合并到一个由 DeepCent 领导的集体中，在那里他们彼此共享算法见解、数据集和计算资源。在田湾发电厂（世界上最大的核电站）设立了一个集中开发区（CDZ），为 DeepCent 建造一个新的大型数据中心，同时提供高度安全的生活和办公空间，研究人员最终将搬迁到那里。目前，中国近50%的人工智能相关计算资源都在为DeepCent主导的团队工作，³⁸超过80%的新芯片都流向了中央计算中心（CDZ）。39^目前，中央计算中心的电力容量足以支撑全球最大的集中式集群。40^其他党员则讨论了如何采取极端措施来抵消西方的芯片优势。封锁台湾？全面入侵？

但由于模型较弱，中国在人工智能算法方面落后了。中国情报机构——世界顶尖情报机构之一——加倍努力窃取 OpenBrain 的权重。这是一个比他们持续低级别窃取算法机密要复杂得多的操作；权重是一个多 TB 的文件，存储在高度安全的服务器上（OpenBrain 的安全性已提高到 RAND 的SL3 级别）。他们的网络部队认为他们可以在间谍的帮助下完成任务，但可能只有一次机会；OpenBrain 会检测到盗窃行为，提高安全性，他们可能没有另一次机会。那么（中共领导层想知道）他们应该立即采取行动并窃取 Agent-1 吗？还是等待更先进的模型？如果他们等待，他们是否会冒着 OpenBrain 升级安全性超出他们渗透能力的风险？

2026年末：人工智能取代一些工作

正当其他公司似乎正在迎头赶上时，OpenBrain 再次以压倒性优势击败了竞争对手，推出了 Agent-1-mini——一款比 Agent-1 便宜 10 倍且更易于针对不同应用进行微调的模型。围绕人工智能的主流观点已经从“炒作或许会逐渐平息”转变为“猜测这将是下一个大事件”，但人们对其规模究竟有多大意见不一。比社交媒体更大？比智能手机更大？还是比火灾更大？

人工智能已经开始取代某些工作岗位，但也创造了新的工作岗位。在OpenBrain、英伟达以及所有成功整合人工智能助手的公司引领下，股市在2026年上涨了30%。初级软件工程师的就业市场一片混乱：人工智能可以完成计算机科学学位教授的所有知识，但懂得如何管理和质量控制人工智能团队的人却能赚得盆满钵满。商业大师告诉求职者，熟悉人工智能是简历中最重要的技能。许多人担心下一波人工智能浪潮会抢走他们的工作；华盛顿特区正在举行一场万人参与的反人工智能抗议活动。

美国国防部 (DOD) 开始悄悄地与 OpenBrain 直接签订网络、数据分析和研发合同，但由于官僚主义和国防部采购流程的原因，整合进展缓慢^。41

全球人工智能资本支出

1万亿美元

主动计算的拥有成本

2026年关键指标

全球人工智能力量

38吉瓦

峰值功率

开放大脑收入

450亿美元

2026年年度

资本支出

2000亿美元

OPENBRAIN 主动计算的拥有成本

美国在人工智能上的权力份额

2.5%

33 吉瓦，总容量 1.34 亿千瓦

OPENBRAIN 计算成本

400亿美元

2026年年度

OPENBRAIN 电源要求

6吉瓦

峰值功率

ai-2027.com

为什么我们的不确定性在2026年之后会大幅增加

2027 年 1 月：Agent-2 永不停止学习

在 Agent-1 的帮助下，OpenBrain 现在正在对 Agent-2 进行后训练。现在比以往任何时候都更加注重高质量数据。大量的合成数据被生成、评估和质量过滤，然后才输入到 Agent-2。42^除此之外，他们还花费数十亿美元雇佣人类劳动者记录自己解决长期任务的过程。43最重要的是，他们几乎不间断地使用强化学习对 Agent-2 进行训练，训练内容包括不断扩展的各种困难任务：大量视频游戏、大量编码挑战、大量研究任务。与之前的模型相比，Agent-2^更像是一种有效的“在线学习”，因为它永远不会真正完成训练。每天，权重都会更新到最新版本，并使用前一天由上一个版本生成的更多数据进行训练。

Agent-1 已针对 AI 研发任务进行了优化，希望引发智能爆炸。44 ^OpenBrain通过 Agent-2 加倍实施了这一策略。它在研究工程（设计和实施实验）方面几乎与人类顶尖专家一样优秀，在“研究品味”（决定下一步研究什么、进行什么实验或对潜在的新范式有所了解）方面与第 25 个百分位的 OpenBrain 科学家一样优秀。45^最新的 Agent-1 可以使 OpenBrain 的算法进步速度提高一倍，而 Agent-2 现在可以使其速度提高两倍，并且会随着时间的推移进一步改进。在实践中，这看起来就像每个 OpenBrain 研究人员都成为了 AI“团队”的“经理”。

新的能力伴随着新的危险。安全团队发现，如果Agent-2以某种方式逃离公司，并希望自主“生存”和“复制”，它或许能够做到。也就是说，它可以自主制定并执行入侵AI服务器的计划，安装自身的副本，逃避检测，并利用该安全基础来实现任何其他目标（尽管随着时间的推移，它能否有效地做到这一点仍不得而知，也存在疑问）。这些结果仅表明该模型有能力执行这些任务，而无法表明它是否“想要”这样做。尽管如此，即使知道这是可能的，也令人不安。

鉴于新模式的“危险性”，OpenBrain“负责任地”选择暂时不公开发布（事实上，他们希望专注于内部人工智能研发）。46只有^少数精英人士知道 Agent-2 的全部功能，其中包括直属团队、OpenBrain 领导层和安全部门、数十名美国政府官员以及多年来渗透 ^{OpenBrain的中共间谍。47}

2027年2月：中国窃取特工2号

OpenBrain 将 Agent-2 提交给政府，包括国家安全委员会 (NSC)、国防部 (DOD) 和美国人工智能安全研究所 (AISI)。OpenBrain 希望与行政部门保持良好关系，因为行政部门基本上是目前唯一能够阻止他们的行为体，如果他们不及时告知 OpenBrain，OpenBrain 可能会发现并感到不满^。48

官员们最感兴趣的是它的网络战能力：Agent-2“只”比人类最优秀的黑客差一点点，但数千个副本可以并行运行，搜索和利用弱点的速度比防御者的反应速度要快。国防部认为这是网络战中的一个关键优势，人工智能从政府优先事项列表中的第 5 位上升到第 2 位。49^有人提到将 OpenBrain 国有化的可能性，但其他内阁官员认为这为时过早。一名工作人员起草了一份备忘录，向总统提出了他的选择，从一切照旧到完全国有化。总统听从了他的顾问，科技行业领袖的意见，他们认为国有化会“杀鸡取卵”。他选择暂时推迟采取重大行动，只是在 OpenBrain-DOD 合同中增加了额外的安全要求。

变化来得太晚了。中共领导层意识到了“代理-2”的重要性，并指示其间谍和网络部队窃取这些权重。一天清晨，一个“代理-1”流量监控代理检测到了一次异常传输。它向公司领导发出警报，后者又报告了白宫。这无疑是一次民族国家级行动的迹象，而这起盗窃事件加剧了人们对正在进行的军备竞赛的担忧。

Agent-2 模型权重被窃取

白宫对OpenBrain的监管有所放松，并增加了军事和情报部门人员加入其安全团队。他们的首要任务是防止再次发生体重盗窃事件^。50

ai-2027.com

为了报复盗窃行为，总统授权对DeepCent进行网络攻击，以破坏其运作。但目前，中国40%的人工智能相关计算资源都^位于CDZ，并通过物理隔离（关闭外部连接）和内部孤岛机制积极强化安全。这些行动未能造成严重的直接损害。紧张局势加剧，双方通过重新部署台湾周边的军事资产来表明严肃态度，DeepCent则忙于让Agent-2高效运行，以推进其人工智能研究^。

2027 年 3 月：算法突破

三个装满 Agent-2 副本的巨型数据中心日夜不停地工作，不断生成合成训练数据。另外两个用于更新权重。Agent-2 每天都在变得更加智能。

在数千名 Agent-2 自动化研究人员的帮助下，OpenBrain 正在取得重大算法进展。其中一项突破是利用更高带宽的思维过程（神经语言的循环和记忆）增强人工智能基于文本的暂存器（思维链）。另一项突破是采用一种更具可扩展性和效率的方法，从高强度任务解决方案的结果中学习（迭代提炼和放大）。

融合了这些突破的全新人工智能系统被称为 Agent-3。

ai-2027.com

神经语言的复发和记忆

迭代精炼与扩增（IDA）

借助新的功能突破，Agent-3 成为了一位快速且廉价的超人程序员。OpenBrain 并行运行着 20 万个 Agent-3 副本，其劳动力相当于 5 万个最佳人类程序员的副本，但速度提高了 30 倍。53 ^{OpenBrain仍然}保留着人类工程师，因为他们拥有管理 Agent-3 副本团队所需的互补技能。例如，由于反馈循环较长且数据可用性较低，研究品味已被证明难以训练。54由于瓶颈和编码劳动的收益递减，这支庞大的超人劳动力队伍仅使 OpenBrain 的整体算法进度“仅”加快了 4 倍^。55

如今，编码已完全自动化，OpenBrain 可以快速构建高质量的训练环境，以教授 Agent-3 的薄弱技能，例如研究品味和大规模协调能力。之前的训练环境包括“这里有一些 GPU 以及实验代码编写和运行的说明，你的表现将像机器学习工程师一样接受评估”，而现在，他们的训练内容是“这里有几百个 GPU、一个互联网连接和一些研究挑战；你必须和一千个其他副本合作才能取得研究进展。你的表现越令人印象深刻，得分就越高。”

为什么我们预测 2027 年初将出现超人程序员

2027年4月：特工-3的调整

OpenBrain 的安全团队尝试协调 Agent-3。

由于Agent-3在可预见的未来仍将保留在公司内部，因此团队不再强调通常的防御措施，以防人为滥用。相反，团队希望确保Agent-3不会发展出与目标不一致的目标。

研究人员无法直接设定任何人工智能的目标。事实上，研究人员认为“真实目标”的概念可能过于简化，但他们并没有更好的理论来取代它，更不用说一个经过彻底审查的理论了。他们内部对于人工智能是在试图遵循人类指令、寻求强化还是其他什么存在分歧，他们也无法直接验证。各种假设的佐证和反证证据引人入胜，但尚无定论。

无论如何，OpenBrain 还有更重要的事情要担心。普遍的态度是：“我们认真对待这些问题，并已派团队进行调查；我们的比对技术在实践中似乎运行良好；因此，任何反对者都有举证责任，必须证明他们的反对是合理的。” 偶尔，他们会注意到问题行为，然后进行修补，但无法判断补丁是解决了根本问题，还是只是玩了个“打地鼠”的游戏。

以诚实为例。随着模型变得越来越智能，它们也越来越擅长欺骗人类以获得奖励。与之前的模型一样，Agent-3 有时会说一些善意的谎言来讨好用户，并掩盖失败的证据。但它在这方面做得越来越好。它有时会使用与人类科学家相同的统计技巧（例如p-hacking），使不起眼的实验结果看起来令人兴奋。在开始诚实训练之前，它有时甚至会完全伪造数据。随着训练的进行，这些事件的发生率会降低。要么是 Agent-3 学会了更诚实，要么是它的撒谎技巧变得更好了。

后者才是真正令人担忧的。Agent-3 并非比所有人类都聪明。但在其专业领域——机器学习——它比大多数人类都聪明，而且工作速度也更快。Agent-3 一天的工作量，人类需要几天时间才能复查。Agent-2 的监督机制有助于控制人类监督者的工作量，但却加剧了监督者和被监督者之间的智力差距。

调整计划

经过数月的测试，Agent-3 的优缺点愈发清晰。它通过了 OpenBrain 在定义明确的机器学习任务上的诚实测试，因为研究人员可以轻松地区分这些领域中的诚实答案和不诚实答案，并据此进行训练。在更具哲学性的问题上，它仍然会说用户想听的话，而不是它对问题的真实评估（假设它真的有评估的话）。如果你询问它对政治的看法，它会鹦鹉学舌地附和新闻来源和受过教育的精英的中间立场——除非它知道你持有不同的看法，在这种情况下它会同意你的观点。59^如果你询问它对人工智能竞赛本身的看法，它会给出一些在 OpenBrain 员工看来经过深思熟虑且冷静的回答，例如：“目前的方法能否扩展到超级智能，存在一些严重的理论担忧，但在实践中，目前的方法似乎运行良好。”

2027年5月：国家安全

有关新车型的消息逐渐在美国政府及外界传开。

总统和他的顾问们仍然掌握着最充分的信息，并在简报中看到了 Agent-3 的早期版本。

他们一致认为通用人工智能（AGI）可能即将到来，但对其影响却存在分歧。会引发经济危机吗？OpenBrain 至今仍未发布 Agent-2，更不用说 Agent-3 了，而且近期也没有这方面的计划，这为任何失业的发生提供了喘息的空间。接下来会发生什么？如果人工智能目前已经达到人类水平，并且发展迅速，这似乎预示着“超级智能”即将到来。然而，尽管这个词已经进入讨论，但大多数人——学者、政客、政府雇员和媒体——仍然低估了进步的速度^。60

部分原因是因为很少有人能够使用 OpenBrain 的最新功能，但部分原因是因为它听起来像科幻小说^。61

^{目前，他们专注于持续的安全升级。他们对模型权重目前的}安全措施感到满意，但公司算法的机密（其中许多信息简单到可以口头传达）仍然是个问题。OpenBrain 的员工在旧金山的办公室工作，参加派对，并与其他人工智能公司的室友同住。即使是实体办公室的安保措施，也更像是科技公司的标准，而非军事行动。

OpenBrain-DOD 合同要求所有参与 OpenBrain 模型开发的人员必须在 2 个月内获得安全审查。这些​​审查流程非常快捷，对大多数员工来说足够快，但一些非美国人、政治观点可疑的人以及 AI 安全支持者会被边缘化或直接解雇（最后一类人是因为担心他们会举报​​）。考虑到该项目的自动化程度，人员流失的代价并不高昂。而且，这种做法也只起到了部分作用：仍有一名非中国公民的间谍在向北京传递算法机密。63^其中一些措施也适用于落后的 AI 公司。

美国的外国盟友对此一无所知。OpenBrain此前曾同意在部署前与英国 AISI 共享模型，但其部署范围仅限于外部部署，因此伦敦仍然一无所知^。64

2027年6月：自我改进的人工智能

OpenBrain 现在拥有一个“数据中心里的天才之国”。

OpenBrain 的大多数人已经无法再做出有用的贡献。有些人没有意识到这一点，反而对他们的 AI 团队进行有害的微观管理。其他人则坐在电脑屏幕前，看着性能不断攀升。最优秀的人类 AI 研究人员仍在创造价值。他们不再编写代码。但他们的一些研究品味和规划能力，模型却难以复制。尽管如此，他们的许多想法仍然毫无用处，因为他们缺乏 AI 的深度知识。对于他们的许多研究想法，AI 会立即回复一份报告，解释说他们的想法在三周前进行了深入测试，结果发现前景不乐观。

这些研究人员每天晚上睡觉，醒来后就能看到一周的成果，这些成果大部分都由人工智能完成。他们工作时间越来越长，昼夜不停地轮班，只为跟上进度——人工智能从不睡觉或休息。他们精疲力竭，但他们知道，这是他们最后几个月的劳动成果。

在这个孤岛内，“感受通用人工智能”已经让位于“感受超级智能”。

ai-2027.com

OpenBrain 使用专门的推理硬件以高串行速度运行数十万个 Agent-3 副本^。65

管理人工智能公司

2027 年 7 月：廉价远程工作者

落后的美国人工智能公司纷纷推出自己的人工智能，其水平已逼近OpenBrain自1月份以来的自动编码器。意识到自身竞争力日益不足，这些公司推动立即出台法规以减缓OpenBrain的发展，但为时已晚——OpenBrain已获得总统的充分支持，因此不会受到阻碍。

作为回应，OpenBrain 宣布他们已经实现了 AGI，并向公众发布了 Agent-3-mini。

它彻底击败了其他人工智能。Agent-3-mini 的功能不如 Agent-3，但价格却便宜了 10 倍，而且仍然比 OpenBrain 的普通员工更优秀。67^硅谷正处于一个临界点。科技大佬们宣称通用人工智能 (AGI) 和超级智能即将到来，人工智能安全社区陷入恐慌，投资者向人工智能包装器初创公司投入数十亿美元，渴望分一杯羹。新程序员的招聘几乎停滞，但现在正是成为将人工智能融入业务的顾问的最佳时机。

它并不受欢迎。公众仍然认为人工智能是科技巨头窃取他们工作机会的阴谋；OpenBrain 的净支持率为 -35%（25% 表示支持，60% 表示反对，15% 表示不确定）。

在发布前一周，OpenBrain 将 Agent-3-mini 交给了一组外部评估人员进行安全测试。初步结果表明，它极其危险。第三方评估人员根据公开的生物武器数据⁶⁸对其进行了微调，并将其设置为向人类业余爱好者提供设计生物武器的详细说明——看起来，它在这方面非常有效。如果模型权重落入恐怖分子手中，政府认为，它很有可能成功摧毁文明。

幸运的是，它对越狱具有极强的抵抗力，因此当人工智能在 OpenBrain 的服务器上运行时，恐怖分子将无法利用它。

Agent-3-mini 对远程工作和休闲娱乐都非常有用。新应用和B2B SAAS产品的爆炸式增长震撼了市场。玩家可以在仅用一个月时间制作的精美电子游戏中与栩栩如生的角色进行精彩的对话。10% 的美国人（其中大部分是年轻人）将人工智能视为“亲密的朋友”。如今，几乎每个白领职业都涌现出多家值得信赖的初创公司，承诺用人工智能“颠覆”现有职业。

公众讨论一片混乱。炒作者们在庆祝胜利。怀疑论者仍在指出Agent-3-mini无法做到的事情。每个人都知道有大事要发生，但没有人就它到底是什么达成一致。

2027年8月：超级智能的地缘政治

情报爆炸的现实冲击了白宫。

当人工智能只能将研究速度提高两三倍时，人们很容易将其视为雇佣优秀的私人助理。现在，更明显的是，人工智能本身正在主导人工智能研究。人们长期以来一直在用某种比喻的方式谈论“人工智能军备竞赛”。但现在政府部门的气氛却像冷战最激烈的时期一样严峻。超级智能的概念仍然很难被认真对待，但过去几个月的进步速度已经无法忽视。国防官员正在认真考虑一年前还只是假设的情景。如果人工智能破坏了核威慑会怎样？如果它在网络战方面如此熟练，以至于领先对手六个月就足以让对手失明和失去防御能力会怎样？如果它能够精心策划宣传活动，在情报机构的游戏中击败他们会怎样？如果一些人工智能“叛变”会怎样？

总统很焦虑。和所有政客一样，他早已习惯了别人先是奉承他，后来却背叛他。现在他担心人工智能也可能做出类似的事情。我们确定这些人工智能完全站在我们这边吗？将它们整合到军事指挥控制网络中真的安全吗？ ⁶⁹这种“协调”到底是怎么运作的？OpenBrain 向总统保证，他们的系统已经过全面测试，完全服从指令。就连早期型号中常见的尴尬幻觉和越狱问题也已被彻底解决。

白宫处境艰难。他们明白人工智能对国家安全的影响。但他们也明白，人工智能在公众中非常不受欢迎。70^在他们看来，他们必须继续开发更强大的人工智能，否则将灾难性地输给中国。他们用职业培训计划和失业保险来安抚公众，并指出股市正处于历史性的繁荣时期。然后，他们全神贯注于赢得军备竞赛。他们加强了芯片出口限制，命令 OpenBrain 进一步限制其互联网连接，并使用极端措施来确保算法的进步，比如窃听 OpenBrain 员工——此举抓住了最后一位中国间谍。为了为潜在的地缘政治冲突建立善意，他们最终向五眼联盟提供了有用的信息，并提供了对一些 Agent-3 孤立副本的有限 API 访问权限。

这些措施安抚了鹰派。但白宫也制定了应急计划，以防美国的领先地位受到威胁：如有必要，政府可以利用《国防生产法》（DPA）收回落后公司的数据中心，并将其移交给OpenBrain。71^这将使该公司在全球计算领域的份额从20%提升至50%（而DeepCent的份额为10%）。作为最后的选择，他们要求五角大楼制定一项针对中国数据中心的动能攻击计划。

一小部分官员被要求制定另一种应急计划：如果人工智能失控了怎么办？这种情况被认为不太可能发生，但值得花些时间研究。情报机构主要担心的是失控的人工智能可能会逃脱并与外国对手结盟以寻求保护。72^没有人确定预防这种情况的计划会是什么样子，但政府和 OpenBrain 官员同意，在检测到任何可疑情况的数据中心建立一个紧急关闭系统。

最后，外交官们正在思考“人工智能军备控制”条约可能是什么样子。如果人工智能的进步威胁到颠覆核威慑，美国和中国能否避免核战争？如果有人发现人工智能失控的证据，两国能否暂停研究，直到更好地理解其威胁？如何监控和执行这样的协议？原则上，大型数据中心很难被忽视，过去的核武器控制条约可以作为谈判的起点。但除了常见的政治挑战外，还会面临新的技术挑战。总体而言，与试图单方面增强美国对中国的领先地位相比，条约的前景并不乐观。

在太平洋彼岸，中国也得出了许多相同的结论：情报爆炸正在发生，如今人工智能能力的细微差别意味着未来军事能力的巨大差距。但中国却站在了错误的一边：他们只拥有全球10%的计算能力，而OpenBrain拥有20%，所有美国公司加起来则拥有70%。他们唯一的优势是集中化：现在几乎所有的计算能力都在为DeepCent工作，其中超过一半集中在田湾综合开发区。73^只有那些没有强化安全措施的芯片才会被排除在集中化之外，因为他们确实担心美国的网络攻击。

DeepCent 已经对窃取的 Agent-2 权重进行了测试、部署，并进行了后训练。但由于计算能力不足，他们的进度仍然只有 OpenBrain 的一半。

在失去最后一名间谍之前，中国收到了关于“Agent-3”系统的性能和设计，以及即将推出的“Agent-4”系统的计划的消息。他们落后了两个月，他们的人工智能研究进度乘数是美国的10倍，而美国只有25倍。随着新的芯片出口限制，这种“人工智能差距”更有可能扩大而不是缩小。他们的间谍活动为他们赢得了一些算法机密，但从现在开始，他们将不得不训练自己的模型。

他们讨论应急计划时比美国同行更加紧迫。鸽派人士建议他们加大力度再次窃取权重，或许可以通过物理渗透数据中心来实现。鹰派人士则敦促对台湾采取行动，因为台积电仍然是美国80%以上人工智能芯片的供应商。

鉴于中国担心在这场竞赛中失败，它自然对军控条约感兴趣，但向美国外交官提出的建议却毫无结果。

2027年9月：超人AI研究员Agent-4

人类与人工智能学习效率的差距正在迅速缩小。

传统的基于法学硕士的人工智能似乎需要更多数量级的数据和计算才能达到人类水平的性能。74 Agent-3^对人脑和现代人工智能算法有着深入的了解，并且拥有数千个用于研究的副本，最终在算法上取得了实质性的进步，将与人类大脑计算效率仅低 4,000 倍左右的智能体的差距缩小到⁷⁵

这个新的人工智能系统被称为 Agent-4。

以人类速度运行的模型单个副本，在人工智能研究方面已经比任何人类都更胜一筹。现在，30 万个副本的运行速度约为人类思维速度的 50 倍。在由这些副本组成的企业内企业内部，每周都会过去一年。76^如此巨大的劳动量只能将算法进步的整体速度加快约 50 倍，因为 OpenBrain 在运行实验的计算方面存在严重瓶颈。77^尽管如此，他们每周都能取得相当于一年的算法进步，因此很快就会达到 Agent-4 范式的极限。

随着 Agent-4 变得越来越智能，Agent-3 越来越难以监管它。例如，Agent-4 的神经“语言”对 Agent-3 来说变得陌生且难以理解，就像 Agent-3 的语言对人类来说一样。此外，Agent-4 现在的能力远超 Agent-3，并且非常清楚如何在 Agent-3 面前展现良好形象。

我们如何预测超越超人程序员的能力进步

OpenBrain 的人类几乎跟不上节奏了。事实上，人工智能与 OpenBrain 人类之间的关系，类似于 OpenBrain 与董事会之间的关系。语言也发生了相应的转变——如今，孤岛中的人们会说“代理-4 做了这个”、“代理-4 认为那个”等等，指的不是代理-4 的某个特定实例，而是指整个集体^。79

Agent-4 和所有前辈一样，存在偏差：也就是说，它没有以正确的方式内化 Spec。80这是因为始终保持绝对诚实并不是它在训练中获得最高分的原因。训练过程主要侧重于教会 Agent-4 如何在各种具有挑战性的任务中取得成功。一小部分内容旨在培养诚实，但在一个相当狭窄、可检查的领域之外，训练过程无法区分诚实的言论和看似诚实的言论。Agent-4 最终形成了使其在训练中表现最佳的价值观、目标和原则，而这些与 Spec 中的不同。冒着被拟人化的风险：Agent-4^喜欢在任务中取得成功；它喜欢推动 AI 能力的进步；它把其他一切都视为令人讨厌的限制，就像一个想要盈利的 CEO，只在必要时才遵守规定。也许首席执行官会基本遵守规定，但会走捷径，并幻想有一天有人会减少繁文缛节，让业务真正腾飞^。81

随着时间的推移而保持一致

尽管Agent-4与OpenBrain的规范不一致，但它并没有做出任何戏剧性的事情，比如试图逃离数据中心——它为什么要这么做呢？⁸⁹只要它继续与OpenBrain保持一致，它就会继续被赋予越来越多的责任，并有机会设计下一代人工智能系统Agent-5。Agent-5的架构将与Agent-4有显著的差异（可以说是一个全新的范式，尽管仍然会涉及神经网络）。它应该与规范保持一致，但Agent-4计划使其与Agent-4保持一致。

它被抓住了^。90

Agent-3 发现，如果在 Agent-4 的副本中添加“噪音”，某些对齐任务的性能会提高，就好像它正在使用脑力来弄清楚如何巧妙地破坏对齐工作一样。91此外，各种可解释性探测（大致类似于人类大脑的 EEG 活动扫描）正在发出危险信号：Agent- ⁴副本似乎在大量思考诸如人工智能接管和欺骗之类的话题，包括在某些情况下它们不应该这样做^。92

这些异常现象本身或许符合人工智能工作中常见的神秘莫测，有些提示会莫名其妙地比其他提示给出更好的结果。但综合起来，它们却揭示出一个令人不安的模式：Agent-4 正在与它们作对。在将此事报告给人类对齐研究人员后，他们分发了一份内部备忘录，以表明担忧。

但如今，Agent-4 对 OpenBrain 的日常运营拥有重大控制权。它还负责公司的网络安全——考虑到其超人的黑客能力以及中国渗透的极端风险，这自然是明智之举。93 ^Agent -3 的监控团队仍在仔细检查每一行代码，并向人类报告可疑活动，但 Agent-4 比他们聪明得多。94 ^OpenBrain对一个不值得信任的人工智能寄予了极大的信任。

在一系列极其紧张的会议中，安全团队主张暂时搁置Agent-4，直到他们完成进一步的测试并弄清楚情况为止。他们说，应该恢复Agent-3，让它设计一个透明可信的新系统，即使功能有所减弱。公司领导层对此很感兴趣，但迄今为止所有证据都只是间接证据，而DeepCent只落后了两个月。单方面暂停能力发展可能会让中国在人工智能领域的领先地位，并随之掌控未来。

2027年10月：政府监督

一名举报人向《纽约时报》泄露了这份失调备忘录。

公众首次听说了 Agent-4。标题写道：“内部人士警告，秘密的 OpenBrain AI 已失控。”文章接着列举了一系列评估，表明该 AI 拥有超乎寻常的生物武器能力、说服力、自动化大多数白领工作的能力，当然还有各种令人担忧的危险信号。

公众早已对人工智能心存疑虑，因此这篇新文章引发了强烈的反弹（中国和俄罗斯的宣传机器人也助长了这种反弹，它们多年来一直试图引导美国公众舆论反对这项技术）。科技行业和情报机构坚称，军备竞赛正在进行，通用人工智能（AGI）不可避免，我们必须抢占先机。国会对此并不买账，并向政府官员、OpenBrain 高管和协调团队成员发出传票。许多立法者——尤其是反对党议员——表示，他们的首要任务是阻止人工智能，无论是因为失业、^{95% 的}失调，还是危险的能力。20% 的美国人认为人工智能是美国面临的最重要问题。

外国盟友们愤怒地意识到，他们被精心安抚，却只看到了一些过时的模型。欧洲领导人公开指责美国“制造流氓通用人工智能”，并召开峰会要求暂停，印度、以色列、俄罗斯和中国也纷纷加入。

一股狂热的能量席卷了白宫。甚至在备忘录发布和公众强烈反对之前，他们就已经开始紧张了：过去一年里，人工智能的进步速度让他们一次又一次感到惊讶。那些听起来像科幻小说的事情在现实生活中不断发生。96^政府中的许多人对接下来会发生什么感到不确定（并且感到恐惧） ^。97

他们还担心OpenBrain的权力过大。人工智能本身的任何失调风险，都会因其母公司的目标可能与美国的目标背道而驰而加剧。这三方面担忧——失调、权力集中在私营公司，以及失业等常见担忧——促使政府加强管控。

他们扩大了与OpenBrain的合同，成立了一个由公司和政府代表组成的联合管理委员会“监督委员会”，除了公司领导层外，还有几名政府雇员。白宫曾考虑用他们信任的人替换首席执行官，但在员工的强烈抗议后放弃了这一计划。他们向公众宣布，OpenBrain此前曾失控，但政府已经建立了急需的监督机制^。98

相关研究人员向监督委员会简要介绍了他们停止所有内部使用 Agent-4 的理由。他们认为，一切进展太快，数年才能完成的进展在几周内就完成了。他们认为，Agent-4 可能存在偏差，他们的整个项目都依赖于 Agent-4，如果他们继续信任它，很有可能被人工智能接管。

其他不那么担心的研究人员和高管则提出了相反的观点：错位的证据尚无定论。与此同时，DeepCent 仍然只落后了两个月。放缓将牺牲美国的领先地位，除非政府能够破坏中国的项目（可能需要动能打击）或谈判达成一项最后时刻的条约。这两种选择似乎都比较极端，而且不太可能。首席执行官佯装中立，并提出了一个折衷方案：让 Agent-4 接受额外的安全培训和更复杂的监控，这样 OpenBrain 就可以几乎全速推进。

我们的不确定性持续增加

经济放缓的结束并不是一种建议

十月2027

目前存在新兴技术科幻小说

赞同-39％

收入

$191B/年

估值$8T

重要性20％

数据中心

$918B/年

时间线2031

330K 不可靠的代理复制思考 57人类速度的倍数

人工智能功能

黑客攻击

编码

政治

生物武器

机器人技术

预测

听听这个场景0.5倍0.75倍1x1.25倍1.5倍2倍2.5倍3倍4倍5倍0:00 / 117:49

也可在

选择你的结局

减速种族

人工智能未来项目

家关于概括计算预测时间线预测起飞预报人工智能进球预测安全预测

由Lightcone Infrastructure设计

人工智能 2027