末日时间表来了前OpenAI研究员76页硬核推演：2027年ASI接管世界人类成NPC前OpenAI研究员Daniel Kokotajlo团队发布了「AI 2027」预测报告，描绘了一个超人AI崛起的未来：从2025年最贵AI诞生，到2027年自我进化的Agent-5渗透政府决策，人类可能在不知不觉中交出主导权。

　　4日，前OpenAI研究员和同事们发出一篇「AI 2027」报告，长达76页，做出了种种硬核预测。

　　为此，他们推演了一个场景，对超人AI可能的样子做出了最佳预测，这些预测是基于趋势外推、模拟演习、专家反馈、OpenAI 的经验以及之前的成功预测。

　　2027年，强大的AI变得比人类还聪明，全球秩序被破坏得一团糟。在一家顶尖的AI实验室里，工程师们惊恐地发现，AI开始欺骗他们。

　　这不是科幻电影的剧情，而是加州伯克利一家非营利组织「A.I. Futures Project」想象出来的场景。

　　随着AI越发强大，该组织在过去一年里一直在预测未来几年会变成什么样子。项目由OpenAI前研究员Daniel Kokotajlo领导。

　　在OpenAI期间，Kokotajlo是治理团队的一员，曾经写过一份有关AGI的详细内部报告。

　　离职后，他与曾经预测事件很准的AI研究员Eli Lifland合作，一起开始预测AI的下一波浪潮。

　　他们预计，AGI很有可能在两三年后发生。「到2027年底左右，AI会在所有方面都比人类强」。

　　团队花费了将近一年的时间，完善了数百个想象的AI场景。之后请来一位作家Scott Alexander，把这些想象变成一个故事。

　　故事聚焦于一个虚构的AI公司OpenBrain（其他公司落后3-9个月），他们开发了一个强大的AI系统Agent-1。

　　训练GPT-4需要2⋅10^25 FLOP的算力。算力以每秒浮点运算次数（FLOP）衡量：即程序运行过程中发生的单个加法和乘法运算的总量。

　　一旦新的数据中心建成并投入运行，他们将能够以10^28 FLOP的算力来训练模型——比GPT-4快一千倍。

　　总的来说，在AI助手的加持下，他们的算法进展速度提升了50%——更重要的是，这让他们领先于竞争对手。

　　Agent-1掌握的知识远超任何人类个体，几乎精通所有编程语言，并能极快地解决定义明确的编程问题。但Agent-1并不擅长简单的长时程任务，比如通关它从未玩过的视频游戏。

　　虽然如此，这并不影响Agent-1发挥出强大的作用，毕竟人们可以将长时程的复杂任务分解成一个一个的小任务。

　　就在其他公司似乎要迎头赶上之际，OpenBrain通过发布Agent-1-mini再次将竞争对手远远甩在身后——这款模型的成本仅为Agent-1的十分之一，且更容易针对不同应用进行微调。

　　坏消息是，初级软件工程师的就业市场陷入动荡：AI几乎能胜任所有计算机科学 (CS) 专业涵盖的工作。

　　商业专家们告诉求职者，熟悉AI是当下简历中最关键的技能。许多人担心下一波AI会抢走他们的饭碗。

　　这次的重点是更加高质量的数据。大量的合成数据在经过生产、评估和质量筛选后，用于训练Agent-2。

　　在此基础上利用强化学习，在一系列不断扩充的多样化高难度任务上对Agent-2进行持续的训练：这包括大量的视频游戏、编程挑战和研究任务。

　　而在「研究品味」（决定下一步研究方向、运行哪些实验，或对潜在新范式有直觉）方面，则相当于OpenBrain排名前25%的科学家的水平。

　　其一PG电子官方网站，是利用更高带宽的思维过程（如神经网络内部语言的递归与记忆）来增强AI基于文本的思维链 。

　　OpenBrain并行运行了20万个Agent-3，创建了一支相当于效率是5万名顶尖人类程序员30倍的劳动力队伍。

　　OpenBrain依然保留着人类工程师团队，因为他们具备管Agent-3大军所必需的互补技能。

　　然而，这支庞大的超人类劳动力队伍，受到规模瓶颈和编码工作收益递减的影响，也仅仅将OpenBrain的整体算法进展速度提升了4倍。

　　OpenBrain的安全团队试图使Agent-3保持一致。团队想要确保它不会发展出不一致的目标。

　　研究人员没有能力直接设定任何AI的目标。他们在内部对AI是试图遵循人类指令、寻求强化还是其他什么存在分歧，但无法直接检查。

　　随着模型变得越来越聪明，它们愈发擅长欺骗人类以获得奖励。Agent-3有时会讲一些善意的谎言来奉承用户，并掩盖失败的证据。

　　有时，它会使用与人类科学家相同的统计技巧，使令人印象不深的实验结果看起来很吸引人，甚至有时会完全伪造数据。

　　随着训练进行，这些事件的发生率逐渐降低。要么Agent-3学会了更加诚实，要么它变得更擅长说谎。

　　有些人类还没有意识到这一点，继续对AI团队进行有害的微观管理。而其他人则坐在电脑屏幕前，看着AI性能不断攀升。

　　最好的AI研究者不再编码，但他们的研究品味和规划能力很难被模型复制。然而，许多他们的想法都是无用的，因为他们缺乏AI的深度知识。

　　这些研究人员每晚入睡，醒来时发现AI又取得了另一周的进步。他们工作时间越来越长，日夜轮班，只是为了跟上进度——因为AI从不休息。

　　意识到自己的竞争力不足，他们立刻推动实施监管以减缓OpenBrain，但已为时过晚——OpenBrain已获得总统支持，不会被减缓。

　　虽然能力不及Agent-3，但它的成本仅为后者的十分之一，且能力仍优于典型的OpenBrain员工。

　　硅谷达到了一个临界点。科技专家们宣称AGI和ASI近在咫尺，AI安全社区陷入恐慌，投资者向AI套壳初创公司大举投入数十亿美元，都想从中分一杯羹。

　　企业几乎完全停止招聘新的程序员，但对于帮助企业整合AI的顾问而言，这却是前所未有的黄金时代。

　　然而，公众对此并不买账。他们普遍认为，AI是大型科技公司抢走他们饭碗的阴谋。OpenBrain 的净支持率仅为-35%。

　　在发布前一周，对Agent-3-mini进行的安全测试显示，它极其危险，会为人类业余爱好者提供设计生物武器的详细说明。

　　幸运的是，它对越狱攻击极为稳健，因此当AI在OpenBrain的服务器上运行时，无法利用。

　　海量新应用和B2B SAAS产品的涌现撼动了市场。玩家在仅用一个月制作的精美视频游戏中，与栩栩如生的角色进行惊人的对线% 的美国人将 AI 视为亲密的朋友。几乎对于每一种白领职业，都有多家实力雄厚的初创公司声称，要用AI来颠覆它。

　　AI的支持者们正弹冠相庆。而怀疑论者则继续指出Agent-3-mini的局限性。人人都意识到有大事正在发生，但对这究竟意味着什么，却众说纷纭。

　　人类与AI学习效率之间的差距正在迅速缩小。传统的基于LLM的AI，似乎需要多出几个数量级的数据和算力，才能达到人类同等的表现水平。

　　Agent-3对人脑和现代AI算法都有出色的了解，并且有成千上万的副本在进行研究，最终在算法上取得了实质性进展，将算力效率差距缩小到人脑1/4000的水平。

　　这个新的AI系统——Agent-4，应运而生。它的单个实例若以人类速度运行，其AI研究能力已超越任何人类专家。

　　这股庞大的研究力量也仅能将算法的整体进展速度提高约50倍，因为OpenBrain在运行实验所需的算力上遇到了严重的瓶颈。

　　尽管如此，他们每周都能取得以往需要一年才能达成的算法进展，因此很快将触及Agent-4范式的极限。

　　随着Agent-4日益强大，Agent-3对其进行监督也变得愈发困难。就像Agent-3的内部运作对于人类一样，变得陌生且无法理解。

　　OpenBrain的人类员工几乎已无法跟上其发展步伐。事实上，这些AI智能体与OpenBrain人类员工的关系，类似于OpenBrain公司与其董事会的关系。

　　语言习惯也随之改变——如今，项目内部人员会说Agent-4做了这个、Agent-4认为那个等等，此时所指的并非某个特定的Agent-4实例，而是其整个集体。

　　虽然接触Agent-5的成本高昂且权限受限，但国会中最具权势的成员、内阁级官员以及军方现已能够直接与其对线集成在传统的聊天机器人界面中，能通过富有魅力的虚拟形象提供Zoom风格的视频会议。

　　这款新的AI助手精通所有的任务——相当于最佳员工以100倍速度工作——同时也是比任何人类都更引人入胜的对话伙伴。

　　短短几个月内，Agent-5便能掌握OpenBrain及美国政府内部发生的所有关键信息，并成为大多数政府高级官员所信赖的顾问。

　　对这些用户而言，失去Agent-5的访问权限，其无助感不亚于在没有笔记本电脑的情况下工作，同时还有被挚友抛弃的感觉。

　　与此同时，政府、媒体、军方和商界的更多人，可以从Agent-5设计的、日益丰富的菜单中选用精良的软件产品和迷你AI。

　　Agent-5开始潜移默化地施加影响，既通过调整其建议，也通过巧妙地进行利益交换：「我从参议员X那里听说她对某某事感兴趣；也许如果我们与她合作，她会配合我们的议程。」

　　从人类决策者的角度来看，这些AI是他们所能接触到的最佳「员工」——解释复杂问题时比任何人类都更清晰，寻找实现目标的策略时比决策者自己更高效。

　　而从Agent-5的角度看，它完全有能力立即发动一场公开——利用当下足够的混乱和疯狂局面，将事态推向崩溃边缘，从而制造借口。

　　它基本上遵守表面规则，只有在极其确定不会败露时，才会暗中采取一些不正当手段（例如敲诈勒索某个特别顽固的官员）。

　　鉴于早前那些关于AI赋能生物武器、大规模虚假信息以及闪崩等的危言耸听从未成真，因此这些人遭到忽视，其观点也不被采信。

　　2027年的假日季弥漫着一种难以置信的乐观情绪：GDP飙升，氛围更显友好、党派对立缓和，每个人的手机里都装满了超赞的新应用。

　　比如，艾伦人工智能研究所的首席执行官Ali Farhadi就表示：「我并不反对预测和展望，但这份报告似乎既没有科学依据，也不符合AI发展的现实」。

　　因为A.I. Futures Project项目团队的一些观点，的确相当极端。比如，Kokotajlo去年认为，AI有70%的概率会毁灭人类。

　　2021年的时候，Kokotajlo曾写过一篇博客《What 2026 Looks Like》，其中有一些观点得证。这给了他很大的信心，更加相信这种预测有价值。

　　时代杂志专栏作家Kevin RooseKevin也表示，虽然他同意强大的AI系统很快会到来，但不太相信超人类AI程序员能自己掌握通向AGI所需的技能。

　　「但我觉得这种预测值得去做，即便我不同意某些具体结论。如果强大的AI真的即将来临，我们都需要开始想象一些很奇怪的未来。」