# 雄心的尺度 LLMS 索引： [llms.txt](/llms.txt) --- 如果说有一个人可以被誉为最早确立OpenAI规模化扩展（scaling）理念的人，那便是其联合创始人伊利亚·苏茨克维尔。苏茨克维尔对深度学习的笃定信念由来已久，这一切始于他年仅十七岁、某天不约而至地敲响杰弗里·辛顿办公室那扇门的那一刻。彼时，苏茨克维尔还是多伦多大学的数学系本科生，靠在附近一家小餐馆炸薯条贴补生活。他急切地叩开辛顿的门，表明自己渴望加入教授的研究室。辛顿让他预约时间再谈。"好的，"苏茨克维尔站在原地一动不动，"那现在怎么样？" 苏茨克维尔很快便融会贯通了连接主义的核心理念。他对研究问题的直觉把握，以及发掘优雅而有效解法的非凡能力，令辛顿大为叹服。他也为研究工作带来了自己独特的激情气质——有时因某个新想法而兴奋至极，竟在合租公寓中央倒立做起俯卧撑。他惯于发表毫不含糊的断言。"不要与深度学习对赌，"他常说，"成功是注定的。" 正是这种直觉，加上亚历克斯·克里热夫斯基的编程能力，造就了2012年ImageNet上的突破性成果——至少辛顿是这样认为的。当时，深度学习在语音识别领域已展现出巨大潜力，辛顿并未特别在意将其应用于计算机视觉的意义。苏茨克维尔力主这一想法。在伊利亚看来，"它显然会奏效，显然会是一件大事，"辛顿说，"他看得非常清楚，而且他是对的。" 苏茨克维尔带着对深度学习的坚定信仰加入OpenAI，而此时学界对这一范式的信心正开始动摇，Gary Marcus等批评者呼吁寻求新的思路。苏茨克维尔没有动摇。他的信念建立在连接主义的一个简单假说之上：神经网络中的人工节点足以近似生物大脑中真实的神经元。二者都接受输入并将其转化为输出；这种相似性已经足够，据此可以假定节点如同神经元一样，能够用于构建高度复杂的信息处理系统。作为OpenAI的创始研究总监和广受尊重的AI远见者，苏茨克维尔对实验室的研究方向拥有充分的主导权。他赢得了科学意义上的彩票大奖——同辈之间几乎没有竞争，又有充裕的资源来推进自己的想法。"非深度学习的方向根本不在考虑之列，"加州大学伯克利分校教授Pieter Abbeel回忆实验室早期岁月时说道。 苏茨克维尔对深度学习的信念有多坚定，他对规模化扩展的立场便有多决绝。正是他持有一个在当时颇为极端的观点：AI的进一步发展无需发明更复杂的神经网络，也无需任何新的创新技术。他常说，不同物种的智能与其生物大脑的体量相关。因此，如果节点类似于神经元，数字智能的进步就应当通过将简单的神经网络扩展至拥有越来越多的节点来实现。 苏茨克维尔像一位运营实验室的教授，依据上述理念为他人指点哪些项目最值得追求。许多科学家正是为了寻求他的指导而加入OpenAI。"伊利亚能看到十年后的未来，"一位OpenAI研究员说，与其他共事者的说法如出一辙。"他像个哲学家，"另一人说，"你把一堆想法摆在他面前，他会告诉你哪些在哲学上是正确的。" 苏茨克维尔自己并不经常编程。他有时对技术工作不亲力亲为的作风让一些员工感到不满。一位工程师坦言，起初他觉得苏茨克维尔基本上没什么用——此人似乎只是在办公室里踱来踱去，闯入各种会议，一遍遍重复同一个词：扩展！扩展！扩展！但这位工程师后来逐渐体会到了苏茨克维尔的价值，欣赏他凭一个单一聚焦来凝聚人心的那种信念——这种信念最终将使当时还是弱势一方的OpenAI，在谷歌（Google）和DeepMind的主场上击败它们。 苏茨克维尔并不特别擅长说服人。如果说阿尔特曼是政客，苏茨克维尔则恰恰相反。他从不拐弯抹角，也不修饰措辞以迎合听众。他只是以一种原始的真诚和惊人的自信表达自己的看法，听者要么与之共鸣、深受鼓舞，要么丝毫无感。OpenAI改变立场、不再公开分享研究成果之后，苏茨克维尔不会为这一决定的缘由加以粉饰。"坦白说，我们错了，"他在接受《The Verge》AI记者James Vincent采访时就公司当初对透明度的承诺直白地说，"如果你相信——正如我们所相信的——在某个时刻，AI，也就是AGI，将会变得极其、难以置信地强大，那么开源就根本说不通。"商业层面的考量同样无从回避，他也照实说了。"GPT-4可不容易开发。它耗费了OpenAI几乎全体成员极其漫长的共同努力才得以诞生。而想做同样事情的公司多得是。" 随着OpenAI的壮大和苏茨克维尔知名度的提升，他这种不加过滤的表达方式有时成了一种负担。他的听众不再只是研究人员，已扩展至普罗大众。但他依旧如故，从不调整自己的表达方式。他一如既往地以惯有的强烈自信发表言论，却愈发缺乏对普通听众而言不可或缺的背景说明。2022年，他在推文中写道："当今的大型神经网络或许已经略具意识"——彼时，其他研究者正在警告，此类言论可能在公众中助长对这项技术的误解。一位专门研究认知与意识的DeepMind科学家在评论区回应道："……就像一大片麦田可能略微带点意大利面的属性一样。"次年，苏茨克维尔在一场会议上宣称AGI终将消灭所有工作岗位，引发恐慌。同年秋天，在OpenAI一位领导人因随口将与ChatGPT对话等同于持牌专业心理治疗而在网上引发争议之后，苏茨克维尔毫无科学依据地在X上宣称："未来……我们将拥有*极其有效*且极其廉价的AI心理治疗。" 吸引人们追随苏茨克维尔的，是他的声望与资历。OpenAI的许多员工早已熟知他对这一领域的早期贡献，有些人甚至将他视为某种先知。随着时间推移，随着OpenAI的成就日益显赫，苏茨克维尔的举止也愈发像个先知。在全员大会上，他会走到众人面前，深吸一口气，来回踱步制造气氛，再缓缓说出一些语焉不详的励志之词。2020年9月的一次线上会议中，他目光游离，望向远处，描绘出一幅科幻小说般的未来景象。彼时，湾区户外的天空因附近山火而染成橙色。"那种感觉极度超现实，因为已经像是末日降临了，"一位研究员回忆道。 2022年底ChatGPT发布后不久，OpenAI在加州科学院举办了节日派对。苏茨克维尔身穿OpenAI T恤、外搭黑色西装，走到人群前与布罗克曼一同发表简短致辞。讲话将尽，苏茨克维尔——依然清瘦如昔，只是头发已开始稀疏——道出了他的新口头禅。"感受AGI，"他说，"感受AGI。" --- 沿着苏茨克维尔关于规模化扩展（scaling）简单神经网络的思路，OpenAI 早期面临的核心问题变成了：究竟该扩展哪一种？不同研究人员提出并尝试了各种方案，但当时在业界已广受关注的神经网络，似乎都不能完全满足要求。 2017 年 8 月，随着谷歌（Google）发明了一种名为 Transformer 的新型神经网络，局面为之一变。Transformer 擅长捕捉长程模式。回想一下早年 iPhone 上那些简陋的预测输入功能，以及它们衍生出的各种表情包——那些语无伦次、前言不搭后语的句子，正是短程模式分析的产物：神经网络只会把每个词与紧邻的词联系起来考量。Transformer 则能够摄入大量文本，并在更广阔的上下文中审视每一个词、每一个句子、每一个段落。谷歌将 Transformer 视为改进搜索引擎、Google 翻译及其他依赖语言处理的服务的利器。苏茨克维尔却从中看到了另一种可能。Transformer 是简单且易于规模化扩展的神经网络，正是他一直在寻找的那类模型。他开始在办公室积极推介。 苏茨克维尔的热情让一些研究人员感到费解。"感觉像是个奇怪的想法，"麻省理工学院研究员 Yilun Du 回忆道，他当时刚以研究员身份加入 OpenAI。"Transformer 在当时感觉只是一个小众架构。"但苏茨克维尔曾在辛顿门下攻读博士，论文方向正是 Transformer 的前身架构，他深知这类模型将深度学习推向新台阶的潜力。OpenAI 内部也有人同样兴奋。一批研究人员开始尝试这一架构，其中包括亚历克·拉德福德——一位从波士顿地区奥林工程学院辍学的年轻人，技术能力出众。他开始在笔记本电脑上反复折腾，常常工作到深夜，试图将 Transformer 扩展哪怕一点点，然后观察会发生什么。 拉德福德用一个包含七千余本未出版英文书籍的数据集来训练谷歌的神经网络，涵盖言情到冒险等多种类型，数据集来源于其他 AI 研究人员此前为另一项目整理并开源的语料库。在实验过程中，他做出了一个影响深远的决定：改变 Transformer 需要学习的任务。谷歌用 Transformer 做语言翻译，他却将其切换为通过预测句子中最可能出现的下一个词来学习文本生成。OpenAI 研究人员早已假设，生成式模型将是迈向 AGI 的重要一步。公司在一篇博客文章中用高度拟人化的表述解释道，这种情形类似于理论物理学家理查德·费曼的一句名言："凡我不能创造的，我便不能理解。"苏茨克维尔在内部有另一套说法：训练模型生成令人信服的内容，将迫使它把关于世界的数据压缩为其本质。"智能即压缩，"苏茨克维尔常说，并在 2016 年的一份备忘录中详加阐述了他的坚定信念——压缩其实是实现通用人工智能所需的唯一要素。从更具体的层面来说，拉德福德发现，赋予算法通过下一词预测来生成令人信服文本这一简单目标，确实能让它在更深层次上习得英语的细微之处与结构规律。 马斯克某次来访期间，拉德福德向他演示了工作的早期进展。当时模型生成的文本质量低劣，马斯克毫无兴趣。拉德福德起初颇感沮丧。但在继续深入研究之后，结果令他大为惊讶。Transformer 进步迅速，在一系列语言处理任务上的表现——如对文档进行摘要或问答——远超他此前尝试过的所有方案。 2018 年，OpenAI 发布了该模型的第一个版本，命名为"生成式预训练 Transformer"（Generative Pre-Trained Transformer），后简称 GPT-1。名称中的第二个词"预训练"是 AI 研究领域的专业术语，指先在通用数据池上训练模型，作为其后续学习特定任务的基础。换言之，GPT-1 在通用英语语料上完成了训练，形成了对这门语言运作方式的粗略近似。此后，模型可以通过在更精细的数据集上训练来进行"微调"或专项化——例如用莎士比亚剧作训练，使其学会生成莎士比亚风格的散文。GPT-1 几乎没有引起任何关注。但这仅仅是开始。拉德福德已足够充分地验证了这一思路，足以支撑继续推进。下一步，便是更大规模的扩展。 --- Radford 获得了公司最宝贵资源的更多配额：算力。他的工作与 Amodei 主导的一个 AI 安全新项目相互契合，该项目的思路与尼克·博斯特罗姆《超级智能》一书的论述一脉相承。2017 年，Amodei 麾下的一支团队开始探索一种让 AI 系统与人类偏好保持一致的新技术。他们从一个玩具问题入手，在类似电子游戏的虚拟环境中训练一个 AI 智能体完成后空翻。这个智能体是一根 T 形棒的模拟，棒身上有三个关节。团队没有直接向智能体下达「学习后空翻」的目标，而是通过反馈来引导它：他们雇用承包商观看智能体在环境中随机扭动翻转的过程，并定期要求承包商对比两段动作视频，选出更接近后空翻的那一段。大约经过九百次比较之后，这根 T 形棒成功地在关节处蜷缩起来，完成了翻转。OpenAI 在一篇博客文章中将这一技术宣传为让 AI 模型遵循难以明确指定的指令的方法。团队研究人员将其称为「基于人类反馈的强化学习（RLHF）」。 Amodei 希望超越玩具环境，而 Radford 在 GPT-1 上的工作使语言模型看起来是一个不错的选择。但 GPT-1 的能力太有限了。「我们想要一个语言模型，人类可以对它提供反馈并与它互动，」Amodei 在 2019 年告诉我，「而且语言模型要足够强大，能够让我们真正就人类的价值观和偏好展开有意义的对话。」 Radford 与 Amodei 携手合作。Radford 着手收集规模更大、来源更多样的数据集，Amodei 和其他 AI 安全研究人员则逐步训练出参数量更大的模型。他们的目标是一个拥有 15 亿参数（即变量）的最终模型，这在当时是业界规模最大的模型之一。这项工作进一步印证了 Transformer 架构的价值，同时也验证了 Amodei 另一支团队在研究 OpenAI 定律之后开始发展的一个想法。经验规律不止一条，而是有很多。他的团队将这些规律统称为「缩放定律」。 如果说 OpenAI 定律描述的是该领域过去扩充资源以提升 AI 性能的速度，那么缩放定律描述的则是深度学习模型的性能与三个关键输入之间的关系：模型训练数据的规模、用于训练的算力，以及模型的参数量。此前，AI 研究人员普遍认为，将这些输入大致按比例同步增加，也能带来模型能力大致成比例的提升。Amodei 和他团队的惊人发现是：这些输入中的每一项与模型在特定可量化任务（例如下一个词预测）上的性能之间的关系，都可以用一条平滑曲线来描述。换言之，对于与下一个词预测高度相关的某项离散能力（比如文本生成的流畅度），可以高精度地预估出：若要达到预期性能水平，需要投入多少数据、多少算力、设置多少参数。对于相关性稍弱但仍有一定关联的能力，增加这些输入同样应能带来性能提升。 OpenAI 在训练最终 15 亿参数版本之前所产生的一系列模型，清晰地印证了这一关系。每个模型都整整齐齐地落在一条能力递增的曲线上。因此，当最大的那个模型——他们将其命名为 GPT-2——问世时，它大幅超越了 GPT-1 幼稚的文本生成能力，能够生成足够连贯的长篇文字，以至于可以与人类写作混淆，也就不足为奇了。与如今的模型相比，生成的文字仍显笨拙，常常滑入语无伦次。但这是有史以来第一次，大规模自动化写作突然成为可能。 然而，令团队更感不安的，是 GPT-2 凭借这种新获得的连贯性所生成的内容。只需输入「希拉里·克林顿」或「乔治·索罗斯」等寥寥数词，这个更加健谈的语言模型便能迅速滑向阴谋论。混入训练数据中的少量新纳粹宣传内容，会以令人毛骨悚然的方式浮现出来。这种出人意料的劣性表现令 AI 安全研究人员深感不安——他们将其视为征兆，预示着更强大、更失控的 AI 未来可能带来的滥用风险。在 GPT-2 生成了一段抨击垃圾回收的檄文（「垃圾回收对世界有害无益。它有害环境，有害健康，也有害经济。」）之后，一位 AI 安全研究人员将其打印出来，半是玩笑、半是警示地贴在了办公室的回收桶上方。 还有一次，有人提示 GPT-2 为孩子完成作业和做家务制定一套奖励方案。当 GPT-2 建议用糖果作为奖励时，一些 AI 安全人员再度感到不安，称这是恋童癖者的惯用手段。一名欧洲员工对这种联想感到困惑。「我妈肯定这么干过。夏天的周日，做完家务就有冰淇淋。」他回忆道。他不禁想，这种过度敏感是否某种程度上是美国特有的文化现象。这是令他质疑 OpenAI 宏大目标之基本前提的诸多时刻之一：当它缺乏真正意义上的全球代表性时，它又怎能造福全人类？即便作为一个来自与美国文化高度重叠的欧洲人，他也常常感到格格不入——AI 安全乃至其他诸多讨论中，美国价值观和美国规范的强势主导让他备感疏离。 GPT-2 在公司内部引发了一场争论。OpenAI 是否已到了该开始限制研究成果发布的时候？公司章程早已为这种可能性预留了空间。彼时已晋升为研究总监的 Amodei，与负责政策工作、以他自己的方式忧虑存亡级风险及其他危险的 Jack Clark，共同主导了这一决策。他们开展了一次内部调查，并召开了数次「信息危害」专题会议，讨论这项技术可能遭受的滥用。他们认为，一旦 GPT-2 落入恐怖分子、独裁者或标题党内容农场之手，该模型便可能被用于险恶目的。尽管这一次看起来尚不构成存亡级风险，但未来的模型只会愈发强大，这种可能性也将随之升高。尽早树立限制研究发布的先例，是更明智的选择。他们决定：OpenAI 不应发布完整版本。 --- Jack Clark 曾是一名记者，后来出任 OpenAI 战略与传播总监，2018 年底彻底转型，专注于拓展公司初具规模的政策影响力。他频繁往返华盛顿，乐于充当政策制定者眼中那个随叫随到的 AI 顾问。他常对他们说："我就像 AI 版维基百科。"他还会坦言自己来自 OpenAI 的"立场"——他自己这样称呼："我们希望为先进技术创造一个稳定的政策环境，能够跨越多届政府持续运作，因为我们的使命不可能在一个总统任期内完成。" 向我讲完这些之后，他补充道："我们非常幸运，政策制定者愿意给我们相当多的时间。我认为很明显，要让事情顺利推进，我们只是希望他们掌握更多信息，也希望他们具备更强的自主获取信息的能力。" 2019 年 2 月，Clark 发动了一场媒体攻势，向各大媒体大肆宣扬 OpenAI 开发出了一项危险技术，因此决定不予公开发布。取而代之的是，他们将仅发布一个缩小版——参数量只有完整模型的 8%——让公众对其能力有所了解。他与 Amodei 等人联合撰写了一篇博客文章，附上 GPT-2 的生成样本，以呈现其完整潜力。"很明显，如果这项技术走向成熟——我估计还需要一两年——它就可能被用于虚假信息或宣传，"他对我当时在《麻省理工科技评论》的同事 Will Knight 说。Clark 刻意回避了一个事实：正是 OpenAI 自己在按这一时间表推动技术走向成熟。"我们在努力抢占先机，"他说。 OpenAI 此举在外部研究者中引发了强烈反弹。这些研究者坚守一个原则：开放科学是这一领域的基石，任何不参与其中的机构都值得怀疑，更何况还公开吹嘘这一决定。许多人也认为，OpenAI 对这款本质上不过是强化版自动补全软件的产品大加渲染、危言耸听，既失当又荒唐。GPT-2 远未达到构成严重威胁的程度；退一步说，即便真的构成威胁，为何要大肆宣传却又拒绝接受公众审视？整件事显得虚伪透顶，像是一场自我标榜的炒作秀。在斯坦福，Radford 就 GPT-2 作完演讲后，一位资深自然语言处理教授举手提出了最后一个问题。"那么，它危险吗？"他嘲讽道。全场哄堂大笑。"Alec 看起来很沮丧，"现场一位斯坦福研究人员回忆说，"斯坦福对 OpenAI 充满鄙视。" OpenAI 内部，许多研究人员同样对 Amodei 和 Clark 的决定心存不满。对于那些不认同两人关于灾难性风险判断的人来说，无论是这一裁定本身，还是随之而来的媒体闹剧，都令人困惑不解。即便是认同这一判断的人，也有人质疑两人的决策是否妥当。"把这件事搞得这么大是个错误，"一位 AI 安全研究人员对我说，"感觉像是狼来了。" 反弹声浪甫起，Clark 便在办公室里来回踱步，精力亢奋地接连打电话，努力重新掌控局势。他对这场风波不以为然。"我们在打破常规，这自然会引发各种不同看法，"后来他在我登门拜访时说。他表示，从事前沿 AI 研究的机构迟早都得对发表什么更加审慎。OpenAI 率先试验这一流程应当如何运作，以免届时措手不及。"如果我们是对的，如果构建 AGI 真的可行，"Clark 说，"我们他妈的就需要一套非常完善的信息危害处理程序。" 他补充说，研究人员或许不喜欢 OpenAI 的这一动作，政策制定者却买账。华盛顿圈子里的很多人认为 AI 研究领域的开放文化颇具威胁。OpenAI 逆流而行的姿态，为它在华盛顿赢得了更多信任。 然而在幕后，领导团队也清楚，来自研究界的敌意长远来看难以为继。这家实验室正应对着接连叠加的声誉危机：先是对 AGI 的夸张宣称，再是对 GPT-2 等产品的过度营销，而今又在 2019 年初宣布了那个"弗兰肯斯坦式"的架构——各方批评接踵而至，顶尖研究人员对其的疑虑与日俱增。加之股权期权尚无实际价值，招募和留住人才依然困难重重。员工们不禁暗想，外部候选人拿到 OpenAI 的邀约，不过是为了在谷歌（Google）或 DeepMind 的谈判桌上多一个筹码。OpenAI 迫切需要找到一种方式，让自己作为研究机构的身份得到认可。 这一话题频繁出现在午餐闲聊和公司会议中，也见于一份名为"研究社区拓展头脑风暴"的内部文件。文件的"战略"一节写道："明确将机器学习社区视为传播利益相关方。""调整我们的语气和对外信息，只在我们主动选择时才与其产生对立。"文件也承认，不良的研究声誉最终会削弱 OpenAI 在华盛顿的影响力。"要在政府层面拥有政策影响力，我们必须被视为机器学习研究和 AGI 领域最值得信赖的权威，"文件的"政策"一节写道，"来自研究社区的广泛支持和背书，不仅是赢得这一声誉的必要条件，更将放大我们的声音。" Clark 的团队制定了一项新方案：分阶段发布。OpenAI 不再无限期扣押 GPT-2，而是将其开发的逐步放大的各版本模型错峰发布，若一切顺利，最终再公开完整的 15 亿参数版本。团队表示，此举将使 OpenAI 及其他各方得以循序渐进地观察并应对可能出现的后果，同时为实验室在各阶段之间与其他机构合作研究潜在风险争取时间。 Clark 向团队强调，通过这些合作伙伴关系构建生态系统至关重要。与知名机构合作，既能推动业界与学术界在应对 AI 安全风险方面展开更广泛的协作，也能为 OpenAI 推动改变研究发布规范的努力争取更多认可，同时有助于提升实验室的声誉。他的团队联络了数家机构的 AI 研究人员和安全研究人员，向他们提供了 GPT-2 完整版本的提前访问权限，以测试其被用于有害目的的可能性。Clark 要求团队从每位研究人员所在机构争取"最强有力的背书"，使 OpenAI 不仅能点名个人，更能将其所在机构列为合作伙伴。团队随后撰写了一份白皮书，宣传其发布策略，并重点介绍上述合作关系。他们还通过列举 GPT-2 发布后同样未立即公开研究成果的其他机构案例，将 OpenAI 塑造成行业领导者。 这些努力最终得到了回报。没过多久，"暂缓发布研究成果是管理 AI 安全风险的负责任做法"这一观念便在各行业组织和政策智库中引发了广泛讨论。2020 年底，Clark 将与 Amodei 兄妹一同离开 OpenAI，共同创立 Anthropic。在此之前，他在 OpenAI 的工作已为该机构建立起广泛影响力，并为其日后宏大的政策布局奠定了基础。 --- OpenAI 开始建立路线图，以系统化推进其研究。Amodei 把它当作投资组合来管理，称之为"押注组合"。他和其他研究人员持续追踪领域内的各种思路——这些思路来自不同的 AGI 实现哲学——并通过小规模实验逐一推进。看起来有前景的，继续推进；没有苗头的，果断放弃。 夺取 Dota 2 视频游戏冠军的项目，是 Amodei 认为已无多少价值的方向之一。Dota 2 团队在四月击败对手、完成目标，帮助促成了微软（Microsoft）的投资，也让一些人对公司规模化扩展（scaling）战略重新建立了信心。在他看来，这个项目已走完它的使命，Dota 2 团队随之解散。 Amodei 认为仍具持续潜力的，是 GPT-2。它代表着一种在业内被称为"纯语言"假说的押注。该理论认为，语言是人类交流的主要媒介，这意味着世界上所有知识最终都必须以文字形式记录下来。由此推论，AGI 应当能够从海量语言训练中自然涌现，别无其他。这一思路与"接地"假说截然相反——后者主张，物理世界以及人类感知和与之互动的能力，是智能同样不可或缺的构成要素。在接地假说看来，AGI 只能从语言与感知（如计算机视觉）的结合中涌现，还需要交互——例如通过在现实或虚拟世界中采取行动的物理或虚拟智能体。 在公司内部文件中，研究人员对各种方法的优劣进行了权衡。AI 安全团队曾一度援引令人不安的残障类比，来讨论"纯语言"假说的价值。 这些讨论揭示出，对智能的衡量如何能迅速滑向对哪类人群智能更高或更低的骇人评判。 "某种形式的语言，是野生人类与社会人之间的区别。例证：海伦·凯勒。"这句话出现在标题为"语言居于核心地位的若干初步论据"的文件中。页边距里，AI 安全研究人员通过嵌套评论继续着关于"纯语言"的论争。 "而且盲人的能力与视力正常者大致相当，"一位研究人员写道，以此证明通过视觉实现的"接地"似乎并非必要。 "盲人在经济上似乎处于显著劣势，"另一人反驳，并援引美国盲人联合会的数据：超过 70% 的视力障碍成年人没有全职工作。 "盲人依然远比黑猩猩有能力，"第三人回应道，"存在非常杰出的盲人。" OpenAI 内部有许多人曾对纯语言路线持怀疑态度，但 GPT-2 让他们重新审视了自己的判断。通过不断提高预测下一个词的精准度来训练模型，在提升其他看似关联松散的语言处理任务的表现上，已经走得相当远。继续沿着这条路走下去——推进训练、进一步提高下一词预测的准确性——GPT 模型有可能发展出更广泛的能力，这似乎是可能的，甚至是合理的。Amodei 开始将语言模型的规模化扩展视为——尽管不大可能是通往 AGI 的唯一路径——也许是最快的一条路。机器人学团队的机械臂持续遭遇硬件故障，更是雪上加霜：成本高昂，进展却极为迟缓，是最糟糕的组合。 但问题随之而来：如果 OpenAI 继续扩大语言模型的规模，可能会加剧它在 GPT-2 发布时已经警示过的潜在危险。Amodei 向公司其他人主张——Altman 也表示认同——这并不意味着应当回避这项任务。结论恰恰相反：OpenAI 应当尽快扩大其语言模型的规模，但不应立即发布。GPT-2 已经证明，其他行为者获得更强大 AI 能力是多么容易——事实上，在 OpenAI 发布完整版 GPT-2 之前，两名研究生已经创建了一个开源版本。其他人开始进一步扩大语言模型规模，只是时间问题。这意味着，确保 AGI 造福人类的最佳方式，是由 OpenAI 率先突破，并利用内部的时间窗口，研究如何让其规模化模型变得更安全。等到公开模型的时机成熟，充分打磨和精炼后的成果将有助于确立 AI 安全规范——正如当初暂缓发布 GPT-2 改变了研究发布的行业规范一样。 随着某个版本的 GPT-2 已经面世，也有证据表明，纯语言模型的危险并没有那么严峻。据 OpenAI 所知，它并未被用于有组织的大规模虚假信息行动——而这类行动终究比 AGI 潜在的存在性风险要好应对得多。 "滥用当然不好，"Amodei 对我说，"但语言模型远不如 AGI 强大。我非常担忧语言模型被用来作为虚假信息的武器——这类事情确实让我感到恐惧——但与此同时，它是一个相对单一、清晰、边界明确的问题。" 换言之，在 Amodei 看来，扩大 GPT-2 的规模，不仅可能是迈向 AGI 最快的路径，其间可能出现的风险也相对可控——不过是虚假信息，而非灾难性的存在性威胁。这将为 OpenAI 提供一个更安全的试验场，用来探索一个强大但尚未强大到无法驾驭的 AI 系统，并逐步解决各种问题，包括如何发布它。 "什么是 AGI？AGI 究竟是什么样子？"Amodei 说，"我们处于一个尴尬的位置：我们不知道它是什么样子，也不知道它何时会到来。所以我们寻找那些虽然还不是 AGI、但至少呈现出 AGI 的部分机遇与挑战的事物。我们希望，如果我们能妥善处理这些，就算是为更高的段位做好了准备。" 这套逻辑成立，依赖于一个特定的前提：AGI 尽管面目模糊、难以预知，却是不可避免的。此后多年，OpenAI 将一再以这个论点的各种变体为自身行为辩护。在 AGI 势不可挡地到来的阴影下，公司需要不断开发更强大的模型，以做好自身准备，也为社会做好准备。即便这些模型本身携带着各自的风险，它们所提供的防范或直面 AI 末日的经验，也足以令那些风险变得可以承受。 2023年初，ChatGPT席卷全球，一位中国AI研究员向我分享了一段清醒的分析，拆解了OpenAI所谓的"必然性"论断。他说，OpenAI所做的事，只可能发生在硅谷。中国在AI人才方面与美国旗鼓相当，但无论团队多么出色，都不可能在没有明确说明技术形态和应用前景的情况下，拿到10亿美元，更不用说十倍于此的资金，去开发一项耗资极巨的技术。正是在ChatGPT发布之后，中国企业和投资者才开始热情地资助超大规模模型的研发——因为他们此时已有足够的证据相信，这些投资可以通过商业应用收回成本。 在整个报道过程中，我得出了一个更令人震惊的结论：就连在硅谷，其他公司和投资者也是在ChatGPT出现之后，才开始将不设上限的巨额资金涌入规模化扩展（scaling）领域。这其中包括谷歌（Google）和DeepMind——OpenAI最初的竞争对手。正是OpenAI，凭借其亿万富翁出资者的创立背景、独特的意识形态倾向，以及Altman非凡的驱动力、人脉和融资才能，共同造就了一种让其特定愿景得以涌现并席卷全局的成熟气候。"我感觉Sam是这个星球上野心最大的人，"一位前员工说。换言之，OpenAI所做的一切与"必然"恰恰相反；其大规模深度学习模型所引爆的全球性天文成本，以及由此点燃的将这些模型推向极致的危险竞赛，只可能从它实际发生的那一处诞生。 --- 2019年4月的Gates演示时，OpenAI已将GPT-2小幅扩大了一些。但阿莫代伊对小打小闹不感兴趣。若要拉开OpenAI的领先优势，GPT-3就必须做到尽可能大。作为投资协议的一部分，微软（Microsoft）即将向OpenAI交付一台新超级计算机，搭载一万块英伟达（Nvidia）V100——这是当时训练深度学习模型性能最强的GPU。（V取自意大利化学家、物理学家亚历山德罗·伏打的姓名。）阿莫代伊想将这所有芯片一次性全部投入，来训练这个新的大型语言模型。 这个想法在许多人看来简直荒诞不经。在此之前，使用几十块芯片训练的模型就已堪称大规模。在MIT和斯坦福的顶尖学术实验室里，博士生们能用上十块芯片就已是奢侈。在美国以外的大学——比如印度——学生们能与几位同学共用一块芯片便算幸运，只能以GPU的一小部分来支撑研究。 许多OpenAI研究人员都对阿莫代伊的方案能否成功持怀疑态度，有人也认为循序渐进的规模化扩展（scaling）路径会更稳妥、更科学、更可预期。但阿莫代伊立场坚定，并获得了其他高管的支持：苏茨克维热切希望验证对Transformer架构进行规模化扩展的假设；布罗克曼希望继续拉升公司知名度；阿尔特曼则力主放手一搏。不久之后，阿莫代伊晋升为研究副总裁。 在幕后，阿尔特曼还在意着另一个因素：微软10亿美元的投资，伴随着10亿美元量级的期望；OpenAI已经在倒计时，必须拿出足以让这笔投入物有所值的成果。阿莫代伊将更大的语言模型视为AI安全研究不可或缺的前提条件，而阿尔特曼看到的，是它兑现OpenAI对微软承诺的潜力。 此后数月，阿莫代伊与阿尔特曼将就GPT-3的发布方式与时机产生激烈冲突；最终阿尔特曼胜出，以提速的节奏将模型推向世界。在ChatGPT诞生数年之前，这两个决定——将GPT-3的规模急剧扩大，以及将其迅速发布——将从此改变AI发展的走向。它将引燃AI进步的急速加速，在企业与国家之间点燃激烈竞争。它将以前所未有的规模助推监视资本主义蔓延，并加剧劳工剥削。它将凭借所需的庞大资源，以前所未有的程度将技术开发集中于少数之手，将世界其他角落拒之门外。它将加速高校深陷的恶性循环：无力竞争的大学持续向产业界输送博士生和教授，独立学术研究日益萎缩，问责机制的终结自此拉开序幕。它还将放大AI的环境影响，且程度之深，在缺乏透明度与监管的情况下，无论是外部专家还是各国政府，直至今日都无法完整核算。 但这一切都尚未发生。2019年秋，阿莫代伊组建了一支以AI安全研究人员为主的团队，取名Nest，一心要在公司内部严格管控GPT-3的开发进程。由此，这支团队开始了激进的规模化扩展（scaling）冲刺。 --- GPT-3 在本质上与 GPT-2 是同一种模型，只是被注入了规模远超以往的数据与算力，体量之大，在许多人看来已不仅仅是程度上的差异，而是一种质的飞跃。然而，使用一万块芯片也带来了新的难题。训练过程中，任何一块芯片随时都有小概率崩溃——就像打开了太多窗口的笔记本电脑突然死机一样。一旦某块芯片崩溃，整个训练便会中断，一切从头再来。一万块 GPU 叠加在一起，单芯片崩溃的概率便会成倍放大。鉴于 Nest 团队预计训练至少需要数月，这类错误所造成的损失——无论是金钱还是时间——都将是惊人的。 为解决这一问题，团队需要找到一种方式，确保训练在任何中断之后都能从断点精确续跑。同时，他们还需要制定一套策略，决定如何将训练分散到全部一万块芯片上——这一过程称为分片（sharding）：究竟是把模型切分成几十片、几百片，还是几千片，再让每一片在独立的 GPU 集群上训练后合并，哪种方式更优？ 数据方面同样面临挑战。要达到最佳性能，数据集的规模必须与参数量和算力同步增长。如果参数过多而数据不足，模型就会开始逐字逐句地复现训练数据中的原文，实际上沦为毫无用处的复读机。在 GPT-2 阶段，Radford 对入库数据有严格筛选：他爬取了那些在 Reddit 上被分享、且获得至少三个赞的文章和网页文本，最终汇成一个 40 GB、约八百万篇文档的语料库，命名为 WebText。 这对 GPT-3 来说远远不够。于是，Nest 团队通过扩大爬取范围来扩充数据：在 Reddit 分享链接的基础上，追加了英文版维基百科的全量爬取，以及一个名为 Books2 的神秘数据集——OpenAI 从未披露其细节，但两位了解该数据集的知情人士告诉我，其中包含从 Library Genesis 盗取的出版书籍。Library Genesis 是一个在线影子资源库，专门收录通过 BT 下载的书籍和学术文章。2023 年，美国作家协会及包括乔治·R·R·马丁和 Jodi Picoult 在内的十七位作者，以大规模版权侵权为由对 OpenAI 和微软（Microsoft）提起诉讼。OpenAI 于 2024 年 3 月回应称，已删除上述数据集，并在 GPT-3.5 之后停止将其用于训练——而 GPT-3.5 彼时已被弃用。 即便如此，数据仍然不够。Nest 团队最终不得不转向一个公开可用的数据集——Common Crawl。这是一个庞大的数据转储库，定期从全网各处爬取，体量高达拍字节（即数百万 GB）级别——而这正是 Radford 当初刻意回避的来源，原因在于质量过于低劣。为了净化数据中的垃圾内容，Nest 团队训练了一个机器学习模型，专门从 Common Crawl 中筛选出那些形态最接近维基百科文章的样本。思路是：越像维基百科，越有可能接近维基百科的质量水准。他们也纳入了少量非英语样本，但最终这部分仅占总数据的 7%。尽管如此，在训练时，研究人员仍将过滤后的 Common Crawl 数据赋予最低优先级。换言之，GPT-2 时代是数据质量的巅峰；此后便每况愈下。 到两年后 GPT-4 发布、着手组建训练数据时，数量压力对质量的侵蚀更进一步。针对 Common Crawl 数据的过滤被彻底取消，大部分数据原样涌入。通过与微软（Microsoft）的合作关系，OpenAI 还获得了 GitHub 的完整镜像——GitHub 是微软旗下的在线代码托管平台。即便如此仍不够用，OpenAI 员工又广泛搜罗互联网上的一切可用内容：爬取 Twitter 上分享的链接、转录 YouTube 视频，以及从小众博客、现有在线数据转储库，乃至一个名为 Pastebin 的文本存储网站拼凑而来的海量长尾内容。只要没有明确声明禁止爬取，一律视为可以取用。 谷歌（Google）内部，一些研究人员感叹 OpenAI 愿意承担法律风险来收集数据，这赋予了它巨大的竞争优势。谷歌在数据访问和使用上要保守得多，并有一套严格的合规流程，须遵守包括欧洲数据隐私法规在内的各项规定——这部法规通称《通用数据保护条例》（GDPR）。讽刺的是，谷歌对合规的坚守，反而使 OpenAI 比谷歌自己更容易获取谷歌的数据。OpenAI 毫无顾虑地爬取和转录来自谷歌旗下 YouTube 的视频，而谷歌的研究人员为了遵守 YouTube 对用户上传内容所设的严格授权限制，却不得不在内部繁文缛节中艰难周旋。OpenAI 对这类合规问题毫不在意——用科技创业圈的话说，它对此"毫无包袱"。这是硅谷的经典思维方式：创始人和投资人奉行的信条是，初创公司不仅可以、而且应该闯入法律灰色地带（想想 Airbnb、Uber 或 Coinbase），以颠覆和革新各行各业。 降低质量门槛、继而将其彻底抛弃的决定，对 AI 系统背后的人工劳动产生了深远的下游影响。多年来，科技行业一直依赖处于不稳定经济处境中的低薪劳动者，为旗下 AI 模型完成文本分类、图像标注等基础数据处理工作。GPT-3 将超大规模、低质量数据集的使用常态化之后，相关工作的需求随之转变——从处理大体无害的内容，转向频繁接触令人不安的内容，包括出于内容审核目的而进行的审查，这一轨迹与此前的社交媒体如出一辙。这类审核工作不可或缺：它的存在，是为了防止生成式 AI 系统将训练数据中最丑陋的部分——暴力、性虐待或自残的文字描述——直接呈现在数亿用户面前。 "这些模型的输出控制方式正在经历一次重大范式转变，"Ryan Kolln 说道，他是 Appen 的首席执行官兼董事总经理，Appen 是一个连接硅谷企业与数据工作者的平台。"从传统 AI 的角度来看，你通过约束输入来控制输出"——也就是 Radford 团队所做的那类数据过滤——"因为模型只从你给它的样本中学习。生成式 AI 的挑战在于，输入来源是人类全体的语料库。因此你需要从输出端加以控制。" 2023年，Abeba Birhane与合著者发表论文，提出"仇恨缩放定律"这一概念，批判在未经筛选的数据（即她们所称的"数据沼泽"）上训练深度学习模型的做法。她们分析了两个公开可用的图文数据集——LAION-400M与LAION-2B-en，均取自Common Crawl，分别收录四亿和二十亿张图像，用于训练开源图像生成模型。研究表明，数据集规模越大，其中的仇恨与滥用内容也随之增多，进而加剧了基于这些数据训练出的模型的歧视性行为。例如，在二十亿图像上训练的模型，将黑人男性面孔识别为罪犯的概率是在四亿图像上训练的模型的五倍。同年晚些时候，斯坦福大学的一项研究分析了用于训练 Stable Diffusion 的 LAION-5B 数据集（共五十亿张图像），发现其中包含数千张经核实或疑似儿童性虐待的图像。 为控制模型输出，OpenAI 的举措之一是在肯尼亚雇用工人构建自动化内容审核过滤器，时均薪酬不足两美元——这一内幕由《时代》杂志记者 Billy Perrigo 率先披露。此外，OpenAI 还在全球范围内雇用了逾千名承包商，对其语言模型实施基于人类反馈的强化学习（RLHF）——这项技术最初由该公司开发，用于教 AI 智能体翻筋斗——具体方式是反复向模型输入提示并为答案打分，以期尽可能驯化模型。 德国艺术家、电影人 Hito Steyerl 曾拍摄一部纪录片，聚焦从事数据标注工作的叙利亚难民。她与我分享的观察与 Birhane 的批判相呼应：当大规模监控成为数据采集的基础时，心理有害的内容便会不断积聚。她说，要从根本上解决这个问题，必须追溯源头——质疑数据中究竟包含什么，质疑大规模、无差别攫取数据这一整体前提。