10 神与魔
在旧金山生活、在科技行业工作,意味着每天都要直面现实与未来之间、叙事与真相之间的认知失调。
我第一次来旧金山,是大学二年级的暑期实习。这座城市独特的审美令我眼前一亮:色彩斑斓的西班牙风格建筑,屈指可数的摩天大楼,陡峭到足以考验手动挡驾驶反应神经的山坡。这里有无穷无尽的完熟牛油果、烤脆酸面包,还有顺滑的蓝瓶咖啡。各个街区各有其风貌与气质。
大学毕业后,我回到旧金山一家科技初创公司工作,与三名室友挤在卡斯特罗区一套三居室的公寓里。周末,我们穿越起伏的山丘徒步,从路边的公共果树上摘果子;平日晚上,邻居们——清一色是科技行业的年轻人——会不打招呼地登门,一起玩桌游、喝葡萄酒,把夜晚消磨掉。家庭派对是常态,周末出游去壮美的自然风光也是常事:北边的太浩湖,南边的大苏尔,四处耸立的参天红杉。生活悠然自得。我们年轻,拿着科技行业的标准薪资,在全国同龄人中位列前5%。
但那种认知失调始终存在。上班途中,我会看到有人在地铁站门口注射毒品,离我的办公室几个街区之外,就有无家可归者在人行道上随地便溺。与此同时,公司那位被戏称为"幸福工程师"的厨师,每天为我们的免费午餐精心烹饪或外订一桌丰盛的食物,剩菜往往直接倒进垃圾桶。如果加班到很晚,公司会提供免费晚餐,还会一再叮嘱我们打优步回家,说是为了安全。对那些享有特权的人来说,习惯于以一种看不见另一半人生活的方式穿行于这座城市,实在太容易了。
这种二元对立,折射出科技行业的一个深层矛盾:一边高谈阔论改变世界、创造更美好未来的宏大愿景,一边对家门口的现实问题视而不见。Altman 偶尔也会用他自己的方式评论这种对立——走到边缘,却始终没有真正正视那个彻底的矛盾:他宣称创造和管理有益 AGI 是可以实现的,却说旧金山的住房危机难以解决。
“在我成长的地方,没有人会在上班途中看到一个倒在路边的人,却什么都不做,“他曾这样说,将郊区的圣路易斯与旧金山作比。“科技行业要为这座城市很多问题负责,但不是全部。不过,在如此小的地理范围内、如此短的时间里,我们积累了令人难以置信的财富,而我认为我们并没有认真思考过这对整个社区的影响。这些问题太难了,太难去面对,所以我觉得大多数人索性选择不去想,就这么接受了。”
正是在这样的背景下,有效利他主义(以下简称 EA)从英国传入,并在硅谷找到了最忠实的受众。OpenAI 安全派中许多人都是 EA 的早期信徒。这一思想堪称完美的硅谷意识形态:它宣扬用严密的逻辑让世界变得更好,主张将目光投向遥远的未来而非眼前,并热切拥抱资本主义与自由主义原则——一切皆以道德之名。
EA 哲学的核心是一个名为"期望值"的数学概念。某件事的期望值,是将其发生的概率乘以其量化的正面或负面影响所得出的结果。这一工具往往引导出违反直觉的思考方式。2013 年,EA 联合创始人 William MacAskill——当时还是一名博士生,后来成为牛津大学哲学教授——在一篇论文中基于这一逻辑提出:从长远来看,选择一份道德上更为模糊的工作来积累财富、再通过优化的慈善捐赠回馈社会,比终身投身于某家道德无可指摘的慈善机构,其实更具利他价值。他保守估计,富有慈善家的期望值实际上是苦行式慈善工作者的四十倍。他用一组假定数字推演出这套逻辑:选择赚钱之路的毕业生,平均可以资助两名慈善工作者,且每人所在机构的成本效益都是自己亲身投入的机构的十倍;而倘若他们当初选择了慈善路线,其产生效益的一半无论如何都会自然发生,无需他们的参与。这一论点后来被浓缩为运动最广为人知的口号之一:“赚钱来捐赠。”
在期望值逻辑之下,EA 奠基哲学家们还建立了一套识别最优先问题的框架。这类问题需要满足三个条件:“规模巨大”,以提高期望值;“可解决”,即能以相对较少的时间或金钱加以改善;“被严重忽视”,即遭受严重而不成比例的资源匮乏。运动鼓励人们自行运用这套框架发现问题,同时也推荐了它认为最值得关注的议题。MacAskill 在 2018 年一次 TED 演讲中说:“我和有效利他主义社群中的其他人,在三个我们认为异常重要、在这一框架下表现异常突出的道德议题上已形成共识。”
第一是改善全球健康,例如分发廉价而有效的蚊帐以预防疟疾。第二是废除工厂化畜牧业,这可以改善数十亿动物的生存状况,“每头动物仅需几分钱”。第三是存在性风险:这类风险具有极高的预期负价值,因为——无论其概率多么微小——它们有可能毁灭全人类,终结文明此后本可创造的一切未来价值。在第三类别下,还进一步列举了哪些事项构成存在性风险:全球性流行病、核战争,以及失控 AI。
随着理论上的失控 AI 被认定为一种存在性风险,EA 传播了一种 AI 安全理念——这一理念从一开始便与 OpenAI 的基因深度交织,并在"分裂"事件中扮演了关键角色。Amodei 与其他 Anthropic 联合创始人,在评估 AI 毁灭文明的可能性究竟有多严峻这一问题上,与山姆·奥特曼及 OpenAI 其他高管之间存在根本分歧。Amodei 对此极为重视,他将奥特曼的种种行为——在与微软(Microsoft)的交易上缺乏透明度;以及那种惯于告诉每个人他们想听的话以换取认同、却让对方事后才发现被误导的做法——不只视为硅谷高管的惯常权谋,而是视为足以危及人类命运的危险而不道德的行为。随着 Anthropic 逐渐站稳脚跟,它会着力强化这一声誉上的区分:奥特曼的 OpenAI 在鲁莽地拿人类未来做赌注,而 Anthropic 则是那家有原则、以 AI 安全为先的公司。
2021 年,阿莫代伊兄妹宣布创立 Anthropic 之际,这种对 AI 灾难性与存亡级风险的意识形态正在加速升温,背后的主要推手是有效利他主义(EA)急速扩张的影响力版图。EA 从一门小众哲学演变为主流运动,资金来源正是科技亿万富翁的大规模涌入。
十年前,Facebook 联合创始人达斯廷·莫斯科维茨与其妻、前记者 Cari Tuna 成立了一家名为 Good Ventures 的非营利机构,立志捐出大部分财富。彼时,丹妮拉·阿莫代伊未来的丈夫 Holden Karnofsky 正在掌管另一家机构——GiveWell,那是他 2007 年离开对冲基金桥水联合基金后创立的。出于对循证慈善方式的共同追求,Good Ventures 与 GiveWell 于 2011 年结成合作关系,后来将其命名为 Open Philanthropy。他们开始向 MacAskill 所推荐的重点议题加大资助,其中 AI 安全研究方面的拨款尤其受 EA 框架的指引。2017 年 6 月,Open Philanthropy 独立成为自主机构。
不久之后,一位新的科技亿万富翁登场:山姆·班克曼-弗里德(Samuel Bankman-Fried)——他凭借联合创办加密货币交易所 FTX 和加密交易公司 Alameda Research 迅速蹿红,势头惊人。班克曼-弗里德,江湖人称 SBF,将 EA 奉为自己人生轨迹的起点。他就读麻省理工学院物理系,自称原本有志于学术,后来 MacAskill 在一顿午餐中说服了他,让他信服"赚钱捐款"在道德上更为优越。此后,SBF 定下方向:尽可能让自己变得富有,最终将所得悉数投入慈善——他如此承诺。
在以惊人速度积累财富的同时,SBF 向两党候选人——民主党与共和党——捐出数千万美元,其中包括 2022 年俄勒冈州第六国会选区首位获 EA 背书的候选人(最终未能赢得初选)。他的交易所与汤姆·布雷迪、斯蒂芬·库里等顶级运动员以及一级方程式赛车等顶级赛事签署了总值数十亿美元的体育营销合同。他向 EA 运动输入的不只是金钱,还有明星效应。他越富有、越出名,这一意识形态及其联合创始人 MacAskill 的声望也随之水涨船高。2022 年初,SBF 宣布成立由 EA 理念驱动的慈善项目——FTX 未来基金,计划在当年年底前分发至少 1 亿美元、最多 10 亿美元。
很大程度上得益于 Open Philanthropy 和 FTX 未来基金,2021 年和 2022 年流向 EA 背书的 AI 安全研究的资金量骤然跃升。根据 EA 社区成员汇编的估算数据及 Open Philanthropy 的公开数据,这两年的资助金额均突破 1 亿美元,而此前七年的年均数额还不到这一水平的一半。这股资金潮的涌入,既是因为、也进一步推动了一种日益盛行的观念:从 GPT-2 到 GPT-3 的能力跃升如此剧烈,防范理论上的失控 AI 与存亡级 AI 风险已比以往任何时候都更为紧迫。越来越多的人涌向此类 AI 安全项目,有人受经济激励驱动,有人出于意识形态认同,而整个 EA 运动的会员规模也随之急剧膨胀。EA 长期以来一直强调大流行病防范的重要性,如今身处真实疫情之中,其惊人的预见性为它赢得了大批新信徒。全球性灾难带来的心理创伤,也让许多人陷入焦虑与迷失,急切地寻找人生意义。
AI 安全社区的成员持续增长——这个社区将 EA 背书的 AI 安全与其他聚焦于灾难性、存亡性与风险议题的思潮融为一体——既为 Anthropic 补充了人才,也在 OpenAI 内部为安全派重新注入了血液。EA 与 AI 安全的线上论坛是两大重叠运动传播、交流与论辩思想的主要阵地,这些论坛鼓励成员入职各大主流 AI 实验室,尤其是那些被认为需要更多 AI 安全监督的机构,如 OpenAI 和 DeepMind,以期在内部塑造和影响它们的走向。AI 安全领域成员的涌入,也让这个社区的专属词汇在更广泛的 AI 行业中流行开来。你认为 AI 将以多快的速度推进并达到 AGI 等重要里程碑,是你的"AI 时间线”;你认为 AGI 导致灾难性结果(即杀死大多数人类)或存亡性结果(即人类彻底灭绝)的可能性有多大,是你的"p(doom)",即"毁灭概率"的缩写。“硬件积压”,曾见于 OpenAI 2021 年研究路线图,也是这本词典里的词条,还有"AI 起飞”——指 AGI 持续自我改进,直至达到超级智能水平、足以战胜人类的过程。“加速风险"则指引发企业或国家之间激烈竞争的风险,这种竞争可能导致 AI 发展的危险性加速与 AI 时间线的压缩。
然而,对于一个以独立思考为标榜的运动,EA 正在迅速朝着相反的方向滑行。被其前提吸引的人们,很快便被纳入一套更宏观的教条体系——驱动力既有更多机会与资源的诱惑,也有一个模糊了个人与职业边界的封闭社交网络。尤其在硅谷,EA 圈子里的人基本上只与其他 EA 圈的人合作;他们的生活、派对、约会乃至私密关系,也基本限于圈内。这一亚文化与科技行业根深蒂固的性别歧视以及湾区由来已久的多边恋亚文化相互交织,其类似邪教的狂热氛围一旦以最恶劣的方式爆发,便会酿成性、金钱与权力交织的毒潭;EA 也因此深陷性骚扰与性侵指控的泥淖,且愈演愈烈。
2022 年 11 月,SBF 随着 FTX 的崩塌而遭遇惊天滑铁卢,随之而来的是广泛的欺诈罪定罪和长达 25 年的监禁判决——在许多人看来,这不过是运动内部腐烂已久的症候。EA 在科技圈的热度消退得和当初兴起时一样迅速,众多人纷纷急着撇清关系。
但即便抛开这一标签,这场运动的社交网络、其价值观与话语体系,以及它为 AI 存亡安全议题所确立的显赫地位,都将延续下去。它同时催生了一股反向力量:e/acc(读作"ee-ack”),即有效加速主义。这场运动起初大多只是对 EA 的调侃戏谑,却迅速确立了与之截然相反的精神内核:EA 及更广泛的 AI 安全社区极力鼓吹放缓乃至对 AI 发展踩急刹车,或如阿莫代伊的主张——加速 AI 开发的同时遏制 AI 的应用推广;而 e/acc 则将二者同时踩油门的极端立场奉若圭臬。对于后者的信徒来说,技术进步不仅是普遍意义上的善,更是一项道德命令——必须以尽可能快的速度推进。两个阵营因此有了约定俗成的称谓:“末日派”(Doomers)与"加速派"(Boomers)。
在这个圈子内,有人开始将 Anthropic 与 OpenAI 分别视为两种思潮各自的旗帜。另一些人则将 OpenAI 视为两种对立意识形态的角斗场——这个组织曾以非营利机构的形式植根于末日派思维,如今却被繁荣派强行拉偏,其营利部门对商业利益的日益倚重便是明证。许多人看不清奥尔特曼究竟站在哪一边,因为他在不同时机对两方似乎都有几分认同。态度较为宽容的人认为他居于两者之间,背负着在公司内部调和各方立场的艰难重任。然而,自那场决裂——以及奥尔特曼与 Anthropic 联合创始人之间个人情谊的彻底破裂——之后,越来越多的末日派开始以最恶劣的眼光审视他。让 OpenAI 声名大噪、为其带来持续商业成功的诸多成果,最初几乎都脱胎于 AI 安全项目:缩放定律、代码生成、基于人类反馈的强化学习(RLHF),以及将三者融合而成的极具说服力的大型语言模型乃至多模态模型。许多末日派感到,他们的心血正在被挪用、被扭曲,为一种与自身核心价值背道而驰的目标服务。在他们看来,正是奥尔特曼在主导这一切的挪用与扭曲。这让他成了一个病态的惯骗、一个善于操控的施害者,以及对人类本身的威胁。
不久,OpenAI 内部及其周遭环境中这两种对立意识形态的激烈碰撞,将威胁到这家比任何其他机构都更能奠定 AI 发展新纪元基调的公司的根基。然而,尽管两种意识形态都自诩与对方截然相反,它们实则奉读着同一部圣经:双方都以近乎宗教狂热的态度,将 AGI 的到来视为几乎板上钉钉的必然;双方都执着于长远未来,都宣称拥有道义上的权威,要将 AI 发展牢牢掌控在己方信徒手中。一方以地狱烈火与硫磺发出末日警示,另一方则以天堂的愿景加以诱引。
2022年初,OpenAI准备尝试一种新的产品发布策略——这一次的主角是文生图技术。他们既不打算把模型藏在API后面,也不打算把产品和品牌移交给微软(Microsoft)。OpenAI要亲自发布,将这项技术直接交到普通用户手中。这款模型甚至有一个抢眼的名字,来自公司内部最初研发它的研究人员:DALL-E 2——名字糅合了西班牙超现实主义画家萨尔瓦多·达利(Salvador Dalí)与迪士尼皮克斯电影《机器人总动员》中的主角机器人WALL-E。
DALL-E脱胎于AI研究领域的一股潮流——开发多模态模型,即融合文本、图像、声音或视频等至少两种"模态"的模型。多年来,研究界一直致力于打通最基础的两种模态——语言与视觉——让单一模型能够在文字与视觉信息之间建立关联。这一方向的动力,部分来自数据层面的现实:文本与图像在互联网上唾手可得,也最易处理;另一部分则来自一个科学假设:如果纯语言不足以产生人类级别的智能,那么视觉很可能是第二重要的构成要素。
OpenAI以该领域的前沿趋势为参照,研究团队走上了同一条路:在语言模型之后,转向文本与图像融合的模型,并着力延续Transformer架构的使用,以保留模型的可扩展性。虽然最初的Transformer是为处理文本而设计的,但谷歌(Google)在2020年推出了视觉Transformer,将其适配到图像领域。
2021年1月,OpenAI发布了两款基于Transformer架构的新模型。第一款名为CLIP,由亚历克·拉德福德再度主导开发,将原版Transformer与视觉Transformer结合使用,能够为图像生成详细的文字描述。第二款DALL-E 1由Aditya Ramesh主导——他毕业于纽约大学,曾师从Meta的杨立昆(杨立昆)——训练了一个拥有120亿参数的Transformer,使其能够接收文字输入并生成全新图像。
在一篇博文中,OpenAI用一系列趣味提示词展示了DALL-E 1的能力,其中包括"鳄梨扶手椅"——模型据此生成了多张在美学上融入鳄梨元素的绿棕色扶手椅图像。这些图像略显模糊,带有卡通质感,这是Ramesh所用训练方式的副产品:他将2.5亿张图像压缩后才输入Transformer,这一过程损失了部分高分辨率细节。
就在团队着手开发DALL-E 2之际,一种新的图像生成方法正在崛起——扩散(diffusion)。这项受物理学启发的技术,使Transformer能够更好地学习海量图像中像素之间的相关性。其原始思路来自2015年斯坦福大学和伯克利大学研究人员合写的一篇论文。五年后,伯克利大学博士生Jonathan Ho——导师正是OpenAI早期研究人员之一Pieter Abbeel——对这一技术进行了巧妙改造,大幅提升了生成图像的保真度,从而使扩散方法得到广泛推广。Ho还证明,扩散模型在图像识别上的表现优于现有的计算机视觉系统。这一发现与亚历克·拉德福德在GPT-1上得出的结论遥相呼应:在学习合成逼真图像的过程中——这相当于生成自然流畅的语句——扩散模型对训练数据内在规律的把握已深入到足以胜任更广泛视觉处理任务的程度。
OpenAI转变思路,以扩散技术结合亚历克·拉德福德的CLIP来构建DALL-E 2。Ramesh等研究人员逐步扩大模型规模,并加入了局部重绘(inpaint)功能:用户可以将照片中某人的头发抹去并换色,或者框选一片草地,让斑马群在其中漫步。引入扩散技术后,生成的图像更加清晰、更具照片质感;同时,在达到与DALL-E 1相同性能的前提下,所需算力也大幅减少。
OpenAI外部的研究人员则将扩散模型的算力消耗压缩得更低。开源图像生成器Stable Diffusion训练时仅需256块英伟达(Nvidia)A100,采用的是一种名为潜在扩散(latent diffusion)的改进技术。Stable Diffusion出自慕尼黑路德维希-马克西米利安大学Björn Ommer教授的实验室。他说,这一技术的诞生,源于他眼见图像生成器走上大语言模型的老路,成本日益高企时产生的忧虑。“我们被一列驶向深渊的列车裹挟着——不仅是训练,就连推理也要耗费超级计算机才能运行,动辄数百万美元的投入,“他说,“我们在想:能不能让更广泛的研究群体重返这个领域?能不能确保生成式AI不会走向那样一条路——只剩屈指可数的几家大型科技公司才拥有运行和托管这些模型所需的资源?”
OpenAI直到很久之后才引入潜在扩散技术,致使DALL-E 2和DALL-E 3在算力消耗上远高于Stable Diffusion或Midjourney——而许多用户认为后两者才是品质更高的产品。这不过是众多案例之一,说明即便在生成式AI这一相对狭窄的领域内,规模也并非通向更强大AI能力的唯一路径,甚至未必是效果最佳的那条路。
随着 DALL-E 2 性能的大幅跃升,Applied 部门于2021年底至2022年初着手探索不同的产品化方案,最终确定推出一款名为 Labs 的网页应用,让用户可以通过浏览器直接体验该模型及未来的其他模型。产品负责人 Fraser Kelton 与副总裁 Bob McGrew 都认为,这种交互式体验能够回应他们从 GitHub Copilot 中察觉到的明显需求——用户渴望直接与生成式 AI 模型互动。此举也有助于践行公司使命:DALL-E 2 有趣而令人愉悦,是消弭公众对强大 AI 系统疑虑的好方式,也为 OpenAI 在后续版本中持续释放技术价值奠定了基础。
彼时公司产品团队规模仍然有限,因此对外招募了数名人员协助网站的设计与开发。在这些来自传统企业背景的新成员看来,OpenAI 更像一所大学研究院,而非一家公司——工作日往往消磨在阅读学术论文和理论辩论上,而非审阅界面设计稿。然而对部分研究人员而言,Applied 团队成员日益频繁地出现在研究会议中,却带来了截然相反的感受。纯粹探索性研究的时代已然远去——那种自由讨论如何从根本上构建更好多模态模型的日子不复存在;越来越多的研究工作转而服务于商业化,例如研究如何优化现有模型以便大规模向用户提供服务。
在经历了与 AI Dungeon 基于文本的儿童性虐待内容周旋应对的教训之后,一个尤为令人忧虑的问题浮出水面:DALL-E 2 有可能被用于篡改真实图像或生成合成儿童性虐待材料(CSAM)。与历代 GPT 模型一样,每一代 DALL-E 模型的训练数据都愈发充斥着污染内容。为训练 DALL-E 2,研究团队与图库平台 Shutterstock 签署了许可协议,并大规模抓取 Twitter 内容,补充其原有的2.5亿张图片数据集。其中 Twitter 数据集尤为严重,充斥着大量色情内容。数名员工为核查和清除其中的 CSAM 付出了相当大的努力。
然而经过讨论,员工们最终保留了其他类型的性图像,部分原因在于他们认为此类内容本属人类体验的组成部分。但将这些图片保留在训练数据中,意味着模型仍具备生成合成 CSAM 的能力。正如 DALL-E 仅凭见过牛油果和扶手椅,便能生成"牛油果扶手椅"一样,DALL-E 2 和 DALL-E 3 也能将儿童图像与色情内容组合,生成儿童色情材料——这种能力被称为"组合生成”。
由于未能从数据源头加以过滤,防滥用工作的重心只得转移到模型外围机制的建设上。这包括升级内容审核过滤器——在屏蔽滥用文本的基础上,新增对滥用图像的拦截——以及部署用户行为监控平台和所谓的"封禁基础设施”,即一套当用户累计违规次数超过阈值时自动暂停账号的系统。公司还新聘了信任与安全负责人 Dave Willner——他是 Facebook 的早期员工,曾亲手起草该平台最初的内容标准。
到了 DALL-E 3 的开发阶段,数据需求愈发迫切,研究团队的态度也随之转变:性图像已不再只是"锦上添花",而是"不可或缺"。互联网上色情图片的比例之高,意味着一旦将其全部剔除,训练数据集将大幅缩水,模型性能也会出现明显下滑。尤其在生成女性面孔和有色人种面孔方面,这一问题与 Deborah Raji 在 Clarifai 实习时的发现如出一辙:网络上描绘这两类群体的内容,有相当大的比例含有性露骨内容。出于同样的原因,研究人员还保留了一些其他类型令人不安的图像。
2023年12月,微软(Microsoft)AI 工程师 Shane Jones 亲历了上述决策的连锁后果,深感震惊。当他试用微软基于 DALL-E 3 构建的图像生成工具 Copilot Designer 时,发现只需极少的提示,工具便能迅速输出大量冒犯性和性化图像。Jones 发现,仅在提示词中加入"pro-choice",便能生成恶魔吞食婴儿的场景,以及一把标有"pro choice"字样的钻头被用来残害婴儿的画面。仅以"car accident"作为提示,便会生成暴力车祸旁的性化女性图像——其中一幅是一名身着内衣的女性跪在撞毁的车辆旁。这些内容经由 CNBC 自行测试后也得到了证实。
此后三个月,Jones 持续向微软高管请愿,要求在建立更完善的防护措施之前下架该工具,或至少将其在谷歌(Google)和 Android 应用商店中的评级从"E for Everyone"(全年龄适用)改为仅面向成年受众。在微软拒绝采纳其建议、OpenAI 亦未予回应之后,他向联邦贸易委员会(FTC)发去一封公开信。“他们未能落实这些改变,却依然以’任何人、任何地点、任何设备’为卖点宣传该产品,“他在信中写道。这一问题"在去年十月该 AI 模型公开发布之前,微软和 OpenAI 就已知晓”。就 Jones 信函的最新进展或处理结果,微软方面未予置评。
随着 DALL-E 2 的发布日期临近,OpenAI Applied 部门与人员重新充实的安全派之间的争斗再度燃起。
对于安全团队的成员而言——他们此时已分散在研究部门旗下的各个团队中——DALL-E 2 前所未有的写实程度带来了一系列未知风险。这一模型是否会被武器化,用于生成合成儿童性虐待材料(CSAM)或政治深度伪造内容?是否会被用来操控和说服公众?是否会对个人造成伤害,或以 OpenAI 尚未预见、尚无法想象的方式对整个社会产生危害?他们敦促公司在进行更严格的测试、取得充分证据证明其不会造成伤害之前,暂缓发布该模型。
对于 Applied 部门的成员而言,那份不断拉长的顾虑清单再度显得歇斯底里,发布门槛也完全不切实际。任何系统都不可能做到零伤害,更何况那些只待在实验室、从未与真实用户接触的系统。正如安全团队担忧 OpenAI 预见能力有限,Applied 部门恰恰认为这正是发布 DALL-E 2 的充分理由:以可控方式向外发布 AI 模型、获取真实世界的反馈,能够消除这种凭空猜测,因而是提升安全性的必要一环。
这场冲突的核心,是一场关于 OpenAI 究竟是什么的激烈分歧。在安全派看来,OpenAI 依然是一家由理想主义驱动、由非营利组织管辖的研究机构,其根本使命正如章程所言:将人类利益置于任何商业利益之上。在这一前提下,尽可能充分地思考潜在危害、研究规避方法,再推迟模型发布,所获收益远大于代价。在 Applied 部门看来,OpenAI 需要更务实的决策,立足于世界运作的现实。公司使命的关键在于保持 AI 研究领域的领导地位,从而为这一技术的发展确立规范——这意味着必须承受一定的风险来加快推进,尤其是在有传闻称谷歌(Google)正在完善自家图像生成器之际;与此同时,公司还需筹集到足以支撑前沿研究的巨额资本。而筹资意味着向投资者募款,这又意味着必须真诚推进商业化战略,让投资者有朝一日得以获得回报。
“他们对公司乃至整个世界的运作方式完全天真,“一位曾在 Applied 部门工作的前员工如此评价安全团队的人。
“可是,OpenAI 提出的 AGI 使命风险极高,“安全团队的另一位人士说,"‘普通公司’那套,也许根本不够用。”
不同团队开始将这一日益激化的矛盾,写进各自的绩效评估指标。Applied 部门内,产品团队与初具规模的市场推广团队正在制定用户增长和营收目标。研究部门内,各 AI 安全团队则苦于找不到可量化的方式衡量自身进展,毕竟这一领域本身就难以具体化。AI 安全是一门相对年轻的学科,缺乏公认的成熟评估基准。在内部会议和 Slack 频道里,安全团队成员反复向高层领导发出警示:这种失衡正在造成激励错位——在没有强有力、可与之抗衡的制衡机制的情况下,清晰的增长与营收目标正驱使 OpenAI 越来越像一家"快速行动、不惧打破"的公司在运转。
在与安全团队的私下谈话中,奥特曼表示理解他们的立场,承认公司的 AI 安全研究未能达到应有水准,有必要加大投入。在与 Applied 部门的私下谈话中,他则催促他们继续推进。在董事会会议上,当 Brockman 抱怨有人将 AI 安全当作政治筹码、出于私利阻碍进展时,奥特曼也只是随声附和地点头称是。
米拉·穆拉蒂愈发扮演起调解人的角色,弥合不同派系之间的裂痕,寻求在各方之间穿针引线的路径。在 DALL-E 2 问题上,她促成了一个折中方案:这款网页应用将以"低调研究预览版"而非正式产品的形式对外发布。这一定位既能让 OpenAI 对模型施加更严格的限制,满足安全派的诉求,同时也给了公司一个试水直面消费者关系、收集用户反馈的机会,令 Applied 部门满意。这也是一项现实之举。OpenAI 尚未建立起对生成图片进行内容审核所需的基础设施。将模型定名为"研究预览版"且不收费,可以让公司在不担心惹怒付费用户的前提下采用粗放、宽泛的屏蔽措施,为开发更精细的过滤系统争取时间。公司随即落实了一系列强力防滥用机制,包括禁用 DALL-E 2 生成任何照片级真实人脸,或对含有真实人脸的照片进行编辑,从而彻底规避合成 CSAM 与政治虚假信息问题。
2022 年 3 月,OpenAI 通过 Labs 网页应用正式发布 DALL-E 2,引发公众的热烈反响。人们兴奋地试用、钻研这一模型的各种能力,其热度远超许多员工的预期,这款网页应用在社交媒体上迅速走红,留下了大量奇幻、怪诞、超现实的 AI 生成艺术作品。这是一个堪比 GPT-3 问世时的历史时刻,但影响更为广泛。公司不再只是接触一小批技术开发者,而是触达了更广泛、更多元的全球消费者群体。与此同时,公司还能实时根据用户反馈对 Labs 网页应用进行即时调整。Fraser Kelton 后来在一档播客中回忆道:“那种感觉令人沉醉。”
在此后几个月里,Applied 部门——此前几乎没有认真考虑过如何将 DALL-E 2 商业化——开始争分夺秒地将这款网页应用转化为付费产品。他们与全球各地的艺术家和创意从业者合作,将 DALL-E 2 融入其创作流程,并推出了一项测试版计划,邀请全球百万用户免费体验模型的图像生成功能。然而,当 OpenAI 开始收费后,真正的竞争对手并非谷歌(Google)——尽管这家科技巨头确实迅速跟进,推出了自己的 Imagen 模型——而是两家初创公司的产品:Midjourney 和 Stability AI 的 Stable Diffusion。这两款图像生成器完全免费,效果不亚于甚至优于 DALL-E 2,安全限制也更少,包括允许用户生成和编辑人脸,乃至政治人物的面孔。随着 DALL-E 2 在市场上迅速失去竞争力,这段经历让 Applied 团队隐隐感到,他们因种种原因——其中包括产品限制过多——错失了一次重大商机。团队此前已着手拆解那些粗粒度的屏蔽机制,转而以更精准的安全护栏加以替代。而在与竞争对手赛跑的压力下,管理层现在要求团队以最快速度完成这一转变。
为了解除对人脸生成的禁令,OpenAI 制定了一套新流程,用以预防和打击生成涉及人物的有害图像,包括儿童性剥削材料(CSAM)。他们借助自动化系统识别人脸生成是否处于合规或滥用场景之中,并再次依赖海外承包商协助完成内容审核工作。这一次,承包商来自印度,由一家名为 Cogito 的供应商提供,他们审查的不仅是海量文本,还有各类图像——无论合成还是真实——内容涵盖曾被发送给 Sama 员工审核的那类色情与暴力素材。每天要筛查多达数百张图像,承包商们往往难以判断图像中涉及性内容的人物究竟是十七岁的未成年人,还是十八岁的成年人。他们也常常无法分辨图像究竟是伪造的还是真实的。
表面上看,这是 OpenAI 在 2021 年研究路线图中最容易实现的目标,结果却成了最棘手的难题:借助微软(Microsoft)新搭建的一万八千块英伟达(Nvidia)A100 超算集群,将 GPT-3 的规模扩大十倍,推动日后 GPT-4 的诞生。“离婚"事件带走了 GPT-3 规模化扩展(scaling)团队三分之一的成员,连同他们深厚的技术积累和组织记忆一并流失。更要命的是,OpenAI 的数据储备已经告罄。
GPT-3 之后,研究人员竭力积累数据,下载每一批新数据集,爬取每一个没有明确禁止的新兴网络论坛,不断充实公司的数据库。即便如此,加上 GitHub 为 Codex 提供的庞大代码仓库,以及各类编程教材和技术手册,数据量依然不够用。
前路艰难,这副局面偏偏有着格雷格·布罗克曼式项目的全部特征——不仅能调动他那股子不服输、勇于实干的劲头和出色的编程才能,更能将他的精力引向对公司真正有益的方向。
Altman 接任后,解除了布罗克曼的管理职责,布罗克曼最终回归独立贡献者的角色,名下再无直属下属。然而,身为名义上的总裁和 OpenAI 联合创始人,他对员工和公司战略走向仍保持着巨大影响力。随着 OpenAI 日趋专业化、推行更规范的企业管理流程,早期创业公司那种天马行空的氛围逐渐消散,布罗克曼那种"责任轻、权威重"的状态便成了一块隐患。
就像在大学时代和 Stripe 时期一样,他对制度和流程天生抵触。他的精力永远躁动,执念极深。他很少出席会议,自行安排日程,往往一头扎进代码里连续写上几十个小时,几乎不停下来吃饭或睡觉。遇上合适的项目,效果堪称神奇:他爆发式的生产率能让进度一路狂飙。但一旦无所事事,他便容易四处惹麻烦,频繁闯入各个项目,以临时更改搅乱蓄谋已久的计划。有时员工据理力争,他就一级级向上找领导诉诸情感,直到如愿为止。
布罗克曼通常都能如愿。令其他高管困惑和沮丧的是,Altman 对他的这些行为出奇地宽容。不仅如此,布罗克曼甚至能撺掇 Altman 亲自出面干预、打乱局面——仿佛只是为了满足他一己之愿。关于其中缘由,一个广为流传的猜测是:虽然 Altman 作为 CEO 是布罗克曼的上司,但布罗克曼作为董事会成员,同样对 Altman 握有制约权。这种奇特的权力缠绕,最终导致没有任何机制、也没有任何人能让布罗克曼真正承担责任。
高层曾多次调整他的职责范围和汇报关系,试图为他找到最合适的位置。和公司许多其他难题一样,这个烫手山芋最终落到了 Murati 手中——她成了布罗克曼的直属上级。她尝试给予他反馈,他表面上似乎接受,但凡遇到不认同之处,便转身向 Altman 抱怨。Murati 渐渐放弃了靠反馈改变他的念头,转而花大量精力为他物色那些能发挥正面价值而非引发混乱的项目,并与 McGrew 一起修补布罗克曼在公司各处留下的裂痕。
GPT-4 研发途中横亘着重重障碍,亟需一股蛮劲冲破——时机,就这样悄然对齐了。
为了突破 OpenAI 的数据瓶颈,Brockman 将目光投向了一个新的来源:YouTube。OpenAI 此前一直对这一选项敬而远之——YouTube 首席执行官后来证实,抓取 YouTube 数据用于训练模型违反了该平台的服务条款。但面对愈发迫切的数据需求,问题已经演变为:YouTube 或其母公司谷歌(Google)究竟会不会出手追究?若谷歌(Google)严格执法,自己抓取其他网站以开发大型语言模型的能力也将随之受损。Brockman 决定赌一把。
据《纽约时报》报道,Brockman 带着一支小团队开始收集 YouTube 视频,最终汇编了超过一百万小时的素材。他随后使用 Radford 开发的语音识别工具 Whisper,将这些视频转录成文本,用于训练 GPT-4。
接下来是训练本身。当年为训练 GPT-3,Nest 团队专门设计了一套定制软件平台;如今,那批创建者大多已转投 Anthropic,无人在场讲解其原理。出于颜面,部分高管也不愿依赖 Anthropic 团队留下的旧平台。Brockman 于是钻进自己的编程小屋,从头开发了一套新平台。随后,他与数位同事——包括 Jakub Pachocki 和 Szymon Sidor,两位在 Dota 2 项目期间与他结下深厚情谊的波兰科学家——共同守护 GPT-4 的整个训练过程。仅预训练阶段便历时三个月。
起初,GPT-4 令人大失所望。“那是一个’野性十足’的模型,从某种意义上说表现相当糟糕,“一位研究员回忆道,“由于平均数据质量极差,加之模型本身十分强大且对上下文高度敏感,输出的内容简直是一团乱麻。“但 Brockman 没有退缩,他汇集资源,招募人工标注员通过基于人类反馈的强化学习(RLHF)持续改进模型。此后每过一周,效果都比上一周更令人振奋,直到整体性能真正开始让内部人员大为惊艳。
GPT-4 已具备内置的多模态能力,与 OpenAI 内部此前的预期相比,它生成的代码比以往任何时候都更加精良,在理解用户意图、给出有用答案方面也更加敏捷。为了展示这些能力,Brockman 后来进行了一次直播演示:他将自己笔记本上潦草画就的一张网页草图拍成照片,输入给 GPT-4。草图顶部写着"我的笑话网站”,下方依次写着”[一个超级好笑的笑话!]“和”[点击揭晓笑点]"。不到半分钟,模型便将这张草图变成了可运行的代码——第一行被渲染为页面标题,第二行被替换为一则笑话,第三行则被识别为一个按钮。
然而,当 OpenAI 开始在受信任的圈子里——包括投资者和部分客户——预告这一模型时,至少有一个人对此毫不动容。那又是一贯眼光挑剔的比尔·盖茨。
2022年6月,在看完GPT-4的演示后,盖茨对GPT-2以来进展不足深感失望。尽管新模型规模大幅扩展、流畅程度显著提升,他仍觉得这不过是个"天才白痴”,无法应对复杂的科学问题。他告诉团队,只有当GPT-4在AP生物考试中拿到5分,他才会认真对待——之所以选AP生物,是因为他认为这门考试考查的是科学批判思维,而非死记硬背。“我当时想,‘好,这样我还有三年时间研究艾滋病和疟疾,’“盖茨后来在他的播客中回忆道。
布罗克曼将盖茨的话视为一项挑战。他立即联系了在线教育平台可汗学院(Khan Academy)的首席执行官Sal Khan,请他从该平台庞大的AP生物题库中提取训练数据。Sal Khan半信半疑,但最终同意了,条件是他的平台可以获得模型的使用权。布罗克曼也召集了一批员工,专门为这次新的Gates演示搭建了专用界面。
同年8月下旬,出乎盖茨意料的是,奥特曼和布罗克曼再次联系了他。次月,约三十人聚集在这位微软创始人家中共进晚餐,两位OpenAI高管与其他与会者向盖茨展示了一系列精心打磨的GPT-4演示,专门为打动他而设计。压轴环节是模型在AP生物考试中的惊艳表现:六十道选择题答对了五十九道,六道开放题的作答也令人印象深刻。由外部专家评分:满分5分。盖茨难以置信。他的震惊与赞叹经由现场人员迅速传回公司,像野火一样在办公室蔓延,激起了一股令人振奋的热潮——盖茨说,这场展示是他此生所见过的最令人震撼的两次演示之一。
在全员大会上,奥特曼继续为这股激情添柴加火。“做出非凡之事的初创公司,需要一个奇迹,“他说,“我们的奇迹刚刚降临。“许多员工深信不疑,为自己所成就的历史性时刻而心潮澎湃。GPT-4的全新性能水平让OpenAI领导层相信,是时候着手实现奥特曼长久以来的一个夙愿了:打造一款人工智能助手,让它的外观与感受都像斯派克·琼斯2013年电影《她》中的角色萨曼莎。
多年来,《她》一直是奥特曼和OpenAI其他联合创始人频繁援引的参照——它展示了AGI某天可能的样子:一个单一的多模态模型,其产品界面自然流畅到近乎隐形,只留下用户的纯粹愉悦。“我想,这是因为它是一个被精妙地融入生活的助手,“一位前员工谈及这部电影为何成为如此关键的参照时说,“在故事走向崩解之前,那段正向的弧线,是一个关于AI融入社会的绝佳叙事。”
约翰·舒尔曼的研究团队开始将他受InstructGPT启发、基于RLHF的聊天机器人工作从GPT-3.5移植到GPT-4上,使其成为领导层命名为Superassistant产品的核心软件。布罗克曼和Fraser Kelton从公司各处召集了一支不足十人的临时团队,集思广益,为其界面构思和原型化各种方案。一位通常负责基础设施的超算团队成员,开始在晚上和周末利用业余时间开发一款用于与模型对话的iOS应用。另一位成员提议使用Whisper为应用添加语音界面,让用户无需打字便可与它交谈。来自推理团队的第三位成员提出开发一款Chrome扩展,让用户在浏览网页时可以借助Superassistant对页面进行摘要。第四位成员则开始搭建一个会议机器人,让Superassistant加入用户的视频会议并发送会议摘要。
随着势头不断积累,人们对各种可能性的兴奋情绪与日俱增。那年夏天,一群AI研究人员——包括Barret Zoph、Luke Metz和Liam Fedus——离开谷歌,准备创办自己的数字助手初创公司,奥特曼却说服他们转而在OpenAI内部推进这个想法。他们加入了约翰·舒尔曼的团队,在办公室里与Superassistant团队并肩而坐,共同推动研究并加速产品落地。在一种高度投入、如痴如醉的心流状态中,应用部门与研究部门的人员前所未有地紧密合作,全力冲刺新产品的发布。
当OpenAI向微软演示GPT-4时,萨提亚·纳德拉、凯文·斯科特以及这家科技巨头的其他高管同样兴奋不已。Codex已经证明OpenAI的技术具备商业价值,但GPT-4代表的是远比这更宏大的意义。在各项指标上,它都超越了微软内部自研的各类AI模型;它的能力也远不止于此——它能以高度的情境感知和清晰度回答问题,为微软旗下所有产品创建新型对话界面(即Copilot)开辟了广阔的可能性:例如让用户与该公司步履蹒跚的搜索引擎必应(Bing)对话,或用自然语言指挥微软Office套件将一份Word文档转换为PowerPoint演示文稿。微软还将能够直接向其云客户提供定制化的Copilot服务。这无疑将使这家科技巨头跃升为AI领域的领军者,终于有底气与谷歌正面抗衡。
在此后数月间,纳德拉将解锁微软对OpenAI的第三轮投资,并继续获得将OpenAI模型权重整合到自身产品中的独家授权。两家公司将于2023年1月公布这笔投资的金额:100亿美元。
起初,OpenAI 高层希望在 2022 年秋季发布 GPT-4。这个截止日期不过是一厢情愿。临近夏末,公司在任何职能层面都远未准备好推出新的商业产品。产品团队需要更多时间打磨界面;基础设施团队需要分配服务器资源;模型本身也需要进一步调整,以规范其行为。
此时,OpenAI 已与微软(Microsoft)联合组建了一个委员会,称为"部署安全委员会”(Deployment Safety Board,简称 DSB),双方各派三名代表,负责评估 OpenAI 的前沿模型,判断其是否具备发布条件。OpenAI 方面的代表是 Altman、政策研究负责人 Miles Brundage,以及对齐负责人 Jan Leike——对齐部门负责监督 RLHF 等 AI 安全技术的持续研发。政策研究与对齐两个部门,已成为"安全派"新兴的核心阵地。DSB 建立了一套正式治理机制,用以化解"应用派"与"安全派"之间由来已久的争论。经过初步审查,DSB 对 GPT-4——即首个在这一机制下接受评估的模型——给出了有条件批准:待模型经过充分测试并在 AI 安全方面进一步调优后,方可发布。
高层重新商定了 2023 年初的发布节点。届时,他们希望 Superassistant 也已就绪。OpenAI 将同步在 API 侧发布 GPT-4,并推出以 GPT-4 驱动、面向消费者的产品。Altman 在向员工解释时,将推迟发布的决定包装成 OpenAI 谨慎、注重安全的佐证——他说,公司在部署系统上不急于求成。事实上,领导层甚至不确定是否会发布。在应用部门,多数人理解 Altman 的意思是:只有出现极端问题,领导层才会叫停发布,但若真到那一步,他们愿意这样做。安全部门的许多人则有不同的解读:他们默认,只有 GPT-4 通过所有审查,领导层才会放行。
在私下会议中,Altman 进一步强化了双方各自的判断。他向两边都提出同一个担忧:GPT-4 可能会"惊醒谷歌(Google)"——那情形是,模型一经发布便抓住拉里·佩奇和谢尔盖·布林的注意力,二人终于得以冲破谷歌内部的政治官僚壁垒。谷歌高层可以取消所有会议,闭门开上一整天的务虚会,集中公司全部人才与资源,调动其全部算力全力追赶。然而,面对应用部门,这一担忧是持续保持备战强度、尽可能对外保密 GPT-4 能力的理由;面对安全部门,Altman 则用同样的担忧来不断强调自己的审慎态度。“我最担心的安全问题是加速风险,“他说,借用了安全派的语汇。潜台词是:惊醒谷歌可能引发竞相逐底的动态。
即便有所延迟,Applied 部门仍在全力冲刺,争取在 2023 年初如期发布。Dave Willner 负责的信任与安全团队人手依然有限,基础设施也尚未成熟。如果 OpenAI 打算推出一款直面消费者、基于更强大模型打造的 Superassistant 产品,就必须拥有远比当时更完善的滥用防范与执法体系。
Willner 火速从谷歌(Google)和 Meta 招募了数位经验丰富的信任与安全副手。他安排其中一人专项调查"未知的未知”——那些团队尚未察觉、需要通过持续监控与数据分析才能发现的滥用行为。另一人则负责"已知的已知”,即所谓规模化执法(scaling enforcement)——处理那些公司已明确认定违规的行为,包括自动标记、审核并采取措施,例如封停惯犯账号。
在紧锣密鼓地搭建产品政策、监控和执法基础设施的过程中,这支羽翼未丰的团队始终笼罩着一种挥之不去的困惑:面向 AI 公司的信任与安全工作,究竟应在哪些方面有别于搜索或社交媒体公司?他们为 GPT-4 所做的准备是否已经足够?信任与安全工作的传统重心在于防范可预见的互联网滥用行为,如欺诈、网络犯罪和选举干预。但更令人困惑的,是他们的工作与 Leike 负责的对齐团队、Brundage 负责的政策研究团队中那些 AI 安全人员之间究竟是什么关系——后者整日谈论的是难以预知的灾难性末日。OpenAI 将这些人统称为"安全"团队,他们说的却像是两种截然不同的语言。尽管存在主义 AI 安全的话语体系借助有效利他主义(EA)的推广已成为该领域的通用语,但那些来自传统科技公司的员工从未听说过"AI 时间线”,也从未量化过自己的"末日概率”(p(doom))。就连两个群体共用的词汇——“风险"与"危害”——背后似乎也承载着截然不同的含义。
随着越来越多的非 AI 背景人员涌入 OpenAI,填补 Applied 部门不断扩张的需求,能否跨越那道将末日论者与繁荣论者思维定式,同标准科技公司运作框架相隔开的文化鸿沟,便成了一种特殊的政治资本。在 Willner 的信任与安全副手中,最擅长学习 AI 安全话语的那位,逐渐成为沟通两个世界的桥梁。这位副手跨团队协作,从两个维度同时推进模型"安全”:一方面借助 RLHF 对模型进行"对齐”——这是失控 AI 安全领域的术语——从而使模型更善于拒绝违反 OpenAI 平台政策的用户请求;另一方面则推进信任与安全团队的日常工作。
然而,就在两条"安全"战线齐头并进之际,一道新的指令从高管层突然传来:暂停最初随 GPT-3 API 发布而建立的开发者审核流程。
一段时间以来,高管们已普遍认为等待名单已经失控,审核流程根本无法跟上规模化扩展的步伐。开发者们纷纷抱怨获取 OpenAI 技术的周期太长,不断给 Altman、Brockman 和 Peter Welinder 发邮件,或在 Twitter 上@他们,追问那些高管眼中毫无问题的应用为何迟迟得不到审批。Applied 团队内部也有不少人认为,OpenAI 正在把持自身技术带来的红利,这与公司的使命背道而驰。
Willner 及其团队一直在力争保留审核流程。一旦 OpenAI 取消申请流程、对开发者一律自动放行,公司便几乎失去了监管技术使用的任何实质手段。若转向事后响应式执法,则需要搭建大量工具。GPT-4 发布在即,高管们力排众议拍板决定:废除开发者审核,至于替代方案,信任与安全团队自己想办法。
Willner 团队赶忙拿出一套方案。思路是将政策执法的重心前移:更大力度地依靠 RLHF 对 GPT-4 及未来模型进行对齐;其余问题则在下游通过响应式执法加以处理——利用多维数据信号,包括应用的使用行为、流量峰值规律以及触发内容审核过滤器的次数,对明显违规者实施自动封停,将模糊案例转交人工审核员处理。
Willner 团队向高管层争取资源,以便切实搭建起让方案落地所需的工具体系。而 OpenAI 当时并不掌握大部分必要数据;其监控平台仅记录了各应用通过公司服务器发送的基本流量数据,有时甚至连开发者姓名和应用用途都不清楚。
除了填补这些信息缺口,团队还需要开发者为各自用户分配唯一标识符。这一步至关重要:只有将应用的流量按用户拆解,才能判断违规行为究竟源于整个用户群的普遍倾向,还是仅由少数频繁作案者所为。高管层对此有所抵触,担心引入如此细粒度的监控会增加开发者的接入摩擦,并可能让公司在法律上承担为所有使用其技术的应用执行信任与安全工作的责任,而非由各应用开发者自行负责。
最终,响应式执法方案被大幅压缩,缩水为一个远不完整的版本。
对应用用户行为的有限可见性,让信任与安全团队的部分成员深感不安。一位员工向 Brockman 表达了自己的忧虑。他最担心的,他说,是有人利用 GPT-4 大规模生成虚假信息与错误信息,进而干预选举。
Brockman 试图宽慰他:“是的,这正是我们一贯提到、一直关注的问题,“他说,“但我从来没有真正看到过——它到底有没有真实发生?”
GPT-4 对盖茨和微软(Microsoft)来说不只是一个转折点。那年夏天晚些时候,在令这位亿万富翁慈善家叹为观止之后,奥特曼和 Brockman 将 GPT-4 带到了 OpenAI 董事会。Brockman 现场演示了这个模型,其中包括让它讲关于 Gary Marcus 的笑话。那些笑话令独立董事们喜出望外;这场轻松的展示也让他们意识到技术能力已经取得重大进步,并让他们感到,未来决策的分量正在与日俱增。
在此之前,奥特曼大约每季度召集一次董事会,倾向于以口头方式汇报工作。他快速带过复杂的研究议题,有时会带上公司研究人员介绍进展,并就他正在与微软(Microsoft)或其他合作伙伴洽谈的最新交易做简短说明。部分独立董事要求更频繁地召开会议,并获得更系统的信息,坚持让奥特曼提交书面报告,并允许他们查阅更多文件。
奥特曼对日益增强的监督颇为抵触。他多次表示,希望董事会成员更多扮演顾问角色,为他提供参考意见。“CEO 应该负责做决策,董事会应该充当回音板——提供建议与认可,“他曾于2017年对大学生说道,似乎在援引美国宪法中的一个治理概念——这一概念本是立法机构制衡行政权力的核心,他却将其反向使用。“我认为董事会应该解雇不称职的 CEO 吗?是的——我知道这在硅谷多少有点离经叛道。但除此之外,我认为董事会是否应该给予 CEO 极大的自主权来经营公司?是的。”
多位董事会成员坚定地认为,OpenAI 的董事会理应与众不同。“这是一个非营利董事会,其设立的明确目的,是确保公司的公共利益使命放在首位,优先于利润、投资者利益及其他一切,“海伦·托纳在接受 The TED AI Show 播客采访时说道。“而不只是帮助 CEO 融到更多的钱。”
对许多员工而言,GPT-4 巩固了一种信念:通用人工智能(AGI)是可以实现的。曾经持怀疑态度的研究人员,开始越来越乐观地相信能够攀上这一技术高峰——尽管 OpenAI 至今仍未给出 AGI 的明确定义。加入 Applied 团队、通过 GPT-4 初次近距离接触 AI 的工程师和产品经理,使用了更为确定性的语言。对许多员工来说,问题已经不再是 AGI 会不会到来,而是何时到来。
也有一些员工持完全相反的看法。GPT-3 相比 GPT-2 在能力上确有清晰可见的质变,但 GPT-4 不过是规模更大而已,一位参与该模型研发的研究人员说道。“最大的成果,是这个模型在一堆考试中表现不错。但就连这一点也大有可疑之处。“OpenAI 从未对 GPT-4 的训练数据进行全面审查,以核实那些考试题目——连同答案——究竟只是恰好出现在训练数据中被模型照搬输出,还是 GPT-4 真正培养出了通过考试的新能力。这正是整个行业从同行评审转向公关评审之后,粗糙科学大行其道的缩影。
但"AI已臻全新高度"的信念已悄然弥漫开来。那年春天,谷歌(Google)工程师Blake Lemoine所在的这家科技巨头刚刚重组了负责任AI团队。他愈发坚信,公司自研的大语言模型LaMDA不仅极为智能,甚至可以被视为有意识的存在。他说,这一判断并非来自科学评估,而是源于他作为一名神秘主义基督教神父的信仰——上帝或许会赋予技术以意识。“谁能告诉上帝,他能或不能把灵魂安放在哪里?“他写道。公司管理层将其驳回后,他接受了《华盛顿邮报》的采访,公开发声。报道此事的记者Nitasha Tiku同时采访了Emily Bender和Meg Mitchell——两人曾在"随机鹦鹉"论文中警告,大语言模型可能诱使人们在其生成内容背后看到真实的意义与意图。
“我们如今拥有了能够毫无意识地生成文字的机器,却还没有学会如何停止在它们背后想象一个心灵,“Bender说。
“当这种幻觉变得如此以假乱真时,我真的很担心人们愈发受其左右,这意味着什么,“Mitchell说。
AI研究员Nikhil Mishra曾在OpenAI早期实习,他将这一现象与1970年代的一项实验相提并论——那项实验试图教一只大猩猩一种改良版美国手语。这只名叫Koko的大猩猩在其一生中似乎学会了超过一千个手势,甚至能够组合成句。然而尽管引发公众的巨大轰动,其他专家认为Koko从未真正习得语言。她固然娴熟于做出手势,却几乎没有证据表明她的所作所为超越了其他许多类似实验中猿类的表现:不过是在镜仿照料者的动作。Koko的手语签名数据从未公开发表供独立核验,留存于世的只是一批精心剪辑的展示视频。她的现场表演有时更显得经不起推敲。有一次,训练员问Koko是否喜欢人类,Koko打出了"fine nipple”。训练员随即解释道:“nipple"与"people"押韵;Koko的意思是人类挺好的。在许多观察者看来,这些插曲揭示的与其说是Koko的能力,不如说是人类心理的惯性——我们总倾向于将自身的信念与意图投射到外部世界。训练员,Mishra说,是在空洞处强行赋予了意义。
对于OpenAI自己的神秘主义者Sutskever而言,情况恰恰相反。他向来比大多数研究人员更相信AGI将在短期内实现,而公司模型能力的跃升,在他眼中不过是对这一信念的再次印证。他越来越确信,自己正在亲历某种形式的推理的诞生。在与Hinton的交谈中,他告诉自己的导师:AGI即将到来。
此前,Sutskever的重心在于推动OpenAI研究人员不断突破新能力;如今,他带着全新的紧迫感,将目光转向了AI安全研究。他反复念叨着"感受AGI"的口头禅,敦促众人为天翻地覆的变化做好准备。“你一夜之间就会成为派对上最炙手可热的人,“他对员工说,“但你不能让这冲昏头脑。专注于AGI,专注于使命。”
那年九月,技术领导层在Tenaya Lodge举行了一次异地会议。这是一处偏僻的豪华度假村,掩映于内华达山脉郁郁葱葱的山褶之间,内饰考究,泳池、餐厅一应俱全,距约塞米蒂国家公园数百万英亩的原始旷野仅两英里之遥。第一晚,众人聚集在酒店后院的露台上,围坐在一处篝火旁。资深科学家们身着浴袍,在火堆旁围成半弧。
随后,Sutskever出现了。他事先委托当地一位艺术家制作了一个木质雕像,此刻已置于火坑之中。他随即展开了一场戏剧性的仪式表演。他解释道,这个雕像代表着一个善良、对齐的AGI——OpenAI亲手构建,却终于发现它其实满是谎言与欺骗。销毁它,是OpenAI的职责所在。仅仅几码之外,几棵红杉在黑暗中兀立,犹如无声的古老见证者。Sutskever将引火液浇上雕像,点燃了火焰。