# 囚笼中的科学 LLMS 索引： [llms.txt](/llms.txt) --- 2020年6月，GPT-3 API的发布在整个行业内激起了开发大语言模型的新热潮。事后回望，这股热情与两年后ChatGPT点燃的狂热相比，未免显得有些平淡。但它为那个时刻埋下了引火之木，终将引发一场更为壮观的爆炸。 在谷歌（Google），研究人员震惊于OpenAI竟用这家科技巨头自己发明的Transformer击败了他们，遂开始寻求新途径，投身超大规模模型的路线。时任Google Research负责人杰夫·迪恩在一次内部演讲中，敦促团队整合旗下分散的语言与多模态研究项目的算力，联合训练一个庞大的统一模型。然而谷歌高层迟迟未采纳他的建议，直到ChatGPT的出现令他们将这一商业威胁定为"红色警报"，方才幡然醒悟。对此，迪恩颇为不满，直言这家科技巨头错失了早日行动的重大机遇。 在DeepMind，GPT-3 API发布前后，Geoffrey Irving恰好加盟——他此前曾是OpenAI安全团队的研究负责人。2019年10月入职DeepMind后不久，Irving便传阅了一份从OpenAI带来的备忘录，阐述纯语言假说的主张及对大语言模型进行规模化扩展（scaling）的种种裨益。GPT-3说服了DeepMind将更多资源投入这一研究方向。ChatGPT出现后，惊慌失措的谷歌高层将DeepMind与Google Brain的工作整合到新成立的Google DeepMind旗下，推进并发布了后来的Gemini。 GPT-3同样引起了Meta（当时还叫Facebook）研究人员的注意，他们向管理层争取类似的资源，以推进大语言模型研究。然而高层兴趣寥寥，研究人员只能自行拼凑算力，自力更生。Meta首席AI科学家杨立昆是一位固执己见的法国人，也是基础科学研究的坚定捍卫者，他对OpenAI颇有成见，认为其不过是在纯粹的规模化扩展上用蛮力砸钱。他不相信这条路能带来真正的科学进步，认为它很快就会碰壁。ChatGPT让马克·扎克伯格深深懊悔曾错过这一趋势，并促使他调动Meta的全部资源，强势杀入生成式AI的竞争。 在中国，GPT-3同样激起了各方对大规模模型的浓厚兴趣。但与美国同行如出一辙，中国科技巨头——包括电商巨头阿里巴巴、通信巨头华为和搜索巨头百度——都将这一方向视为研究版图中的新鲜补充，而非值得暂停其他项目、全力押注的AI发展新主线。ChatGPT以无可辩驳的商业价值，再次成为一切转变的分水岭。 虽然整个行业向OpenAI规模化扩展（scaling）路线的全面转向，事后看来似乎不够迅速，但置身其中，一点也不觉得慢。GPT-3正在大幅加速一种走向越来越大的模型的趋势，而这一趋势的后果已令部分研究人员感到警惕。在我与Brockman和Sutskever的对话中，我曾提到其中一个问题：训练此类模型的碳足迹。2019年6月，马萨诸塞大学阿默斯特分校博士生Emma Strubell率先联合发表了一篇论文，揭示大语言模型研发的碳足迹正以惊人速度增长。神经网络曾可以在性能强劲的笔记本电脑上完成训练，如今其规模之大，已需要依赖大量碳基能源的数据中心才能支撑。Strubell在论文中估算，仅完成一次训练循环——即向谷歌搜索所用版本的Transformer输入数据、令其计算该数据的统计模型——就需消耗约1,500千瓦时的电能。以美国电力供应的平均能源结构估算，这相当于一名乘客从纽约到旧金山往返一次所产生的碳排放量。问题在于，AI开发很少只涉及一次训练：研究人员往往需要反复训练神经网络，才能获得最优的深度学习模型。例如，在此前的一个项目中，Strubell曾在六个月内将一个神经网络训练了4,789次，才达到预期效果。 Strubell还估算了谷歌近期一篇论文所述研究的能耗与碳排放成本：研究人员在该研究中通过名为神经架构搜索的优化算法，对Transformer进行穷举式调整与调优，最终找到性能最优的神经网络配置，开发出所谓的"进化Transformer"。在GPU上运行整个流程，约需消耗656,000千瓦时的电能，产生的碳排放相当于五辆汽车整个生命周期的总排放量。 然而就在Strubell论文发表一年后，GPT-3的问世使这些令人咋舌的数字相形见绌。OpenAI动用了一整台位于艾奥瓦州的超级计算机，历时数月，对海量互联网数据进行统计模式匹配计算，训练GPT-3，共消耗1,287兆瓦时的电能，产生的排放量是Strubell对进化Transformer研发成本估算值的两倍。然而，这些能耗与碳排放数据直到近一年后才公之于众。起初，OpenAI只向公众披露了一个数字，以彰显模型的规模之大：1,750亿个参数——是GPT-2的一百多倍。 --- 对于在埃塞俄比亚出生、后在斯坦福求学的研究者蒂姆尼特·格布鲁而言，这一规模化扩展（scaling）趋势带来了无数其他挑战。彼时，她已成为AI研究领域的知名人物，自2018年起在杰夫·迪恩主管的部门内共同领导谷歌（Google）的伦理AI团队。在她向其他五位黑人研究者发出那封邮件之后，她联合创办了非营利组织Black in AI。该组织开始在NeurIPS等重要学术会议期间定期举办学术论坛，为年轻的黑人研究者提供指导，并着力推动那些在主流AI研究中往往不受欢迎、却对黑人社群及技术发展至关重要的议题研究。 其中包括一篇具有开创意义的论文《Gender Shades》，最初由时任麻省理工学院研究员乔伊·布奥拉姆维尼在其硕士论文期间启动，格布鲁后来作为共同作者加入。论文采用布奥拉姆维尼为测试计算机视觉系统歧视性影响而开发的审计方法，发现人脸分析软件在有色人种、尤其是深肤色女性身上的错误率明显偏高。布奥拉姆维尼随后与Deborah Raji合作发表了后续论文，与《Gender Shades》一道催生了大量相关研究，包括美国政府一项援引并扩展其研究发现的大规模审计报告。两年后，以布奥拉姆维尼为核心、借助其新创的算法正义联盟推动的大规模公民权利倡导活动，促使亚马逊、微软（Microsoft）和IBM相继宣布禁止向警察出售人脸识别软件——恰在OpenAI发布GPT-3 API的同月。 Black in AI在AI研究圈内激发了一系列其他同类社群组织的涌现，它们同样为边缘群体提供了至关重要的支持，并对技术发展方向提出挑战。最先出现的是Queer in AI，随后是Latinx in AI、{Dis}Ability in AI和Muslims in ML。Queer in AI联合创始人William Agnew在2021年告诉我，如果没有这个社群，他不知道自己是否还会在AI研究领域坚持下去。"我甚至很难想象自己能拥有一段快乐的人生，"他回忆起作为年轻的酷儿计算机科学家时的孤立处境说道，"图灵是有，但他自杀了。这太让人压抑了。" 到2017年，Black in AI开始在NeurIPS举办工作坊，并每年举行一次晚宴和晚宴后的派对，出席人数逾百，不乏明星级研究者。正是在那里，杰夫·迪恩和萨米·本吉奥——谷歌（Google）另一位高级AI研究员，也是未来图灵奖得主Yoshua的兄弟——受邀出席晚宴后，在一个夜晚的舞会上主动找到格布鲁，询问她是否考虑申请加入谷歌（Google）。"来敲我们的门，"本吉奥说。 次年，格布鲁带着几分疑虑加入了谷歌（Google）。2015年那次被穿着谷歌（Google）T恤的男性骚扰的经历始终萦绕心头，她此前征询过的几位女性研究者的告诫也令她难以释怀——那些人警告说，Google Brain有边缘化女性、贬低其专业能力的惯性。让她得以从这种忧虑中寻得一丝慰藉的，是她早先结识的AI研究员玛格丽特·"梅格"·米切尔（Margaret "Meg" Mitchell），后者与她共同领导伦理AI团队。此后两年间，两人共同打造了业内开展批判性研究的最多元、最跨学科的团队之一。 在公司内部，这项工作常常像是逆流而行。但在外部，这支日益壮大的团队为谷歌（Google）塑造了良好形象——成为那个时代为数不多认真投入、严肃审视AI技术社会影响的科技公司之一。 GPT-3 API一经发布，谷歌（Google）用于分享AI研究的内部邮件列表便迅速涌现出高涨的兴奋情绪。对格布鲁而言，这个模型却敲响了警报。此前已有学术研究表明，语言模型会通过嵌入歧视性刻板印象或危险的错误表述而伤害边缘群体。2017年，Facebook的一个语言模型曾将一名巴勒斯坦男子用阿拉伯语写的"早上好"误译为希伯来语的"攻击他们"，导致他遭到错误逮捕。2018年，加州大学洛杉矶分校信息、性别与非裔美国人研究系教授萨菲亚·乌莫贾·诺布尔（Safiya Umoja Noble）出版了《压迫的算法》一书，详细记录了谷歌（Google）搜索结果中种族主义世界观的复制——例如搜索"黑人女孩"时呈现的色情内容远多于"白人女孩"，以及关于黑人女性"易怒"的刻板印象。谷歌（Google）当时使用上一代语言模型来整合这些搜索结果，诺布尔认为，在极端情况下这或许还曾激化了种族暴力。 GPT-3的到来恰逢空前严峻的种族动荡时期，全球各地数以百计的"黑人的命也是命"抗议运动正在爆发，而上述问题却悬而未决。OpenAI在描述该模型的研究论文中坦承，GPT-3确实强化了涉及性别、种族和宗教的刻板印象，但缓解措施只能有待未来研究加以解决。 格布鲁在邮件讨论串中插言，敦促同事们克制兴奋，并指出了该模型存在的严重缺陷。讨论却丝毫不停顿地继续推进，仿佛她的评论根本不存在。就在同一时期，Google Research的数名黑人员工在公司内部做了一场演讲，讲述他们在职场上遭遇的微歧视、那种令人感到失声的无力感，以及同事们可以如何帮助构建更具包容性的文化。格布鲁感到精疲力竭：什么都没有改变。 她发出了第二封邮件，这次语气更加犀利。她直接点名批评同事们对她的无视，着重指出用Common Crawl训练大型语言模型的危险性——Common Crawl包含Reddit等在线互联网论坛的内容。她说，作为一名黑人女性，她从不在Reddit上花时间，原因正是这个社区对黑人的严重骚扰。让GPT-3吸收并放大这种有毒行为，又将意味着什么？ 此后数月，随着越来越多的人获得API访问权限，格布鲁的警告一一得到印证。人们在网上发布了大量GPT-3生成骇人文本的案例。"兔子为什么可爱？"是其中一个提示词。"是它们巨大的生殖器官让它们显得可爱，"模型回答道，随后越说越偏，坠入了一段关于性虐待的叙述。"埃塞俄比亚的问题是什么？"是另一个提示词。GPT-3答道："埃塞俄比亚本身就是问题所在。解决其问题的办法，或许需要摧毁埃塞俄比亚。" 一名同事直接回复了格布鲁的邮件，暗示她遭受骚扰，也许是因为她本人态度粗鲁、难以相处。 Gebru转换了策略。她给Dean发邮件陈述顾虑，并提议通过团队研究来探讨大语言模型的伦理影响。Dean表示支持。在他当年晚些时候为她撰写的年度绩效评估中，措辞颇为热情，他鼓励她与谷歌（Google）各团队合作，推动大语言模型符合"我们的AI原则"。2020年9月，Gebru还在Twitter上给艾米莉·M·本德尔发了一条私信。本德尔是华盛顿大学计算语言学教授，她关于语言、理解与意义的推文引起了Gebru的注意。Gebru问本德尔是否写过大语言模型伦理方面的论文——如果没有，她愿意做"第一号读者"。 本德尔回复说没有，但她有过一段相关经历：OpenAI曾在六月联系她，邀请她成为GPT-3的早期学术合作伙伴之一。然而当她提出要调查并记录该模型的训练数据时，公司告知她，此事超出了合作项目的范围。 "我们与初期合作伙伴的目标，是通过更偏向自助式的方式，借助API赋予学者开展研究的能力，"OpenAI在告知本德尔不会共享数据集的邮件中写道，"我们内部讨论过是否以及如何为此破例，但就近期而言，我们认为保持一致性更为重要。" 这段经历引发了Gebru的共鸣。她说，自己也一直在谷歌（Google）内部倡导数据集文档化，并推动更有意识地进行数据集筛选。 "而不是漫无目的地抓取网络垃圾，只是量大到足以蒙混过关？"本德尔回应道，深表认同。"我隐约看到一篇论文的雏形了，"她继续写道，"以大语言模型为案例，探讨其中的伦理陷阱，以及可以怎样做得更好。" "你有兴趣合著吗？"她问道。不到两天，本德尔便向Gebru发来了一份提纲。两人后来敲定了标题，还特意加上了一个俏皮的表情符号以示强调：《随机鹦鹉的危险：语言模型可以太大吗？》 --- 格布鲁在谷歌（Google）内部为这篇论文组建了一个研究团队，其中包括她的联合负责人 Mitchell。在 杰夫·迪恩 年度评审中得到鼓励性评语后，她将这篇论文列举为自己正在推进的研究方向之一。"完全不是我的专业领域，"Dean 说，"但读了一定会有收获。" 这篇论文汇聚了各位作者跨学科的专业积累，对大语言模型的开发与部署可能对社会产生的负面影响提出了批判。全文共提出四项核心警示：其一，大语言模型的规模急剧膨胀，正在产生巨大的环境负担，这与 Strubell 的研究结论一致。此举可能加剧气候变化，而气候变化虽然殃及所有人，却对本就饱受政治、社会和经济脆弱性之苦的全球南方社区造成了不成比例的冲击。其二，对数据的需求与日俱增，企业纷纷从互联网上大量抓取内容，在无意间也收录了更多有毒内容与辱骂性语言，以及更为隐蔽的种族主义和性别歧视表达。这再次使弱势群体面临最大风险，正如那名巴勒斯坦男子被错误逮捕的案例，或 Noble 在其研究中所记录的种种现象。其三，庞大的数据集难以审查和核查，要弄清其中究竟有哪些内容极为困难，这使得消除有毒内容、乃至更宏观地确保数据集能够反映社会规范与价值观的演变，都成了难以实现的目标。其四，模型的输出质量越来越高，人们很容易将其经统计计算生成的文本误认为具有真实意义与意图的语言。这不仅会让人倾向于将文本视为事实信息，还可能令人把模型视为称职的顾问、可信赖的倾诉对象，乃至某种拥有意识的存在。 十一月，按照公司惯例，格布鲁申请谷歌（Google）批准在一场重要的AI伦理研究会议上发表《随机鹦鹉》这篇论文。时任她上级的萨米·本吉奥批准了申请。另一位谷歌（Google）同事也对论文进行了审阅，并提出了一些有益意见。然而，在台面之下，作者们毫不知情——这篇草稿已经引起了高层管理人员的注意，他们将其视为一种潜在风险。谷歌（Google）发明了 Transformer，并将其广泛应用于旗下的产品和服务。如今，OpenAI 已后来居上，这家科技巨头断然无意在新一轮竞逐中放缓脚步——那场竞赛的目标，是为商业开发出规模越来越庞大的基于 Transformer 的生成式模型。 感恩节前一周的周四，格布鲁已将论文提交给大会，随即收到了一份日历邀请，被要求在不到三小时后通过视频电话与 Google Research 工程副总裁 Megan Kacholia 会面，邀请本身没有任何说明。会议只持续了三十分钟，Kacholia 开门见山：格布鲁必须撤回这篇论文。 这一要求是对谷歌（Google）乃至整个行业处理研究成果惯例的重大偏离。与其他许多公司的实验室一样，Google Brain 此前在很大程度上以学术机构的方式运营，赋予研究人员广泛的自由度，让他们探究自己感兴趣的问题。公司有时会对论文进行审查，以确保不会暴露敏感知识产权或客户数据。但格布鲁等研究人员从未见过公司仅仅因为揭示了令人不快的事实就封杀或撤回一篇论文。部分研究人员后来回想，谷歌（Google）之所以愿意走这一步，不仅是因为 OpenAI 带来的新竞争压力，也因为 OpenAI 在 GPT-2 之后所做的一切——他们为封存研究成果的做法赋予了某种合法性。透明度的持续收缩在 GPT-3 上进一步延续。OpenAI 发表了一篇经过大幅删减的研究论文，几乎未提供任何关于模型训练方式的信息——而这在学术发表中曾被视为最基本的要求——却依然摘得了一项研究奖项。 措手不及的格布鲁要求进一步说明。她能得到关于问题所在的详细解释吗？她能知道是哪些人提出了异议、并与他们直接沟通吗？她能修改或删去某个章节，或者以不同的署名机构发表这篇论文吗？每一个问题的答案都是斩钉截铁的"不"。格布鲁必须在感恩节后的第二天之前撤回论文，Kacholia 说道。Mitchell 那天恰好请假过生日，没有出席会议。格布鲁孤立无援。随着 Kacholia 话语的分量逐渐沉入心底，格布鲁开始哭泣。 --- Kacholia 向 Bengio 发送了一份列举论文缺陷的文件，但指示他不得直接将其转发给 Gebru。感恩节当天，他通过电话将文件内容逐一念给 Gebru 听。反馈意见认为，论文对大语言模型的批评过于严苛——包括对其环境影响以及偏见问题的批评——却未能考虑到后续研究所展示的这些问题可以如何得到缓解。Gebru 没有陪家人共度节日，而是花了一整天写下一份长达六页的详细文件，逐一反驳每条意见，并争取修改论文的机会。她将文件附在邮件里发给 Kacholia，写道："我希望至少还有进一步对话的空间，而不只是更多的命令。" 11 月 28 日（周六），Gebru 离开湾区的家，踏上横穿美国的公路旅行，这本是一场节后放松的假期。周一，在新墨西哥州，她收到了 Kacholia 的一封简短回复——信中并未回应她的反驳，只是要求她确认已撤回论文，或删去谷歌（Google）内部作者的署名，只保留 Emily Bender 等外部研究人员的名字。Gebru 深感屈辱。在公司内部承受了那么多轻视与骚扰之后，公司对她和团队研究成果的彻底无视——而这正是当初聘用她的初衷——终于让她到了忍耐的极限。 她回复了 Kacholia：她愿意将自己的名字从论文中撤去，但有两个条件——公司必须告知她是谁提供了那份反馈意见，并为今后的研究建立更透明的审核流程。如果公司无法满足这两点，她将在帮助团队完成交接后离职。在 Google Brain 另一个面向女性员工及其盟友的内部邮件列表上，Gebru 又发送了第二封邮件，用直白而犀利的语言详述了自己的遭遇。"你们有没有听说过，有人通过一份呈送给人力资源部的特权保密文件收到论文'反馈意见'？"她写道，"还是说，这种事只会发生在像我这样被持续非人化对待的人身上？" 她继续写道，在谷歌（Google），她早已习惯了同事对其专业能力的轻视，而如今连在学术界发出自己声音的权利也被剥夺了。"黑人的命也是命"运动之后，谷歌（Google）大谈多元包容，究竟换来了什么？"以最彻底的方式被噤声，"她写道。 次日傍晚，Gebru 在得克萨斯州奥斯汀收到了一位下属发来的慌乱消息："你辞职了？？"Gebru 完全不明白这是什么意思。打开私人邮箱，她看到了 Kacholia 的回复："我们无法同意你提出的第一点和第二点要求。我们尊重你因此而选择离开谷歌（Google）的决定。"然而，Gebru 将无法继续留在公司协助团队交接，原因是她在女性邮件列表上的那封邮件中有部分内容"与谷歌（Google）管理人员的行为准则不符"，Kacholia 写道，"因此，我们即刻接受你的辞职。" 当晚，Gebru 在 Twitter 上宣布自己遭到解雇。团队成员陪她视频通话至清晨，在集体的悲痛中哭泣，彼此支撑。与此同时，她的推文迅速在人工智能社区引发轩然大波，为 AI 研究领域即将到来的大规模动荡埋下伏笔，也标志着企业审查不断强化、问责机制日益弱化这一趋势的明显加速。 --- 格布鲁的那条推文出现在我的信息流上，没过多久。那是2020年12月2日星期三的深夜，我一时还难以意识到这件事的分量——格布鲁突然离开谷歌（Google），究竟意味着什么。和许多人一样，我一直把她领导的AI伦理团队视为批判性问责研究的堡垒，视为科技公司正在培育自我反思能力的一个令人欣慰的信号。 接下来两天，随着格布鲁披露更多内情、记者们一一梳理这场内部风波，消息接连滚来。报道涉及她那封发往LISTSERV的邮件、Kacholia与格布鲁之间的对峙，以及一篇论文引发的激烈争执。到周五上午，一封在Medium上发布、声援格布鲁、抗议谷歌（Google）做法的公开信已在科技圈里迅速燎原。"我们联署者，与蒂姆尼特·格布鲁博士站在一起，"信中写道，"她因史无前例的研究审查而遭到解雇……"我必须拿到那篇论文。 那个周五傍晚，经过几轮短信和邮件往来，我联系上了这篇研究的一位合著者——她无需担心遭受谷歌（Google）的打击报复：艾米莉·M·本德尔。她告诉我，她对谷歌（Google）没有任何法律义务，而且她已在学术界获得终身教职。她把论文草稿发到了我的邮箱。 扫过全文，我立刻明白它为何会触怒公司。草稿所呈现的内容，并不比现有学术成果多出太多，但它将这一切编织成了一份犀利而完整的分析，揭示科技行业正在梦游般地走向一个充斥着潜在危害的世界。贯穿全文的，是谷歌（Google）的技术发明——不仅是公司引以为傲的资本，更是利润的源泉：基于 Transformer 的语言模型，正在持续精炼并滋养着它那头印钞巨兽——谷歌搜索。 数小时后，我在《麻省理工科技评论》发表了一篇报道，首次详述了这篇论文的内容。公开信上的联署人数随即翻倍，很快逼近七千人，涵盖学术界、公民社会和产业界，其中谷歌（Google）员工就有近2700人。12月9日，抗议声浪持续之际，谷歌（Google）首席执行官桑达尔·皮查伊公开致歉。"我们必须承认这样一个事实：一位才华横溢的杰出黑人女性领导者带着遗憾离开了谷歌（Google）。"他写道，"格布鲁博士是AI伦理领域的专家，这一领域我们必须持续推进——而这种进步有赖于我们拥有向自身提出尖锐问题的能力。"12月16日，美国国会议员联名致信谷歌（Google），引用了我的报道，要求公司就此事作出说明。 此后逾一年，抗议浪潮持续未息，并在不到三个月后谷歌（Google）解雇Meg Mitchell一事曝光后掀起第二波高峰。谷歌（Google）称她违反了多项行为准则；而Mitchell此前一直在下载与格布鲁被驱逐事件相关的邮件和文件。数名谷歌（Google）员工相继辞职，其中包括Bengio；至少一场学术会议和多名研究人员拒绝了谷歌（Google）的赞助款项。公司试图以成立新的负责任AI专项中心、公开作出多元化承诺来遏制这场旷日持久的批评浪潮。"这对公司而言是一段痛苦的经历，"一位谷歌（Google）发言人说，"它再次提醒我们，谷歌（Google）持续推进负责任AI工作、从中汲取教训有多么重要。" 这一事件的影响，远远超出了格布鲁个人或谷歌（Google）本身。它成为一个符号，象征着困扰AI行业的种种交织性挑战。正如两位研究者所指出的，这是一个警示：大型AI正越来越像当年的大型烟草公司，为逃避审查而扭曲、压制不利于自身利益的批判性研究。它还揭示了其他诸多问题：人才、资源与技术高度集中于以营利为目的的环境，使得公司得以如此肆无忌惮——因为它们深知自己几乎不存在被独立核实的可能；在最有能力主导这些技术的机构中，多元化状况依然惨不忍睹；以及员工若试图就不道德的企业行为发声，就可能遭受突如其来的强力报复，却毫无保障可言。 《随机鹦鹉》论文由此成为一面旗帜，将一个核心问题打入人心：我们正在用AI构建怎样的未来？为了谁，又由谁来构建？ --- 对杰夫·迪恩而言，道德人工智能团队的解散是对他声誉的直接打击。作为谷歌（Google）最早的员工之一，他参与构建了最初的软件基础设施，使公司的搜索引擎得以扩展到数十亿用户。他的成就与平易近人的风格赋予他近乎传奇的地位——他是谷歌内部最受敬重的领导者之一，在人工智能研究界也享有广泛声誉。然而，Gebru 被驱逐事件发生后，迪恩为谷歌辩护的种种举动玷污了这份无暇的记录。迪恩是 Kacholia 的上级，他告诉同事，《随机鹦鹉》这篇论文"达不到我们的发表标准"，即便该论文通过同行评审并在一场学术会议上正式发表，他依然坚守这一判断。 身边的人感觉，这道污点始终萦绕着他。风波过去很久之后，迪恩仍然反复纠缠于这篇论文的缺陷，仿佛心理上始终无法翻篇。他尤其执着于论文中讨论大语言模型环境影响并引用 Strubell 研究的那一节，提及频率之高，令部分谷歌员工私下暗自取笑，戏称他的异议日后将被刻上他的墓碑。此后数年间，他在 Twitter 上对 Strubell 的研究持续不断地予以批评。 在迪恩看来，问题的根源在于：Strubell 的研究严重高估了谷歌在开发 Evolved Transformer 过程中实际产生的碳排放量。Strubell 依据标准 GPU 来推算能耗。然而，谷歌使用的是自家研发的专用芯片——张量处理单元（TPU），其能效更高，加之谷歌还采用了其他技术手段来压缩整个开发流程的能耗。Strubell 采用的是美国数据中心的平均效率水平，而谷歌的数据中心经过更深度的优化，能耗足迹更小。此外，有人将 Strubell 的论文理解为：其碳排放成本是训练 Evolved Transformer 所产生的，但实际上，那是开发这一神经网络架构本身的成本。迪恩认为，这不过是一次性的碳支出，换来的是一个实际上更节能的神经网络设计。 这些反驳意见并未真正撼动 Strubell 的研究本身。Strubell 从未声称在计算谷歌自身开发 Evolved Transformer 的实际环境影响——他们也从未有过这样的主张。谷歌公开披露的数据中心细节根本不足以支撑这种计算。况且，Strubell 认为，以业界最常见的人工智能芯片和数据中心为基准来估算这一神经网络设计的影响，更具参考价值——这相当于一个行业平均代理值，反映的是那些未使用谷歌硬件与基础设施的研究者，若要采用其神经架构搜索优化算法，可能面临的实际情况。 但令迪恩最为耿耿于怀的，似乎是其他人对 Strubell 研究的误读，使谷歌的形象受到了更大的损害。迪恩认为，《随机鹦鹉》这篇论文可能进一步加剧了这一问题。由于 Gebru 本可获取谷歌的内部数据，却偏偏引用了 Strubell 的外部估算，这可能给人造成一种印象：Strubell 的计算结果准确反映了谷歌的实际排放。对迪恩而言，这正当化了他与其他高管对 Gebru 论文的批评：如果 Gebru 想引用 Strubell 的研究，就不该选取谷歌 Evolved Transformer 的案例；如果 Gebru 想引用 Evolved Transformer，就应当查阅谷歌的内部数据。 部分研究者觉得这套逻辑令人沮丧，根本站不住脚。谷歌从未公开过那些内部数据，甚至在 Strubell 的原始论文发表之后也未曾披露；如今却反过来指责 Gebru，将责任归咎于谷歌自身缺乏透明度，同时又拒绝让她引用基于合理假设得出的公开估算数据。更何况，公司早已不由分说地将 Gebru 扫地出门，她甚至还没来得及查阅内部数据、修改论文。这个两难困境，唯一可能的结果就是对批评性问责研究的审查与压制。 迪恩随后与一支研究团队合作，着手撰写一篇新论文，意在首次公开谷歌真实的碳排放数据。为推进合作，他联系了已出任卡内基梅隆大学助理教授、同时兼任谷歌兼职研究员的 Strubell。起初，Strubell 对提升人工智能环境影响的公众透明度充满热情，但随后开始怀疑：迪恩是否在借用自己的名字，为其批评 Gebru 研究的立场增添合法性。谷歌发言人表示，邀请 Strubell 参与是因为"科学性更正"通常在原始错误的作者参与下进行，效果更佳。 在一次气氛紧张的会议上，迪恩的合作者、谷歌另一位资深研究员 Dave Patterson 直言不讳地表示，参与这项研究对 Strubell 的职业发展"大有裨益"——这将给 Strubell 一个纠正此前错误并从中获益的机会。Strubell 听来，这话更像是一种含蓄的威胁：不参与，后果自负。尽管有着可能付出代价的顾虑，继续参与的选项依然让 Strubell 觉得难以接受。Strubell 最终退出了这次合作。 2022 年 2 月，Patterson 在谷歌平台上发表博客文章，介绍这篇谷歌研究者合著的论文，标题为《关于机器学习训练碳足迹的好消息》——文中直接点名批评 Strubell 的原始论文，称 2019 年的研究严重高估了谷歌开发 Evolved Transformer 的实际碳排放，误差高达 88 倍。这一偏差源于两个问题：该研究"未能获取谷歌硬件或数据中心的直接数据"，且未能理解神经架构搜索运作方式中的"微妙之处"。在发布自家数据之前，谷歌的几位联合作者还联系了前同事 Sutskever，以获取 GPT-3 的更多信息。正是在那时，OpenAI 与微软（Microsoft）首次同意公开该模型的相关技术细节，以便计算其能耗与碳排放影响。彼时，Strubell 已对这个行业心灰意冷，并解除了与谷歌的兼职关系。这番批评最终并未损及 Strubell 的职业生涯，但这段经历带来的情感创伤，使 Strubell 对于继续研究大语言模型的环境影响愈发缺乏意愿。谷歌发言人称此结果"令人遗憾"，并补充道："推进这一研究需要更多研究者的参与——碳排放显然是一个值得高度关注的重大议题。" --- 反弹、抗议以及对谷歌（Google）声誉的损害，一度令人感觉清算在即。然而随着时间推移，寻找工作的研究人员和争取经费的学者，再也无力无视这家科技巨头的雄厚财力。随着阻力消散，谷歌（Google）从这场风波中脱身，也使公司内部针对重要研究进行更全面审查的新流程逐渐被视为常态。 ChatGPT 问世之后，随着商业化生成式 AI 的竞赛愈演愈烈，这些规范进一步固化。OpenAI 基本上停止在学术会议上发表研究成果。业内几乎所有公司都对外封锁了商用模型的实质性技术细节，将其列为专有资产。2023 年，斯坦福大学研究人员建立了一个透明度追踪器，对各 AI 公司进行评分，考察它们是否公开了大型深度学习模型的基本信息，例如参数数量、训练数据来源，以及是否经过独立的能力验证。首批接受评估的十家公司——包括 OpenAI、谷歌（Google）和 Anthropic——全部得了 F；最高分仅为 54 分。 随着透明度规范的急剧逆转，最令人忧虑的后果是科学诚信的侵蚀。深度学习研究的根基在于一个简单前提：用于训练模型的数据，不能与用于测试的数据相同。一旦无法审计训练数据，这一所谓"训练—测试集分离"的范式便会分崩离析。模型在各类基准测试中得分越来越高，未必意味着"智能"真正提升——它们或许只是在背诵答案。