AI 和 Leviathan：第一部分AI and Leviathan: Part I

智能爆炸的制度经济学The institutional economics of an intelligence explosion

2023 年 8 月 24 日Aug 24, 2023

想象一下，有一个突破性进展，使得每个人都能以低成本获得类似 X 光的视觉增强眼镜。这些眼镜外观像普通眼镜，但内置一个旋钮，可以让你穿透墙壁、查看人们的衣物等。它还能在旧照片和视频记录中发挥作用。

从一个角度来看，这会非常令人兴奋。你可能会注意到你朋友甲状腺上的神秘肿块，提前发现他们的癌症并节省了无数的医疗费用。但在短期内，对眼镜（如果你更喜欢隐形眼镜）的普遍和几乎不可检测的访问将是一个严重的安全和隐私灾难。实际上，没有人的人身安全受到了直接威胁。相反，这更像是一场社会设计，原本适应了可见光谱，一夜之间却变得不适应了。

社会可以有三种基本应对方式：

文化进化：我们拥抱裸体和各种新的、超越隐私的新规范；
减缓和适应：我们开始穿铅制内裤，努力改造我们的房屋、办公室建筑和更衣室，使其具有不可穿透的墙壁；
监管与执行：我们禁止或严格监管技术，建立一个对人们眼镜进行检查、惩罚违规者的 x 射线巨兽。

每个人自发地协调起来，不再使用眼镜，或者只在某些社会性目的上使用眼镜，这种状态是不稳定的。即使你是一个窥视者，眼镜对你个人有好处，背后也存在囚徒困境，所以我们很快转向了每个人都拥有眼镜的均衡状态，即使我们所有人都更喜欢没有眼镜的世界。

眼镜是一个比喻，代表人工智能。

它几乎就是个隐喻。AI 已经通过房间内 WiFi 信号的位移解锁了一种类似 X 射线的视力，而通过几只红外传感器，你最终会能够在时代广场的每个行人身上准确地插上裸体身体。裸体 AR 滤镜不会被允许在苹果视觉专业版应用商店中，但基本技术将足够便宜且开源，这将使这个问题变得无关紧要。

信号提取

AI 是一个显微镜。它提高了宇宙的信息分辨率。这有很多令人惊叹的后果，但也有很多令人害怕的后果。

AI 让我们重构旧代码，恢复古老的手稿，以及在旧天文学调查中检测新的星系。同时，AI 将你的步态变成指纹，将麦克风变成密钥记录器，将你的面部照片变成一个> 93%准确的聚类测试。

Jiaqi Geng 等人（2022）“从 WiFi 获取 DensePose”

虽然深度伪造是一个日益令人担忧的问题，但人工智能总体上使世界变得更加透明。完美透明也有其代价。知识会扩展，操纵世界的障碍会减少。我们将会听到被焦虑的花朵所呼唤的声音，与鲸鱼进行对话。然后，有一天，一个完成你句子的 AI 模型将学会完成你的思想，打破西方哲学中所假设的不可逾越的主观界限。

许多这些用例并不是全新的，但只有现在因为规模扩展才变得可靠。如果在噪音中存在信号，一个足够大的神经网络会提取它，并且随着时间的推移，这种提取变得越来越便宜和易于访问。你甚至不需要 pip install ！你的 Jarvis-like AI 助手将只需按需从 HuggingFace 或 GitHub 调用定制模型。对于 DnD 玩家来说，这将像一个护身符，赋予其佩戴者在每项术类检查中获得自然 20 的能力。

这听起来很自由，而且在很多方面确实如此。但历史也表明，对自然自由的增强可能会在短期内变得具有反噬性。

明白了，以下的内容并不是为了暂停 AI 发展，即使我们能。虽然我认为我们需要新的监管机制来确保在规模和能力上升时安全地部署前沿模型，但我们的目标不应是停止 AI，而是在某种程度上掌握它。

如果有，加速不同模态的防御 AI 可能是我们最希望的使“缓解和适应”选项成为阻力最小的路径。然而，重要的是要清楚地认识到我们的 AI 未来是一个包罗万象的选择，并且要明确地探讨其对社会秩序可能演变的潜在影响，而无需偏见。

自然状态

托马斯·霍布斯著名地描述了“自然状态”中“所有人对所有人进行战争”。这有时被误解为关于狩猎采集社会的观点，但霍布斯实际上是在指代英国内战的灾难性条件，他在内战期间逃往国外以保全个人安全。《利维坦》于 1651 年首次出版，正值内战期间的间歇期开始。在认识到英国社会在国王查理一世脆弱、个人统治下日益分裂和激进化的过程中，利维坦提供了理论上的理由，说明绝对君主制是恢复和平与秩序的唯一途径。霍布斯对社会“契约”的概念并不是指个人签署的现实合同，而是对通过将“自然自由”让渡给更高权威来实现冲突各方达成政治和解这一抽象过程的描述。

英国内战的直接原因复杂多样，但宏观故事则是一个关于颠覆性技术变革的故事。虽然印刷术在两百年前就已经发明，但战争却发生在印刷革命的转折点——技术变革的临界点，这一临界点开启了印刷品产量增长的爆发式增长。例如，1611 年出版的《圣经》第一版，只比战争早 30 年，但比新闻出版业的诞生早 55 年，即第一份定期出版的英语报纸《牛津 Gazette》诞生。

广泛的印刷使人们能够普遍表达自己的观点，引发了“公众的反抗”，这与马丁·古里在互联网时代所描述的动态相呼应。从英王亨利八世时期开始，人们获得的信息越来越多，不仅使人们的思想更加开放，认识到不同的政治立场，而且使他们越来越意识到自己周围有不同看法的人。当 1643 年议会的法律对新闻界几乎失去了控制时，其主教的许可和审查制度被转交给一个不受监管的市场，这使得清教徒分离派、独立党人和其他激进非正统派更容易找到志同道合的人，共同反对教会。与此同时，议会本身也在质疑王权的权威，创造了罗伯特·扎勒尔所说的新的“合法性话语”。“数年之间，多方面的意识形态冲突终于以谋杀和大规模暴力的结局告终。”

AI 往往被比作印刷机，但早期现代英格兰与当代美国在技术上的相似之处远不止于此。我们的文化与意识形态分歧正在加剧；新教徒们正迎头撞上保守的反动；而我们的议会辩论则围绕着对审查的担忧，因为前一个世纪的媒体控制正逐渐让位于开放的互联网。即使美国的权力也受到这种变化的影响。总统地位已达到最低点，仿佛在等待一位原初主义者国王来重申单一行政权，并引发危机。

加速到什么？

这些裂痕反映在不同的 AI 部门。一些人希望在确保完全安全之前对 AI 发展进行监管，或许通过许可证制度。其他人希望继续前进，通过开源加速访问。

英国改革者和“智识者”，塞缪尔·哈特利，是那个时代“有效加速主义者”。他的目标是“记录人类所有知识，并使它对所有人类的教育都普遍可用”，他经常印刷技术文本，以自费方式分发——这是当时最接近开源的近似物。今天的 AI 宣传者同样有着宏伟的目标，从 Emad Mostaque 的使命，即使用 AI 教育全世界的孩子，到 Marc Andreesen 的愿景，即 AI 作为工具，用于几乎每个领域的人类增强。

加速者们在历史的长河中占据有利地位，我总体上支持 Andreesen 对未来的愿景。然而，总是更容易想象技术的终点，而不是预见过渡过程中不可避免的权衡和分支路径。

乔治·霍茨（George Hotz）的混沌好（Chaotic Good）本能，即尽可能快速地开源可能的双用途模型，其潜在的负面效应非常高。e/acc 伦理是将开源视为推动人类自由前进，同时验证一个类似于 DEF CON 的安全思维。随着更多经济活动通过专有模型，开源替代方案也将成为对 AI 被政府或少数几家科技巨头垄断的必要制约。

幸运的是，安全主义的“ FDA 对 AI 模型”和对强大新能力的狂热渴望之间存在巨大的中间地带，这种狂热在训练结束时就迫不及待地要实现民主化。如果进攻性能力比适应性和防御技术更快地实现民主化，开源极端主义甚至可能危及自由本身，加速最令人恐惧的 AI 贵族化条件。

少数服从多数

在 2001 年之前，机场安检几乎无迹可寻。你甚至可以在加拿大和美国之间开车，而无需护照。然后，在 1999 年 9 月的一个不幸的早晨，恐怖分子在短短几小时内杀害了近 3000 人。一周后，含有炭疽孢子的信件开始出现在重要人士的邮箱中，导致五人死亡。八周后，雷德·里德在飞机上被截获，试图在鞋子里藏有炸弹。在这些事件的快速推进中，我们的领导人突然意识到，技术与全球化正在引入一系列不对称的风险。从生物武器到劫持，现在只需要一小群极端分子或一个孤独的激进分子就能在社会中造成混乱。

社会在上述列出的三种典型方式中都做出了反应。我们通过加强边境和机场的安全措施来减轻风险。我们通过通过《爱国者法案》和为新型高科技监控提供资金来增强执法力度。我们的文化迅速适应了日益增长的安保表演，这在很大程度上是由于对伊斯兰极端主义的恐惧和国内团结的爆发。

回顾起来，我们过度反应了。虽然恐怖主义在心理上占据了主导地位，但其风险与每天导致人死亡的日常事物相比，是可量化的。例如，在 9/11 事件后的 12 个月内，由于对飞行的恐惧，估计导致了 1600 起额外的交通死亡事件。伊斯兰恐怖主义的恐惧已经减弱，但这些增强的安全措施不仅仍然存在，而且还在继续实施，甚至被重新设计用于应对国内威胁。

AI 的危险滥用可能会同样罕见。大多数人并不是社会病态者。然而，许多生活领域遵循纳西姆·塔勒布的少数派规则，即少数但不可容忍的少数人最终决定了所有人的规则。例如，美国只有不到 2% 的人有花生过敏，但许多共享空间仍然禁止含有花生的食物，只是为了安全起见。

根据进攻-防御平衡的演变，AI 有可能将我们带回一个世界，其中安全再次变得无迹可寻。你不必在 TSA 人员面前脱鞋，也不必降低自己。相反，一个摄像头将在你进入机场时分析你的面部，与数据库中的已知坏人进行比对，同时提取面部表情、身体语言、人口统计信息和社交媒体帖子中隐藏的预测信号。

机场确实是一个特殊的情况。作为封闭的花园，机场安全可以利用垂直整合的好处。而作为通往遥远目的地的门户，旅客要么签署放弃某些权利，要么乘坐公共汽车。大多数共享空间并不像这样。从小型企业到公共公园，我们日常的安全主要依赖于其他人的善意和 discretion。因此，到目前为止，AI 在所有地方都创造了安全和隐私风险，越来越多的共享空间可能会演变成像机场一样的监视状态，即微型的监视状态。

反过来，即将到来的智能爆炸使自由民主面临困境。一边是人工智能的巨兽；一个全球单体，通过中国式监视和社会信用系统恢复秩序。另一边是国家崩溃和政治分裂，因为我们的传统机构无法适应并让位于新的、基于人工智能的组织，这些组织能够解决代理人的问题，以极快的速度实现局部集体行动。这包括了隐私和安全的加强，部分通过一个自愿的承诺来实现，即在所谓的门口将生物武器和 X 光眼镜留下。

通过这个后者的事件视界，新的、半中世纪的社会秩序轮廓开始显现。但我正面临 Substack 的字符限制，所以这部分将在第二部分中等待。

在此期间，享受我与 Erik Torenberg 录制的这个播客：