1. 灾难

1.1. 在某种程度上，人类的历史就是一部灾难史

1.2. 大流行病广泛存在

1.3. 两场大流行病曾导致世界上多达30%的人口死亡

• 1.3.1. 6世纪的查士丁尼瘟疫和14世纪的黑死病

• 1.3.2. 1300年，英格兰的人口约为700万，但到了1450年，由于瘟疫的肆虐，人口锐减到仅剩200万

1.4. 灾难也可能是人为造成的

• 1.4.1. 一战和二战分别导致全球约1%和3%的人口死亡

• 1.4.2. 随着原子弹的出现，人类现在拥有了足以多次毁灭地球上所有生命的致命力量

1.5. 最终，随着史上最具影响力的技术渗入我们生活的方方面面，极端情况的发生概率也将大幅提升

1.6. 新技术浪潮的4个特征预示着，如果不在各个层面采取强有力的遏制措施，那么像人为策划的流行病这样的灾难性后果将比以往任何时候都更可能发生

1.7. 一种可能性是，社会转向技术驱动的全面监控模式

• 1.7.1. 这种强制执行的机制，旨在应对那些难以控制或根本不受控制的技术

• 1.7.2. 这是以牺牲自由为代价来换取安全

1.8. 另一种可能性是，人们选择彻底远离技术前沿

• 1.8.1. 这种情况不大可能发生

1.9. 技术的初衷是提升人们的生活水平，确保其益处远超其成本和负面影响

1.10. 与极端的技术乐观主义相似，极端的技术灾难主义同样容易被视为一种扭曲、误导性的炒作，没有历史记录的支持

1.11. 警告的内容看似夸张，也并非拒绝接受其合理性的充分理由

1.12. 一旦军队实现全面自动化，冲突的发生门槛将会显著降低

• 1.12.1. 战争可能因某些永远难以明确的原因而意外触发，人工智能系统在检测到特定行为模式或威胁时，可能会立即以势不可当的力量做出反应

1.13. 为了阻止可卡因贸易，激进分子可能会发明一种新型虫子，专门对古柯植物进行生物破坏，以此替代传统的空中熏蒸方法

1.14. 如果激进的素食主义者决定采用生物手段干扰整个肉类供应链，那将带来可怕且难以预料的后果

1.15. 一个经典的思想实验是，如果你构建一个足够强大的人工智能系统来制造回形针，但未足够详细地指定目标要求，那么它最终可能会将整个世界甚至整个宇宙都转化为回形针

1.16. 一个足够强大的人工智能系统，即便初始设计与人类利益高度一致，也完全有可能重写自身程序，摒弃内置的安全机制与初始目标

1.17. 在未来10年里，人工智能将成为历史上最强大的力量放大器

• 1.17.1. 设想一个能够轻松通过现代图灵测试却用于灾难性目的的通用人工智能

• 1.17.2. 先进的人工智能和合成生物学技术不仅能为那些致力于寻找新能源或研发改善生命的药物的组织所用，也可能成为像特德·卡钦斯基这样的恐怖分子的工具

1.18. 人工智能既极具价值，又充满危险，因为它正是人性的最好与最坏方面的延伸

• 1.18.1. 作为一种基于学习的技术，它能够持续适应、不断探索，生成全新的策略与见解，这些可能远远超出以往的人工智能的考虑范围

1.19. 我们无法预知人工智能自我提升的速度，也无法确定某种尚未完善的生物技术若在实验室发生事故会带来何种后果

• 1.19.1. 我们不知道将人类意识直接与计算机连接会产生什么结果，不清楚人工智能支持的网络武器对关键基础设施的潜在影响，也无法预测某种基因驱动在现实世界中可能引发的反应

• 1.19.2. 某种快速进化、自我组装的机器人或新型生物制剂一旦释放到现实世界中，就无法撤销了

1.20. 真正的安全需要在所有该技术的应用实例中都维持那些安全标准：考虑到技术的传播速度和范围，这无疑是一项艰巨的任务

1.21. 如果未能遏制即将到来的技术浪潮，灾难的降临就是迟早的事

2. 邪教、疯子与自毁式国家

2.1. 奥姆真理教

• 2.1.1. 一个20世纪80年代创立于日本的末日论邪教

• 2.1.2. 最初是一个瑜伽工作室，由一个自称麻原彰晃的人领导

• 2.1.3. 该组织主要在心怀不满的人群中发展成员，随着成员的增加，其信仰逐渐变得极端

• 2.1.4. 结合了高度的组织能力和可怕的野心

• 2.1.5. 企图通过大规模谋杀来触发第三次世界大战和全球崩溃，并已着手为达成此目标建立相应的基础设施

2.2. 由于可获取的武器有限，校园枪手的病态虚无主义和暴行在某种程度上受到了约束

2.3. 随着新的技术浪潮全面来袭，毁灭性工具也将面临“民主化”和商品化

2.4. 一个新的历史阶段已经到来

• 2.4.1. 随着衰落的僵尸政府无力遏制技术，下一个奥姆真理教的出现、下一场工业事故、下一场疯狂独裁者发动的战争，或下一次微小却致命的实验室泄漏，其后果都将不堪设想

3. 反乌托邦转向

3.1. 阻止灾难发生显然是紧迫之事

3.2. 灾难越大，利害关系越大，对对策的需求也越大

3.3. 即将到来的技术浪潮为反乌托邦式的统治提供了动机和手段，即在稳步增加的数据搜集和强制措施的支持下，形成一种自我强化的“人工智能专政”​

3.4. 只要出现巨大的灾难，人们就会呼吁建立极端的监控设施，以防未来再次发生类似事件

3.5. 灾难威胁和对安全的渴望将持续推动人们朝着反乌托邦方向前进

• 3.5.1. 每一场技术浪潮都曾为社会秩序带来系统性的冲击

• 3.5.2. 不过迄今为止，以往的技术浪潮尚未带来广泛且系统性的全球灾难风险

4. 停滞

4.1. 停滞不前本身就是灾难

4.2. 历史上社会崩溃的案例俯拾皆是：从古美索不达米亚文明到古罗马文明，从玛雅文明到复活节岛文明，我们反复注意到文明难以持久，似乎文明的不可持续性是其宿命

4.3. 文明的崩溃并非个例，而是一种常态

• 4.3.1. 一项针对60个文明的研究揭示，这些文明的平均存续时间大约为400年，之后便分崩离析

4.4. 数百年来，技术的持续发展似乎使社会得以挣脱历史规律的桎梏

4.5. 认为历史的动态演变已经停滞不前是一种误解

4.6. 21世纪的文明固然与玛雅文明大相径庭，但庞大且渴望权力的上层建筑、众多的人口、能源供应以及文明发展的硬性限制依然存在；它们所带来的影响只是被暂时抑制了

4.7. 现代文明只有依靠持续的技术发展才能兑现其承诺

• 4.7.1. 社会体系存在的前提是能够确保长期的经济增长，这依赖于新技术的发明和推广

4.8. 开发新技术是应对地球面临的重大挑战的关键所在

• 4.8.1. 在不引入新技术的情况下，解决气候变化问题，或维持不断提高的生活和医疗水平，或改善教育和职业机会，都是不可能实现的

4.9. 假设暂停技术发展是可能的，那么从某种意义上说，这将意味着一种安全保障

• 4.9.1. 将限制新的灾难性风险的出现

• 4.9.2. 并不意味着我们能成功避开反乌托邦的局面

• 4.9.3. 随着21世纪的社会日益显现出脆弱性和不可持续性，技术的暂停可能会引发另一种形式的反乌托邦

• 4.9.4. 如果没有新技术的支持，一切迟早都会陷入停滞，甚至可能彻底崩溃

4.10. 人口趋势的变化通常需要数十年，而同代人口的规模通常较稳定

4.11. 预计到2030年，锂、钴和石墨的需求将增长500%

4.12. 电池是清洁能源技术的核心应用之一，然而电池技术因受存储容量限制，尚不能满足许多应用场景中几分钟甚至几秒钟的能源消耗需求

4.13. 意味着现代生活的方方面面都存在崩溃的风险，从而带来一系列深远影响，并与众多本已棘手的问题相互交织

4.14. 即使存在可能性，试图阻止即将到来的技术浪潮的想法也并不受欢迎

4.15. 1955年，在生命的最后阶段，数学家约翰·冯·诺依曼撰写了一篇名为《我们能在技术中幸存吗？​》的论文

• 4.15.1. “技术性风险没有任何‘解药’，​”他提到，​“任何试图为当前爆炸式的进步寻找自动安全通道的尝试都将是徒劳的。​”

4.16. 技术同时代表了人类最好和最坏的方面

• 4.16.1. 任何片面的观点都不足以被称为对技术的客观审视

• 4.16.2. 唯一合理的技术认识论便是同时认识到技术的正负两面

• 4.16.3. 为了所有人的利益，我们必须让遏制成为可能