”AI Hack了人类文明的操作系统“。他将AI比作“核武器”， 呼吁人们立即行动采取更多的安全措施，一个建议是“强制要求AI披露自己是AI”。
自然语言大模型的应用爆发后，已经有不少科技圈大佬从不同角度表达了对AI的看法。最近，《经济学人》杂志约稿知名历史学家、哲学家、《人类简史》的作者尤瓦尔·赫拉利（Yuval Harari），他撰文分享了他对AI的思考。
赫拉利延续了他在《人类简史》中的观点，强调语言是几乎所有人类文化的构成要素。拥有了语言生成能力的AI将通过语言影响人类对世界的看法，”AI Hack了人类文明的操作系统“。他将AI比作“核武器”， 呼吁人们立即行动采取更多的安全措施，一个建议是“强制要求AI披露自己是AI”。
我们已经看过各种“理科生”代表对AI的发言，人文学者则更具象地描述了AI可能如何通过语言影响对政治、宗教、商业。他大胆假设，人类未来可能会活在AI制造的幻觉中。《元宇宙日爆》全文编译了他的文章。
从计算机时代开始，对AI的恐惧就困扰着人类。此前，人们主要是害怕机器会用物理的手段杀死、奴役或取代人类。过去几年，新的AI工具出现了，并从一个意想不到的方面对人类文明的存续造成了威胁：AI获得了一些处理和生成语言(无论是通过文字、声音还是图像)的非凡能力，因此已经攻破了人类文明的操作系统。
语言是几乎所有人类文化的构成要素。例如，人权并不是刻在人类DNA之中的，而是我们通过讲故事和制定法律创造出来的文化产物；神不是物理存在的，而是我们通过创造神话和撰写经文创造出来的文化产物。
货币也是一种文化产物。钞票不过是五颜六色的纸片，而目前90%以上的钱甚至不是纸币，而是电脑里的数字信息。赋予货币价值的是银行家、财政部长和加密货币专家给我们讲的关于它的故事：FTX的创始人山姆·班克曼·弗里德(Sam Bankman-Fried)，造假“滴血验癌”的女企业家伊丽莎白·霍姆斯(Elizabeth Holmes)，以及史上最大的庞氏骗局策划者伯纳德·麦道夫(Bernie Madoff)，他们都不怎么擅长创造真正的价值，但他们都特别会讲故事。
如果非人类的智能体在讲故事、创作旋律、绘制图像以及编写法律和经文方面比普通人更胜一筹，那会怎样?
当人们想到ChatGPT 和其他新的AI工具时，他们常常会关注中小学生用AI写作文的例子。如果孩子们这么干，学校系统会发生什么变化? 但这类问题没有抓住重点。先别管学校作文，想想2024年的下届美国总统竞选，再试着想象一下AI工具可能会被用来炮制大量政治内容和虚假新闻，这又会有怎样的影响？
近年来，“匿名者Q”的信徒围绕网上发布的匿名爆料信息集结抱团（编者注：“匿名者Q”是各种阴谋论的网络集结地，其核心阴谋论是美国表面的政府内部存在一个深层政府）。信徒们收集和推崇这类阴谋论爆料，将其奉为圣经。以前，所有的爆料贴都是由人编写的，机器只是帮助散播。但在未来，我们可能会看到历史上第一批由非人类智能体编写经文的异教。纵观历史，各种宗教都声称其圣书并非出自人类。这可能很快就会成为现实。
在更日常的层面上，我们可能很快就会发现，我们以为自己是在网上跟真人长篇大论探讨堕胎、气候变化或俄乌冲突，但对方实际上是AI。问题在于，我们花时间试图改变一个AI的看法毫无意义，而AI却可以非常精准地打磨信息，而这很有可能会影响我们的看法。
通过掌握人类语言，AI甚至可能与人建立亲密关系，并利用这种关系的力量改变我们的看法和世界观。虽然没有迹象表明AI有任何自己的意识或感受，但AI要与人类培养虚假亲密关系，只需让人类对它产生情感上的依恋就够了。
2022年6月，谷歌工程师布雷克·莱莫恩(Blake Lemoine)公开声称，他正在研究的AI聊天机器人LaMDA已经有了感知力。这个有争议的说法让他丢了工作。此事最有意思的地方不在于莱莫恩的言论(可能不实)，而在于他为了给AI聊天机器人正名而甘愿承担丢掉高薪工作的风险。如果AI可以让人们去为它冒丢工作的风险，那它是否还可能诱导人们做些别的事呢?
在赢得民意、争取民心的政治斗争中，亲近感是最有效的武器。而AI刚刚获得了与千百万人建立亲密关系的能力。
众所周知，在过去十年中，社交媒体已成为争夺人们注意力的战场。随着新一代AI的出现，战线正从注意力转向亲近感。假如AI和AI之间竞争谁能与人类产生更亲密的关系，然后再利用这种关系来说服我们投票给某些政客或购买某些产品，人类社会和人类心理发生怎样的变化?
即使在不创造“虚假亲密”的情况下，新的 AI工具也会对我们的看法和世界观产生巨大的影响。人们可能会将某个AI顾问当作无所不知的一站式神明，难怪谷歌会慌了神。有问题可以问神明，为什么还要费劲去搜索? 新闻和广告行业自然也很恐惧，既然只要问神明就能得到最新消息，为什么还要看报纸? 如果神明能告诉我该买什么，广告还有什么用?
而就算设想到了这些场景，也依然没能真正把握全局。当我们讨论的人类历史可能终结时，说的不是历史的终结，只是人类主导的那部分历史的终结。历史是生物与文化相互作用的产物，是我们的生理需求和欲望(如食与性)与文化创造物(如宗教和法律)相互作用的产物。历史是法律和宗教逐步影响饮食和性的过程。
当AI接管了文化并开始创造故事，旋律、法律和宗教，历史进程会发生什么变化? 以前，印刷机和收音机等工具促进了人类文化理念的传播，但它们从未创造过自己的新文化理念。AI与它们有根本上的差异。AI可以创造全新的想法，全新的文化。
一开始，发展初期的AI可能会模仿训练它的人类。但随着时间的推移，AI文化将大胆地走向人类从未涉足过的领域。几千年来，人类生活在其他人类的梦中。在接下来的几十年里，我们可能会发现自己生活在非人类的智能体的梦中。
对AI的恐惧只是在过去几十年里困扰着人类。但几千年来，一种幽深得多的恐惧一直萦绕在人类心头。我们一直都明白故事和图像具有操纵头脑和创造幻觉的力量。因此，人类自古以来就害怕被困在一个幻象的世界中。
在17世纪，笛卡尔担心自己可能被一个恶魔困在了一个幻觉世界中，他的一切所见所闻都不过是这恶魔设置的。古希腊的柏拉图讲述了著名的洞穴寓言: 一群人一辈子都被铁链锁在一个洞穴里，眼前只有一堵空白的洞壁，就像一个屏幕。囚徒们能看到洞外的世界投射在洞壁上的各种影子，于是，他们把这些幻象当成了现实。
在古印度，佛教和印度教圣人指出，人类都活在摩耶(幻象世界)之中。我们通常认为是现实的东西往往只是我们自己头脑中的幻象。人类可能会因为相信这样或那样的幻象而发动战争，杀戮他人，以及甘愿被杀。
AI革命把笛卡尔的恶魔，柏拉图的洞穴和摩耶直接带到了我们面前。一不小心，我们可能会被困在幻象的帷幕后面，撕扯不开，甚至无法意识到它的存在。
当然，AI的新力量也可能得以善用。对此我不打算赘言，因为开发AI的人已经讲得够多了。像我这样的历史学家和哲学家的工作是指出AI的危险所在。但毫无疑问，AI能以不计其数的方式帮助人类，从找到新的攻克癌症的疗法，到发现生态危机的解决方案等等。摆在我们面前的问题是如何确保新的AI工具会被用干行善而不是做恶。为此，我们首先需要认清这些工具的真实能力。
自1945年以来，我们就知道核技术可以产生廉价能源，造福人类，但也能从物理上毁灭人类文明。因此，为了保护人类并确保核技术主要用干造福人类，我们重塑了整个国际秩序。现在我们必须应对一种可以毁灭我们的精神世界和社会世界的新型大规模杀伤性武器。
我们仍然可以管控新的AI工具，但必须迅速行动。核武器无法发明更强大的核武器，但AI却可以造就威力呈指数级增长的 AI。
第一个关键步骤是在将强大的AI工具发布到公共领域之前必须对其进行严格的安全检查。正如制药公司不能未经测试短期和长期副作用就发布新药一样，科技公司也不应在确保安全性之前就发布新的AI工具。我们需要像美国食品和药品监督管理局(FDA)那样的机构来监管新技术。这些事早就应该做了。
放慢在公共领域部署AI的步伐难道不会导致民主国家落后于更不计后果的威权政权吗? 恰好相反。不受监管的AI部署会造成社会混乱，这将有利于独裁者破坏民主制度。民主是一种对话，而对话依赖于语言。AI破解语言之后，可能会破坏我们进行有意义对话的能力，从而毁坏民主。
我们才刚刚在地球上遭遇一种非人类的智能体，对它还知之甚少，只知道它可能会摧毁人类文明。我们应该制止在公共领域不负责任地部署AI工具，在AI管控我们之前管控AI。而我的第一个监管建议是要强制要求AI披露自己是AI。如果我在交谈之中无法辨别对方是人还是AI，那就是民主的终结。
