要不要限制AI？我们把与GPT-4有关的观点收集全了

《三体》中的降临派、拯救派和幸存派分别代表着不同的观念和立场。借用这三个概念，我们可以将对 AI 看法的人划分为 AI 降临派、AI 拯救派和 AI 幸存派。

AI 降临派：

这一派的人认为 AI 的发展将为人类带来巨大的好处，甚至取代人类成为地球的主导力量。他们相信 AI 可以解决人类的许多问题，如气候变化、资源分配、疾病治疗等。AI 降临派的人通常对 AI 技术非常热衷，支持无限制地发展和应用 AI 技术，期待 AI 在未来改变世界。

AI 拯救派：

这一派的人认为 AI 是人类发展的关键，但需要在一定范围内受到监管和引导。他们认为，通过合理的政策制定和伦理道德约束，可以确保 AI 技术的安全和可持续发展。拯救派关注 AI 对社会和个人产生的影响，期望在维护人类利益的同时，让 AI 成为人类的得力助手。

AI 幸存派：

这一派的人对 AI 技术持怀疑甚至担忧的态度。他们认为 AI 技术的发展将可能导致一系列问题，如失业、隐私侵犯、安全威胁等。幸存派的人认为，人类应该小心应对 AI 技术的发展，寻求与 AI 和谐共生的方法。他们强调 AI 的潜在风险，提倡谨慎和审慎的态度来平衡 AI 技术的利弊。

这三派的划分并没有严格按照《三体》原著的定义（原著中降临派要毁灭全人类，拯救派想要拯救三体人，幸存派要出卖人类利益为后代谋求苟活的空间），而是以人们对 AI 的接受程度以及欲施加的监管力度进行划分。

降临派（欢迎 AI 降临）接受程度最高，拯救派（用 AI 造福人类）次之，幸存派（在 AI 时代幸存）最保守，以便于我们理解立场。

让我们看看在这一周内，三派有哪些观点碰撞。

降临派

吴恩达：暂停 AI 开发不可行

本周，一封上千人签署的公开信火遍了全网，一家名为未来生命研究所（Future of Life Institute）的机构呼吁全球应该至少暂停六个月开发比 GPT-4 更强大的模型，以让有关的监管手段能够跟上。

人们在该信上看到了许多知名人士的签名，包括图灵奖得主 Yoshua Bengio、马斯克、史蒂夫 · 沃兹尼亚克、Skype 联合创始人、Pinterest 联合创始人、Stability AI CEO 等人。

该信爆火后，人们发现部分知名人士的签名实际上是网友冒签的，所谓千人签名的真实性存疑。

不管怎么说，这封公开信还是激起了人们关于是否要封禁 AI 研究的讨论。

著名计算机科学家、Google Brain 的联合创始人吴恩达在社交媒体上发表了他对这封信的看法。

他认为，让有关部门暂停他们尚未了解的新兴技术，往好了说是反竞争，往坏了说是开了一个糟糕的先例。

以下是他的观点原文：

要求在 6 个月禁止开展比 GPT-4 更进一步的研究是一个可怕的想法。我看到许多新的应用在教育，医疗保健，食品……这将帮助许多人。继续改进 GPT-4 会对这些领域有所帮助。我们要权衡 AI 创造的巨大价值和现实的风险。

除非有关部门介入，否则没有切实可行的方法来实施暂停并阻止所有团队扩大 LLM（大语言模型）。让有关部门暂停他们不了解的新兴技术是反竞争的，树立了一个可怕的先例，是糟糕的创新政策。

负责任的人工智能很重要，而且人工智能有风险。目前主流的媒体报道称，人工智能公司正在疯狂地发送不安全的代码，这种说法是不正确的。绝大多数人工智能团队（遗憾的是，并非所有人工智能团队）都认真对待人工智能和安全问题。

暂停 6 个月不是一个切实可行的建议。为了提高人工智能的安全性，有关透明度和审计的规定应该变得更加切实可行，产生更大的影响。让我们在推进技术进步的同时，在安全方面作更多的投资，而不是扼杀进步。

Jim Fan：我们应该欣赏 GPT-4

针对大语言模型的安全性，英伟达 AI 科学家 Jim Fan 提出了一个有意思的观点。

他认为按照 AI 的行为规范，那么大部份人类也是「不安全」的，许多大语言模型在安全性和公正性上已经表现地很好，我们不应该一味地批评它们。

以下是他的观点原文：

按照 GPT 的「伦理与安全」指导方针，我们大多数人也表现得不理性、有偏见、不科学、不可靠，总的来说——「不安全」。事实上，我们对人工智能的要求更高。这是件好事，我完全支持做更多。但有些事不吐不快。

我指出这一点的原因是为了让大家了解安全校准工作对于整个研究团体来说是多么困难。大多数的训练数据本身就是有偏见的、有毒的、不安全的等等。实际上，创造一个安全的人工智能助手是违反人类数据分布的。

从某种意义上说，许多生产型 LLM（Claude，Cohere，GPT）在安全性和公正性方面都是「超人」，尽管它们并不完美。对我们来说，下意识地批评失败案例比欣赏挑战（和成就）更加容易。

拯救派

Sam Altman：确保 AGI 惠及全人类

生命研究所的公开信将 OpenAI 拉入了舆论的风暴之中，OpenAI 的 CEO Sam Altman 在 Twitter 上却表示他依然很平静，并提出了建立 AGI（通用人工智能）的三个要点。

以下是他的观点原文：

我们需要为了 AGI 美好的未来而付出的努力

1、调整超级智能的技术能力

2、充分协调大多数主要 AGI 的工作

3、有效的全球监管框架，包括民主治理

此前，Sam Altman 在 Lex Fridman 的采访播客曾表示自己会对 OpenAI 的技术感到害怕，他表示：

当人们认为这是一个巨大的飞跃时，我会说，我有点害怕，我觉得这很奇怪。

我认为一点都不害怕的话才是疯狂的，我同情那些非常害怕的人。

Sam Altman 更关心的是「虚假信息问题或经济冲击」，而不是如何用算法制造「超级智能」。他认为有些公司并不会像 OpenAI 一样设置如此严格的安全栅栏，并担心因此导致 AI 失控造成不良的社会影响。

马云：ChatGPT 只是 AI 时代的开始

马云回国后来到云谷学校，聊到了 ChatGPT 对教育领域的影响。马云表示，ChatGPT 这一类技术已经对教育带来挑战，但是 ChatGPT 这一类技术只是 AI 时代的开始。

以下是他的观点原文：

我们要用人工智能去解决问题，而不是被人工智能所控制，虽然人的体力、脑力比不过机器，但机器只有「芯」，而人有「心」。工业时代是知识驱动，知识的竞争；数字时代，是智慧驱动，是创造力和想象力的竞争，是领导力、担当力、责任的竞争，是独立思考的竞争。

幸存派

Gary Marcus：什么都不做是不对的

纽约大学心理学和神经科学的荣誉退休教授 Gary Marcus（他同时还是 AI 畅销书《Rebooting.AI》的作者）一直对 LLM 保持批评的态度。

当生命研究所的公开信发布后，Gary Marcus 可以说是该观点最坚定的支持者。

面对该公开信受到的质疑，Gary Marcus 做出了一段很长的回应，以下是他的观点原文：

很多针对 6 个月禁止培训超大型 #LLM 的攻击都没有抓住要点。

这么多的利害关系，这里有一个 Twitter # long gread 整理出什么才是真正重要的:

很多对这封信的攻击都集中在赞助人身上，而不是署名人。大多数签名的人（如我，约书亚 · 本吉奥等）与 FLI 没有任何关系。评判这封信应该看它写了什么，而不是谁写的。这里真正的新闻不是埃隆 · 马斯克签署了协议，而是这么多不是天生盟友的人（比如本吉奥和我，因 2019 年的激烈辩论而闻名）出于共同关心而走到了一起。

提出一个不同的选择并没有错，而大多数批评这封信的人也没给出一个恰当的解决办法。

什么都不做是不好的。几乎所有人，甚至包括 OpenAI 在内，都承认其存在严重的风险，但迄今为止，有关部门或行业都没有采取什么切实措施来减轻这些风险。

并不是所有签署了这封信的人都主要关心长期风险; 我们中的许多签署了这封信的人至少同样担心短期风险。

这封信并没有呼吁禁止人工智能。没有要求永久禁止。它没有呼吁禁止 GPT-4。它没有呼吁禁止绝大多数人工智能研究，只是在一个非常具体的项目上短暂停顿了一下，该项目的技术已经「知道」存在风险，却没有已知的解决方案。实际上需要更多的研究。有人看过那封信吗？

我个人没有改变；我仍然认为 LLM 是不可靠的，仍然认为它们表达事实的能力非常糟糕。我不认为它们接近 AGI。但这并不意味着他们没有撕裂我们社会结构的潜力ーー特别是考虑到当前的混合情况：难以置信的广泛和快速部署、企业不负责任、缺乏监管以及一直存在的不可靠性。

Eliezer Yudkowsky：暂停还不够，我们应该把 AI 永远关闭！

Eliezer Yudkowsky 是著名的人工智能科学家和作家，同时也是机器智能研究所（MIRI）的联合创始人，MIRI 致力于确保超人工智能对人类具有友善的价值观。

未来生命研究所的公开信爆火之后，Eliezer Yudkowsky 在《时代（Time）》上发表了一篇名为《Pausing AI Developments Isn't Enough. We Need to Shut it All Down》文章。

在开头提到他并没有在上面签名，因为这封信低估了形势的严重性，提出的要求太少，无法解决问题。

文中提到了当人工智能变得比人类更聪明之后可能造成的危害，Eliezer Yudkowsky 提出了一个相当消极的观点：

我们还没准备好。我们没有在任何合理的时间内做好准备。没有计划。人工智能能力的进步是巨大的，远远领先于人工智能排列的进步，甚至领先于理解这些系统内部到底发生了什么的进步。如果我们真的这么做（放任其发展），我们都会死的。

Eliezer Yudkowsky 在前不久接受 Lex Fridman 的采访时再次警告，人类没有第二次校准人工智能的机会，如果人类失败，人类就将灭亡。