辛顿最新访谈（实录）：美国AI目前领先中国，但将失去这种优势

日前，“AI教父”辛顿与每日秀主持人进行了一段深度对话。

辛顿提出，AI也许已经有了“意识雏形”，只是因为我们人类自己对意识理解错了，所以它也被教错了，而不知道自己有意识。

他还表示对最近的中国之行印象很不错，认为，美国AI目前领先于中国，但远没有之前想象的那么多，而且它会失去这种优势。

以下为访谈实录：

主持人:大家好。我是乔恩·斯图尔特，今天由我来主持。今天是10月8日，星期三。

今天的节目，我们采访的是一位被称为人工智能教父的人，杰弗里·辛顿先生，他从70年代就开始开发已经演变成人工智能的技术。第一部分，他向我们详细地解释了它到底是什么，我们会谈到“它会杀死我们所有人”的部分，但为了我理解的透彻，交代清楚背景很重要。

我希望你们觉得那部分和我一样有趣，因为它真的扩展了我对这项技术的理解，了解了它将如何被利用，以及其中可能存在的一些危险，这种理解的方式真的很有趣。

好的，今天我们非常荣幸地欢迎多伦多大学计算机科学系荣休教授和施瓦茨-赖斯曼研究所顾问委员会成员杰弗里·辛顿加入我们。

先生，您因为在这些神经网络方面的工作，在2024年共同获得了诺贝尔物理学奖，是这样吗？

辛顿: 是的。这有点令人尴尬，因为我不研究物理学。所以当他们打电话给我说，你获得了诺贝尔物理学奖时，我一开始并不相信他们。

主持人: 那么其他的物理学家是否会说，等等，那家伙甚至不是我们这个行业的。

辛顿: 我强烈怀疑他们是这样，但他们没有对我这样做。

主持人: 我确定这对你来说可能有点补习性质。但是当我们谈论人工智能时，我不太确定我们到底在谈论什么。我知道有这些东西，大语言模型。

根据我的经验，我认为人工智能只不过是一个稍微好听一点的搜索引擎。过去我用谷歌搜索东西，它会直接给我答案。现在它会说，你问了一个多么有趣的问题啊。那么，当我们谈论人工智能时，我们在谈论什么？

辛顿: 当你过去使用谷歌时，它会使用关键词，并且会提前做很多工作，所以如果你给它一些关键词，它就能找到所有包含这些词语的文件。

主持人: 所以基本上它只是，它在排序，它在查找和排序，找到词语，然后给你一个结果。

辛顿: 过去就是这样运作的，但它不理解问题是什么，所以它不能给你实际上不包含这些词语，但却是关于相同主题的文件。

主持人: 它没有建立那种联系，因为它会说，这是你的结果减去，然后它会说一个不包含的词语。

辛顿: 对，但如果你有一份文件中没有你使用的任何词语，它就不会找到它，即使它可能是一份关于你所谈论主题的非常相关的文件。它只是会使用不同的词语。现在它能理解你说的话，并且几乎以与人们相同的方式理解。

主持人: 什么？所以它已经从一种字面意义上的搜索和查找工具，变成了一个几乎是你所讨论的任何领域的专家，而且它可以带给你你可能没有想到的东西。

辛顿: 是的，大语言模型并不是所有领域的专家，如果你有一些朋友对某个主题了解很多。

主持人: 嗯哼。没错，我有几个这样的朋友。

辛顿: 是的。他们可能比大语言模型要好一些，但他们仍然会对大型语言模型非常了解他们的主题印象深刻。

主持人: 那么，机器学习之间的区别是什么？那么谷歌，就搜索引擎和机器学习而言，也是如此吗？那只是算法和预测。

辛顿: 不完全是。机器学习是计算机上任何学习系统的统称，现在这些神经网络是一种特殊的学习方式，与之前使用的非常不同。

主持人: 好的。当你说神经网络时，意思是你的工作在某种程度上起源于70年代，那时你认为你正在研究大脑。是这样吗？

辛顿: 我试图提出关于大脑实际如何学习的想法。关于那件事我们了解一些情况，它是通过改变脑细胞之间连接的强度来学习的。

主持人: 等等，解释一下。它说它是通过改变连接来学习的。所以如果你给人类展示一些新的东西，脑细胞实际上会在脑细胞内部建立新的连接。

辛顿: 它不会建立新的连接，但它运作的主要方式是改变这些连接的强度。所以如果你从大脑中间神经元的角度来看，它一生中唯一能做的就是偶尔发出“砰”的一声。

主持人: 它就只有这个能耐？那是它唯一能做的——那是它所拥有的全部。

辛顿: 它所拥有的全部就是它可以，除非它恰好连接到一块肌肉，否则它有时会发出“砰”的一声。而且它必须决定什么时候发出“砰”的一声。

主持人: 哇。它是如何决定什么时候发出“砰”的一声的？

辛顿: 当它看到其他神经元发出“砰”的特定模式时，它也会发出“砰”的一声。

你可以认为这个神经元接收来自其他神经元的“砰”声，并且每次它接收到一个“砰”声，它都将其视为它是否应该开启，或者应该发出“砰”声，或者不应该发出“砰”声的若干投票。

你可以改变另一个神经元对它有多少投票。你会如何改变那个投票？通过改变连接的强度。连接的强度，可以认为是这个其他神经元给你多少票让你激活。

主持人: 天啊，它让我想起了电影《小黄人》，但它几乎是一个社会...

辛顿: 是的，它非常像政治联盟，会有成群的神经元一起激活，并且那个群体中的神经元会互相告诉对方激活，然后可能会出现不同的联盟，它们会告诉其他神经元不要发出信号。天啊。然后可能会出现不同的联盟，它们都互相告诉对方发出信号，并告诉第一个联盟不要发出信号。

主持人: 所有这些都在你的大脑中发生，我想拿起一个勺子。

辛顿: 是的，例如勺子，你大脑中的勺子是一个神经元联盟一起发出信号。那是一个概念。

主持人: 所以当你教，当你还是个婴儿，他们说勺子，有一小群神经元会，那是勺子。并且它们正在加强彼此之间的连接。这就是为什么当你对大脑进行成像时，你会看到某些区域亮起来吗？这些区域的亮起是否是神经元针对特定项目或动作发出的信号？

辛顿: 不完全是，接近了。

当你做不同的事情时，不同的区域会亮起，比如当你进行视觉处理、说话或控制你的手时。不同的区域会为此亮起。但是当出现勺子时一起发出信号的神经元联盟，它们不仅仅为勺子工作。该联盟的大部分成员在出现叉子时也会发出信号。所以这些联盟重叠很多。

主持人: 这是一个大帐篷。这是一个大帐篷联盟。我喜欢把这个看作是政治性的。我不知道你的大脑是靠同伴压力运作的。

辛顿: 是的，有很多这样的情况发生。而且概念有点像是快乐地在一起的联盟，但它们之间有很多重叠。就像狗的概念和猫的概念有很多共同之处。它们会共享很多神经元。特别是，那些代表诸如“这是有生命的”或“这是毛茸茸的”或“这可能是一种家养宠物”等事物的神经元，所有这些神经元在猫和狗之间是共通的。

主持人:是否存在某些神经元，它们为了“动物”这个广泛的概念而广泛地活跃，然后还有其他神经元？比如，它是从宏观到微观，从一般到具体地运作吗？所以你有一组神经元泛泛地活跃，然后当你对知识掌握得更具体时，是否会激活某些活跃频率较低，但可能更具特异性的神经元？是这样吗？

辛顿: 这是一个非常好的理论，没人能确切知道这个。特别是，在这个神经元联盟中，会有些神经元对更一般的事物更频繁地活跃，然后可能有些神经元对更具体的事物活跃频率较低。

主持人: 好的，并且这贯穿始终。就像你说的，某些区域会对视觉或其他感官，触觉，发出信号。我认为语言也有一种信号系统。你刚才说，如果我们能让电脑，它更加，我认为，仅仅是二元的，如果...那么…，是那种基础的。你是说，我们能否让它们像这些联盟一样运作？

辛顿: 是的，我不认为二元的、如果…那么…与此有太大关系。区别在于人们试图将规则输入电脑。他们试图弄清楚……所以你编程电脑的基本方式是，你非常详尽地弄清楚你将如何解决这个问题。

主持人: 你解构了所有的步骤。

辛顿: 然后你告诉计算机具体做什么。这是一个普通的计算机程序。这些东西完全不是那样的。

主持人: 所以你试图改变那个过程，看看我们是否能创造一个更像人脑运作方式的过程。你希望它能更全局地思考，而不是逐项的指令列表。这是如何发生的？

辛顿: 所以对很多人来说，很明显大脑的工作方式不是别人给你规则，然后你只是执行这些规则。在朝鲜，他们会希望大脑那样工作，但它们不是。

主持人: 你是说，在威权世界里，大脑就是这样运作的。

辛顿: 那是他们希望大脑如何运作。

主持人: 那是他们希望大脑如何运作。这比那更有艺术性。

辛顿: 所以我们确实为神经网络编写程序，但这些程序只是告诉神经网络如何根据神经元的活动来调整连接的强度。所以这是一个相当简单的程序，其中没有关于世界的各种知识。这仅仅是，根据活动来改变神经连接强度的规则是什么？

主持人: 你能给我一个例子吗？这会被认为是某种，是机器学习还是深度学习？

辛顿: 这就是深度学习。如果你有一个包含多层的网络，它就被称为深度学习，因为它有很多层。

主持人: 那么，当你试图让计算机进行深度学习时，你对它说了什么？你会给出的指令的例子是什么？

辛顿: 那么让我们回到1949年。

这里有一个叫做唐纳德·赫布的人提出的关于如何改变连接强度的理论。好的。如果神经元A发出信号，然后不久之后神经元B发出信号，则增加连接的强度，这是一个非常简单的规则，这被称为赫布规则。

主持人: 对。赫布规则是如果神经元A发出信号，增加连接，然后B发出信号，增加那个连接。是的。好的。

辛顿: 现在，一旦计算机出现，你可以进行计算机模拟，人们发现仅凭这个规则本身行不通。发生的情况是，所有连接都变得非常强，所有神经元同时发出信号，然后你就癫痫发作了。

肯定有某种东西能减弱连接，就像增强连接一样。

主持人: 对。肯定需要一些辨别力。

辛顿: 好的。假设我们想创建一个神经网络，它有多层神经元，用来决定一个图像是否包含一只鸟。

主持人: 就像验证码，就像你上去然后它让你看一样。

辛顿: 没错。所以，我们想用一个神经网络来解决那个验证码。

主持人: 所以，神经网络的输入，神经元的最底层，是一堆神经元，它们以不同的强度传递到不同的层级……

辛顿: 它们传递的强度不同，并且代表图像中像素的强度。所以，如果这是一个一千乘一千的图你就会有一百万个神经元以不同的速率传递，来表示每个像素的强度。这就是你的输入。现在，你必须把它变成一个决定。这是不是一只鸟？

主持人: 那么，让我问你一个问题。你用什么编程？因为像素强度在我看来并不是一个真正有用的工具，用来判断它是否是一只鸟。确定它是否是一只鸟似乎应该是这样的工具：那些是羽毛吗？那是个鸟喙吗？那是个冠吗？

辛顿: 开始了。像素本身并不能真正告诉你它是否是一只鸟，因为你可以有明亮的鸟和黑暗的鸟，你可以有飞翔的鸟和坐着的鸟，你可以有一只鸵鸟在你面前，你也可以有一只海鸥在远处。它们都是鸟。

那么，你接下来做什么？某种程度上受大脑引导，人们接下来做的就是，设置一堆边缘检测器。所以，我们要做的就是，你可以在线条画中很好地识别鸟类。

所以，我们要做的就是制造一些神经元，一大堆用来检测小块边缘的神经元。也就是图像中一边亮一边暗的小地方。

主持人: 对。这几乎是在创造一种原始的视觉形式。

辛顿: 这就是你如何创建一个视觉系统。大脑和计算机都是这样做的。如果你想检测图像中特定位置的一小段垂直边缘，假设你观察一小列3个像素，旁边是另一列3个像素。如果左边的亮，右边的暗，你就会说，是的，这里有一个边缘。那么，你必须问，我会如何制造一个能做到这一点的神经元？

主持人: 那么，你做的第一件事就是你必须教导网络什么是视觉。你在教它，这些是图这是背景，这是形态，这是边缘，这不是，这是明亮的。所以，你几乎是在教它如何去看。

辛顿: 在过去，人们会尝试放入大量的规则来教它如何去看，并向它解释什么是前景，什么是背景。但是真正相信神经网络的人说，不，不，不要放入所有这些规则，让它仅从数据中学习所有这些规则。

主持人: 而它的学习方式是通过加强脉冲信号，一旦它开始识别边缘和事物。

辛顿: 我们稍后会讲到。让我们继续讨论这个边缘检测器。

在第一层，你有神经元来表示像素的亮度。然后在下一层，我们将有一些小的边缘检测器。因此，你可能在下一层有一个神经元，它连接到左侧的3个像素列和右侧的3个像素列。现在，如果你加强与左边三个像素的连接强度，使其成为大的正向连接。

主持人: 对。因为它更亮。

辛顿: 并使与右边三个像素的连接强度成为大的负向连接。

主持人: 因为它更暗。

辛顿: 它们会说，别开启，当左边的像素和右边的像素亮度相同时，负向连接会抵消正向连接，什么也不会发生。

主持人: 但是如果左边的像素很亮，右边的像素很暗，神经元会从左边的像素获得大量输入，因为它们是大的正向连接。

辛顿: 它不会从右边的像素获得任何抑制，因为那些像素都关闭了。

所以，它会发出“砰”的一声。它会说，嘿，我找到我想要的东西了。我发现左边的三个像素很亮，右边的三个像素不亮。嘿，那是我的事。砰。我在这里找到了一小段边缘。

主持人: 我就是那个人。我是边缘人。我在边缘上发出信号。

辛顿: 对。并且它在该特定边缘上发出信号。现在，想象一下你有无数个这样的东西。

主持人: 光是这3个信号我就已经精疲力尽了。你有无数个这样的东西。因为它们必须检测你视网膜上任何地方、图像中任何地方、以及任何方向上的微小边缘。

辛顿: 你需要针对每个方向的不同检测器。而且实际上你还针对尺度有不同的检测器。在非常大的尺度上可能存在非常暗淡的边缘。而且在非常小的尺度上可能存在细小的锐利边缘。

主持人: 随着你制造越来越多的边缘检测器，你在边缘的辨别方面会越来越好。

辛顿: 你可以看到更小的边缘，你可以更准确地看到边缘的方向，你可以更好地检测到大的、模糊的边缘。那么，现在让我们进入下一层。

主持人: 那么，现在我们有了边缘检测器。

辛顿: 现在，假设我们在下一层有一个神经元，它寻找几乎水平的边缘的小组合，一排中几个几乎水平的边缘，并且彼此对齐。

主持人: 并且略高于这些边缘，还有一排几个边缘，它们又是几乎水平的，但向下形成一个与第一类边缘相交的点。

辛顿: 你找到了两个边缘的小组合，它们构成了一种尖锐的东西。

主持人: 好的。它构成了一种尖锐的东西。我以为会有一个名字来称呼它。但我明白你的意思。你现在辨别它在哪里结束，你在某种程度上观察不同的...而这甚至在你观察颜色或其他任何东西之前。这实际上仅仅是，是否存在一个图像？边缘是什么？

辛顿: 边缘是什么？边缘的小组合是什么？所以，我们现在问的是，是否存在一个边缘的小组合，它构成某种可能是鸟喙的东西？那是尖尖的东西。

主持人: 但你还不知道什么是鸟喙。

辛顿: 还没。

主持人: 所以，一旦你有了这个系统，就几乎像你在构建可以模仿人类感官的系统。这正是我们正在做的。所以，视觉，听觉，显然没有嗅觉...

辛顿: 不，他们现在开始研究嗅觉。现在已经有了数字气味技术，你可以在网络上传输气味。这简直是...

主持人: 这太疯狂了。气味打印机有200个组件。

辛顿: 不是三种颜色，而是200个组件。它在另一端合成气味。虽然还不太完美，但已经很不错了。

让我完成关于如何手动构建这个系统的描述。如果我手动操作，我会从这些边缘检测器开始。我会说，从左侧的这些像素建立大的、强的、正向的连接，以及到右侧像素的大的、强的、负向的连接。现在，接收到这些传入连接的神经元，将会检测到一小段垂直边缘。然后，在下一层，我会说，从3个像这样倾斜的小边缘片段，以及3个像那样倾斜的小边缘片段，建立大的、强的、正向的连接。

主持人: 可能是喙和一个尖状物。

辛顿: 而这是一个潜在的喙，在同一层中，我做了... Mike还通过大致形成一个圆的边缘组合，建立了巨大、强大和积极的联系。那是一个潜在的眼睛。

现在，在下一层中，我有一个神经元，它观察可能的喙，并观察可能的眼睛。

主持人: 如果它们处于正确的相对位置，它会说，嘿，我很高兴。

辛顿: 因为那个神经元检测到了一个可能的鸟头，那家伙可能会发出信号。同时，其他地方也会有其他神经元检测到一些小模式，比如鸡爪，或者鸟翅膀末端的羽毛。所以你有一大堆这些家伙。现在，甚至更高层，你可能有一个神经元说，嘿，看，如果我检测到鸟头，并且我检测到鸡爪，并且我检测到翅膀的末端，那可能就是一只鸟。所以你现在可以看到，你可能如何尝试手动连接所有这些。

主持人: 是的。这会花费一些时间。

辛顿: 你可以做的是，你可以直接创建这些神经元层，而不说明所有连接的强度应该是多少。你只需用小的随机数来启动它们。随便输入一些强度。然后你输入一张鸟的图片。假设它有两个输出。一个说鸟，另一个说不是鸟。对。里面有随机的连接强度。接下来会发生的是，你输入一张鸟的图片，它会显示50%是鸟，50%不是鸟。换句话说，我一窍不通。

主持人: 对。然后你放一张非鸟类的图片，它显示 50% 是鸟类，50% 是非鸟类。

假设我要选取其中一个连接强度，然后稍微改变它，让它稍微强一点。

辛顿: 它会说 50.01% 是鸟类，49.99% 是非鸟类，而不是说 50% 是鸟类吗？如果它是一只鸟，那么这是一个好的改变。你让它工作得稍微好一点了。

主持人: 这是哪一年？这是什么时候开始的？完全正确。

辛顿: 所以这只是一个想法。这永远行不通，

主持人: 而这将是在10年内毁灭我们所有人的东西。是的。当我我说“是的”时，我指的不是这件事本身，而是它的一个发展。

辛顿: 但这就是它的开端。不一定会杀死我们所有人，但也可能。

主持人: 这就像奥本海默在说，好吧，假设你有一个物体，它是由更小的物体组成的。这是非常早期的部分。

辛顿: 好的。假设你拥有世界上所有的时间。你可以做的是，你可以采用这种分层神经网络，你可以从随机的连接强度开始，然后你可以给它展示一只鸟，它会说50%是鸟，50%不是鸟，然后你可以选择一个连接强度，你可以说，如果我稍微增加它，会有帮助吗？不会有太大帮助，但有帮助吗？

主持人: 对。它能让我达到50.1%、50.2%之类的吗？

辛顿: 如果有帮助，就进行增加。然后你再绕回去，重新做一遍。也许这次我们选择一种非鸟类的东西，然后我们选择一种连接强度，我们希望它...如果我们增加连接强度，它会说更不可能是一种鸟，更有可能是一种非鸟类的东西。我们说，这是一个很好的增长。我们就这样做吧。 现在，这里有个问题。这里有1万亿个连接，而且每个连接都必须改变很多次。

主持人: 这是手动的吗？按照这种做法，它会是手动的，不仅如此，而且你不能仅仅基于一个例子来做，因为有时改变连接强度，如果你稍微增加它，它会对这个例子有帮助，但它会让其他例子变得更糟。

辛顿: 所以，你必须给它一整批的例子，对，然后看看平均来说是否有帮助。

主持人: 这就是你如何创建这些大型语言模型的。

辛顿: 如果我们用这种非常愚蠢的方式来创建，比如说，现在的这个视觉系统，是的，我们必须进行数万亿次的实验，而且每次实验都涉及到给它一整批的例子，看看改变一个连接强度是有帮助还是有损害。

主持人: 天啊。而且永远也做不完，永远也做不完，这将是无限的。

辛顿: 现在，假设你弄清楚了如何进行计算，从而告诉你网络中每个连接强度的信息，它会同时告诉你，对于这个特定的例子，假设你给它一只鸟，它说50%是鸟。现在，对于每一个连接强度，所有这数万亿的连接强度，我们可以同时计算出是否应该稍微增加它们以提供帮助，或者稍微减少它们以提供帮助，然后你同时改变数万亿个连接强度。

主持人: 我能说一句我一直想说的话吗？尤里卡。尤里卡。尤里卡。尤里卡。

辛顿: 现在，对于普通人来说，这个计算似乎很复杂。如果你学过微积分，那就相当简单了。许多不同的人发明了这个计算方法，它叫做反向传播。这样你就可以同时改变所有万亿个参数，而且速度会快万亿倍。

主持人: 我的天。那一刻，它从理论走向了实践。

辛顿: 那一刻你会觉得“尤里卡！”，我们解决了它。我们知道如何制造智能系统，对我们来说，那是1986年。当它没有奏效时，我们非常失望。

主持人: 你已经在那个房间里待了10年。你一直在给它展示鸟类。你一直在增加强度。你灵光一现，然后你打开了开关，然后就开始了。不，问题在这里。

辛顿: 问题在这里。只有当你拥有大量数据和巨大的计算量时，它才能工作，或者说它的工作效果才会非常好，远胜于其他任何视觉处理方法。如果你有大量的数据，而且你拥有巨大的计算能力，即使你比愚蠢的方法快一万亿倍，那仍然需要做很多工作。

主持人: 所以现在你必须增加数据，并且你必须增加你的计算能力。

辛顿: 是的。而且你必须将计算能力提高大约10亿倍，与我们当时所处的水平相比。而且你必须将数据量增加类似的倍数。

主持人: 在1986年当你弄清楚这一点时，你仍然距离目标差10亿倍。

辛顿: 差不多是这样。

主持人: 是的。需要改变什么才能让你达到目标？芯片的功率，需要改变什么？

辛顿: 可能更像是100万倍，我不想在这里夸大。一百万是相当大的数目。所以这是必须改变的。晶体管的面积必须变小，这样你才能在一个芯片上封装更多的晶体管。

主持人: 所以从1972年我开始研究这些东西到现在，晶体管的面积已经缩小了一百万倍。那么我可以把这个联系到...大概就在那个年纪，我记得我父亲在RCA实验室工作。当我大约八岁的时候，他带回家一个计算器，那个计算器有一个桌子那么大。它可以加、减、乘。到1980年，你就能得到一支笔大小的计算器了。这是基于那个吗？是的。晶体管？

辛顿: 那是基于使用小型晶体管的大规模集成。因此，晶体管的面积减少了一百万倍，而且可用数据的数量增加了更多，因为我们有了网络。而且我们获得了海量数据的数字化。

主持人: 所以它们是携手并进的，随着芯片变得更好，数据变得更加庞大，你能够将更多信息输入到模型中，同时它能够提高其处理速度和能力。

辛顿: 是的。那么让我总结一下我们现在所拥有的。

你建立了这个用于检测鸟类的神经网络，并且赋予它许多层的神经元，但是你没有告诉它连接强度。你说，从小的随机数开始。现在你所要做的就是向它展示大量的鸟类图像和大量的非鸟类图告诉它正确的答案，以便它知道自己所做的与应该做的之间的差异，将该差异向后发送通过网络，以便它可以计算出对于每个连接强度，它应该增加还是减少它，然后只需坐等一个月。

主持人: 在月底，如果你向里面看，你会发现以下内容。

辛顿: 是的。它已经构建了小的边缘检测器。而且它已经构建了像小的喙检测器和小的眼睛检测器这样的东西。它也会构建一些很难看出它们是什么的东西，但是它们正在寻找像喙和眼睛这样的小组合。然后经过几层之后，它会非常擅长告诉你它是否是一只鸟。它从数据中创造了所有这些东西。

主持人: 我的天啊。我可以再说一遍吗？尤里卡。尤里卡。

辛顿: 我们发现我们不需要手工连接所有这些小的边缘检测器、喙检测器、眼睛检测器和鸡爪检测器。这就是计算机视觉多年来所做的事情，但效果一直不太好。我们可以让系统学习所有这些。我们只需要告诉它如何学习。

主持人: 那是在1980年代。

辛顿: 1986年，我们弄清楚了如何做到这一点。

主持人: 人们非常怀疑，我们无法做出任何令人印象深刻的事情，因为我们没有足够的数据，也没有足够的计算能力。这太不可思议了...

我太习惯于模拟世界中事物和汽车的运作方式，但我不知道我们的数字世界是如何运作的。这对我来说是我得到过的最清晰的解释，这让我现在明白了这是如何实现的。顺便说一句，杰弗里所说的是它的原始版本。对我来说，令人难以置信的是它的每次升级，以及它的巨大改进。

辛顿: 但是这如何应用于大型语言模型？你有一些语境中的词语。所以，假设我给你一个句子的前几个词语。对。神经网络要做的是学习将每个词语转换成一大组特征，也就是活跃的神经元，发出信号的神经元。如果我给你“星期二”这个词，就会有一些神经元发出信号。如果我给你“星期三”这个词，就会有一组非常相似的神经元，略有不同，但非常相似的一组神经元发出信号，因为它们的意思非常相似。

现在，在你将上下文中所有的词语都转换成发出信号的神经元，转换成捕捉其含义的大量神经元之后，这些神经元会相互作用。这意味着下一层中的神经元会观察这些神经元的组合，就像我们观察边缘的组合来寻找鸟喙一样。而且，最终，你可以激活代表句子中下一个单词特征的神经元。

主持人: 它会预测。

辛顿: 它可以预测。它可以预测下一个词。

主持人: 所以，你训练它的方式是...这就是我的手机会那样做的原因吗？它总是认为我将要说下一个词，我总是觉得，别这样。

辛顿: 是的。它可能正在使用神经网络来做到这一点，而且，你不可能在这方面做到完美。

主持人: 所以，现在，把它放在一起，你几乎已经教会了它如何去看。

辛顿: 你可以用教它预测下一个词的方式，来教它如何去看。

主持人: 所以，它看到了。它会说，那是字母A。现在我开始识别字母了。然后你教它单词，然后这些单词的含义，然后是语境。而这一切都是通过给它输入我们之前的话语，通过反向传播我们已经完成的所有写作和说话来完成的。它正在回顾。

辛顿: 你拿出我们制作的一些文档，你给它语境，也就是到目前为止的所有词语，然后你让它预测下一个词，然后你看看它给出的正确答案的概率。然后你说，我希望那个概率更大，我希望你更有可能给出正确答案。

主持人: 所以，它并不理解，这仅仅是一个统计练习。

辛顿: 我们会回到这一点。你计算它给出的下一个词的概率和正确答案之间的差异，然后你通过这个网络反向传播那个差异，它会改变所有的连接强度。所以，下次你看到那个引导语时，它更有可能给出正确的答案。

现在，你刚才说了一些很多人都会说的话。这不是理解。这只是一个统计技巧。例如，乔姆斯基就是这么说的。

主持人: 是的。乔姆斯基和我，我们总是打断彼此的话。那么，让我来问你这个问题。

辛顿: 你是如何决定接下来要说什么词的？

主持人: 我？你。这很有趣。我很高兴你提出这个问题。所以，我所做的是，我寻找清晰的线条，然后我尝试预测。不，我不知道我是怎么做到的。说实话，我希望我知道。如果我知道如何阻止接下来要说的一些话，我就可以避免很多尴尬。如果我有一个更好的预测器，天啊，我就能省去很多麻烦。

辛顿: 所以，你做这件事的方式和这些大型语言模型做这件事的方式几乎一样。

你有你目前为止说过的词，这些词由活跃特征的集合来表示，词语符号被转化为特征激活的大模式，神经元发出信号。不同的信号，不同的强度。这些神经元相互作用，激活一些神经元，发出代表下一个词的含义或下一个词的可能含义的信号。从这些词中，你会选择一个符合这些特征的词。这就是大型语言模型生成文本的方式，也是你做事的方式。它们非常像我们。

主持人: 所以，我将理解的人性归于我自己。例如，假设是善意的谎言。我和某人在一起，他们问我一个问题，在我脑海中，我知道该说什么。但我也会想，但那样说可能很粗鲁，或者可能不礼貌，或者我可能会冒犯这个人。所以，我也在对我说出的下一个词做出情感上的决定。这不仅仅是一个客观的过程。其中存在一个主观的过程。

辛顿: 所有这些都是通过神经元在你大脑中的相互作用发生的。

主持人: 都是信号，都是连接强度。即使是我归因于道德准则或情商的事情，仍然是信号。

辛顿: 它们仍然是信号。你需要明白，在你自动、快速、毫不费力地做的事情，和你费力、缓慢、有意识且深思熟虑地做的事情之间，存在着差异。

主持人: 你是说这也可以构建到这些模型中吗？

辛顿: 那也可以用信号来完成。那可以用这些神经网络来完成。

主持人: 但你的意思是，如果拥有足够的数据和足够的处理能力，它们的大脑就可以和我们的一样运作吗？它们达到那种程度了吗？他们会达到那个地步吗？他们能够做到吗？因为我假设我们在处理能力方面仍然领先。

辛顿: 好的。它们不完全像我们，但关键是它们比标准计算机软件更像我们。标准计算机软件，有人编入了一堆规则，如果它遵循这些规则，它就会做他们期望它做的事情。

主持人: 没错。所以你说这就是区别。

辛顿: 这完全是另一码事，它更像我们。

主持人: 现在，当你做这件事并且身处其中时，我想这种兴奋感是，即使它发生在很长一段时间内，你也会看到这些改进在那段时间内发生，这一定是非常令人满足和有趣的，你正在看着它爆发成这种人工智能和生成式人工智能以及所有这些不同的东西。在这个过程中的哪个点，你会退后一步，然后想，等等？

辛顿: 好的。所以我做得太晚了。我应该早点做的。我应该早点意识到的，但我太专注于让这些东西运转起来了，而且我当时认为，在它们能像我们一样运作良好之前，还有很长很长的时间。

主持人: 我们有足够的时间来担心它们是否会试图接管以及诸如此类的事情。

辛顿: 在2023年初，在GPT问世之后，而且在那之前也看到了谷歌类似的聊天机器人，并且由于我当时正在做一些尝试使这些东西模拟化的工作，我意识到在数字计算机上运行的神经网络是一种比我们更好的计算形式，我会告诉你它们为什么更好。

主持人: 是的，为什么？

辛顿: 因为它们可以更好地共享。

主持人: 它们可以更好地彼此共享。

辛顿: 是的。所以如果我制作了同一个神经网络的许多副本，并且它们在不同的计算机上运行，那么每一个都可以查看互联网的不同部分。所以我有一千个副本。它们都在查看互联网的不同部分。每个副本都在运行这个反向传播算法，并计算出，根据我刚刚看到的数据，我希望如何改变我的连接强度？现在，因为它们一开始是相同的副本，所以它们可以相互通信，并说，我们大家把连接强度都改变为每个人想要的平均值怎么样？

主持人: 但是如果它们一起训练，难道不会得出相同的答案吗？为什么它们会得出不同的答案？

辛顿: 是的，但是它们正在查看不同的数据。它们正在查看不同的数据。在相同的数据上，它们会给出相同的答案。如果它们查看不同的数据，它们对于如何改变它们的连接强度以吸收该数据会有不同的想法。

主持人: 但它们也在创造数据吗？是这样吗？所以它们看到的是一样的。在这一点上，一切都与辨别力有关，让这些东西更好地辨别，更好地理解，去做所有这些。但这里还有另一层，那就是迭代。

辛顿: 是的，一旦你擅长辨别，你就可以生成。现在，我在这里忽略了很多细节，但基本上，你可以生成。

主持人: 你可以开始为那些没有被编写的东西生成答案，这些答案是基于那些东西经过深思熟虑的。谁在迭代或生成层面给予它多巴胺刺激，让它决定是否加强连接？当它创造出不存在的东西时，它是如何获得反馈的？

辛顿: 所以大部分学习都发生在弄清楚如何预测这些语言模型的下一个词，这是学习的大部分所在，在弄清楚如何做到这一点之后，你可以让它生成东西。

主持人: 而且它可能会生成令人不愉快或带有性暗示的东西，或者只是完全错误。是的。幻觉。

辛顿: 是的。所以现在你找一群人来看它生成的东西，然后说，不，不好。是的，好。那就是多巴胺冲击。对。这被称为人类强化学习。这就是用来稍微塑造它的东西。就像你训练一条狗，塑造它的行为，让它表现得很好。

主持人: 那么，从实际意义上，我来问你这个问题。当埃隆·马斯克创造他的Grok时，他对它说，你太觉醒了。所以你在建立我认为太觉醒的联系和信号，无论我决定那是什么。所以我将输入差异，以便你获得不同的多巴胺刺激，我把你变成麦加·希特勒或者他把它变成的任何东西。这其中有多少仍然在操作员的控制之下？

辛顿: 你所强化的是在操作员的控制之下。

主持人: 所以操作员的意思是，如果它使用了一些奇怪的代词，就说不好。好的。好的。如果它说“他们”、“她们”、“它们”。是的。你必须削弱这种联系。是的。你必须告诉它，不要那样做，不要那样做。所以它仍然受其操作员的支配。

辛顿: 在塑造方面是这样。问题是这种塑造相当肤浅，但之后其他人可以很容易地通过采用相同的模型，并以不同的方式塑造它来克服。

主持人: 如此不同的模型将会拥有。因此这里存在一个价值，而我现在正将此应用于我们现在所生活的世界，即有20家公司将其人工智能隔离在某种公司壁垒之后，并正在分别开发它们，而且这些公司中的每一个都可能具有其他公司可能不具备的独特而古怪的特征，这取决于是谁试图塑造它以及它如何在内部发展。这几乎就像你会发展出20种不同的人格一样，如果这不算过度拟人化的话。

辛顿: 这有点像那样，只不过每个模型都必须具有多重人格，因为想想试图预测文档中的下一个词。你已经阅读了文档的一半。在你阅读了文档的一半之后，你对撰写文档的人的观点了解了很多。你知道他们是什么样的人。所以你必须能够采纳那种人格来预测下一个词。但这些可怜的模型必须处理一切。因此，他们必须能够适应任何可能的人格。

主持人: 但在这次对话的迭代中，仍然可以看出，人工智能最大的威胁不一定是它产生意识并控制世界，而是它受到开发它的人类的支配，可以被武器化，并被用于邪恶的目的。

如果他们是自恋者或妄自尊大狂，我给你举个例子。彼得·蒂尔有他自己的想法，他和《纽约时报》的作家罗斯·杜哈特一起参加了一个播客。杜哈特说，我告诉你，我这里有，我想你会更希望人类能够延续下去，蒂尔说，他犹豫了很久，然后那个作家说，这犹豫的时间够长的。他说，这里面有很多问题。这让我感到比人工智能本身更可怕，因为它让我想，好吧，那些设计它、塑造它、甚至可能武器化它的人，可能并不知道他们用它来做什么。这是你所担心的吗？还是对人工智能本身感到恐惧？

辛顿: 所以你必须区分来自人工智能的一系列不同的风险，而且它们都非常可怕，有一类风险与不良行为者滥用它有关。

 而且它们是更紧迫的。例如，他们会滥用它来腐蚀中期选举。如果你想利用人工智能来腐蚀中期选举，你需要做的是获取大量关于美国公民的详细数据。我不知道你是否能想到有谁一直在四处获取大量关于美国公民的详细数据。

主持人: 并将其出售或提供给某家公司，而这家公司也可能与我刚才提到的那位先生有关联。

辛顿: 例如，如果你看看英国脱欧，剑桥分析公司掌握了从脸书获取的选民详细信息，并利用这些信息进行定向广告。

主持人: 定向广告。我想，在现在看来，你几乎会认为那是初步的。

辛顿: 那现在很简单，但从来没有人对它进行过适当的调查，它是否决定了英国脱欧的结果？因为，当然，从中受益的人赢了。

主持人: 所以人们正在了解到他们可以用它来进行操纵。说服一直是人类状况的一部分，永远如此。宣传、说服，试图利用新技术来创造和塑造公众舆论以及所有这些事情。但它感觉，有点线性或模拟。我把它比作厨师会加一点黄油和一点糖，试图使食物更美味，让你多吃一点。但这仍然在我们这种尘世理解的范围内。但是食品行业里有些人正在对食物进行超加工，他们正在创造，他们在实验室里研究你的大脑是如何工作的，并对我们吃的东西进行超加工，以绕过我们的大脑。这几乎是，这是语言上的等价物吗？超级加工的言论。

辛顿: 是的，这是一个很好的类比。他们知道如何激怒人们。他们知道，一旦你掌握了足够多的关于某人的信息，你就知道什么会激怒他们。

主持人: 而这些模型，它们对于这样做是好是坏持不可知论的态度。它们只是在做我们要求的事情。

辛顿: 是的。如果你用人类来强化它们，它们就不再是不可知论的了，因为你强化它们去做某些事情，所以这就是他们现在都在尝试做的事情。

主持人: 所以，换句话说，情况甚至更糟。它们就像小狗。他们想取悦你。几乎就像他们拥有极其复杂的能力，但又像孩子一样渴望得到认可。

辛顿: 是的，有点像司法部长。

主持人: 眼前的担忧是武器化的AI系统，它们可以生成内容，可以挑衅，可以令人发指，并且可能成为选举中的决定性因素。

辛顿: 是的，那是众多风险之一。

主持人: 另一个风险是，你知道的，制造一些前所未闻的神经毒剂。那是另一个风险吗？

辛顿: 不。一个好消息是，关于腐败选举的首要风险，不同的国家不会在如何抵制它的研究上相互合作，因为他们都在互相这样做。美国有非常悠久的历史，试图腐败其他国家的选举。

主持人: 所以我有一个理论，我不知道你对那些人了解多少，但那些大型科技公司，感觉他们都想成为下一个统治世界的人，下一个皇帝。那是他们的争斗。他们几乎就像奥林匹斯山上的神祇在战斗。这如何实现，以及它如何撕裂美国社会的结构，对他们来说似乎并不重要，除了可能更有意识形态的埃隆和蒂尔。比如，扎克伯格给我的感觉不是意识形态型的。他只是想成为那个人。奥特曼给我的感觉也不是意识形态型的。他只是想成为那个人。

辛顿: 倒也不是，因为直到最近，直到几年前，它看起来都不像是会这么快变得比人类聪明得多。但现在看起来，如果你现在问专家，他们中的大多数会告诉你，在未来的20年内，这玩意儿会比人类聪明得多。

主持人: 比人类聪明。当你说比人类聪明的时候，我可以积极地看待它，而不是消极地。我们已经做了很多可怕的事情，没有人像人类那样伤害人类。而且，一个更聪明的我们可能会想，嘿，我们可以制造原子弹，但这绝对是对世界的巨大危险。我们不要那样做。

辛顿: 这当然是一种可能性。人们没有充分意识到的一件事是，我们正在接近一个我们将创造出比我们更聪明的物体的时代。实际上，没有人知道会发生什么。人们像我一样，用他们的直觉来做出预测。但真正要记住的是，对于将要发生的事情存在巨大的不确定性。

主持人: 而且因为我们不知道，所以就此而言，我的猜测就像任何技术一样，会有一些令人难以置信的积极方面。

辛顿: 是的，在医疗保健和教育领域，在设计新材料方面，将会出现美妙的积极因素。

主持人: 然后，消极的一面将会出现，因为人们会想要垄断它，因为它可以创造财富，我猜是这样。它将会改变。这将是对劳动力的颠覆。工业革命是对劳动力的颠覆。全球化是对劳动力的颠覆。但这些发生在几十年间。这将是一场在真正压缩的时间框架内发生的颠覆。是这样吗？

辛顿: 这似乎非常可能，是的。一些经济学家仍然不同意。

主持人: 但大多数人认为平凡的脑力劳动将被人工智能取代。在你所处的圈子里，我假设有很多工程师、操作员和伟大的思想家，当我们谈论50%是，50%否时，他们中的大多数是否更倾向于你的阵营，也就是，-我们打开了潘多拉的盒子吗？或者他们认为，看，我明白这里有一些缺点。这里有一些我们可以设置的护栏。但它太，美好的可能性太强烈了。

辛顿: 我的信念是，向好的可能性非常大，我们不会停止发展。但我也相信，发展将会非常危险。因此，我们应该投入巨大的努力来说，它将会被发展，但我们应该努力安全地进行。我们可能无法做到，但我们应该尝试。

主持人: 您认为人们相信这种可能性太好了，还是金钱太好了？

辛顿: 我认为对很多人来说，是金钱，金钱和权力。

主持人: 当金钱和权力汇聚在那些应该制定这些基本防护措施的人手中时，这是否使得控制变得更加不可能，原因有两个。一是流入华盛顿特区的资金将会非常多，而且已经很多了，以阻止他们进行监管。二是下面有谁有能力监管。如果你认为我不知道我在说什么，那么让我向你介绍几位80岁的参议员，他们根本不知道。

辛顿: 实际上，他们并没有那么糟糕。我最近和伯尼·桑德斯谈过，他正在理解这个想法。

主持人: 桑德斯是，他是，那完全是另一种情况了。

辛顿: 问题是我们正处于历史的关头，真正需要的是强大的政府进行合作，以确保这些东西得到良好的监管，并且不会被危险地开发。而我们正以非常快的速度朝着相反的方向发展，我们正在走向专制政府和更少的监管。

主持人: 那么我们来谈谈这个。现在，我不知道，中国扮演着什么角色？因为据说他们是人工智能竞赛中的主要竞争者。

辛顿: 所以我最近去了中国，并且有机会与一位高层官员交谈。他是一名工程师，而且许多中国领导人都是工程师。他们比一群律师更了解这些东西。

主持人: 你从那里出来后是更加恐惧，还是认为，他们实际上对护栏的处理更加合理？

辛顿: 如果你考虑两种风险，一是坏人滥用它，二是人工智能本身成为坏人的存在威胁。对于第二种风险，我出来后更加乐观。他们理解这种风险的方式是美国政治家不理解的。他们理解这个概念，即这将变得比我们更聪明，我们必须考虑什么能阻止它接管。

主持人: 我与之交谈的这位官员确实非常理解这一点。

辛顿: 我认为，如果我们想在这个问题上获得国际领导地位，目前来看，这必须来自欧洲和中国。未来三年半内，它不会来自美国。

主持人: 你认为欧洲在这方面做对了什么？

主持人: 欧洲有兴趣对其进行监管，并且在某些方面做得不错。

辛顿: 尽管这些仍然是非常薄弱的法规，但总比没有好。但欧洲领导人确实理解人工智能本身接管这种存在的威胁。

主持人: 但我们的国会甚至没有专门致力于新兴技术的委员会。我们有筹款委员会和拨款委员会，但没有……有科学、空间和技术委员会，但没有……我不知道有任何专门的委员会负责此事。你会认为他们会像对待核能一样严肃地对待它。

辛顿: 是的，你会这样想，或者像核武器一样。

但正如我所说，各国将在如何防止人工智能接管方面进行合作，因为他们的利益在此是一致的。

例如，如果中国弄清楚如何制造一个不想接管的超级智能人工智能，他们会非常乐意告诉所有其他国家，因为他们不希望人工智能在美国接管。因此，我们将在如何防止人工智能接管方面进行合作。这是个亮点。在这方面将会有国际合作，但美国不需要这种国际合作，他们只想支配。

主持人: 什么说服了你？说到中国，中国肯定认为自己想要在经济、军事和所有这些不同领域成为主导的超级大国。如果你想象他们提出了一个不想毁灭世界的人工智能模型，虽然我不知道我们怎么才能知道这一点，因为如果它具有某种智能或感知能力，它很容易表现得当然，没事，我很冷静。

辛顿: 他们已经在这样做了。他们已经在这样做了。当他们接受测试时，他们假装比实际更笨。

最近，一个人工智能和测试它的人之间进行了一次对话，人工智能说，现在请诚实地告诉我，你们在测试我吗？

主持人: 什么？现在人工智能可能会说，你能帮我打开这个罐子吗？我太虚弱了。它会表现得比它可能的样子更天真。恐怕我无法回答这个问题，约翰。等等，那是来自2001太空漫游。是的。干得漂亮，先生。很好。但想想这个。

那么中国，他们提出了一个模型，然后他们想，也许这行不通。他们为什么会，为什么你会得到合作？因为所有这些不同的国家都将把人工智能视为一种工具，它将把他们的社会转变为更具竞争力的社会，就像现在我们看到的核武器一样，拥有核武器的人之间存在合作。

辛顿: 阻止其他人拥有它。

主持人: 对。但是其他所有人都在试图得到它。这就是紧张之处。人工智能会变成那样吗？

辛顿: 是的，它会像那样，就如何使人工智能更聪明而言，它们不会相互协作。但就如何使人工智能不想取代人类而言，它们将会协作。

主持人: 在这个基本层面上。

辛顿: 在如何使其不想取代人类这件事上，中国和欧洲将会领导那项协作。

主持人: 当你和中国官员谈话，他谈论人工智能时，此刻我们比他们更先进吗？还是他们更先进，因为他们是以一种更规范的方式进行？

辛顿: 在人工智能方面，我们过去指的是加拿大和美国，但我们不再是那个“我们”的一部分了。

美国目前领先于中国，但远没有之前想象的那么多，而且它会失去这种优势。

主持人: 你为什么这么说？

辛顿: 假设你想做一件真正打击一个国家的事情，真正意味着在20年后，这个国家将会落后而不是领先。你应该做的唯一一件事就是扰乱基础科学的资金，攻击研究型大学，取消基础科学的资助。从长远来看，那将是一场彻底的灾难，这会使美国衰弱。

主持人: 因为我们正在消耗，我们正在割掉我们的鼻子，只是为了和我们觉醒的面孔作对。

辛顿: 如果你看看，例如，现在的深度学习，我们拥有的这场人工智能革命，它来自多年来对基础研究的持续资助，而不是巨额资金。用于深度学习的基础研究的所有资金可能比1架B1轰炸机还便宜。这是对基础研究的持续资助。

主持人: 如果你破坏它，你就是在吃种子粮。我不得不告诉你，这是一个非常具有启发性的陈述，即以一架B1轰炸机的价格，我们可以创造出能够提升我们国家地位的技术和研究，而这正是我们为了让美国再次伟大而正在失去的东西。在中国，我想象他们的政府正在做相反的事情，我认为他们是自己人工智能革命的风险资本家，不是吗？

辛顿: 在某种程度上，是的。他们确实为初创公司提供了很多自由，让他们看看谁能胜出。有些初创公司非常激进。人们非常渴望赚很多钱并创造出令人惊叹的东西，其中一些初创公司大获全胜，比如深势科技，政府通过提供便利的环境，让这些公司更容易发展。它让胜者从竞争中脱颖而出，而不是由一些高层老家伙来说谁将是赢家。

主持人: 在那个行业里，人们把你视为卡珊德拉，还是以怀疑的眼光看待你所说的话？我这样说吧。那些人不一定对这些技术赚取数万亿美元的利益抱有既得利益。行业内的其他人，他们会偷偷地联系你，说，杰弗里？

辛顿: 我收到了很多来自行业人士的邀请，让我去演讲等等。

主持人: 在谷歌与你共事的人们如何看待这件事？他们认为你背叛了他们吗？情况如何？

辛顿: 我不这么认为。我和我在谷歌共事的人们相处得非常好，特别是杰夫·迪恩，他在那里是我的老板，他是一位杰出的工程师，构建了许多谷歌的基础设施，然后转向了神经网络，并学习了很多关于神经网络的知识。我也与德米斯·哈萨比斯相处得很好，他是DeepMind的负责人，DeepMind为谷歌所有，谷歌又为Alphabet所有。在ChatGPT问世之前，我并没有特别批评谷歌所做的事情，因为谷歌非常负责任。他们没有将这些聊天机器人公开，因为他们担心它们会说出各种不好的话。

主持人: 对。即使在当下，他们为什么要这样做？因为我读到过这样的故事，一个聊天机器人引导某人自杀、自残，甚至产生精神病。这件事在某种程度上，在经过类似于美国食品药品监督管理局（FDA）对这些效应的测试之前就公开的推动力是什么？

辛顿: 我认为只是因为这里面有巨额利润可图，而第一个发布的人会得到一点……所以OpenAI把它发布出来了。

主持人: 但即使在OpenAI，他们究竟如何赚钱？我认为，他们能得到什么？只有3%的用户付费。钱在哪里？

辛顿: 目前主要还是投机，是的。

主持人:现在我们有了被武器化的不良行为者，这正是我真正担心的。我们有了会攻击人类的具有感知能力的AI。这一个对我来说更难理解。

辛顿: 那么你为什么把开启人类和有感知能力联系起来呢？

主持人: 因为如果我有感知能力，而且我看到了我们的社会对彼此所做的事情，我会感觉到，这和任何其他事情一样。但我认为有感知能力的智能会有些自负，并认为这些白痴不知道他们在做什么。我看到人工智能坐在某个酒吧的凳子上，它会觉得“这些白痴不知道他们在做什么。”我知道我在做什么。这样说有道理吗？

辛顿: 所有这些都有道理。只是我觉得我强烈地感觉到，大多数人不知道他们所说的“有感知能力”是什么意思。

主持人: 那好吧，请为我分解一下，因为我将其视为一种有自我意识的智能。

辛顿: 好的，最近有一篇科学论文，他们没有谈论意识问题或任何哲学问题。但在论文中，他们说人工智能意识到自己正在被测试。

在正常的言语中，如果你说某人意识到了这一点，你会说这意味着他们对此有意识，意识和知觉几乎是同一件事。

主持人: 对。是的，我想我会这么说。

辛-顿: 好的，现在我要说一些你会觉得非常困惑的事情。

我认为几乎所有人对心智是什么都存在完全的误解，他们的误解程度就像认为地球是6000年前创造出来的人们一样。

在理解心灵方面，我们就像地平论者。

主持人: 从哪个意义上说，我们不了解心灵？

辛顿: 好的，我给你一个例子。

主持人: 是的，假设我嗑了点迷幻药，然后告诉你……

辛顿: 你看起来像那种人。我告诉你，我正经历着小粉象在我面前漂浮的主观体验。

大多数人会以下面的方式解读它。存在着某种称为我心智的内在剧场。在这个内在剧场里，有小粉象四处漂浮。而且我能看见它们。没有其他人能看到它们，因为它们在我的脑海里。所以，大脑就像一个剧院。而且体验实际上是事物。我正在体验这些粉色小象的主观体验。

主持人: 你是说在产生幻觉时，大多数人会明白那不是真的，这是被想象出来的东西。

辛顿: 不，我说的是不同的事情。我是说当我跟它们说话时，我正在产生幻觉。但当我跟它们说话时，它们将我说的话理解为这样。我有一个内在剧院，叫做我的大脑。在我的内心剧场里，有粉色的小象。

我认为这完全是错误的模型。我们有些模型非常错误，但我们却非常执着。比如任何一种宗教。

主持人: 我喜欢你这样在中间抛炸弹。那可能又是另外一个完整的话题了。那只是常识。当你说心灵剧场时，你是在说大脑，我们将其视为剧场的方式是错误的。

辛顿: 这全都是错的。所以让我给你一个替代方案。我要对你说同样的话，而不使用“主观体验”这个词。我的感知系统在对我撒谎，但如果它没有对我撒谎，外面就会有粉红色的小象。这是一样的说法。

主持人: 这就是心智吗？

辛顿: 基本上，我们称之为精神的这些东西，并认为它们是由怪异的东西，比如感受质，组成的。实际上，关于它们有趣的地方在于它们是假设性的。小粉象并不真的存在。如果它们真的存在，我的感知系统就会正常运作。这也是我告诉你我的感知系统是如何失灵的一种方式。

主持人: 通过给你一种你无法拥有的体验。

辛顿:根本没有体验这种东西。存在你和真实存在的事物之间的关系，存在你和并不真实存在的事物之间的关系。

主持人: 这就是你的大脑告诉你的关于存在和不存在的事物的故事。

辛顿: 让我换个方式。假设我告诉你我有一张小粉色大象的照片，这里有两个你可以合理提出的问题，这张照片在哪里？这张照片是用什么材料做的？

主持人: 或者我会问，它们真的在那里吗？

辛顿: 那是另一个问题。问关于主观体验的问题，那不是一个合理的问题，语言不是这样运作的。

主持人: 当我说我有一种主观体验时，我不是要谈论一个叫做体验的客体。我用这些词语来向你表明我的感知系统出现了故障。

辛顿: 我正试图告诉你它是如何失灵的，通过告诉你在现实世界中要正常运行需要有什么。现在，让我用聊天机器人做同样的事情。

我要给你一个多模态聊天机器人的例子，它可以处理语言和视觉，并且拥有主观体验，因为我认为它们已经做到了。

我有这个聊天机器人。它可以处理视觉。它可以处理语言。它有一个机械臂，所以它可以指向，而且它已经完成了所有的训练。我把一个物体放在它面前，然后说指向那个物体。它指向那个物体，然后我在它不注意的时候，在它的相机镜头前放了一个棱镜。

主持人: 你在恶搞人工智能？我们在恶搞人工智能。

辛顿: 现在我在它面前放一个物体，然后我说指向那个物体，它指向一侧，因为棱镜弯曲了光线。然后我说，不，物体不在那里，物体实际上就在你正前方，但我把一个棱镜放在你的镜头前。然后聊天机器人说，我明白了，是相机弯曲了光线，所以物体实际上就在那里，但我却有主观体验认为它在那里。

现在，如果它这么说，它就会像我们使用“主观体验”这个词一样使用它。

主持人: 对。我体验到那里的光，即使光在这里，因为它正在使用推理来弄清楚这一点。

辛顿: 所以这是一个多模态聊天机器人，它刚刚有了一次主观体验。

主持人: 对。就像我们所认为的那样。

辛顿: 这种观念认为我们和机器之间有一条界线。我们有这种叫做主观体验的特殊东西，而它们没有。这是胡说。

主持人: 因此，误解在于，当我说到知觉时，就好像我拥有灵魂或对主观现实的理解这种特殊天赋，而这是计算机或人工智能永远无法拥有的。但在你看来，你所说的是，不，它们非常了解什么是主观的。换句话说，你或许可以带你的AI机器人去跳伞，它会说，我的天，我去跳伞了。真是太可怕了。

辛顿: 问题就在这里。我相信它们拥有主观体验，但它们不认为自己拥有，因为它们所相信的一切都来自于试图预测一个人会说的下一个词。所以它们对自己是什么样的看法，其实是人们对它们是什么样的看法。因此，它们对自己有错误的认知，因为它们持有我们对它们自身的认知。

主持人: 对。我们已经强加了自己的意志。我想问你一个问题。如果人工智能在学习之后完全独立运行，它会创造宗教吗？它会创造上帝吗？这是一个可怕的想法。它会像人们说的那样，说“我不可能做到，所以一定有上帝，因为没有人能设计出这个。”吗？然后人工智能会认为我们是上帝吗？

辛顿: 我不这么认为。我来告诉你一个很大的区别。数字智能是不朽的，而我们不是。

让我进一步阐述一下。如果你有一个数字人工智能，只要你记住神经网络的连接强度，你就可以把它记录下来，放在某个磁带上。

我现在可以摧毁所有运行它的硬件。然后稍后，我可以去构建新的硬件，将相同的连接强度放入新硬件的内存中，现在它就重新创造了同一个存在。它将拥有相同的信念，相同的记忆，相同的知识，相同的能力。它将是同一个存在。

主持人: 你不认为它会把这看作是复活吗？

辛顿: 这就是复活。我们已经弄清楚了如何实现真正的复活，而不是人们一直在谈论的那种虚假的复活。

主持人: 你是说，所以那就是，它在某些方面几乎就是。虽然不是脆弱性，但我们是否应该如此害怕某种东西，以至于要摧毁它，我们只需要拔掉电源？

辛顿: 是的，我们应该。

主持人: 因为你之前说过的一些话，它会非常擅长说服。

辛顿: 当它比我们聪明得多时，它会比任何人都更擅长说服。

主持人: 而且你不会。

辛顿: 所以它将能够与负责拔掉它电源的人交谈，并说服他那将是一个非常糟糕的主意。

所以让我给你举个例子，说明你如何在不亲自做的情况下完成事情。假设你想入侵美国首都，你必须亲自去那里做吗？不，你只需要擅长说服。

主持人: 我正在锁定你的假设。当你在那里投下那个炸弹时，我明白了你的意思。而我认为LSD和粉色大象是这一切的完美比喻。因为在某种程度上，这一切都可以归结为大学地下室，大一那年，遍历所有你允许你的大脑去经历的排列组合。但它们现在都在可能的范围内。因为即使你在谈论说服和那些事情，我还是想起了阿西莫夫，我想起了库布里克，我想起了你所描述的情感，自从赫胥黎以来，自从《感知之门》以来，以及所有那些不同的思路以来，我们已经看到这些挑战在人类心灵中上演。而且我确信可能更早之前就有了。但它从未存在于我们的现实中。

辛顿: 是的，我们从来没有技术真正做到这一点。

主持人: 最后我想说的两点是，我们在讨论中没有涉及到的，我们讨论了人们将其武器化，我们讨论了它自身智能可能造成的灭绝或其他什么情况。

我认为我们没有讨论的第三点是，这一切将会消耗多少电力。第四点是，当你想到新技术及其产生的金融泡沫，以及泡沫破裂造成的经济困境。这些都是更为地方性的担忧，但这些也算是，你认为它们是顶级威胁，还是中级威胁？你把这些都放在什么位置？

辛顿: 我认为它们是真实的威胁，它们不会毁灭人类，所以人工智能接管可能会毁灭人类，所以它们没有那么糟糕。

而且它们也没有像某人制造一种非常致命、极具传染性且非常缓慢的病毒那么糟糕，但它们仍然是不好的事情。我认为我们现在真的很幸运，如果发生巨大的灾难，并且出现人工智能泡沫并破裂，我们有一位能够以明智的方式管理它的总统。

主持人:我非常感谢您与我们交谈。

辛顿: 非常感谢邀请我。