访谈：Ilya | 2023年11月长篇访谈

转载自：天空之城城主公众号

源地址：https://mp.weixin.qq.com/s/7uowRd_V0Ze54VBbuMmynQ

前言：

今日，OpenAI大神，联合创始人兼首席科学家Ilya的最新访谈视频发布。这是很久以来Ilya再次出来做了长篇访谈，和之前一些短暂露面里的惜字如金不同，Ilya在这个访谈里干货满满，涉及了AI研究的最新进展以及OpenAI的策略等等。

以下是城主摘的部分Highlight：

神经网络的训练过程几乎可以看作是求解神经方程，其中每个数据点都是一个方程，每个参数都是一个变量。
OpenAI从一开始的目标就是确保通用人工智能，即能够真正完成人类所做的大部分工作、活动和任务的人工智能，造福全人类。OpenAI的目标并没有随着时间的推移而演变，战术却随着时间的推移而演变。
在某些时候，我们意识到如果你训练一个大型神经网络，一个非常非常大的Transformer来越来越好地预测文本，就会发生一些非常令人惊讶的事情。这个认识也是一点点慢慢到来的。
对我个人而言，最大的觉醒时刻是从GPT-2过渡到GPT-3，这一步骤中的功能和能力的提升是巨大的。
我想也许最令人惊讶的是，最令人惊讶的是，如果我必须选择一个，那就是当我与之交谈时，我感到被理解了。
我们有一些自上而下的想法，我们认为应该可行，但我们并不能 100% 确定。所以我们需要有好的自上而下的想法。在这些自上而下的想法的指导下，也有很多自下而上的探索。它们的结合告诉我们下一步该做什么。
事情正在发生的（最）重大变化无疑是这些模型变得越来越可靠。可靠性的意思是当你提出的问题并不比模型成功解决的其他问题难多少时，你就非常有信心它将继续取得成功。
7B，13B等规模的模型研究并不是浪费，大模型会比小模型更好，但并非所有应用程序都能证明大模型的成本是合理的。
完成一些大型而复杂的任务的模型如果是开源的，它们将产生难以预测的后果。
总有一天，你会拥有可以自主进行科学研究的模型，比如构建、交付大型科学项目。至于这种能力的模型是否应该开源就变得更加复杂。
我们有人工神经元、生物神经元、生物智能的统一大脑架构、人工智能的统一神经网络架构。那么，我们应该何时开始将这些系统视为数字生活呢？我认为，当这些系统变得可靠且高度自治时，这种情况就会发生。
我们将拥有比人类聪明得多的计算机、数据中心，这似乎一点也不令人难以置信。我所说的“更聪明”并不是指拥有更多的记忆力或拥有更多的知识，而是指对我们正在研究和研究的同一主题有更深入的了解。这意味着比人学得更快。
我希望任何这种超级智能的实例都能对人类产生温暖的感情。这就是我们正在做的超级对齐项目。亲和人类社会的人工智能，这是我们的目标。

以下是本次Ilya访谈的天空之城文字整理版

主持人：

OpenAI，这是一家我们现在都熟知的公司，然而一年前，它只有100名员工，却正在改变世界。他们的研究正在引领通用人工智能的发展。自去年11月ChatGPT吸引了消费者的关注以来，他们的发展势头并未有任何放缓的迹象。本周，我们有幸与OpenAI的联合创始人兼首席科学家Ilya Sutskever进行了深入的交谈，我们讨论了人工智能研究的现状、我们将在哪些方面达到极限、通用人工智能的未来，以及如何实现超级一致性。

伊利亚，欢迎来到播客。

非常高兴来到这里。

Ilya自己在深度学习领域的研究经历

主持人：

我们从最初的深度学习开始讨论。在AlexNet出现之前，深度学习中没有任何东西真正有效。然后考虑到当时的环境，你们下了一个非常独特的赌注。是什么促使你朝这个方向发展？

Ilya：

在那个黑暗时代，人工智能并不是一个人们抱有希望的领域，人们根本不习惯任何形式的成功。由于没有取得任何成功，因此引发了很多争论，不同的思想流派对机器学习和人工智能应该如何发展有不同的争论。有人热衷于老式人工智能的知识表示。有些人是贝叶斯主义者，他们喜欢贝叶斯非参数方法。有人喜欢图形模型，有人喜欢神经网络。这些人被边缘化，因为神经网络不具备无法证明关于他们的数学定理的特性。如果你不能证明某件事的定理，那就意味着你的研究不好。

但是，我从一开始就被神经网络所吸引，因为我觉得这些都是小大脑，谁在乎你是否能证明关于它们的任何定理，因为我们正在训练小大脑，也许它们会变成，也许它们有一天会做某事。

我们之所以能够做到AlexNet，是两三个因素的结合。第一个因素是，这是在GPU开始用于机器学习之后不久。人们有一种直觉，认为这是一件好事，但当时人们并不像今天那样确切地知道GPU的用途。他们想，让我们玩一下那些又酷又快的计算机，看看我们能用它们做什么。它特别适合神经网络。所以这绝对对他们有帮助。

我非常幸运，因为意识到神经网络的原因是因为它们太小了。就像如果你尝试用神经网络解决视觉任务一样，它有大约一千个神经元，它能做什么？它什么也做不了。你的学习有多好以及其他一切并不重要。但如果你有一个更大的神经网络，它将做出前所未有的事情。

主持人：

是什么让你有这样的直觉？

我认为当时认为尽管你的观点是这样的，但很多人脑在某种意义上都是以这种方式或不同的生物神经回路工作的，这是相当逆向的。但我只是很好奇，是什么让你很早就有直觉认为这是一个好的方向？

Ilya：

看看大脑，特别是那里，如果你喜欢的话，所有这些事情都会很容易发生。如果你允许自己，如果你现在允许自己接受这个想法，那么这个想法就会被很好地接受。

当时人们还在谈论它，但他们还没有真正接受它或内化这样的想法：也许人工神经元在某种意义上与生物神经元没有什么不同。所以现在无论你想象动物用大脑做什么，你也许都可以组装一些。类似大小的人工神经网络。也许如果你训练它，它也会做类似的事情。所以这就导致了这一点。

这会让你开始想象，好吧，就像想象神经网络正在完成的计算一样。你几乎可以想象，如果你有一张高分辨率图像，并且你有一个神经元来处理一大组像素，那么神经元能做什么？如果你有很多神经元，那么它们实际上可以做一些事情并计算一些东西。因此，我认为这是一种基于深思熟虑的观点和技术实现的结合。

技术实现的关键在于，如果你有一个大型训练集来指导神经网络的行为，且训练集足够大，那么你就能有效地约束大型神经网络。此外，如果你找到了训练神经网络的算法，那么我们所做的就是将训练集转化为满足训练集要求的神经网络。神经网络的训练过程几乎可以看作是求解神经方程，其中每个数据点都是一个方程，每个参数都是一个变量。因此，这是一个多方面的问题。我们需要意识到，更大的神经网络可以实现一些前所未有的功能。

如果你有一个大型数据集和计算能力来求解神经方程，那么这就是梯度下降，但它并不仅仅是梯度下降。梯度下降的方法已经存在很长时间了，关键在于如何运用一些技术见解来使其发挥作用。因为在过去，人们普遍认为，你无法训练这些神经网络，这是一种绝望的情况。所以这不仅仅是尺寸的问题。即使有人确实认为训练一个大型神经网络会很酷，他们也没有技术能力将这个想法变成现实。你不仅需要对神经网络进行编码，还需要正确地完成许多其他事情，只有这样，它才会起作用。

另一个幸运的事情是我与Alex Krizhevsky一起工作，他非常喜欢GPU，并且可能是第一个真正掌握为GPU编写高性能代码的人之一。这就是为什么我们能够从两个GPU中提取出大量的性能，做出一些前所未有的成果。

总的来说，这是一个复杂的过程。一个大型神经网络，特别是一个具有多层的卷积神经网络，比我们以前做过的任何事情都要大，可以做出一些前所未有的事情。因为大脑本身就是一个巨大的神经网络，我们可以快速地看到事物，所以我们的神经元没有太多的时间。然后，我们需要计算和技术知识，实际上我们可以训练这样的神经网络。但这并没有广泛传播，大多数机器学习领域的人无法训练这样的神经网络，即使他们愿意。

主持人：

从尺寸的角度来看，你们有什么特定的目标吗？或者，这是否是受生物学启发的，或者这个数字来自哪里，或者是我们能达到的最大目标？

Ilya：

（目标）绝对是我们能做到的最大规模，因为请记住，我们有一定数量的计算资源，我们可以有用地使用这些资源，然后看看它能做什么。

OpenAI研究目标和思路的演变

主持人：

如果我们像思考OpenAI的起源和组织目标一样，最初的目标是什么？随着时间的推移，这个目标是如何演变的？

Ilya：

目标并没有随着时间的推移而演变，战术却随着时间的推移而演变。

因此，OpenAI从一开始的目标就是确保通用人工智能（我们指的是自主系统），即能够真正完成人类所做的大部分工作、活动和任务的人工智能，造福全人类。这就是从一开始的目标。最初的想法是，也许最好的方法就是开源大量技术。后来我们也尝试将其作为非营利组织来做，这似乎非常明智。这就是目标。非营利组织就是这样做的方法。

那么，发生了什么变化呢？在OpenAI的某个时刻，我们意识到，而且我们可能是最早意识到要在人工智能领域取得真正进展的人之一，你需要大量的计算。现在很多意味着什么？正如现在所清楚看到的那样，对计算的需求确实是无穷无尽的，但我们意识到我们需要很多。非营利组织不是实现这一目标的途径，也无法与非营利组织一起建立一个大型集群。

这就是我们的目标，我们转变为这种不寻常的结构，称为CapProfit。据我所知，我们是世界上唯一一家CapProfit公司，但我们的想法就是这样。投资者投入了一些资金，但即使公司表现出色，他们也只能在原始投资的基础上获得一定的乘数。原因和合理性在于，我们正在开发的技术，人工通用智能（AGI），可能具备完成人类所有任务的能力。

这引发了一个争议性的问题：这是否意味着所有人都可能因此失业？我不能确定，但这并非不可能。如果这是真的，那么这种观点就有其合理性。如果开发这种技术的公司不能无限创造利润，而是以创造无限利润为激励，那么这种观点就更有意义。然而，我并不确定在人工智能的竞争环境下，事情是否真的会这样发展。这可能会导致多家公司的出现，这对我所提出的观点可能会产生一些不可预见的影响，但这仍然是我的看法。

主持人：

我记得在Y Combinator等地方，我曾经参观过办公室，甚至在那里共享过一些空间。当时有一系列不同的努力正在进行，包括正在被操纵的机械臂，以及一些与视频游戏相关的工作，这些都是最前沿的技术。那么，研究议程的演变以及推动其沿着基于Transformer模型和其他形式学习的道路发展的因素是如何看待的呢？

Ilya：

自从我们创立OpenAI以来，我们的想法一直在演变。

在创立的第一年，我们做了一些相对传统的机器学习工作。我之所以称之为传统，是因为世界已经发生了巨大的变化，许多在2016年或2017年大家都知道的事情已经完全被遗忘。那个时代几乎就像石器时代一样。在那个时代，机器学习的世界看起来非常不同，它更加学术化，目标、价值观和目的也更加学术化。他们的目标是发现少量知识并与其他研究人员分享，最终获得科学认可。这是一个非常有效的目标，也是非常容易理解的。我从事人工智能已经20年了，我花在人工智能上的时间有一半以上都花在这个框架上。

然而，我意识到这并不是产生巨大影响的方法。因为如果你想象AGI应该是什么样子，它一定是某种使用大量计算的大型工程项目，对吗？即使你不知道如何构建它，你也知道这是你想要努力实现的理想。因此，你希望以某种方式转向更大的项目，而不是小项目。因此，当我们尝试第一个大型项目时，我们训练了一个神经网络来玩实时策略游戏以及最好的人类游戏。这是Dota 2项目，由Jakub Pachocki和Greg Brockman两个人推动。他们成功地推动了这个项目。这是我们第一次尝试大型项目。但这对我们来说并不是完全正确的公式，因为神经网络有点太小了。这只是一个狭窄的领域，只是一个游戏。

我们一直在寻找。在某些时候，我们意识到，嘿，如果你训练一个大型神经网络，一个非常非常大的Transformer来越来越好地预测文本，就会发生一些非常令人惊讶的事情。这个认识也是一点点慢慢到来的。我们正在探索生成模型。我们正在探索有关下一个单词预测的想法。这些想法也与压缩有关。我们正在探索它们。

Transformer出来了。我们真的很兴奋。我们当时想，这是最伟大的事情。我们现在要做Transformer。它显然比之前的任何东西都要优越。我们开始做Transformer。我们做了GPT-1。GPT-1开始显示出非常有趣的生命迹象。这导致我们开发了GPT-2。然后最终是GPT-3。GPT-3的出现确实令许多人大为震惊，这项技术的吸引力无疑是巨大的。目前，每个人都在尝试一个特定的公式，即在越来越多的数据上训练一个越来越大的Transformer。

对我个人而言，最大的觉醒时刻是从GPT-2过渡到GPT-3，这一步骤中的功能和能力的提升是巨大的。然后，OpenAI发布了一些非常有趣的文章，围绕着不同的知识领域、专业领域、思想链或模型，研究了一些可以突然以紧急形式完成的其他事情。

随着时间的推移，这些模型中的突发行为对我来说最令人惊讶的是什么？这个问题很难回答，因为我离它太近了，我已经看到了它每一步的进展。尽管我很愿意，但我发现很难回答这个问题。如果我必须选择一个，我想对我来说最令人惊讶的事情可能是整个事情完全有效。这很难。我不确定我知道如何表达我在这里的想法，因为如果你看到很多神经网络做了令人惊奇的事情，那么，显然神经网络是有效的。但多年来我亲眼目睹了神经网络根本不起作用的世界是什么样子。然后将其与我们今天的情况进行对比，事实是他们在工作并且做了这些令人惊奇的事情。我想也许最令人惊讶的是，最令人惊讶的是，如果我必须选择一个，那就是当我与之交谈时，我感到被理解了。

主持人：

有一句非常好的说法，我正在努力记住，也许是亚瑟·克拉克或一位科幻作家，这实际上是说，先进技术有时是这样。和魔法没有区别。

Ilya：

我完全赞同这个观点。现在确实感觉其中一些模型有一些神奇的时刻。

OpenAI内部选择项目的方法

主持人：

鉴于你们可以追求的所有不同能力，你们有没有一种内部决定的方法，如何不断地选择一组大型项目？您已经描述过，集中化和大规模致力于某些研究方向对于OpenAI的成功非常重要。鉴于现在的机会广泛，决定什么值得做的过程是什么？

Ilya：

我认为存在着自下而上和自上而下的结合，我们有一些自上而下的想法，我们认为应该可行，但我们并不能 100% 确定。所以我们需要有好的自上而下的想法。在这些自上而下的想法的指导下，也有很多自下而上的探索。它们的结合告诉我们下一步该做什么。

主持人：

显然，我们有这个占主导地位的、持续扩大规模的Transformer方向。您是否探索其他架构方向，或者这只是不相关的？

Ilya：

当然有可能找到各种改进。我认为改进可以在各种地方找到，无论是小的改进还是大的改进。我认为思考这个问题的方式是在当前正在做的事情的同时。随着您不断增加投入的计算量和数据量，它会变得越来越好。所以我们有这个资产。你做得越大，它就越好。当你不断改进、不断扩大规模时，不同的事情会以不同的程度变得更好，这也是一个特性。因此，当然，不仅您想要扩大您正在做的事情，我们也希望继续扩大尽可能最好的事情。

可靠性：当代大模型最重要的改进

主持人：

你可能不需要预测，因为你可以在内部看到，你认为从能力的角度来看，当前这一代规模的改进最大的是什么？

Ilya：

对我来说，回答这个问题的最好方法是指出公开可用的模型。您可以看到今年与去年的比较。而且差异相当显著。我不是在谈论之间的区别，不仅仅是之间的区别，假设您可以看看 GPT-3 和 GPT-3.5 之间的区别，然后看看 ChatGPT、ChatGPT-4、ChatGPT-4 与 Vision 之间的区别。你可以亲自看看。

人们很容易忘记事情曾经在哪里，但事情正在发生的重大变化无疑是这些模型变得越来越可靠。在他们达到现在的高度之前，他们只是部分存在。虽然大部分已经存在，但仍有一些差距。未来，这些模型可能会更加丰富。你可以信任他们给出的答案，他们会变得更加可靠，能够全面完成更多任务。他们还将具备更深入的洞察力。当我们训练他们时，他们对人类世界的理解会越来越深入，洞察力也会随之增强。

主持人：

我想问的是，随着时间的推移，这与模型规模有何关系？因为许多人对超大规模模型的能力和理解世界的新行为感到震惊。同时，当人们将一些元素融入产品中（这是一种非常不同的路径）时，他们常常开始担心推理成本会随着模型规模的扩大而增加。因此，他们正在寻找经过微调的较小模型。但当然，你可能会失去一些洞察力和推理能力。所以我很好奇你对未来几年这一切将如何发展的看法。

Ilya：

实际上，我想指出的是，当你切换到较小的模型时，主要失去的是可靠性。我认为，可靠性是这些模型真正有用的最大瓶颈。

主持人：

你如何定义可靠性？

Ilya：

就像当你提出的问题并不比模型成功解决的其他问题难多少时，你就非常有信心它将继续取得成功。

例如，假设我想了解一些历史事物。我可以问，告诉我关于这个和那个的普遍看法是什么？我可以继续提问。假设它正确回答了我的20个问题，我真的不希望第21个问题出现严重错误。这就是我所说的可靠性。或者，假设我上传一些文件，一些财务文件。假设他们说了一句话，我想做一些分析，做出一些结论，我想在这个基础上、这个结论上采取行动。这并不是一项超级艰巨的任务。而模型，这些模型显然在大多数情况下都能成功完成这项任务，但因为它们并非总是成功。如果这是一个重要的决定，我实际上任何时候都不能相信这个模型。我必须以某种方式验证答案。这就是我对可靠性的定义。

这和自动驾驶的情况很相似。如果你有一辆自动驾驶汽车，而且它的表现大部分都很好，那还不够好。情况并不像自动驾驶汽车那么极端，但这就是我所说的可靠性。

参数规模：大模型 vs 小模型

主持人：

我对可靠性的看法是，就您的观点而言，它会随着模型规模的增加而增加，而且如果您针对特定用例或实例或数据集进行微调，它也会增加。因此，在尺寸与专业微调与可靠性方面存在权衡。

Ilya：

关心某些特定应用的人们肯定有充分的动机让最小的模型足够好地工作。我认为这是真的。这是不可否认的。我认为任何关心特定应用程序的人都会想要最小的模型。这是不言而喻的。我确实认为，随着模型不断变得更大、更好，它们就会解锁新的和前所未有的有价值的应用程序。所以，是的，小型模型将在不太有趣的应用中占有一席之地，但它们仍然非常有用。然后更大的模型将交付应用程序。

例如，考虑提供良好法律建议的任务。如果你能真正相信答案，那真的很有价值。也许您需要一个更大的模型，但它证明了成本的合理性。

主持人：

今年，尤其是7b（70亿参数）尺寸的投资非常多，而且还有7b、13b、34b尺寸。您认为在这些规模上继续研究是浪费吗？

Ilya：

不，当然不。我认为从中期来看，无论如何，按照人工智能的时间尺度，将会出现这种情况。在一个生态系统中，不同的模型大小会有不同的用途。对于很多人来说，最好的7b模型已经足够好了，他们会感到非常兴奋。他们将对此感到极度欣喜。接下来，我们将看到大量令人兴奋和惊奇的应用程序，但这还远远不够。我想，这就是我想说的全部。我认为大模型会比小模型更好，但并非所有应用程序都能证明大模型的成本是合理的。

关于AI开源

主持人：

你认为开源在这个生态系统中扮演什么角色？

Ilya：

开源是一个复杂的问题。我将向你描述我的思考过程。我认为在短期内，开源只是帮助公司生产有用的产品……让我们来看看。为什么人们想要开源，选择使用开源模型而不是由其他公司托管的闭源模型？我认为，想要成为你希望使用模型的方式的最终决策者，并决定你希望如何使用模型以及哪种用例，这是非常有效的你希望支持的。

我认为对开源模型的需求将会很大。我认为会有相当多的公司会使用它们。我想短期内也会出现这种情况。我想说，从长远来看，我认为开源模型的情况会变得更加复杂。我不确定正确的答案是什么。现在看来，有点难以想象。

所以我们需要戴上未来的帽子，也许是未来主义的帽子。当你记得我们正在与计算机交谈并且它们理解我们时，进入科幻模式并不难。但到目前为止，这些计算机、这些模型实际上还不是很能干。他们根本无法完成任务。我确实认为有一天模型的能力水平将会非常高。就像归根结底，智慧就是力量。目前，这些模型的主要影响，我想说，至少流行的影响主要是围绕娱乐和简单的问题。所以你和Model谈论这件事真是太酷了。你产生一些图像。你们进行了交谈。也许您有一些可以回答的问题。

但这与完成一些大型而复杂的任务有很大不同。如果你有一个可以自主创办和建立一家大型科技公司的模型呢？我认为如果这些模型是开源的，它们将产生难以预测的后果。就像我们现在离这些模型还很远一样。到目前为止，我的意思是眼睛时间尺度，但这仍然不是你所说的。但总有一天，你会拥有可以自主进行科学研究的模型，比如构建、交付大型科学项目。至于这种能力的模型是否应该开源就变得更加复杂。

我认为与目前非常有用的水平模型相比，这里的论点不那么明确、不那么直接。我认为当前模型的建立真是太棒了。因此，也许我回答了一个稍微大一点的问题，而不是开源模型的作用是什么？开源有什么关系？交易是在具备一定能力之后，这很棒，但不难想象足够强大的模型，这些模型将在变得不那么明显的地方构建。这是开源的好处。

主持人：

有没有向您发出信号表明我们已经达到或正在接近这个水平？比如边界是什么？

Ilya：

所以我认为很好地弄清楚这个边界是一个紧迫的研究项目。我认为有帮助的事情之一是闭源模型比开源模型更强大。所以可以研究闭源模型等等。所以你会对一代闭源模型有一些经验。然后，然后，哦，这些模型的功能，很好。那里没什么大不了的。然后几年后，开源模型迎头赶上，也许有一天我们会说，好吧，就像这些闭源模型一样，它们变得有点太激烈了，然后需要一些其他方法。

主持人：

如果我们展望未来，也许让我们考虑一下几年的时间表。您认为短期内扩展的限制是什么（如果有）？是数据、Token稀缺、计算成本、架构问题吗？

Ilya：

因此，近期对扩展的限制显然是数据。这是众所周知的。需要进行一些研究来解决这个问题。不详细说明，我只想说数据限制是可以克服的。并且进步将会继续。

人工智能和生物智能

主持人：

我听到人们争论的一个问题是基于Transformer的模型可以在多大程度上应用于 AGI 所需的全套领域。例如，如果你观察人类的大脑，你就会发现，你的大脑确实相当专业化。系统或所有神经网络通过专门的视觉皮层系统与更高层次的思考领域、同理心领域或从个性到处理的所有其他方面相互连接。

您是否认为Transformer架构是持续发展并帮助我们实现这一目标的主要因素？或者，您是否认为随着时间的推移，我们可能需要其他架构？

Ilya：

我完全理解您的观点，并对此有两个答案。我认为，最佳的方式是思考架构问题，而不是以二进制的形式。然而，使用这种特定架构需要付出多少努力，成本又是多少？我认为，尽管没有人怀疑Transformer架构能做出一些惊人的事情，但也许还有其他的东西，也许一些修改可以带来一些计算效率的好处。因此，我们最好从计算效率的角度来考虑这个问题。至于这个架构能否达到我们的目标，我认为答案显然是肯定的。

那么，对于人类大脑及其大脑区域又如何呢？我认为那里的情况是微妙且具有欺骗性的。人类大脑有已知的区域，包括言语感知区域、语音产生区域、图像区域、面部区域等。这些看起来很专业，但有趣的是，有时候，一些在很小的时候就患有严重癫痫症的孩子，他们的治疗方法是切除他们的一半大脑。由于这种情况发生在他们很小的时候，这些孩子长大后就会成为非常有能力的成年人。他们的大脑区域虽然被压缩到一个半球上，但所有这些大脑区域都以某种方式重新排列了自己。

另一个实验是在30或40年前对雪貂进行的。他们取出了雪貂的视神经，并将其连接到听觉皮层。经过几天的学习观察，他们发现听觉皮层中的神经元与视觉皮层非常相似。这进一步支持了一个观点，即我们只需要一个大的统一架构。这就是我们所需要的。每个生物系统都相当懒惰地采用一个系统，然后复制它，然后以不同的方式重复使用它。这也适用于数字世界，具体取决于您使用的架构。

我认为这是从技术角度来看的一个迹象，我们走在正确的轨道上，因为人类智能、生物智能和人工智能之间有所有这些有趣的类比。我们有人工神经元、生物神经元、生物智能的统一大脑架构、人工智能的统一神经网络架构。那么，我们应该何时开始将这些系统视为数字生活呢？我认为，当这些系统变得可靠且高度自治时，这种情况就会发生。目前，这些系统显然还不是自治的。他们正在缓慢地前进，但事实并非如此。这也使得它们的用处大大降低，因为你不能要求它们，比如做我的作业或做我的税。因此，其应用受到了很大的限制。随着其实用性的增加，它们确实会变得更像人造生命，我认为这也使其变得更加令人恐惧，不是吗？如果你想象一下真正的人造生命，其大脑比人类更聪明，那么，天哪，这看起来相当具有纪念意义。

主持人：

为什么你的定义是基于自治呢？因为如果你经常查看生物生命的定义，你会发现它与生殖能力有关，我认为这应该加上某种形式的自主权。就像病毒在很多时候并不一定被认为是活的一样，但细菌是。你可以想象这样的情况：你有共生关系，或者其他东西，有些东西不能真正自主地发挥作用，但它仍然被认为是一种生命形式。所以我有点好奇自治的定义与其他一些方面的关系。

Ilya：

选择定义是为了我们的方便，这是一个有争议的问题。

在我看来，技术已经具备了繁殖、再生产的功能。例如，如果你看一下过去25年里手机和智能手机演变的那些图像，你会看到几乎看起来像进化树或上个世纪的汽车。因此，技术已经在利用复制上一代技术思想的人们的思维进行复制。所以我声称复制品已经存在。我声称的自治部分不是。

事实上，我也同意不存在自主繁殖，但这将是你能想象如果你有自主复制的人工智能吗？事实上，我认为这是一个相当痛苦的事情，如果你有一个能够自主复制的人工智能，如果它也非常有能力的话，我会说这是一件非常可怕的事情。

超级对齐

主持人：

我们应该谈论超级对齐吗？

Ilya：是的，非常如此。

主持人：

你能简单地定义一下吗？然后，当您觉得我们需要开始担心这些开源功能时，我们讨论了边界是什么。什么是超级对齐以及为什么现在投资它？

Ilya：

你问题的答案实际上取决于你认为人工智能的发展方向。如果你只是尝试想象并展望未来，这当然是一件非常困难的事情，但无论如何我们都要尝试去做。我们认为五年或十年后情况会怎样？过去几年的进展确实令人惊叹。也许会慢一点，但如果你推断这种进展，五年后我们将处于一个非常非常不同的境地，更不用说十年了。

这似乎并非难以置信。我们将拥有比人类聪明得多的计算机、数据中心，这似乎一点也不令人难以置信。我所说的“更聪明”并不是指拥有更多的记忆力或拥有更多的知识，而是指对我们正在研究和研究的同一主题有更深入的了解。这意味着比人学得更快。这样的人工智能能做什么？我不知道。当然，如果这样的人工智能是某种人造生命的基础，那你会怎么想呢？

从某种意义上说，如果您拥有一些非常强大且活跃的数据中心，那么这就是您所谈论的。当我想象这个世界时，我的反应是，天哪，这很难预测会发生什么。非常不可预测。但最低限度，但有一个我们可以阐明的最低限度。如果真的建立了这样的超级、非常非常智能、超级智能的数据中心，我们希望这些数据中心对人们抱有温暖和积极的感情，走向人类。因为从某种意义上来说，这将是非人类生命。可能，可能就是这样。所以我希望任何这种超级智能的实例都能对人类产生温暖的感情。这就是我们正在做的超级对齐项目。

我们说，嘿，如果你允许自己，如果你接受我们所看到的进展，也许会慢一些，但它会继续下去。如果你允许自己这样做，那么你今天就可以开始进行富有成效的工作来建立科学。这样我们就能够处理控制未来超级智能的问题，给他们留下对人友善和友善的强烈愿望。因为这些数据中心真的非常强大。可能会有很多。世界将非常复杂，但不知何故，只要他们是自主的，只要他们是代理人，只要他们是存在，我希望他们是亲社会的。亲和人类社会的人工智能，这是我们的目标。

主持人：

实现这个目标的可能性有多大呢？有些结果，我们似乎有望影响，但是，我们是否可能拥有与我们单独或作为一个物种建立友谊的亲社会人工智能呢？

Ilya：

我认为，友谊部分并非必要，但我们确实希望拥有非常亲社会的人工智能。我认为这是可能的，虽然并非必然，但这种可能性将会增加。

随着越来越多的人开始展望未来，展望五到十年的未来，他们开始思考，他们期望人工智能能够做什么？他们期望它的能力如何？我认为，随着时间的推移，如果人工智能确实在不断改进，并且人们真正体验到了它的改变，他们会发现，去年的人工智能相比今年的已经相形见绌。然后，年复一年，人工智能开始进行科学研究，人工智能软件工程师的技术也变得越来越出色。我认为，这会让人们对未来的超级智能产生更多的期待，这种超级智能将非常亲社会。

我认为，这将引发很多分歧，也将引发很多政治问题。但我相信，随着人们看到人工智能实际上变得更好，随着人们体验到它，对亲社会超级智能的渴望，人类对超级智能的热爱，以及它能做的事情将会不断增加。在科学问题上，我认为目前这仍然是一个没有多少人致力于研究的领域。我们的人工智能已经变得足够强大，我们可以真正开始有效地研究它。我们很快就会分享一些非常令人兴奋的研究成果。

然而，我想说的是，这就是大局。实际上，我们需要回顾一下我们到目前为止在人工智能方面的经历。我们需要问自己，比如，发展速度是否在放缓？明年会放缓吗？就像我们将会看到的那样，我们会一次又一次地经历这种情况。我认为这种情况将会持续下去，而且我们需要做什么将会变得越来越清晰。

走在AI加速的道路上

主持人：

你认为我们只是走在加速的道路上吗？因为我认为，从根本上来说，如果你观察某些技术浪潮，它们倾向于弯曲，然后加速而不是减速。所以，我觉得我们现在正处于加速阶段而不是减速阶段。

Ilya：

我们现在确实处于加速阶段。很难说，多种力量都会发挥作用。有些力是加速力，有些力是减速力。例如，成本和规模是一种减速力量。事实上，我们的数据是有限的，至少在某种程度上是一种减速力量。我不想夸大这一点。

主持人：

它有点像渐近线，就像在某个时刻你击中了它，但这是标准的 S 曲线，对吗？或者说是 S 形。

Ilya：

特别是对于数据，我只是认为这不会成为问题，因为我们会找出其他东西。但你可能会说，工程项目的规模是一种减速力量，只是管理的复杂性而已。另一方面，投资量是加速力量。人们、工程师、科学家的兴趣是一股加速力量。

我认为还有另一种加速力量，那就是生物进化已经能够解决这个问题的事实。事实上，到目前为止，人工智能的进步已经达到了这一点，这种奇怪的特性，很难执行。但从某种意义上说，它或许也比人们想象的更简单。

从某种意义上说，我对物理学了解不多，但我的理解是，如果你想在量子物理学或其他领域取得进展，你需要非常聪明，并在研究生院花很多年的时间研究这些东西是如何工作的。而对于人工智能，你需要人们进来，快速上手，快速开始做出贡献。这种情况有些不同。

不知何故，对于这个特定的研究领域有很多投入。我认为这也具有一种推动力。然而，具体的发展情况还需要进一步观察。随着可能以某种方式达到所需规模，工程的复杂性将开始增加，因此进展的速度可能会开始放缓。尽管如此，它仍将继续前进，但可能不会像以前那样快速。另一方面，可能会有如此强大的力量汇聚在一起推动它，以至于它可能会在未来几年内保持快速的进展速度，然后才会开始放缓（如果真的会放缓的话）。这就是我想要阐述的观点。

主持人：伊利亚，这次对话非常精彩。感谢你的参与。

Ilya：我非常感谢，我真的很享受这次对话。