图灵奖得主Joseph Sifakis：测试系统智能的合理方案是什么？

Joseph Sifakis是美国国家科学院和美国国家工程院院士、欧洲科学院院士，也是中科院外籍院士，同时是南方科技大学计算机科学与工程系杰出教授，他主要的研究领域是Model Testing，因为在这个领域的长期研究，他获得了2007年的图灵奖。

(资料图片仅供参考)

6月9日，在“2023北京智源大会”上，Joseph Sifakis教授发表了题为“Testing System Intelligence”的线上演讲。

核心内容：

1，Joseph Sifakis认为今天我们只是拥有弱人工智能水平，它仅能为我们提供构建智能系统的基础要素，但我们并不具备使用它们构建大型智能系统的理论和技术。他认为，未来信息通信领域技术ICT和AI之间的加速融合，会导致自主系统的产生，这将是从弱AI跨越到人工智能的一大步，自主系统将超越机器学习系统。

2，Joseph Sifakis解释了自主系统愿景的实现不仅受到我们必须使用的不受信任的AI系统的阻碍，也受到一些与AI关系不大的系统工程难题的阻碍。他通过对比人类和机器智能来讨论人工智能系统的的信任问题。他认为人类有两种思考方式，一是快思考，这种思考是我们拥有各种类型经验和隐形知识的思维，另一种是慢思考，是任何理性知识的来源，我们人可以理解我们在做什么，是可以被验证的。而神经网络在训练之后生成的经验知识，是数据库知识，无法被验证。另一种对比人类和机器智能的方法，是人类在情景感知方面是优于机器的，人类的理解结合了从感官层面到心智语义模型的自下而上的推理，以及从语义模型到感知的自上而下的推理。而神经网络必须经过训练，才能做到，机器想要有匹配人类的情景感知能力，它们应该要能够建立一个外部环境的模型，特别是感知全新的情况，并将学习和推理结合起来。这可能是当今人工智能最难解决的问题。

3，一个系统可被解释，它的行为可以用数学模型或者我们能理解的模型来描述。对于神经网络来说，一种方法是构建一个计算函数，即一个数学函数，理论上这是可行的。但受限于复杂性问题，并不允许这样做。对于人工智能系统来说，如果我们想检验系统特性，唯一的出路是测试，但测试是一种经验性的验证方法，有局限性。今天我们看到的一些出版物声称其职能系统满足某些特性，都不够严格。

4，自主系统是迈向人工智能的重要一步，智能的特点是有意识感知和决策能力。

5，在未来，将人工智能技术融入到传统系统工程将是很重要的。同样重要的是，今天的传统系统工程在某种程度上被新趋势所破坏，这些趋势与公认的实践相矛盾。现在有两个重要的工作方向：一个是智能系统的混合设计，我们应该能够在传统的系统工程开发方法中集成人工智能组件，我们应该设计出围绕可信组建构建可信系统的技术，我们必须为此发展理论。对于智能系统，我们所能期待的最好的是基于统计的技术来估计置信水平。总而言之，弥合自动化和自主性之间的差距，还有很长的路要走。

6，Joseph Sifakis认为我们应该承认智能系统需要严格的验证方法，并努力以清晰、诚实的方式克服当前的局限性，并开发新的基础，如果可能的话，我们将修改认识论和方法论要求，但对此要小心并理解我们正在做的事情。

7，Joseph Sifakis认为人工智能是一种技术，是计算机科学发展的一部分，他建议大学生学好理论知识，学习并拥有广泛的文化背景，了解所有的系统问题，这将是非常重要的。

以下为 Joseph Sifakis 个人演讲实录：

很高兴就测试系统智能发表这次演讲。首先，我想说的是，目前对于什么是智能以及如何实现智能存在很多困惑。媒体和大型科技公司散布的观点助长了这种混乱，他们传播的观点认为，达到人类水平的人工智能也就是几年之后的事情。我们也有这种围绕超智能问题如何发展起来的方法讨论，一些人认为故事的结尾就是机器学习。当然，我不同意这些观点。如果翻开字典，我们会看到“智能”被定义为学习、理解、理性思考世界以及做好某件事的能力。机器可以做令人印象深刻的事情，但机器无法在情景感知、自适应环境挑战和创新思维方面超越人类。因此，我认为就智能的定义达成一致是非常重要的。

如果不清楚什么是智能，我们就无法提出关于智能如何运行的发展理论。我认为今天我们只是拥有弱人工智能水平，就像建造桥梁需要用到的砖块，它仅能为我们提供构建智能系统的基础要素，但我们并不具备使用它们构建大型智能系统的理论和技术。对于未来，我认为我们将观察到信息通信领域技术ICT 和 AI 之间的加速融合，进而导致自主系统的产生，这将是从弱 AI 跨越到人工智能的一大步。你知道机器学习系统通常是专门的转换系统，而自主系统是支持智能系统的范式，该范式超越了机器学习系统。它们源于通过用自主代理取代人类来进一步实现组织的自动化的需求。

这是物联网所设想的。我们谈论到的自动驾驶汽车，智能电网，智能工厂和自主系统都是分布式系统的代表，这些系统通常是至关重要的，并应该表现出广泛的智能。他们应该能动态管理具有挑战性的相互冲突的目标，并能应对不可预测的网络物理环境中的不确定性，当然，还要能与人类进行和谐协作。我将会解释，自主系统愿景的实现不仅受到我们必须使用的不受信任的AI系统的阻碍，也受到一些与AI关系不大的系统工程难题的阻碍。

我将尝试对比人类和机器智能来讨论人工智能系统的信任问题，介绍自主系统，并讨论未来。

你可能知道，计算机科学的创始人艾伦·图灵（Alan Turing）想出了比较人类和机器智能的想法，他的著名测试如下。

在两个不同的房间里分别有一台机器A和一个人B；有一个实验者C向A和B发送书面问题，并比较他们的答案。图灵说，如果C不能分辨哪个答案是计算机的，哪个答案是人的，那么A和B同样聪明。我为什么要提这个测试？因为今天有人声称其系统成功通过了图灵测试，所以它是一个和人类一样聪明的智能系统。可是这个测试已经被批评了很多次，因为测试是否成功取决于人的判断，而人的判断是主观的。此外，测试用例的选择也可能会引入一些偏差。我可以选择有利于人类或机器的问题。而另一种观点则认为，这种测试不能仅仅是一种对话游戏。人类的大部分智力都是通过与环境的互动表现出来的，在和环境的互动中我们说话，我们移动，我们进行社交行为。

两年前，我在一篇论文中提出了一个命题测试。其思想是，给定要执行的任务，如果代理A能够成功取代代理B，这里代理可以是机器或人，则认为这个代理A与代理B具有一样的智能。例如，我会说，如果一个机器能够成功取代人类驾驶员，则这个机器与人类驾驶员一样智能。或者我会说，如果一个人能成功地取代这个机器人，那么他就和机器人一样聪明。请注意，图灵测试仅是该测试的一个特例，其任务只是一个对话游戏。所以这个测试泛化了并相对化了智能的概念。另一种比较人类和机器智能的方法是考虑人类和机器正在开发和使用的不同类型的知识。

你知道人类的思考方式结合了两个系统，其中一个我们称之为快思考，这种思考方式是无意识的，自动的，毫不费力的，是我们拥有各种类型经验和隐性知识的思维。当我走路时，我说话时，我演奏乐器时，我的大脑解决了一个非常困难的计算问题，但我不清楚大脑是怎么运作的。而另一个系统则是慢思考，即谨慎、克制、努力，这是任何理性知识的来源。例如，当我编程时，我解决一个问题，我会慢慢思考，我明白我在做什么。这两种思维体系与我们今天所拥有的两种计算范式之间有着惊人的相似之处。我们传统计算机执行的算法是通过慢思考方式有意识的编写的，这是基于现代的知识。我们可以理解我们在做什么，这是可以验证的。与之相反的是，神经网络在训练之后生成的经验知识，这是数据库知识。他们可以像小孩一样区分猫和狗，但它们无法被验证，因为我们不了解它们的行为。我们有无能为力的问题，这是我稍后要讨论的一个非常重要的问题。

现在，正如我所说的，人类和机器会处理不同类型的知识。我们的知识有不同类型的普适性，例如，我们有非经验知识，这是独立于外部世界发生的知识；还有数学知识，这是我们通过推理产生的知识。再下面，我们有经验知识，这个是关于世界的知识。最简单的就是事件和条件。例如，今天的温度是20摄氏度。然后，我们还有隐性的经验知识。这是来自人类的系统一的知识，同时也是机器学习产生的知识。我们能预测，我们知道如何解决一些问题，但我们不知道如何去做。在上面，我们有科学技术知识，这是依赖于数学模型的经验知识。我们可以解释清楚，并且相信这种知识。所以从技术角度来看，机器学习产生的知识和科学知识之间是有很大区别的，这就是我要在这里解释的，因为知识的发展过程非常相似，在这两种情况下都是经验知识。

所以我在这里会提到一个物理实验。在这个著名的实验中，伽利略注意到了力和加速度之间的比例关系，并提出了他的定律。所以你有三个步骤，即实验，学习，概括和解释。假如你现在想建立一个神经系统来区分猫和狗的图像，你将从一个实验阶段开始，你的任务是为每个图像分配标签。有一个人会标注训练图像，基于这个标注，你将训练神经网络，希望它能区分不同的图像，但你没有一个解释模型，这一点值得大家注意，是非常非常重要的。

现在，另一种比较人类和机器智能的方法是明白人类在情景感知方面是优于机器的。你可能在新闻中见过这种类型的自动驾驶仪，它把月亮误认为是黄色交通灯。这永远不会发生在人类身上，因为人类知道交通灯不能在天空中。那么什么是常识性知识呢？常识知识是从我们出生开始就自动构建的关于世界的语义模型。它是通过日常经历来丰富的。这是我们用来解释自然语言中感官信息的模型。应该强调的是，人类的理解结合了从感官层面到心智语义模型的自下而上的推理，以及从语义模型到感知的自上而下的推理。

让我举个例子。因为感官信息连接到语义模型，即你脑海中的停车标志的概念模型，包括其属性、大小、颜色、垂直位置等。相比之下，神经网络必须经过训练，才能在所有可能的天气条件下识别停车标志，这是一个非常非常重要的区别。或者如果我给你看这一系列的图像，你会立刻把它理解为一次飞机事故。相反，机器可以单独分析每一帧，但不能将每一帧中发生的事情进行因果联系以得出相同的结论。所以总结一下，机器要想有匹配人类的情景感知能力，它们应该要能够建立一个外部环境的模型，特别是感知全新的情况，并将学习和推理结合起来。这是一个非常困难的问题。这可能是当今人工智能最难解决的问题，至少在不久的将来，我对解决这个问题的可能性并不乐观，正如我们目前在自然语言语义分析方面所取得的进展。当你测试系统的意图时，一个非常重要的问题是如何验证它们的特性。我说过一个重要的问题是人工智能系统不具备解释能力。

因此，让我准确定义下我们今天需要什么。一个系统可被解释，它的行为可以用数学模型或者我们能理解的模型来描述。对于神经网络来说，一种方法是构建一个计算函数，即一个数学函数，理论上这是可行的。特别是对于前馈网络，因为我们知道每个节点计算的函数，所以能理解这是一些输入的加权和，然后经过激活函数。所以从这个原则出发，理论上应该是可行的，并且有一些论文讨论了建立函数的问题。但你知道受限于复杂性问题，并不允许这样做。

现在，如果我们想检验系统特性，有两种检验方法。第一种是在模型上进行推理验证。所以这种方法尤其不适用于神经网络。在现代系统工程中，方法1的验证是非常重要的。为什么？因为您需要验证如系统鲁棒性和安全性等特性的普适性。你必须探索系统所有可能出现的状态来保证这一点。所以对于人工智能系统来说，唯一的出路就是测试，测试是一种经验性的验证方法，是有局限性。显然，这种测试您可以验证的特性类型存在限制，并且你也不能从测试中得到像方法1中那种验证所得到的那种保证。量化普适性的特性，其特性只能被量化验证，所以这是一个严重的限制。我还要说的是，系统工程会关注三种主要类型的特性。因此，任何需求都可以分解为三种不同类型的特性。鲁棒性，这意味着系统在执行期间永远不会达到不良状态或危险状态。安全性，这意味着系统对攻击具有弹性。此外，性能特性也是非常重要的，因为它们代表了所开发系统的技术和经济标准。值得说明的是，今天我们看到一些出版物声称其智能系统满足某些特性，但都不够严格。实际上，知识和方法论的要求使得我们必须对声称系统具有某种属性的断言提供严谨的定义。

比如，如果我说我的系统是诚实的，那么你应该给出诚实的定义以及相关的验证方法。所以通常，例如你可以读到一些公司已经在模拟环境中驱动了100亿个机器老鼠，所以他们编译的程序是足够鲁棒的。但这一论点在技术上并不是严谨的，因为他们没有说明模拟的老鼠与真实的老鼠有什么关联，或者人们在谈论负责任的人工智能，这意味着人工智能应具有公平、可靠等标准。当然，你应该提供这些特性的特征，并说明神经网络满足这些特性意味着什么，以及对这些特性进行检验。当然，甚至有论文谈到了人工智能对齐，这意味着我们将使对话代理与人类价值观保持一致，但我们甚至不了解人类意志是如何出现的，以及人类基于价值的决策过程是如何进行的。

所以我认为这里有一个危险，因为人们声称让一个系统来满足性质，却没有遵循严格的验证方法。让我说几句关于测试的话，这是非常古老的东西。测试一个系统S，它有输入X和输出Y。所以其性质是输入和输出之间的关系。我有系统，那么我也有对应的性质，你有一个ORAC，或者用技术术语来说，它被称为ORAC，这是一个代理，当你应用X时，你观察Y，会说成功或失败，通过或失败。所以ORAC是一个代理，它将评估这个谓词并做出决定。现在，如果我说S满足性质P，并且我想验证这一点，这意味着对于任何可能的输入X和相应的y，这个性质都是满足的。我们理解我的意思是对于有大量输入的系统来说，这是不可能实现的。

我的意思是我们应该有一种方法来克服复杂性的问题，为此，我不想涉及细节，测试方法可以成功地应用在测试硬件或软件上，或者在物理中或在医学中我们应用测试方法。测试方法的特征是什么？测试方法提供了在可能的测试用例中进行选择并评估结果的标准。因此，测试方法的特征实际上是效率函数。效率函数将描述一组投入X的效率，衡量该探索集合与我们想要验证的相关性质的困难程度，然后是一个得分函数，它将产生一个得分，用于衡量在一组输入的X和相应的Y的条件下S满足P的可能性。在没有给出细节的情况下，为了有这样一个理论，我们并没有一个面向智能系统的理论。我可以解释原因。另一个很强的要求是可重复性。再现性是指测试活动的结果与输入的选择无关。例如，如果系统的两组输入向量具有相同的效率，那么结果或分数将大致相同。

这在事实上保证了结果的客观性。你表明，这完全取决于你探索你测试的系统有多深。现在，仅为了提供这种测试各种系统的想法的比较和应用，这里我说明一个物理系统或飞行控制器，我在上面工作过，所以这必须满足严格的安全要求。在这里，我们有我们所说的白盒测试，因为我们有一个系统模型，所以我们可以通过实验探索系统的所有可能状态，并在某些标准中达到我们所说的结论性证据。然后这是一个统计测试的例子，所以如果这里你没有一个系统模型，但你有一些理论，例如评估疫苗的有效性，你可以得到一些统计性证据。

这里我考虑了三种不同类型的智能系统，图像分类器、模拟的自动驾驶汽车系统和图表GP。所以你可以看到，对于这些系统，特性可以被形式化。所以这里，我们可以有一个智囊，一个人类智囊，它可以被自动化。事实上我正在解决这个问题。当然，我们需要一些理论，比如一个能定义一些覆盖标准或效率标准的理论，我们不在乎。当然，对于Chatgpt来说，一切皆有可能。为什么？因为我们不能形式化出问答的关系，而且其智囊将会是一个人类智囊，它将应用主观的标准。你看这里，你可以有一个人类智囊，但标准却不受限制。现在，在不给出细节的情况下，我要说的是，对于智能系统，我们却是受限制的，因为特性应该被严格指定，这就排除了所有的语言转换模型，并且也应该被注意到，这也排除了我们所说的以人为中心的特性，比如意向性，信念和文字。当然这里还有其他问题，我没时间讨论了，但是在我们遇到问题的时候，你可以对神经网络进行对抗性测试。

这与再现性的要求不一致，我没有时间讨论。对抗性测试意味着观察上等价的测试用例可以给出不同的分数。现在，让我们谈谈自主系统，因为我说过自主系统是迈向人工智能的重要一步。首先，让我解释一下自主系统和自动化系统之间的区别。我在这里考虑了五种不同类型的与环境交互的系统，为此，它们需要意识感知和决策机制。所以，对于恒温器来说，问题很简单。意识感知只是从环境中读取数值，而控制在这里是静态的。你可以设计一个控件，这很容易。对于国际象棋机器人来说，事情变得更加复杂。不是为了意识感知，但你知道我们需要目标的动态规划，因为我们有所有可能的配置和棋子在棋盘上的移动。即使对于足球机器人来说，事情也变得更加困难，因为玩家需要理解和分析动态图像，并在处理动态目标之间做出选择。这些都是非常困难的问题，甚至对自动驾驶汽车来说也变得更加困难。所以，让我试着描述一个自主的行为。我在五年前的一篇论文中提出了这种架构，并尝试将这些想法应用于自动驾驶汽车。

所以，在这里，我正在考虑的是自动驾驶汽车的自动驾驶仪。这是一个与环境互动的系统。显而易见，你会有传感器和驱动器。所以，你在这里看到了图像的帧。为了实现情境感知，您将拥有一个感知功能，该功能将分析帧，识别障碍物，然后输入运动学的属性；而且这个感知功能将会是一个外部世界的模型，基于这个模型你做决策，你通过结合两个功能来做决定，并进行目标管理。对于每个目标，你可以启动专门的工作管道，它们将产出指令和波动。现在，需要强调的是，对于自主代理，您可以有许多不同类型的目标，而对于自动驾驶汽车，拥有超过15种不同类型的目标。所以，有短期目标，如避免碰撞或保持汽车在轨道上；或者长期目标，就像我开车去某个目的地。这个问题很难解决。因为这是关于自主代理的反应性行为，同时值得重点强调的是，自主代理应该表现出基于知识管理的主动行为。所以，你看这里我有一个组件，它是一个知识库，我可以在那里获得预先储存的知识，例如，关于我可能遇到的对象的属性的知识。我也有自学的功能，可以监控这里的信息，并定期更新这个存储库，这个想法是，你可以使用知识来增强预测和决策。

让我解释一下。如果在一辆自动驾驶汽车中，比如说，在我前面有一条轨道，感知功能识别轨道的类型，并且我已经预先储存了轨道的属性，我可以预测，我可以知道，例如，最大加速度，最大速度，所以在这里有更好的预测。或者自主学习功能可以估计一些用于决策的参数，这就是我想象的自主代理架构的方式。我应该说，由于许多复杂性限制，我不知道如何按照墨西哥的要求进行实施，这是很好理解的，加上环境的模糊性，不确定的复杂性，因为我们在环境中遇到了由不可预测的物理和人造成的动态挑战，然后是决策的复杂性。

我说过，对于短距离驾驶的汽车，我们可能要处理超过 15 个不同的目标，而这些目标受到不同的时间限制。所以如果我取消一个目标，如果我改变一个目标，如果我删除一个目标，这个改变应该和我追求的所有目标是一致的，这些从技术上来说都是非常难的问题。我还想说明的是，仅仅设计一个代理是不够的，您必须将其集成到复杂的网络物理环境中。

如果我有一个自动驾驶平台，例如汽车，而且代理应该能够与人类操作员和谐协作，我们知道，这不仅仅是一个简单的人机交互问题，我们知道自动驾驶汽车行业在解决这些问题上遇到的挫折。但是如果你有很多代理，那么他们协调的问题就出现了，你不得不面对这个问题，重要的是代理的协调不妨碍他们各自目标的实现，而且代理之间要协同，协作，并通过展示我所谓的集体性来实现全球系统目标。因此，通常情况下，例如，对于自动驾驶系统，汽车应该协调以避免瓶颈或占用最好的道路。因此，当我们今天面临构建自主代理的挑战时，另一方面，我们拥有非常完善的自动化系统方法来保证它们的可信度，并且这些方法是基于模型的。所以这些方法被自主系统的复杂性打败了，也因为我们考虑了集成神经网络这一事实，现在，一些大型科技公司采取的另一种方式是构建由 AI 支持的端到端自动驾驶解决方案，就是整合，例如，拥有一个主要通过模拟训练的巨大神经网络的自动驾驶平台，你用通用框架，接收并产生转向角和制动信号，这样的平台是存在的。我不建议你用它们来开车，因为它们缺乏可信度。还有一个非常非常重要的问题，人们不谈，这些平台在机电系统中的集成问题，目前的技术无法扩大规模，不适用于整体神经网络。

所以我认为，对于未来，我们应该努力从每一种方法中汲取最好的东西，并将基于模型和基于数据的组件集成到相同的架构中。例如，我们有非常好的决策算法，这可以是基于模型的组件，另一方面我们需要使用神经网络进行感知来解决一些优化问题，当然配置问题仍然存在。这是我对我们现在距离实现这一自主愿景有多远的看法。在这里，我正在考虑我有一个行为的图表，我认为智能的特点是意识感知和决策能力。所以我认为单个域或多个域的意识感知在这里是受限的意识感知，单个代理或代理系统的决策，我认为人工智能目前的重点是这个。我们尝试用自动驾驶汽车或其他自主系统做的是这个，因为你会有多领域的目标。当然，在未来，我们应该努力构建系统。我还谈到了智能体的合理集成问题，以及构建展示集体智慧的自动驾驶系统的问题。所以，我的看法是，还有很长的路要走。我没有时间对此发表评论或多说。

我认为在未来，将人工智能技术融入传统系统工程将是很重要的，这是因为我们通常需要拥有智能工件。同样重要的是，今天的传统系统工程在某种程度上被新趋势所破坏，这些趋势与公认的实践相矛盾，尤其是对于关键系统工程，正如我所说，有些行业在设计上并不遵循这种安全概念。例如，他们采用基于人工智能的端到端解决方案。在一些国家，他们允许自我认证，例如美国，这意味着不是制造商，不是任何独立机构来保证系统的透明度，而是制造商。这有点奇怪，然后，它们还允许定期更新关键软件，这也适用于关键系统工程实践。现在，我认为我们有两个重要的工作方向。一个是智能系统的混合设计，我们应该能够在传统的系统工程开发方法中集成人工智能组件。当然，人工智能可能永远无法解释，所以我们应该设计出围绕可信组件构建可信系统的技术，我们知道如何为硬件系统做到这一点，我们必须为此发展理论。此外，正如我所解释的那样，系统验证标志着从验证到测试的转变。我认为，对于智能系统，我们所能期待的最好的是基于统计的技术来估计置信水平。我们应该对较弱的透明度保证感到满意，我们永远不会拥有传统系统所拥有的透明度保证。例如，对于关键系统，我们要求每小时运行的故障次数小于10的负9次方，这是我们无法实现的。

总而言之，我认为要弥合自动化和自主性之间的差距，还有很长的路要走，这也是我们从自动驾驶汽车中了解到的，过渡时期不能是渐进的，在我看来，为了实现完全自主的愿景，我们需要开发一个新的科学和工程基础，这需要一些时间。另一个重要的问题是智能的比例，我们应该在智能的概念上达成一致。正如我所说，替换测试将智能的概念相对化和一般化。一种观点认为存在多元智能，根据你选择的任务，这将需要特定的技能，而这违背了某种类型的智能。此外，我们可以考虑不在虚拟环境中运行的任务。例如，您可以比较在虚拟环境中玩游戏的人和机器的智能。当然，如果以人类智能为基准，通用人工智能应该能够执行和协调一系列具有人类技能特征的任务，这似乎很重要。我喜欢的另一个想法是可能的智能空间的想法。为什么？因为人类在分析多维数据方面受到限制，而人工智能系统在学习多维数据方面胜过人类。相反，人类具有常识、知识、抽象、创造力等能力。事实上，我们可以想象，通过结合这些技能，我们可以拥有这种智能的人，也就是人类和机器的极端智能。我发现的另一个有趣的想法是，替换测试表明，等效系统可能具有非常不同的创造性过程。这是一个应该进一步探讨的想法。例如，我可以象征性地解决一个问题，也许我也可以通过使用机器学习来解决它。事实上，今天有一些有趣的结果表明，法学硕士可以解决我们通过使用符号推理解决的问题。在这里，我给出了一个这样做的工具的名称。因此，对于未来，探索智能的广阔空间，特别是理解人类符号智能与机器智能的关系是非常重要的。我认为智能系统的验证将是未来非常非常热门的话题。我已经评论过这种忽视根据既定标准验证智能系统的局限性的趋势，该标准即方法论标准和认知标准。所以你可以读到，例如，法学硕士理解自然语言，我不认为这是一个可以接受的论点，我的意思是，从技术上讲。此外，您还可以找到将心理意识归因于信念、愿望和意图等系统的论文。而我在一篇论文中发现了这句话，我觉得读起来很有趣。“我们不能证明代理人总是做正确的事，而只能证明其行动是出于正确的原因。”我认为这是一个糟糕的方法，从技术的角度来看，因为它假设机器可以理解世界。我们知道，因为中国人认为这是不可能的。当然，有一点是，如果我们应用严格的系统工程标准，我们会排除例如语言转换，因为我们无法应用严格的测试技术。因此出现的一个问题是我们是否可以将资格考试应用于法学硕士，法学硕士可能会像学生一样通过某些领域的期末考试。但是，我想在这里说一下，神经网络和人类之间有两个根本的区别。人的思维是强大的，因此，如果一个人是理智的，他的思维就是健全的。虽然神经网络并不健壮，人类的挑战和问题可能意味着截然不同的答案。而且人类的思维也是基于常识性知识，更适合避免过程中的综合。我们知道法学硕士在某些情况下会产生非常非常不一致的答案。

所以总而言之，我认为我们应该承认智能系统需要严格的验证方法，并努力以清晰、诚实的方式克服当前的局限性，并开发新的基础，如果可能的话，我们将修改认识论和方法论要求，但对此要小心并理解我们正在做的事情。在此，我要感谢你们的关注，在我一年前出版的一本书中，我讨论了很多这样的问题。非常感谢。谢谢。

邹鑫：约瑟夫教授，非常感谢您这次富有洞察力的演讲。我可以问几个问题吗？

Joseph Sifakis：当然。

邹鑫：在AI的自主学习部分，你提到像特斯拉这样的高级算法可能会将月亮误认为是黄灯，对吧？

Joseph Sifakis：是的。

邹鑫：所以对于人来说，人也会犯错误，但是人一旦意识到这是错误的，他或她就可以改正它，然后继续。算法如何在不被制造商重置或完全重新训练的情况下学习，然后变得更好？它可以在旅途中学习吗？我们如何在自主系统中实现这种自我学习、自我纠正机制？

Joseph Sifakis：这里显而易见的答案是，例如，对于自动驾驶汽车，如果你想获得一些保证，那么你可以使用冗余。我认为神经网络的问题在于它们无法将信息语境化，而人类则将信息语境化，您收到感官信息并将其置于上下文中，所以在这种情境化中，我们没有神经网络。我正在研究一个技术问题，自动驾驶汽车的技术问题，我面临的非常非常精确的技术问题。您从相机接收感官信息，所以你想把这个感官信息和来自地图的信息结合起来，而来自地图的信息是象征性的，所以你可以在一些图书馆里有高清地图，然后说，我想匹配这个。而且你会有更好的保证，因为你不会只依赖相机，你也可以有更好的可预测性。我不知道如何解决这个问题。如今，神经网络产生的具体知识与符号知识之间存在差距，这也是 AI 中符号 AI 和连接主义 AI 之间的差距。我的意思是，这是一个老问题，我们不知道如何弥合这一差距，如果我们可以将这两种方法结合起来，那就太好了，但我们不知道如何做。人类的大脑具有将感官信息与世界概念模型联系起来的能力，如果我们能够做到这个，那么我们就可以达到人类的智能。

另一个类似的问题是关于什么时候有规则，例如在英国和法国开车，有不同的汽车在道路的不同侧面行驶。因此，如果一名人类司机从英国开车到法国，他或她可以自动调整。那么我们如何灌输，如何教导普通人这样的规则呢？或者你可以即时学习，那么有没有办法触发不同的常识呢？例如，在英国，这是常识，在法国，则不同。这正是处境化的问题。我改变了上下文，并且使用相同的系统，你希望能够驾驶汽车。因此，如果我必须在我的系统从法国转移到英国时重新训练它，这就是情境化的问题。

邹鑫：我的最后一个问题。在幻灯片的最后，您提到我们需要改进我们的测试或标准来判断模型是否真的好。从目前的数据来看，我们也以自动驾驶为例，与普通人相比，我认为自动驾驶算法在正确性方面已经超越了。但是在我看来，社会对我们自动驾驶算法的期望是完美的，如果你犯了一个错误，那就是一个大错误。

Joseph Sifakis：是的，如果一个人出了事故，一个人可以解释为什么会这样。相反，如果一台机器出了事故，那就很不一样了，这是一个标准。但另一方面，我认为发生在人类身上的事情更容易被接受，我们熟悉人类的思维方式。机器可以有一些不可预测的行为，那被认为是完全疯狂的，例如，我们从神经网络中了解到的异常，你有非常非常不同的行为。

邹鑫：我还有一个听众的问题，我们的许多参会者都是大学生，他们看到人工智能每周都在进步，它们正在取代编码工作，然后是其他工作。所以他们想知道，在今天的世界里，如果我在大学里学习IT相关专业，我还应该学习基础知识吗？例如排序、逻辑？今天的计算机科学或IT专业的职业道路是什么样的呢？你对他们有什么建议吗？

Joseph Sifakis：我认为人工智能更像是一种技术，如果你想训练一个人工智能，你需要一些更特殊的数学，我认为人工智能是计算机科学发展的一部分。对于学生来说，理解基础知识，当然还有理论是非常重要的，我们有很强的数学背景，我不认为这是一个困扰。学生应该有广泛的文化背景，也应该了解我们这里的所有系统工程问题，因为人工智能将与系统工程相结合，那很重要。

邹鑫：谢谢你的建议。非常感谢Joseph Sifakis教授。

关键词：