悖论会杀死人工智能吗？

松木里菜

2022-06-01 14:36

我看到了几个很好的答案，但是大多数人都认为推理无限循环已成为过去，仅与逻辑AI（著名的GOFAI）有关。但事实并非如此。

无论是否自适应，任何程序都可能发生无限循环。正如@SQLServerSteve指出的那样，人类也可能陷入迷恋和悖论之中。

现代方法主要使用概率方法。当他们使用浮点数时，在人们看来他们不容易遭受推理失败（因为大多数推理都是以二进制形式设计的），但这是错误的：只要您进行推理，就总能发现一些固有的陷阱通过推理系统的机制。当然，概率方法不如单调逻辑方法易受攻击，但它们仍然易受攻击。如果只有一个没有任何悖论的推理系统，那么到现在，许多哲学将不复存在。

例如，众所周知，贝叶斯图必须是非循环的，因为循环会使传播算法严重失败。有些推论算法（例如Loopy Belief Propagation）在这些情况下可能仍然有效，但是结果并不能完全保证，并且可以得出非常奇怪的结论。

另一方面，现代逻辑AI通过设计新的逻辑范式（例如非单调逻辑）克服了您将看到的最常见的逻辑悖论。实际上，它们甚至被用于研究道德机器，而道德机器是能够自行解决难题的自主主体。当然，他们也遭受一些悖论，但是这些退化的情况要复杂得多。

最后一点是，无论采用何种技术，推理的无限循环都可能发生在任何推理系统中。但是，可能会触发这些无限循环的“悖论”，或者从技术上讲是退化的情况，对于每个系统而言，将取决于技术和实现（以及机器在自适应的情况下所学到的知识），也会有所不同。

OP的示例可能仅在诸如命题逻辑之类的旧逻辑系统上起作用。但是，将其询问给贝叶斯网络，您还将得到一个推论性无限循环：

等到宇宙的尽头得到答案...

免责声明：我写了一篇关于道德机器和困境的文章（这与悖论很接近，但并不完全相同：困境是其中任何一种解决方案在客观上都不比其他任何解决方案都更好，但是您仍然可以选择的问题，而悖论是无法解决的问题对于您使用的推理系统）。

/编辑：如何修复推论无限循环。

以下是一些极不确定的命题，这些命题根本无法奏效！

将具有不同陷阱的多个推理系统结合在一起，因此，如果一个推理系统失败，则可以使用另一个推理系统。没有一个推理系统是完美的，但是推理系统的组合可以具有足够的弹性。实际上，人们认为大脑正在使用多种推理技术（联想+精确贝叶斯/逻辑推理）。关联方法具有很高的弹性，但是在某些情况下它们可能会产生无意义的结果，因此为什么需要更精确的推断。

并行编程：人脑是高度并行的，因此您永远不会真正地完成一项任务，在真正的并行性中总会有多个背景计算。即使推理陷入僵局，对悖论具有鲁棒性的机器也应该能够继续执行其他任务。例如，一台坚固的机器必须始终能够生存并面临迫在眉睫的危险，而一台薄弱的机器将陷入推理之中，并“忘记”做其他事情。这与超时不同，因为卡住的任务不会停止，只是它不会阻止其他任务被领导和完成。

如您所见，这种推理循环问题仍然是AI研究中的热门话题，可能永远不会有完美的解决方案（没有免费的午餐，没有银弹，没有一个适合所有人的尺寸），但是它正在不断发展，这非常令人兴奋！

原干恵

2022-06-01 14:36

有趣，谢谢您的回答:) 您提到的有关“环境和感知序列”的更多信息的资源吗？

松金洋子

2022-06-01 14:36

这种流行的模因起源于“老式老式AI”（GOFAI）时代，当时人们认为可以完全根据逻辑来定义智能。

该模因似乎依赖于使用定理证明器的AI解析命令，其思想大概是通过试图证明不可证明或不一致的语句而将其驱动到某种无限循环中。

如今，GOFAI方法已被“环境和感知序列”所取代，“环境和感知序列”通常不会以这种僵化的方式来表征。机器人观察到一段时间后，它的审议正在妨碍有用的工作，这并不需要太多复杂的元认知。

罗德尼·布鲁克斯（Rodney Brooks）在谈到斯皮尔伯格（Spielberg）的AI电影中的机器人行为时谈到了这一点（耐心地等待了5,000年），他说诸如“我的机器人不会那样做-他们会感到无聊”。

编辑：如果您真的想杀死一个在感知方面运作的AI，您将需要更加努力。本文（在该问题中被提及）讨论了在这种情况下死亡/自杀的概念可能意味着什么。

编辑2：道格拉斯·霍夫施塔特（Douglas Hofstadter）使用“ JOOTSing”（“跳出系统”）和“ Anti-Sphexishness”（反Sphexishness）等术语围绕该主题进行了相当广泛的写作，后者指的是Sphex Wasp（尽管这种行为的现实性也受到了质疑）。

麻由美

2022-06-01 14:36

我说的都是错误的：说话者不是一个完全的骗子，也不是一个诚实的骑士，而是一个普通的人（请参阅Raymond Smullian的“这本书的名字是什么？”）

张嘉欣

2022-06-01 14:35

如果您认为不太可能配备带有看门狗定时器的AI，请考虑让人类天生就具备类似的能力。如果我们进入癫痫发作状态，大脑会以某种方式设法关闭至深沉的无意识状态，然后“重启”。（通常：癫痫患者偶尔会在一次健身中死亡）。

山中真由美

2022-06-01 14:35

看门狗定时器是通常在绝对智能但24x7的关键系统中使用的一种方法。基本上，系统有望在上次（例如）15秒内发出“我还活着”的信号。如果由于未正确处理的情况而陷入无限循环，则不会重置watchdod，并且计时器将重新引导系统。真正的AI会经受导致其陷入困境的情况的荟萃分析，以期改进自己的程序。

洛蔓希

2022-06-01 14:35

这个经典问题表现出对人工通用情报可能带来的基本误解。首先，考虑一下这个程序员的笑话：

程序员的妻子再也受不了了。与丈夫的每一次讨论都变成了对语义的争论，挑剔了每一个琐碎的细节。有一天，她把他送到杂货店去捡鸡蛋。她在出门的路上说：“当您在那儿时，请拿起牛奶。”

而且他再也没有回来。

这是一个可爱的文字游戏，但并不现实。

您假设因为AI是由计算机执行的，所以它必须表现出相同水平的线性，毫不动摇的学究。但是，AI并不仅仅是一些冗长的计算机程序，它使用足够的if语句和while循环进行硬编码，以说明每种可能的输入并遵循规定的结果。

这将不是强大的AI。

在人工人工智能的任何经典定义中，您都在创建一个模仿某种形式的认知的系统，该认知表现出解决问题和自适应学习的作用（←此处请注意此短语）。我建议，任何可能陷入这种“无限循环”的AI根本不是学习型AI。这只是一个错误的推理引擎。

本质上，您正在赋予当前无法实现的复杂性程序以根本无法假设是否有一个简单问题的解决方案。我可以很容易地说“走过那扇关门”或“把自己抬离地面”，甚至“把那支铅笔打开”，并提出类似的难题。

“我所说的一切都是错误的。” — 骗子的悖论

叶加瀬麻衣

2022-06-01 14:35

不，只需使用try / except和超时。开玩笑 嗯，矛盾并不存在，只是力量以相反的方式起作用。先进的AI可以通过遵循随机过程而不是遵循固定规则来克服这一问题。如果它们确实很先进，那么探索（相对于利用）的变通办法将确保测试所有选项并克服局部最优。如果真的有一个固定的领带，那可能不是因为AI，而是因为缺乏进一步前进的真正可能性以及环境的限制。

杉原杏璃

2022-06-01 14:35

不幸的是，尽管悖论在杀死任何无法被悖论杀死的AI方面非常有效，但它们对那套之外的任何AI几乎没有影响。因此，对于实际的流氓AI防御，最好还是依靠真正强大的电磁体。