开发人工智能以了解对象关系，让机器人像人类一样思考

麻省理工学院研究人员开发了一种新的机器学习模型，可以让机器人像人类使用AI一样理解世界上的交互。

　　当人类看到一个场景时，他们会看到物体以及它们之间的关系。在您的办公桌上，可能有一台笔记本电脑放在电话的左侧，在电脑显示器的前面。

　　但许多深度学习模型很难以这种方式看待世界，因为它们不了解各个对象之间的纠缠关系。如果不了解这些关系，一个设计用来帮助厨房里的人的机器人将很难按照"拿起炉子左边的抹刀并把它放在砧板上"这样的命令。

　　这项工作可应用于工业机器人必须执行复杂的多步骤操作任务的情况，例如在仓库中堆叠物品或组装电器。它还使该领域更接近于使机器能够像人类一样从环境中学习并与之交互。

　　创建AI模型：一次建立一种关系

　　研究人员开发的框架可以根据对象及其关系的文本描述生成场景图像，例如"蓝色凳子左侧的木桌。蓝色凳子右侧的红色沙发。"

　　他们的系统会将这些句子分解成两个更小的部分，描述每个单独的关系（"蓝色凳子左侧的木桌"和"蓝色凳子右侧的红色沙发"），然后分别为每个部分建模，然后通过生成场景图像的优化过程组合这些片段。

　　"其他系统会从整体上获取所有关系，并从描述中一次性生成图像。然而，当我们有分布外的描述时，这种方法会失败，例如具有更多关系的描述，因为这些模型不能真正适应一个镜头来生成包含更多关系的图像。然而，当我们将这些单独的、较小的模型组合在一起时，我们可以对更多的关系进行建模并适应新的组合。"Du说。

　　该系统也可以反向工作——给定一张图像，它可以找到与场景中对象之间的关系相匹配的文本描述。此外，他们的模型可用于通过重新排列场景中的对象来编辑图像，使它们与新的描述相匹配。

　　研究人员开发的框架可以根据对象及其关系的文本描述生成场景图像，在该图中，最终图像在右侧，并且正确地遵循了文本描述。图片来源：MIT

　　用深度学习理解复杂场景

　　研究人员将他们的模型与其他深度学习方法进行了比较，这些方法给出了文本描述，并负责生成显示相应对象及其关系的图像。在每种情况下，他们的模型都优于基线。

　　他们还要求人类评估生成的图像是否与原始场景描述匹配。在描述包含三种关系的最复杂示例中，91% 的参与者得出结论认为新模型的性能更好。

　　"我们发现一个有趣的事情是，对于我们的模型，我们可以将句子从一个关系描述增加到两个、三个甚至四个描述，并且我们的方法继续能够生成那些被那些关系描述正确描述的图像描述，而其他方法则失败。"Du说。

　　研究人员还展示了它以前从未见过的场景的模型图像，以及每张图像的几种不同的文字描述，它能够成功识别出与图像中物体关系最匹配的描述。

　　当研究人员向系统提供两个描述相同图像但方式不同的相关场景描述时，模型能够理解这些描述是等效的。模型的稳健性令人印象深刻，尤其是在处理之前从未遇到过的描述时。

　　这是一种更接近人类的工作方式。人类可能只看到几个例子，但可以从这几个例子中提取有用的信息，并将它们组合在一起，创造出无限的组合。新模型也具有这样的特性，它可以从更少的数据中学习，但可以推广到更复杂的场景或图像生成。

　　他们也有兴趣最终将他们的模型整合到机器人系统中，使机器人能够从视频中推断对象关系，然后应用这些知识来操纵世界上的对象。

图说工控