谷歌联手麻省理工:AI要同时处理多重信息

论文的联合作者、麻省理工学院博士后Yusuf Aytar表示：“不管你是听见了了引擎声，还是看到了汽车，这都无所谓，因为你马上能识别出这是同一概念。这些信息已经在你的大脑中被统一起来。” 

这里的关键词就是协调与统一。研究人员并没有教会算法新的东西，而是创造了一种方式让算法将一种感官与另一种感官连接统一起来。Aytar举了一个例子来说明：当一辆自动驾驶汽车听见救护车的声音时，就能将其与救护车的样子联系在一起，即便因为视线受阻没有看见救护车，也能提前做出避让。

为了训练这套AI系统，麻省理工学院的研究人员首先向神经网络展示了一些带有音频的视频文件，当神经网络接收到这些视频和音频后，就会开始尝试预测物体与声音之间的联系。然后，研究人员开始同一算法中输入带有文字说明的图像，让神经网络将图片中的物体与其文字说明联系起来。以此类推，这样就完成了视频、声音、图像、文字间的相互转换与识别。