操纵对象机器人依靠摄像头来了解周围的环境，但这些摄像头通常需要仔细安装，并不断进行校准和维护。
近日，由谷歌机器人哥伦比亚大学技术部门和研究人员发表的一项新研究提出了一种解决方案，其中涉及一种可以通过学习使用多种彩色相机来完成任务的技术，而无需显式的3D表达。他们说与基线相比，机器人在高难度的堆叠和插入任务中表现出色。
这个最新的作品是基于大量的谷歌。机器人在技术研究的基础上。去年10月，谷歌的科学家发表了一篇论文，详细介绍了一个名为Form2Fit的机器学习系统，该系统旨在教会一个具有吸力臂的皮卡。机器人将物品组装成一套工具。谷歌大脑研究人员正在寻找一本小说机器人任务规划技术(包括深度动力学模型或DDM)，他们说这项技术可以让机械手控制多个物体。最近Google团队揭开了ClearGrasp的面纱，这是一种帮助。机器人更好地识别透明物体的人工智能模型。
正如研究人员指出的那样，直到最近，大多数自动化解决方案都是为严格的设置而设计的，其中重复执行脚本。机器人移动到预设位置的动作。这种方法需要高度校准的设置，但是这种设置可能昂贵且耗时，并且缺乏应对环境变化所需的鲁棒性。计算机视觉的进步提高了机械手的抓取性能，但堆叠、插入和精确安装等任务仍然具有挑战性。这是因为他们需要对任务环境有准确的3D几何知识，包括物体的形状和姿态，位置之间的相对距离和方向以及其他因素。
相比之下，该团队的方法使用多摄像机视图和强化学习框架，可以从不同角度获取图像，并以闭环方式生成图像。机器人行动。他们表示，通过直接从摄像机视图进行组合和学习，无需中间步骤，可以改善状态估计，提高系统动作的鲁棒性。
在实验中，研究人员将他们的设备部署到模拟环境中，其中包括一个配备有抓手的kuka机械臂，两个被放置在其中。机器人前面的垃圾箱，以及俯瞰这些垃圾箱的三个摄像头。这个机械臂的第一个任务是从蓝色或橙色方块开始，在随机位置堆叠一个垃圾桶和一个方块。在其他任务中，机械臂的任务是将木块牢固地插入中间的固定装置中，并将木块堆叠在彼此的顶部。
研究人员在10个显卡上运行了180个数据收集任务，以训练他们的强化学习模型，每个任务每小时可以生成大约5000个插入任务。研究人员报告说，他们成功并大大降低了基于精度的任务的错误率，特别是第一次堆叠任务的错误率为49.18%，第二次堆叠任务的错误率为56.84%，插入任务的错误率为64.1%。
论文合著者写道:“有效利用多个视图可以更全面地观察与任务相关的潜在状态。我们的多视图方法使RGB相机能够在没有明显的3D表达的情况下完成3D任务，并且没有相机-相机和相机-机器人校准。未来，单个手机摄像头通过学习摄像头放置方法(任务方法除外)，可以实现类似的多视角优势。"