8年前，Ted Adelson的研究团队在麻省理工学院的计算机科学和人工智能实验室(CSAIL)推出了一种新的传感器技术，称为GelSight，它与物体接触，可以提供非常详细的3D曲面。
今天，通过在机器人手臂的夹具上安装GelSight传感器，两个麻省理工学院的团队给出了机器人更大的敏感性和灵活性。研究人员上周在《国际》。机器人和自动化会议上发表了两篇文章。
在一篇论文中，Adelson的小组使用GelSight传感器的数据来制作机器人可以判断它接触的表面的硬度——如果家庭机器人能够处理日常物品是一项至关重要的能力。在另一篇论文中，Russ Tedrake的机器人运动小组使用GelSight传感器来制作机器人能够操纵比以前更小的物体。
在某种程度上，GelSight传感器是一种解决难题的低技术方法。这种GelSight传感器的主要部分是一块透明橡胶，一侧有金属涂层。当这个金属表面压在一个物品上时，这个物品的形状会被橡胶层记录下来。接下来，由于金属涂层具有良好的折射率，系统通过光的折射来采集物体的表面信息，通过计算机算法还原物体的三维图像。
与上一代传感器技术相比，该技术可以收集不同角度的折射光，通过光线的变化来确认物体的位置和周围环境。虽然机器人视觉摄像头被遮挡，因为折射光的路径被改变，仍然有足够的信息被传感器采集，从而可以通过计算机算法计算出物体的三维位置。传感器配有橡胶，通过按压和回弹可以更准确的测量物品的硬度信息。内部试验表明，该技术具有快速、准确测量硬度的特点。
接触点
对于自主的机器人一般来说，衡量一个物体的软硬度是非常重要的，它决定了机器人在不同表面上移动、堆叠或放置的行为。触觉也有帮助机器人区分看似相似的物体。
在我之前的工作中， 机器人试着通过把物体放在一个平面上，轻轻地戳它们，观察它们的反应来评估它们的硬度。但这并不是人类测量硬度的主要方式。相反，我们的判断似乎是基于我们按压时物体与手指接触面积的变化程度；柔软的物体往往会变平，增加接触面积。
麻省理工学院的研究人员使用相同的方法，用糖果模具创建了400组硅胶物体，每组16个物体。在每一组中，物体的形状相同，但硬度不同。
然后，研究人员手动按压每个物体的GelSight传感器，记录接触模式随时间的变化，基本上为每个物体制作了一个短片。为了使数据格式标准化并保持数据的可管理性，研究人员从每张胶片中提取了五帧，并在均匀的时间间隔内记录压缩物体的变形。
最后，研究人员将数据反馈给神经网络，神经网络会自动寻找接触模式的变化与硬度测量之间的相关性。生成的系统将视频帧作为输入，并以非常高的准确度产生硬度分数。研究人员还进行了一系列非正式实验，让人类受试者接触水果和蔬菜，并根据硬度进行排列。在每种情况下，装备了瞄准器机器人都达到同样的排名。
阻碍的观点
通常，自治机器人某种计算机视觉系统将被用来引导它操纵环境中的物体。这种系统可以提供关于物体位置的相对可靠的信息机器人直到物体被拾起。但是当物体很小的时候，大部分都会机器人由于爪夹的遮挡，估计位置更加困难。因此，机器人需要准确知道物体的位置。
这就是为什么研究人员转而开发GelSight技术。研究人员使用计算机视觉系统来引导它们。机器人夹具面向工具，然后一次机器人一旦工具被掌握，位置估计被转换成一个GelSight传感器。
一般来说，采用这种方法的挑战是协调视觉系统产生的数据和触觉传感器产生的数据。但GelSight本身配备了摄像头，因此其数据输出比其他触觉传感器更容易与视觉数据整合。
在实验中，夹具装有GelSight机器人你必须抓住一个小螺丝刀，把它从皮套里拿出来，然后放回原处。当然，GelSight传感器的数据并没有描述整个螺丝刀，只是一小部分。然而，只要视觉系统将螺丝刀的初始位置估计到几厘米以内，他的算法就可以推断出GelSight传感器接触到了螺丝刀的哪个部分，从而确定螺丝刀的位置。机器人手中的位置。
研究人员认为，GelSight技术和其他高带宽触觉传感器将是正确的。机器人影响巨大。
“对人类来说，触觉是手灵巧的关键因素之一。目前，机器人它缺乏这种灵活性，并且在操纵物体时对表面特征的反应能力有限。想象一下，你在黑暗中摸索一个电灯开关，或者从你的口袋里取出一个物体，或者你可以做许多其他的事情，所有这些都依赖于触觉。通过计算机视觉的深度学习和创新的机器学习算法，可以处理来自GelSight等传感器的丰富感官数据，推断物体属性。今后，我们将把这些学习方法纳入操纵技能的端到端训练中，这将使机器人更加灵巧能干。"