原地址:“机器人传感与控制关键技术”:最新2023研究综述
入群邀请:7个专业交流群+1个数据需求群智能机器人在服务国家重大需求、引领国家经济发展、保障国防安全中发挥着重要作用，被誉为“制造业皇冠顶端的明珠”。随着新一轮工业革命的到来，世界主要工业国家都开始加快机器人技术的战略部署。智能机器人作为智能制造的重要载体，将在实施制造强国战略，推动制造业高端化、智能化、绿色化方面发挥重要作用。本文从智能机器人感知与控制等关键技术的角度，重点介绍了三维环境感知、点云配准、位姿估计、任务规划、 国内外机器人多机协作、柔顺控制、视觉伺服。然后以复杂曲面机器人三维测量、复杂零件机器人抛光、机器人智能装配等机器人智能制造系统为例，阐述了机器人智能制造的关键应用技术，介绍了工程机械智能无人工厂、无菌机器人制药生产线等典型案例。最后，讨论了智能制造机器人的发展趋势和面临的挑战。近年来，智能机器人是国民经济和社会发展的基础性和战略性产品。服务于国家航空航天、轨道交通、海洋船舶、 工程机械制造等需求很大的领域。在引领国民经济发展、保障国防安全方面发挥着重要作用。被誉为“制造业皇冠上的明珠”。随着新一轮工业革命的到来，以及人工智能、云计算、物联网等技术的快速发展。机器人技术受到美国、欧盟等发达国家的高度重视。与此同时，世界主要工业国家也开始加快机器人部署的步伐。2013年。德国率先提出“工业4.0”。它旨在促进工业现代化和数字化转型。在新一轮工业革命中占得先机；2017年。美国推出“国家机器人计划2.0”。强调机器人的扩展性。多机器人协作实现分布式感知， 复杂环境中的计划、行动和学习。提高机器人的工作范围。美国2020年发布的“机器人发展路线图”和2021年发布的“无尽边疆法案”。机器人和先进制造技术都被列为发展重点；欧盟早就在其“星火计划”和“地平线2020”计划中。以及日本发布的“机器人新战略”。都强调机器人的工作能力；再说了。中国的“智能制造2025” 诸如此类。同样明确的是，机器人将在推动制造业智能化转型升级中发挥重要作用[13]。机器人感知与控制是实现机器人智能操作的关键核心技术。机器人需要感知周围环境，识别工作对象。从二维到多维的信息感知与融合。实现快速准确的环境感知和目标识别。充当机器人系统“眼睛”。感知环境后。将智能规划和决策与自适应控制相结合。像“大脑”一样，它也为机器人系统提供最合适的控制命令。以便机器人做出相应的动作和反应。近年来，随着深度学习、大数据、 智能控制等技术。机器人的智能感知和自主操作水平也在快速提升。随着发展。可以让机器人在不断的游戏中学习和提升自己。从而实现更加智能的决策和控制；特斯拉的人形机器人。配备了激光雷达、摄像头、超声波传感器等。用于感知周围环境和躲避障碍物。它还配备了自主学习系统。你可以不断地学习和改进你的行为和决策。从而更好的适应不同的任务和场景；波士顿供电的Spot机器狗。可以和人类互动。例如识别和跟踪人类。并在人类的指导下执行指定的任务，例如检查和搬运物体。目前，新兴的信息通信技术如云计算、 物联网、大数据发展迅速。为机器人高端制造应用提供了新的思路和发展机遇。数字化、网络化、智能集成和创新将引领未来工业发展，这一点已得到广泛认同。在“十五”计划纲要和2035年远景目标中，中国也明确提出要“加快建设制造强国和质量强国。深入实施智能制造和绿色制造工程。发展服务型制造新模式。推动高端、智能、绿色制造。”传统手工和专机加工。加工质量的一致性差且效率低， 并且只能实现小批量生产。已经无法满足智能制造的需求。它不同于传统工业机器人简单重复的工作。高端制造机器人是更加信息化、网络化、智能化、柔性化的机器人[4]。在智能工厂中，机器人的工作环境越来越非结构化。工序趋向柔性化，工作对象日益定制化，动态生产对机器人的环境感知和控制技术提出了越来越高的要求。在未来的智能工厂中，变批量、多品种、定制化、高柔性的生产模式将成为主流。机器人也将得到更广泛的应用。机器人传感与控制技术为高适应性提供了保障， 智能工厂的高精度和智能化运作。01智能制造机器人共性关键技术1.1机器人感知关键技术视觉感知是机器人系统的重要组成部分。在复杂的三维工业场景中，利用视觉传感器获取周围环境的真实空间信息，进行预处理、配准融合、空间场景的表面生成等过程，实现外部环境的真实表征和数字模型的重建，为工业制造中的机器人提供丰富的二维和三维信息。智能制造机器人具有通过视觉感知系统实时观察工作场景的能力，可以大大增强其智能，如图1所示。本节将介绍双目三维环境感知、三维点云配准、 姿态估计等技术。1.1.1三维环境感知三维环境感知是计算机视觉领域的核心，它模拟了人类双目视觉系统的观察原理。利用双目摄像机进行立体匹配，获得图像中像素的精确视差，结合双目摄像机的参数获得周围环境的精确深度信息，利用机器学习算法实现对场景目标的感知识别和定位(图2)。通过双目视觉感知系统，机器人具备了实时观察工作场景的能力，大大增强了其智能性，能够更加智能地完成复杂非结构化工作环境下的各种加工任务。双目立体匹配算法可以分为四个步骤:匹配代价计算，匹配代价聚合， 视差计算和视差优化[5]。通过找到参考图像(通常是双目图像的左图像)中的待匹配像素与目标图像(通常是双目图像的右图像)中的候选像素之间的匹配对应关系来计算匹配成本。为了提高匹配代价计算方法的鲁棒性，代价匹配函数[67]以像素为匹配单元的局部邻域窗口来计算参考图像和目标图像中对应匹配像素之间的相关性。等人[6]提出了零均值归一化互相关代价函数方法，可以补偿图像局部增益的变化，消除高斯噪声的影响，同时保持像素值的空间仿射一致性。[7]提出了秩变换， 该方法利用局部区域像素值相对顺序的统计信息来实现匹配代价的计算。匹配代价聚合[810]主要通过匹配代价空间的代价聚合来减少误匹配或二义匹配的像素区域。由于单个像素匹配代价的不稳定性，代价聚合通常通过在代价空间中对局部邻域中的匹配代价进行加权来提高立体匹配算法的性能。Equal [8]利用传统的双边滤波算法，利用边缘等特征信息实现代价聚合。以及其他人[11]提出了一种基于不规则局部横担区域的代价聚合算法，可以很好地利用场景的结构、轮廓等特征信息，降低深度不连续区域的视差估计误差。在视差计算中，通常采用WTA( take all)策略来选择最佳匹配视差， 但是直接使用WTA方法计算视差可能会导致较大的视差估计误差。因此，为了获得准确的视差估计结果，通常可以将视差计算转化为能量最小化和优化，通过构造能量函数并使能量函数最小化来确定最优视差，如基于图割的视差优化方法[12]，基于置信度传播的视差优化方法[13]， 基于动态规划的视差优化方法[14]和基于随机行走的视差优化方法[15]。视差优化是双目立体匹配算法的后处理步骤，进一步优化和细化预测视差图的误差。常用的视差后处理算法主要有基于分割的[16]算法和置信度[1719]算法。基于分割的视差后处理方法利用双目图像的边缘、轮廓等图像细节特征信息，指导视差优化算法细化视差估计误差。进一步提高双目立体匹配方法的性能。举个例子， Yan等人[20]提出了一种基于超像素分割的视差优化算法来解决双目立体匹配遮挡问题。该方法有利于超像素分割算法提取图像的边缘和轮廓特征信息，并结合超像素分割图预测粗视差结果，利用马尔可夫随机场在粗视差图的3D邻域空间中检测和优化遮挡目标的匹配视差。场景目标感知算法主要利用机器学习算法实现场景目标感知识别、检测和定位。例如，杨等人提出了基于深度学习的一阶段目标检测网络模型。通过建立新的目标预测解耦检测范例， 可以合理推断不同目标的最合适位置，实现目标识别和定位[21]。王等提出了一种新的边缘保持和多尺度上下文神经网络，可以高效地生成具有清晰目标边界的显著特征图，实现高精度的目标检测，解决了传统基于像素的卷积神经网络(CNN)中卷积层和池层造成的模糊边界问题[22]。配备双目视觉感知系统的机器人可作为智能制造自动化生产线中的生产单元，承担产品、零部件、备件等目标对象的测量、检测、识别和引导加工等任务。根据机器人双目视觉感知系统的应用场景，可以分为识别、检测、测量和定位四个应用场景。1)基于双目视觉的识别功能[23]是指对目标物体的物理特征的识别，包括形状、颜色、字符、条形码等。其精度和识别速度是衡量的重要指标，广泛应用于机器人自动产品识别、分类和分拣。2)双目视觉检测系统[24]具有非接触、高效率、低成本、自动化程度高等优点。基于双目视觉的机器人自动检测可以替代传统的人工检测，解放劳动力，消除人工采样带来的效率低下、误检、漏检等问题。3)通过基于双目视觉的精密测量系统[25]，机器人可以获得加工对象的形状、位置、尺寸、方向等操作信息，如磨削等加工目标的余量测量， 焊接和铣边，然后在视觉的指导下进一步进行加工操作。4)基于双目视觉定位的机器人操作[26]是指通过双目视觉获取目标物体的坐标和角度信息，自动判断物体的位置，进而指导机器人抓取、搬运、焊接和装配。1.1.2三维点云配准技术三维点云配准在工业场景中有着重要的应用。通过求解同一坐标下不同姿态的点云的变换矩阵，利用该矩阵实现多视点扫描点云的精确配准，最终得到完整的三维数字模型，在三维测量、逆向工程、实时定位和测绘等领域有很多应用1.1.3姿态估计技术在智能工厂中，机器人必须精确完成装载、装配、 分拣和搬运，并且必须使用视觉系统从工作场景中检测目标物体并预测其三维位姿[49]1.2机器人规划的关键技术。在智能工厂中，机器人安全合理的运动规划和任务分配是实现高效、稳定、安全完成复杂工作任务的重要基础。在执行制造任务时，考虑到机器人空间狭小，多维结构复杂，如图4所示，机器人具有自主运动规划能力，能够实现避碰规划，满足机械结构环境带来的运动限制，这是机器人在智能工厂中运行的必要因素。1.3机器人控制的关键技术在智能工厂中，机器人的控制性能不仅影响最终的加工效果， 而且影响加工过程的安全性。高精度、高效率、高柔性和高稳定性的控制策略保证了工件的安全制造(图4)。02智能制造机器人应用的关键技术2.1复杂零件的三维测量机器人在工业制造领域有大量的应用，按其基本功能可分为尺寸测量、曲面测量和坐标测量[114]。目前，主流的工业三维测量方法包括激光跟踪仪、激光三角测量、摄影测量系统、结构光、飞行时间技术等。图6展示了工业三维测量技术的发展历史。三维测量包括数据采集、数据处理、测量分析等主要过程。然而， 由于传统人工测量方法的数据采集过程缺乏自主性，需要引入视点规划、点云配准等技术来提高机器人三维测量的智能自主性。2.2复杂零件的机械控制磨削、抛光、磨光是一种表面改性技术，能有效地提高零件表面的平整度和光滑度，获得特定的表面粗糙度，消除焊接等加工过程中产生的应力，具有柔性强、工作效率高、加工一致性好的优点。机器人公司如库卡、ABB等。开展了打磨抛光机器人的应用研究。如图9(a)所示，库卡公司研制的KR 120机器人，通过机器人与三轴定位装置的组合，负载能力为， 能保证高标准、高质量地完成抛光任务，而不损坏工具和不同的毛刺形状。如图9(b)所示，奥地利公司研制了基于气动控制系统的浮动研磨抛光终端系统，可实现单向快速浮动研磨抛光，浮动力最高控制精度可达1N。用户可以节省更多的成本，同时通过快速简单的编程提高质量。如图9(c)所示，加拿大ESI公司基于自主研发的协作机器人，开发了柔性抛光机器人工作站。通过采用实时力控反馈、精确轨迹调整和精确接触力调整等先进技术，实现了安全、稳定、高效的抛光操作， 克服了传统抛光方法调试时间长、成品质量不一致的缺点。美国[133]等科研。机构从前沿理论探索的角度对研磨抛光机器人进行研究。论文[134135]设计了研磨抛光机器人的模糊PID控制方法，利用末端位置和关节角度参数设计模糊规则，使PID控制器的参数在每次采样时在线更新，提高了系统的响应速度和稳态精度。基于模糊逻辑的方法[136]和基于机器学习的方法[137]用于估计研磨抛光机器人的关键模型信息， 从而减少对模型信息的依赖。国内科学研究机构研磨抛光机器人的相关技术也不断被研究。华中科技大学陶博教授等人为了解决大型风电叶片加工面积大、形状复杂、任务规划困难的问题，提出了一种基于几何和任务信息的大型复杂构件加工区域划分方法[138]。赵等以风力发电机叶片表面抛光为应用背景，搭建了大型复杂构件机器人移动抛光硬件系统， 并在风力发电机叶片表面抛光实验中得到系统验证[139140]。2.3机器人柔顺智能装配轴孔类零件的装配是工业机器人应用的重要场景。传统的机器人装配是按照示教或离线编程设定的动作进行的，难以适应不断变化的环境。为了满足小批量、多品种的生产模式，完成更复杂的装配任务，现有的研究将视觉传感器、力传感器和工业机器人相结合。机器人具有高度感知周围环境的能力，并能根据环境的变化做出相应的调整等。为了建立轴孔接触状态和力信息之间的关系图， 并通过关系图修正轴孔间的位置误差，完成轴孔装配任务[141]。刘等人提出了一种基于螺旋插入策略的飞机尾轴孔装配方法[142]。等人[143]提出的机器人主动柔顺控制方法，将接触状态规划与力控制算法相结合，可以实现自主装配运动。以及其他人[144]建立了装配过程中轴孔间的相对位置与接触力/力矩之间的映射关系，根据人工制定的决策规则规划装配运动轨迹。近年来， 基于强化学习的机器人装配方法也受到了广泛关注。传统的机器人装配方法不具备自学习能力。强化学习算法可以通过控制机器人与环境保持接触进行试错来学习合适的装配策略，可以独立完成复杂的装配任务。提出了一种基于深度强化学习的高精度轴孔装配方法，将有效的真实机器人装配任务与长短期记忆网络和强化学习算法相结合[145]。陈等提出了基本策略迭代的强化学习方法，实现了系统动力学未知的连续时间系统的稳定控制[146]。罗等提出了齿轮轴孔装配任务的机器人控制器，通过最优控制方法生成装配过程中的运动轨迹， 并能通过多次训练稳定完成装配任务[147].03智能制造机器人典型应用案例3.1高端制造智能无人工厂智能无人工厂又称智能工厂，是以数字化工厂为基础，利用工业互联网等技术，提高工厂的制造效率和运营水平，提高生产过程的可控性，从而实现制造企业的降本提质增效以及转型升级。根据德国教授提出的智能工厂的架构理论，智能工厂可以分为五个层次:基础设施层、智能设备层、智能生产线层、 智能车间层和工厂管控层[148]。随着机器人、人工智能、增材制造等新兴技术信息的快速升级，为制造业推进智能工厂建设提供了良好的技术支撑。德国奔驰56号工厂是按照工业4.0标准建设的未来工厂，采用无人运输系统、数字孪生、自动分拣等技术。工厂内广泛采用AGV装配线，可实现无轨装配站和无轨自动运输，配合自动分拣和DTS(数据)系统，实现各种车辆的混装生产。在保证规模化生产的同时，也保证了产品质量，降低了生产成本。三一集团的“18号车间” 工程机械装配车间使用5G+AGV小车完成智能分拣和精准配送。在智能调度系统的控制下，数百个机器人可以高效协同工作(图10)；采用5G高清传感器，装配作业时可自动修复偏差，减少磕碰造成的质量缺陷；大型件激光切割软件和系统在五个方面取得了创新突破:各种钢板的材料特征识别技术、基于激光测量的材料精确定位技术、激光跟踪与实时寻边技术、机器人姿态鲁棒控制与在线补偿技术、基于激光寻边的切割轨迹平滑与优化技术。通过制造作业系统、物流管理系统、远程控制系统的优化和深度整合， 智能搬运机器人等系统，在数字化的“加持”下，实现了从一块钢板到一辆车的全流程自动化生产。3.2高端制药机器人智能检验生产线高端智能医疗质检主要是指新兴的机器人技术取代人工质检的过程。与传统的人工检测相比，具有稳定性好、连续工作时间长、精度高、效率高的优点。日本公司、德国集团、意大利等企业都开展了机器人医学检测技术的研究。我国对制药设备的需求很大，制药设备的性能是保证药品质量的基础。为了解决传统药品质量检验中存在的手工劳动、漏检、误检频繁等问题， 发展高端制药机器人视觉检测与控制关键技术与装备，实现制药过程无菌化、无人化生产，保障药品质量安全十分必要。高端无菌制药机器人面临的主要挑战包括:制药工艺和设备复杂，无菌控制难度大；制药过程中的污染颗粒微小、多样，难以检测；高端制药过程中多流程、多任务、多机器的控制比较困难。湖南针对高端制药装备感知与控制的巨大需求，大学团队攻克了高端药品灌装封口机器人协同控制、高端药品检测机器人视觉识别、高端药品分拣机器人视觉控制等关键技术， 并开发了无菌配药双臂机器人、药品灌装和转移封口机器人、药品质量视觉检测机器人、药品分拣机器人等自动化生产线设备，如图11所示。基于机器视觉的医学检测基于药物在离开工厂之前，穿过右边药物来分析和处理运动图像或视频。药物一系列的质量检测，例如，液体环境中的异物检测、冻干粉中的杂质检测、包装和标签检测等。针对安瓿瓶型、Ge等设计了安瓿注射液杂质自动检测系统。利用空间在线极限学习机算法[149]验证了该算法在区分气泡和异物方面的可行性。针对药液中不溶性异物的检测方法， 张辉等人提出了一种可行的高速高精度机器视觉检测方法，可在线检测30多种微弱异物，检测精度达50μm，异物检出率达99。7%以上，满足多种类、多特征、高速度、高精度的医学弱异物在线检测要求[150]。智能制造机器人的发展趋势与挑战当前，云计算、物联网、大数据等新兴信息通信技术发展迅速。为高端制造业的发展提供了新的思路和机遇。1)集成“云边缘”的智能制造。“云边缘”融合的运营模式，实现了工业云(云端)与生产单元(边缘与末端)之间的数据交换和计算分配 通过深度感知生产实体在制造过程中的特性和状态，动态/在线，然后高效、无缝、透明地利用云和边缘的计算、存储和数据资源，实现网络化、智能化、柔性化生产。在智能制造机器人的协同工作场景中，通信和计算技术集成在“云边缘”的架构中，克服了单个设备信息存储和计算资源的固有限制，能够更好地支持机器人系统的运行(如图12所示)。有效建立云边缘融合的网络架构，加强云边缘协作和智能共享的顶层设计，将是未来智能制造机器人研究的重点。2)新一代智能制造系统由通信、 计算、感知、控制和安全系统。随着新一代人工智能技术的发展，智能制造系统将具有“感知决策执行”的闭环特性，构建动态环境下机器人感知决策控制的协作机制具有重要意义。基于工业互联网平台设备互联，利用分布式传感技术实现生产场景要素的综合感知，以适应复杂制造场景中传感对象异构、干扰因素多的挑战。灵活运用集中式、分布式和群体智能，建立安全、高效、健壮、可扩展的任务调度和动态规划系统，设计机器人自主决策机制，保证大型制造任务和流程的有序运行。3) 人机一体化智能。随着人机一体化技术的深入和标准化结构、柔性人机交互技术的发展，工业机器人在智能制造领域的便捷性和可靠性越来越高。在智能机器人的生产设计中，人机一体化越来越受到重视。人机合作既有人类的认知能力，又有机器人的高效率。通过人与机器人的智能协作，完成加工、装配等复杂任务，同时提高安全性和便利性，是人机一体化的重要发展方向。同时，随着机器人技术的日益成熟和智能仓储机器人等产品的快速发展，人机合作技术在电子、建筑、 家居和其他一般行业也在迅速发展。4)集群机器人技术。智能制造机器人涉及先进的信息技术、机器人技术、自动化技术以及机械工程和材料工程交叉融合等前沿制造技术。面对大规模的智能制造任务，机器人往往处于一个去中心化、低连接性的环境中。为了适应不断变化的需求、异构的感知对象、突发的问题等。需要根据具体的感知任务准确描述跨域多实体、多机器的动态协作关系，进而探索自适应的群体动态协作感知和融合策略，实现智能制造机器人的跨域融合感知。在动态多维信息收集的基础上，自主识别， 对复杂问题的判断和推理，以及实时决策，实现了集群机器人的精确感知和实时规划，集群机器人有望在新一代智能制造系统中发挥重要作用，如图13所示。结语随着新一轮工业革命的到来和人工智能、云计算、物联网技术的快速发展，世界主要工业国家都开始加快机器人技术的战略部署。本文首先总结和介绍了机器人感知与控制的关键共性技术，如三维环境感知、三维点云配准技术、位姿估计技术、运动规划技术、多机协同规划、精确控制技术、柔顺控制技术、 视觉伺服技术等等。然后介绍了机器人应用的关键技术，如机器人三维测量、机器人加工和装配。最后，总结了机器人系统在智能制造领域应用的典型案例，探讨了智能制造机器人的发展趋势和面临的挑战。1.书籍推荐——《强化学习与最优控制》2。2万字阐述自动驾驶开发工具链的现状和趋势！3.自动驾驶规划控制常用的控制方式有哪些？4.无人驾驶系统的技术架构:从感知、规划到控制5。书籍推荐-机器人路径规划与合作:基础、算法与实验6。多车辆立体事件摄像机数据集:用于3D感知的事件摄像机数据集。