机器人视觉系统 机器人视觉三维成像技术综述(一)系统最佳

来源：卢荣胜,史艳琼,胡海兵.机器人视觉三维成像科技综述[J]

原题：机器人视觉三维成像科技综述

摘要

本文对于智能制造领域机器人听觉感知中的三维视觉成像科技进行评述,系统地总结了一些有代表性的机器人触觉成像方式的特征和实际应用中的局限性,内容涵盖飞行时间三维成像、点线扫描三维成像、色散共焦成像、结构光投影三维成像、光学偏折成像、单目与多目立体听觉三维成像和光场成像等。绘制了诸多视觉成像的图谱,并分析了机器人手眼系统最佳三维成像方式。

在工业4.0时代，国家智能生产高速发展，传统的编程来执行某一动作的机器人终于无法满足目前的自动化需求。在这些应用场景下，需要为工业机器人安装一双眼睛，即机器人听觉成像感知系统，使机器人具有辨识、分析、处理等更高级的用途，可以恰当对目标画面的状况进行判定与预测，做到灵活地自行缓解出现的问题。

一、机器视觉系统组成

典型的机器视觉系统可以分为：图像收集个别、图像处理部份和运动控制个别。基于PC的视觉系统准确由如图1所示的几部分组成：

图1机器视觉系统组成

①工业相机与工业镜头——这部分属于成像元件，通常的视觉系统都是由一套以及多套这种的成像系统组成，如果有多路相机，可能由图像卡切换来获得图像数据，也或许由同步控制同时获得多相机通道的数据。根据应用的应该相机可能是输出标准的单色视频（RS-170/CCIR）、复合信号（Y/C）、RGB信号，也或许是非标准的逐行扫描信号、线扫描信号、高分辨率信号等。

②光源——作为辅助成像器件，对成像品质的优劣往往能起到至关重要的功用，各种颜色的LED灯、高频荧光灯、光纤卤素灯等都容易得到。

③传感器——通常以光纤开关、接近开关等的方式发生，用以判定被测对象的位置和状况，告知图像传感器进行恰当的收集。

④图像采集卡——通常以插入卡的方式安装在PC中，图像收集卡的主要工作是把镜头输出的图像输送给电脑主机。它将来自手机的模拟或数字信号转化成一定格式的图像数据流，同时它可以控制镜头的一些参数，比如触发信号，曝光/积分时间，快门速度等。图像收集卡一般有不同的硬件构架以对于不同类型的相机，同时也是不同的总线方式，比如PCI、PCI64、CompactPCI，PC104，ISA等。

⑤PC平台——电脑是一个PC式视觉系统的核心，在这里完成图像数据的处理和绝大个别的控制逻辑，对于测量类型的应用，通常都必须较高频率的CPU机器人视觉系统，这样可以降低处理的时间。同时，为了避免工业现场电磁、振动、灰尘、温度等的干扰，必须选用工业级的电脑。

⑥视觉处理工具——机器视觉软件用来完成输入的图像数据的处理，然后借助一定的运算得出结果，这个输出的结果也许是PASS/FAIL信号、坐标位置、字符串等。常见的机器视觉软件以C/C++图像库，ActiveX控件，图方式编程环境等手段出现，可以是专用功能的（例如只是用于LCD检测，BGA检测，模版对准等），也可以是通用目的的（比如定位、测量、条码/字符识别、斑点测试等）。

⑦控制单元（包括I/O、运动控制、电平转换单元等）——一旦视觉软件完成图像分析（如果仅用于监控），紧接着必须和内部单元进行通信以完成对制造过程的控制。简单的控制可以直接运用部分图像收集卡自带的I/O，相对复杂的逻辑/运动控制则需要借助附加可编程逻辑控制单元/运动控制卡来推动必要的动作。

二、机器人视觉成像的结构方式

机器人视觉系统的主要功用是模拟人眼视觉成像与人脑智能判断和决策功能，采用图像传感技术获得目标对象的信息，通过对图像信息提取、处理并理解，最终用于机器人平台对目标推进测量、检测、识别与定位等任务，或用于机械人自身的伺服控制。

在工业应用领域，最具备代表性的机器人视觉系统就是机器人手眼系统。根据成像单元安装方法不同，机器人手眼系统分为两大类：固定成像眼看手系统（Eye-to-Hand）与随动成像眼在手系统(Eye-in-Hand,orHand-eye)，如右图2所示。

图2两种机器人手眼系统的结构方式

a)眼在电脑器人平台，（b）眼看手机器人系统

有些应用场合，为了更好地发挥机器人手眼系统的性能，充分运用固定成像眼看手系统全局视场和随动成像眼在手系统局部视场高信噪比和高效率的功耗，可搭载它们混合协同模式，如用固定成像眼看手系统负责机器人的定位，使用随动成像眼在手系统负责机器人的定向；以及运用固定成像眼看手系统大概机器人相对目标的方位，利用随动成像眼在手系统负责目标姿态的高效率据说等，如图3所示。

图3机器人协同视觉系统原理图

三、机器人视觉三维成像方式

3D视觉成像可分为光学和非光学成像方式。目前应用最多的而是光学方式，其包含：飞行时间法、激光扫描法、激光投影成像、立体视觉成像等。

飞行时间3D成像

飞行时间（TOF）镜头每个像素利用光飞行的时间差来获得物体的深度。目前尚未有飞行时间面阵相机商业化产品，如MesaImagingAGSR-4000，PMDTechnologiesCamCube3.0，微软KinectV2等。

TOF成像可用于大视野、远距离、低效率、低成本的3D图像收集，其特征是：检测速度快、视野范围较大、工作距离远、价格低廉，但效率低，易受环境光的干扰。例如Camcueb3.0具有可靠的深度精度（

扫描3D成像

扫描3D成像方式可分为扫描测距、主动三角法、色散共焦法。扫描测距是运用一条准直光束通过1D测距扫描整个目标表面实现3D测量的。主动三角法是基于三角测量原理，利用准直光束、一条或多条平面光束扫描目标表面完成3D成像，如图4所示。色散共焦通过分析反射光束的波谱，获得对应光谱光的聚集位置，如图5所示。

图4线结构光扫描三维点云生成示意图

图5色散共焦扫描三维成像示意图

扫描3D成像的最大特点是测量误差高。其中色散共焦法也有其他方式无法比拟的特点，如比较合适测量透明物体、高反与光滑表面的物体。但特点是速率慢、效率低；用于机械手臂末端时，可实现高效率3D测量，但不合适机械手臂实时3D引导与定位，因此应用场合有限。另外主动三角扫描在测量复杂结构面形时易于形成遮挡，需要借助合理规划末端路径与姿态来解决。

结构光投影3D成像

结构光投影三维成像目前是机器人3D视觉认知的主要形式。结构光成像系统是由若干个投影仪和相机组成，常用的构架方式有：单投影仪-单相机、单投影仪-双相机、单投影仪-多镜头、单相机-双投影仪和单镜头-多投影仪等。结构光投影三维成像的基本工作机理是：投影仪向目标物体投射特定的构架光光源形状，由镜头摄取被目标调制后的图像，再借助图像处理和触觉模型求出目标物体的三维信息。

根据结构光投影次数划分，结构光投影三维成像可以分成单次投影3D和多次投影3D方式。单次投影3D主要运用空间复用编码和速率复用编码方式推动。由于单次投影曝光和成像时间短，抗振动性能好，适合运动物体的3D成像，如机器人即时运动引导，手眼机器人对制造线上连续运动产品进行抓取等操作。但是深度垂直方向上的空间分辨率得到目标视场、镜头倍率和手机像素等原因的妨碍，大视场状况下不容易提升。

多次投影3D具有较高空间分辨率，能有效地缓解表面斜率阶跃变化和空洞等弊端。不足之处在于：

1）针对连续相移投影方式，3D重构的效率容易得到投影仪、相机的非线性和环境差异的影响；

2）抗振动性能差，不合适测量连续运动的物体；

3）在Eye-in-Hand视觉导引系统中，机械臂不易在连续运动时进行3D成像和引导；

4）实时性差，不过随着投影仪投射频率和CCD/CMOS图像传感器收集速率的提升，多次投影方式实时3D成像的功耗也在逐渐优化。

针对粗糙表面，结构光可以直接投射到物体表层进行视觉成像；但针对大反射率光滑表面和镜面物体3D成像，结构光投影不能直接投射到被成像表面，需要通过镜面偏折法。

偏折法针对复杂面型的测量，通常必须通过多次投影方式，因此具备多次投影方式相似的劣势。另外偏折法对曲率变化大的表层测量有一定的难度，因为黑色偏折后反射角的差异率是被测表面曲率变化率的2倍，因此对被测物体表层的曲率变化非常脆弱，很易于形成遮挡难题。

立体视觉3D成像

立体视觉字面含义是用一只耳朵或两只眼球感知三维结构，一般状况下是指从不同的视点获取两幅或多幅图像重构目标物体3D构架或深度信息，如图6所示。

图6立体视觉三维成像示意图

立体视觉可分为被动和主动两种方式。被动视觉成像只依赖手机接收到的由目标画面形成的光辐射信息，该辐射信息通过2D图像像素灰阶值进行度量。被动视觉常用于特定条件下的3D成像场合，如室内、目标画面光辐射动态范围不大和无遮盖；场景表面非光滑，且纹理清晰，容易通过立体匹配寻找匹配点；以及像大多数工业零组件，几何规则明显，控制点非常容易确认等。

主动立体视觉是运用光调制（如编码结构光、激光调制等）照射目标画面，对目标场景表面的点进行编码标记，然后对获取的画面图像进行解码，以便可靠地求得图像之间的匹配点，再借助三角法求解场景的3D构架。主动立体视觉的特点是抗干扰性能强、对环境要求不高（如借助带通滤波去除环境光干扰），3D检测误差、重复性和可靠性高；特点是针对结构复杂的画面容易造成遮挡问题。

基于结构光检测科技和3D物体辨识技术研发的机器人3D视觉引导系统，可对较大测量深度范围内松散堆积的部件进行全自由的定位和拾取。相比传统的2D视觉定位方法只能对固定深度零件进行甄别且没法获取零件的部份自由度的位置信息，具有更高的应用柔性和更大的测试范围。可为机床上下料、零件分拣、码垛堆叠等工业问题提供有效的自动化解决方案。

机器视觉3D引导系统框架

3D重建和识别技术

通过自主研发的3D扫描仪可获具体并且迅速地获得场景的点云图像，通过3D识别算法，可推动在对点云图中的多种目标物体进行识别和位姿估计。

3D重建和识别效率

多种颜色识别效果检测

得益于健壮的重建算法和识别算法，可对不同材质的部件进行稳固的改造和识别，即便是反光比较严重的铝材料及黑色零件都能取得很好的重建和识别效果，可适用于广泛的工业场景。

机器人模式规划

并不是获取零件的位姿信息后才能很快进行零件的拾取，这无非也是第一步，要顺利拾取零件还必须完成下面几件事：

自主研发的机器人轨迹规划算法，可轻松完成上述工作，保证机器人拾取零件过程稳定可靠。

快速切换拾取对象

只应该四个简单的操作就能实现拾取对象的迅速切换，无需进行复杂的工装、产线的调整。

四、性能比较

1、类似于飞行时间镜头、光场手机这类的相机，可以归类为单相机3D成像范围，它们面积小，实时性好，适合随动成像眼在手系统执行3D检测、定位和即时引导。但是，飞行时间镜头、光场相机短期内还无法拿来推动普通的随动成像眼在手系统，主要因素如下：

1）飞行时间手机空间分辨率和3D精度低，不适宜高效率监测、定位与引导。

2）针对光场相机，目前商业化的工业级产品只有为数不多的几家，如欧洲Raytrix，虽然性能较差，空间分率和效率适中，但价钱贵，使用费用太高。

图7随动成像眼在手系统机器人3D视觉成像优选方案

2、结构光投影3D平台，精度和成本适中，有相当好的应用行业形势。它由若干个镜头-投影仪组成的，如果把投影仪当作一个反向的相机，可以觉得该平台是一个双目或多目3D三角测量系统。

3、被动立体视觉3D成像，目前在工业领域也受到较多应用，但应用场合有限。因为单目立体视觉实现有难度，双目和多目立体视觉要求目标物体纹路或几何特性清晰。

4、结构光投影3D、双目立体视觉3D都存在以下特点：体积较大，容易造成遮挡。针对这个难题也许可以降低投影仪或镜头覆盖被遮盖的区域机器人视觉系统，但会降低成像系统的密度，减少在Eye-in-Hand系统中应用的灵活性。

五、总结

然而光学3D视觉成像检测方式种类众多，但无法安装在工业机器人上，组成一种合适的随动成像眼在手系统，对位置变动的目标执行3D成像检测、引导机器人头部准确定位和推进精准操作的方式有限。因为从工业应用的视角来说，我们更关心的是3D视觉传感器的效率、速度、体积与长度。

由于机器人末端从而承受的端载荷有限，允许传感器占用的空间有限，传感器在满足成像精度的条件下，重量越轻体积越小也就越实用。所以，对于随动成像眼在手系统，最佳3D成像方式是运用被动单目（单镜头）3D成像方式，这样除了体积小、重量轻，也解决了双目和多目多视图遮挡难题。

今后智能实验室的主要工作包含：建立AI智能平台智商评测体系，开展全球人工智能智商评测；加强互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提高企业，行业与城市的智能水准服务。每日推荐范围未来技术演进趋势的学习型文章。目前线上平台已收藏上千篇精华前沿技术文章和报告。