返回

【专题】一文读懂3D视觉在AGV/AMR领域的应用

时间：2022-11-23 来源：移动机器人产业联盟

 3D视觉是一个多学科相融合的技术，可以总结为：计算图形学+计算机视觉+人工智能=3D视觉。3D视觉技术是通过3D摄像头采集视野空间内每个点位的三维座标信息，通过算法复原获取三维立体成像，不会轻易受到外界环境、复杂光线的影响，与2D成像技术相比更稳定，体验感更强，安全性更高。

3D视觉主要技术路径

3D传感器作为3D视觉的眼睛，通过多个摄像头与深度传感器的组合能够获得物体三维位置及尺寸等数据，实现三维信息采集。目前3D视觉传感器主要有双目相机、结构光相机及TOF（Time of flight）相机。
·3D结构光技术原理：采用红外光源，发射出来的光经过一定的编码投影在物体上， 这些图案经物体表面反射回来时，随着物体距离的不同会发生不同的形变。图像传感器将形变后的图案拍下来，基于三角定位法，通过计算拍下来的图案里的每个像素的变形量，来得到对应的视差，从而进一步测算深度值。
·TOF工作原理：采用红外光源发射高频光脉冲到物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离。TOF目前市场上有两种主流方案 dTof和iTof。行业人士认为，未来，dtof会逐渐取代itof方案，因为dtof在很多关键性能方面对于itof都有绝对优势，如分辨率，精度对距离感知不明显，超低功耗，抗干扰能力强，标定方式简单。但其技术壁垒较高，系统集成度高，供应链资源少。
·双目立体视觉技术原理：通过从两个视点观察同一物体，从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差（视差）来获取物体的三维图像，过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中，通常采用两个摄像机作为视觉信号的采集设备，通过双输入通道图像采集卡与计算机连接，把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换，最终向计算机提供图像数据。

技术路线

双目

结构光

ToF

立体双目

（被动）

双目结构光

（主动）

优点

技术成熟、系统成本低、室内外有一定兼容能力

主动添加物理纹理、解决单一纹理环境问题、近距离中高精度、抗环境光干扰（半室外环境可用）

主动投影，适合弱光照使用、近距离(1米内) 毫米级精度 、功耗低

算法简单、测距更远、帧率高、光照影响小、不同距离精度变化小、兼容室内外动态场景

缺点

单一纹理环境无法识别、强暗光影响大、视觉匹配算法复杂

远距离精度差、强光环境不适用

远距离精度相对较差，随着距离的拉长，投影图案变大，精度也随之变差，室外强光照不宜使用，强光干扰

功耗大、中等精度
图表：3D视觉不同技术路线优缺点对比

3D视觉在移动机器人领域的应用

随着视觉技术逐步从2D向3D过渡，3D视觉传感器以深度感知能力，在三维空间实时感应、目标物体精准识别、多重障碍检测避障、智能决策及自动化引导等方面占据领先技术优势，目前已大批量应用在物流电商、自动化、制造业厂内物流、工业及服务机器人、商业等多元化场景，应用边界不断拓宽。
在移动机器人领域，3D视觉主要用于导航、避障以及末端物料识别、对接。
准确感知复杂环境是移动机器人的首要任务。“环境”在这里包含多重含义，以无人叉车叉取托盘为例，既包含室内外不同光照强度的干扰、前方是否有障碍、行进路面是否空阔平坦，也包含环境有什么类型的物体、是否有人误入需要减慢或暂停、前方托盘是空载还是满载、满载托盘的插孔位在哪里、又如何规划叉取路线等。
简化逻辑就是，基于视觉感知的移动机器人准确识别周围环境，要避开动静态障碍物（避障），动态接近至到达目标物体（导航），并与目标物体正确交互（目标探测、定位识别）。
·导航
在导航方面，视觉导航被认为是未来的主要方向之一。从技术的角度而言，当前应用较多的2D激光导航，只能检测到固定平面的障碍物，对于高于或低于此平面物体都是其盲区，3D视觉技术则可以克服此缺点，能够获取现实三维场景完整的几何信息，利用带有深度信息的图像来实现对于场景的精准的数字化，从而实现高精度的识别、定位、重建、场景理解等机器视觉的关键功能。
专注于视觉导航移动机器人开发的蓝芯科技表示，3D视觉SLAM无人叉车在多变场景、空旷环境中的应用优势大于2D激光SLAM机器人。
“例如在地堆型仓库，地堆货物随时都在变动，对采用激光SLAM方案的移动机器人而言，频繁的进出库、位置的时刻变化，意味着激光雷达扫描的轮廓时刻在变，要在不断变化的环境中做到可靠定位是十分困难的事情。在大型空旷车间场景，车间内部钢结构立柱间距较大，地面缺少其他固定参照物。激光SLAM机器人在这类场景下扫描的点云稀疏，定位的可靠性大大减弱。而视觉SLAM机器人通过搭载深度相机采集周围环境图像，采集的环境信息丰富，生成稠密点云图，环境局部改变不影响机器人定位，因而拥有较高的场景适应性。”

蓝芯科技视觉SLAM叉车
除性能外，从成本的角度来看，当前激光传感器的价格要远高于3D深度相机，视觉技术的应用正好契合了移动机器人厂商降成本的需求。
·避障
市面上避障传感器种类繁多，如：单线激光雷达、超声波、碰撞条等。碰撞条通常作为最后一道暴力防撞措施；超声波避障经常出现误判；单线激光雷达存在较大盲区（只扫描二维平面内的障碍物，低于或高于激光的障碍物无法检测，存在较大安全隐患）；3D视觉传感器可弥补激光这一缺陷。目前移动机器人最佳避障方案应是3D视觉传感器＋激光雷达，——3D视觉传感器作为中短距离精确避障，激光雷达作为远距离二维避障。因为TOF基本不存在盲区，所以目前用于AGV避障的3D视觉相机基本是TOF型的。

图漾科技3D TOF 智能工业相机TL460-S1-E1
·末端识别、对接
一些仓库货物放置环境复杂，人工/货车放置托盘的位置不够精确，导致无人叉车依靠传统的机械限位或者单目相机识别的方式无法准确识别托盘，常常出现无人叉车对接托盘位置偏移角度较大，进而导致进叉失败，叉车工作效率低下。
依靠3D 视觉进行托盘图像采集，结合相应图像处理算法对叉车货物托盘进行识别，并得到其位置与姿态坐标，智能调整进叉方向从而实现无人化智能托盘搬运，解决无人叉车对接托盘位置偏移角度较大的问题。同时，结合人工智能算法对托盘识别模型进行强化训练和深度学习，可以进一步提升其识别叉车货物托盘与跟踪的准确性。

易福门3D ToF相机用于无人叉车栈板定位应用
导航、避障、末端识别对接……尽管都需要用到3D视觉技术，但由于各自的需求特性不同，对技术要求也会有一些差异。易福门相关负责人表示；“从细节上讲，导航应用，最重要的是测距精度和帧率，避障应用，最重要的是FoV尺寸和帧率；末端识别应用，最重要的则是高测距精度和点云密度。”
近几年，伴随着移动机器人对3D视觉技术需求的上升，针对不同应用的不同需求，为了更好的适应场景，3D视觉厂商门也针对性的推出了相应产品。
作为工业自动化领域电子传感器的领先制造商之一。易福门3D ToF相机自2017年开始在移动机器人行业逐渐渗透，随后不断深入，目前已与国内众多移动机器人厂商达成合作，被广泛应用于各大国内外机器人公司的AMR上，包括各种无人叉车，各种潜伏式、重载式AGV等。不论是室内还是室外用，避障导航还是末端识别对接，易福门都可提供非常完善的3D感知方案。

易福门3D ToF相机
图漾科技是全球领先的3D机器视觉供应商，为工业和行业应用提供高性价比的3D工业相机和配套软件方案。图漾科技基于创新并拥有核心专利的3D视觉技术，基于双目散斑静态结构光和TOF技术平台，现已推出FM/FS、FM-IX、PM/PS、TM/TL等四个产品系列、共30多个产品型号的量产产品矩阵，在移动机器人领域，图漾主要提供3D ToF工业相机TM461-E2、TL460-S1-E1(内置AI边缘算力)等产品。
而除了传感器厂商外，自主开发视觉传感器的移动机器人厂商，通过实际应用不断打磨迭代产品的移动机器人厂商，也开始将其视觉传感器推向市场，如蓝芯科技。2022年，蓝芯科技开始将视觉产品部分独立出来支持和赋能部分移动机器人公司。

企业

导航

避障

末端识别、对接

易福门

O3R222，采用940nm光源，可全天候工作，包括可以直接在阳光照射条件下使用，这帧率较高，可以一直工作在20 FPS，让视觉里程计更加准确，回环检测更加容易，可大幅提高局部场景的导航和定位能力。

O3R225，采用了940nm光源，可全天候工作，并且强化了FoV的角度，达到了105°*78°，是市面上FoV最大的3D ToF相机。两台O3R225可得到超过180°的3D视野，4台O3R225可达到360°的3D视野，同时还可持续工作在20FPS。

O3D303或者O3R222，这两款产品可提供非常高精度的点云，同时点云密度比较高，适合托盘或者货物的位置和角度检测定位。

图漾科技

室内中远距离：TM461-E2，0.1-10.0m测距范围，深度视场角65°H * 50°V，在96.4 mm x 67.5 mm x 35.8 mm的紧凑体积内，集成了2K RGB分辨率+ VGA 深度分辨率的2路摄像头及边缘计算等功能，能够实现实时精确的动态目标检测及视觉导航避障功能。

室内外远距离：TL460-S1-E1，基于索尼背照式ToF传感器IMX556，毫米级测量精度，深度视场角62°H * 49°V，支持远距离和室内外应用（室内9.5m，室外4m），内置地平线旭日X3M芯片提供等效5TOPS的本地AI算力，可实现高达30帧/秒的RGB-D图像采集分析、实时图像处理和机器学习等多功能。

蓝芯科技

Eagle-V1：

视场角108°×80°，帧率30fps，定位精度达+／-5mm，可提供视觉定位SDK，支持移动机器人在复杂环境下的定位导航。已在AMR产品中成熟应用。

Eagle-M3：FOV109°×92°，抗环境光能力强，达150kLux，可提供避障SDK，支持移动机器人对悬空/低矮障碍物检测，和动/静态障碍物检测。已在AMR产品中成熟应用。

Eagle-S1：FOV 114°×35°，体积小便于安装，带避障区域设置功能，直接输出避障控制信号，使用方法完全兼容2D避障激光雷达，用于无人叉车叉齿避障。

Eagle-M4：体积小便于安装，有多种FOV可选，抗环境光能力强，可提供托盘对接SDK，支持无人叉车对托盘的对接识别。已在AMR产品中成熟应用。

 

图表：部分3D视觉企业面向不同场景应用的视觉传感器产品


蓝芯科技视觉传感器Eagle-S1

未来方向：更高分辨率、更快帧率、更好环境适应性

随着移动机器人应用不断深入，要让机器人看见世界、看清世界、看懂世界，市场将对其感知能力提出了更高的要求，而3D视觉技术的发展正好契合了这种需求。
图漾科技相关负责人表示：“视觉传感器技术的发展从早期的单点感应传感器，到2D视觉传感器，一直到现在3D视觉传感器。3D视觉传感器更接近于人眼的传感原理，使得3D视觉传感技术成为目前物流移动机器人导航技术的趋势，3D视觉技术在移动机器人上的应用，拓展了移动机器人的应用领域，增强了移动机器人的智力感和可靠性，也加速推动了移动机器人产业的发展。”

图漾科技3D TOF 智能工业相机TM461-E2
易福门方面也提到，近几年，3D视觉技术的发展让移动机器人装上眼睛，后期它对眼睛的需求会越来越大。
但整体来看，当前3D视觉在移动机器人领域的应用尚在初期阶段。未来，随着移动机器人不断更新迭代，应用环境的愈加多样化，对3D视觉系统也将有着更为严苛的要求，这也将刺激3D视觉系统升级。
易福门相关负责人表示，随着移动机器人的不断发展，对于3D相机的需求也将不断提升，如更高的分辨率，更快的帧率，更好的环境适应性等，这些都是未来发展的方向，“我们需要根据机器人厂商的需要，去提供更适配的产品。”
蓝芯科技预测，“未来，视觉感知系统一定是往信息更加稠密、以及多样化角度进行融合，因为只有拉升了信息量，后端才能谈智能化、柔性化，才能做分析，才能更安全更稳定。感知系统一定是一个从前到后的过程，先有足够信息捕获量，再谈信息处理，我们从过往的项目经验中得到了很深的体会。从这个维度来看趋势，感知的颗粒度只会不断细化。”
标签：
专题报道
首页 | 导航 | 关于本站 | 联系我们
中国移动机器人（AGV/AMR）产业联盟
TOP 顶部