新闻资讯
当前位置: 首页> 新闻中心> 正文
机器人环境感知与双目立体视觉

曾经,机器人还只是存在于科幻电影和小说中的一种虚拟想象,如今,扫地机器人、服务机器人、配送机器人……人工智能已经能够以越来越多的方式服务于我们的日常生活。在这一过程中,机器人视觉传感器的发展起到了不可或缺的作用。

 

近日举行的第二十四届高交会中,元橡科技机器人视觉产品线负责人周扬扬在其中的2022“智能提升制造业竞争力”中国先进制造业创新论坛带来《机器人环境感知与双目立体视觉》主题分享。以下为分享摘要。

 

微信图片_20221118165731副本.jpg

 

一般来说,机器人会有三个核心的技术:感知、决策、控制执行。而我们专注的双目立体视觉其实就是感知层面的一种技术方案。

 

正如我们所知,人类身上的“传感器”是我们的眼睛、耳朵、鼻子等,不同的传感器起到不同的作用,最终我们可以根据感知去决策并控制我们的运动。机器人也是一样的,对于可移动机器人来说,最核心的技术点在于建图和定位,就是一要知道周边有什么环境,二要知道自己在什么位置;对于工业制造类机器人来说,侧重点可能不一样,它要去识别、定位、检测、测量等等。

 

目前我们已经有很多类型的传感器,而在具体领域的应用上,我们就要去对比每一种传感器的优缺点,从而找到最适合的方案。

 

环境感知技术对比

 

首先单目摄像头是一个非常广泛使用并且成本较低的方案,它的优点是便宜成熟,分辨率可以做的很高,但是对于机器人而言,单目摄像头只有X、Y方向的信息,缺少距离感知。

 

双目摄像头相当于两个单目叠加,它除了具备单目的优势和特点之外,还能通过一系列运算得到周围物体的深度信息和尺寸信息,因此可以更好地应用于移动机器人的定位、避障等场景。

 

激光雷达也是在机器人或者车载领域用的很多的一种传感器,它的测量是基于光的飞行时间。激光雷达的优点是光的距离可以达到很远,就是如果场景很大,要做测距也能测的很准。而它的缺点就在于成本高昂,如果要去感知一个非常精密的3D场景,那就需要用到多线激光雷达,成本会很高。

 

还有一种我们经常用到的传感器是超声波雷达,汽车倒车雷达就是它的一个典型应用场景,机器人里面也会用来做一些避障。超声波雷达是感知层面多传感器融合的技术方案里面必不可少的一个低成本感知方式。它可以解决视觉和激光雷达面临的一些问题,比如透明玻璃或者说一些反光的物体,超声波雷达在应对这些问题上是一个很好的补充。

 

另外一些传感器,比如IMU是用来做自身姿态的检测的,包括加速度、角速度以及方位等。还有全球导航定位系统可以提供精确的具体位置,在室外机器人上应用比较多,但问题是容易受到一些遮挡物的干扰,导致定位精度下降很快。

 

微信图片_20221123134239.png

 

双目立体视觉深度感知

 

在所有的环境感知技术中,双目立体视觉的原理是基于三角测量原理,利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。

 

在移动机器人领域,深度感知是非常重要的。一般来说,单目摄像头也能做一些简单的深度感知处理,通过获取大量的数据进行学习训练,基于先验知识去判断这个物体距离有多远,但不足之处就在于它不能穷举数据集,总会遇到一些没有学习训练过的一些物体,这样的话就很难去做感知。这是单目的先天性局限。

 

而双目是基于数学测量方式,就像我们人眼一样,我们走到任何一个地方,不需要知道这个地方有什么东西,也可以判断它的距离有多远。双目立体视觉不需要大量的先验学习,它利用可靠的物理信息分析场景,得到很详细的信息数据。

 

微信截图_20221123134752.png

 

那双目和激光雷达又有什么样的差别呢?激光雷达在自动驾驶、机器人领域已经有了比较广泛的应用。它的好处是精度可以做的比较高,距离看的比较远,比如说看100米或者更远距离,它的精度跟看1米的距离是一样的。而它的不足是信息量偏少,如果增加线数就带来成本的很大上升。相比较而言,双目分辨率可以做很高,比如720P的摄像头可以等效于720线激光雷达,1080P摄像头的等效激光线数就是1080线。但是由于双目的成像原理,如果这个物体离得比较远,那感知精度就会下降,相反如果物体离得很近,那它的精度甚至会超过激光雷达。双目最大的好处就是它的成本很低。

 

微信截图_20221123134811.png

 

双目立体视觉在机器人中的价值

 

在机器人里面双目的应用主要有障碍物测距避障、空间可通过性检测等,比如前方空间内有没有无法通过的限宽,地面上是不是有一些凹槽等等,都可以用双目来感知。当然还有一个非常重要的功能就是双目VSLAM建图定位可以做到非常好的效果。

 

无论在车端还是机器人上,用双目替代部分的激光雷达可以实现最终产品的低成本化,加速商业落地。形成商业闭环的核心因素就是成本因素,同时有了高分辨率的深度感知信息也就可以做到很多的应用,包括体积测量、体感定位、三维建图等等。

 

还有我们基于Depth的Deep learning,在有深度信息的情况下来做深度学习,对于三维空间环境和物体的感知以及工业生产缺陷的检测等都有非常好的一个帮助。

 

微信截图_20221123135124.png

 

元橡移动机器人视觉产品特色

 

元橡双目产品的的核心技术特点包括小尺寸,可以在短基线(即小尺寸)的基础上来做远距离探测(10厘米基线可探测距离达到200米);高精度,30米内能达到约99%的精度;低时延,运用了单行输入、单行计算的核心处理技术,可以做到非常低的一个时延,这个对于移动机器人来说也是非常重要的;低能耗,高精度算法硬件化,能耗降至非常低;多规格多方案,多种尺寸规程,不同视角配置,广泛场景适应,可选智能化方案,直接输出障碍物检测/定位/建图结果,降低用户开发难度。

 

元橡机器人视觉产品

 

元橡针对机器人推出的双目立体视觉产品包括元目S3系列、R3系列等。

 

S3系列相机基于我们自研的双目ASIC深度芯片,尺寸不大但测量距离能够达到20米,3米内误差低至±1%。S3系列相机已经在无人机、无人车和服务机器人上进行了广泛的应用。

 

11.png

◐元目S3系列相机

 

R3系列相机尺寸更小,性价比更高,主要应用在服务机器人等的避障和地面近距离感知等场景,更偏向于室内机器人的应用。

 

22.png

◐元目R3系列相机


同时我们也有一套整体的相机解决方案。这个解决方案除了基于我们核心的3D感知产品外,还内置了我们的算法,也就是说包括障碍物的检测、可行驶区域检测、建图定位等都在这个相机里面完成了,这样用户可以很方便地来集成。

 

除了机器人视觉产品外,元橡双目相机在车载领域已经应用于数十款车型 ,在工业检测方面,我们也提出了相关方案,比如目前已经落地的油箱焊接质量在线视觉检测方案,基于工业相机、3D双目相机再加上配套的检测算法和软件,实时进行焊接质量检测,包括焊接点位是否缺失、偏位、破损以及是否牢固等等。

 

元橡科技简介

 

元橡科技成立于2017年,创始团队最早就是做车载双目出身,在双目技术领域至今已经有15年以上的研发经验,这也是为什么我们在成立的第二年就实现了龙头商用车企的量产供货。2021年,元橡立体视觉相机年出货量达到20万套。在车载领域我们有了很好的布局,在无人机、机器人等产品上我们也实现了落地。今年,乘用车的前装定点已经陆续敲定,未来,很多搭载我们双目技术的乘用车也将走向市场。元橡的核心技术主要就在于我们的立体视觉算法、ISP处理技术、专用芯片研发设计能力以及深度学习视觉算法等等,当然最后的工程整合也会包含我们的光机电整套系统,也包括我们的质量管理体系,目前元橡正在通过IATF-16949的车规级质量管理体系认证。未来,无论面向车载客户还是机器人及工业检测客户,元橡的产品都将以更高的质量标准去做更好的交付。

Copyright © 2017 元橡科技(北京)有限公司. all rights reserved.京ICP备17047648号

+010-8646 8956