您好,欢迎来到河南华体会hth体育仪器设备有限公司!
全国咨询热线0371-53370142
河南华体会hth体育仪器设备有限公司

行业新闻

NEWS
解析移动机器人的视觉算法种类
发布时间:2022-07-09浏览次数:101

  。定的环境下自由行走/飞行它们能和人一样能够在特,、路径规划以及避障等功能都依赖于各自的定位导航,而

  视觉算法进行拆解如果对移动机器人,航以及壁障等都是基于不同的视觉算法你就会发现获取物体深度信息、定位导,但又必不可少的视觉算法组成本文就带大家聊一聊几种不同。

  动机器人谈起移,可能是这样的:“嘿很多人想到的需求,我拿一杯热拿铁过来你能不能去那边帮。通人很简单的任务”这个听上去对普,的世界里在机器人,各种挑战却充满了。这个任务为了完成,入周围环境的地图机器人首先需要载,在地图中的位置精确定位自己,规划控制自己完成移动然后根据地图进行路径。

  的过程中而在移动,场环境的三维深度信息机器人还需要根据现,直至到达最终目标点实时的躲避障碍物。人的思考过程中在这一连串机器,几部分的视觉算法可以分解为如下:

  细说这些算法后面我们会详,法的基础而这些算,上的视觉传感器是机器人脑袋。

  自于机器人脑袋上的视觉传感器所有视觉算法的基础说到底来,视力非常好的动物相比就好比人的眼睛和夜间,能力是完全不同的表现出来的感知。样的同,能力也要差于两个眼睛的动物一个眼睛的动物对世界的感知。其实就可以作为机器人的眼睛每个人手中的智能手机摄像头,就使用了计算机视觉技术来达成AR的效果当下非常流行的Pokeman Go游戏。

  画的那样像上图,中摄像头模组一个智能手机,个重要的组件:镜头其内部包含如下几,ilterIR f,sensorCMOS 。由数片镜片组成其中镜头一般,的光学设计经过复杂,价的树脂材料现在可以用廉,常好的手机摄像头做出成像质量非。

  叫做Bayer三色滤光阵列的滤色片CMOS sensor上面会覆盖着。色的滤光片每个不同颜,定的光波波长可以通过特,不同位置分别获得不同颜色的光强了对应CMOS感光器件上就可以在。辨率是4000x3000如果CMOS传感器的分,率的RGB彩色图像为了得到同样分辨,aicing的计算摄像算法就需要用一种叫做demos,中解算出2x2的RGB信息从2绿1蓝1红的2x2网格。

  除了选择红绿蓝三色之外一般的CMOS感光特性,光是透明的对于红外。加上IR滤光片因此在光路中,红外光对CMOS的干扰是为了去除太阳光线中。光片后加上滤,会得到显著的提升通常图像的对比度。

  GB相机除了R,有其他种类的特殊相机计算机视觉中常用的还。是只允许通过红外光波段的例如有一种相机的滤光片。看不见红外光的因为人眼通常是,近加上主动红外光源所以可以在相机附,距等应用用于测。

  外另,ing shutter的形式实现电子曝光的大部分我们用到的camera都是以roll,左侧那样像图中,子器件的成本为了减少电,行一行分别进行曝光通常是一,物体快速移动时这样势必造成,图像会发生形变相机采集到的。算的视觉算法的影响(例如VSLAM)为了避免这种形变对基于立体几何进行计,ter的相机就显得特别重要了选用global shut。

  如Kinect 2代)1.TOF传感器(例,虫复眼类似昆。本高成,以使用室外可。

  如Kinect 1代)2.结构光传感器(例,位原理三角定,本中成,不能用室外。

  Realsense R200)3.双目视觉(例如Intel ,或被动照明主动照明,见光皆可IR或可。本低成,以使用室外可。

  言之简而,两个平行的相机其原理就是使用,个点三角定位对空间中的每。相机中成像点的位置通过匹配左右两个,点在空间中的距离来计算对应三维。深度图研究有很长的历史学术界对双目匹配恢复,就开始采用这个技术在NASA火星车上。还是从微软的Kinect体感传感器开始但是其真正在消费电子品市场得到广泛应用。

  se公司授权的结构光技术(如今已被Apple收购)Kinect传感器背后使用了以色列Primesen。配中复杂的算法设计其原理是避开双目匹,主动投射复杂光斑的红外投影仪转而将一个摄像头更换成向外,相机也变成了红外相机而另一个平行位置的,影仪投射的所有光斑可以清楚的看到投。不到红外光斑因为人眼看,非常复杂而且纹理,于双目匹配算法这就非常有利,简洁的算法可以用非常,深度信息识别出。

  原理官方并没有给出解释尽管Kinect的内在,Unleashed的文章中在近年来一篇Kinect ,了这个系统的工作原理作者向公众hack:

  先首,在基线倍红外图像,后实现3bit的亚像素精度这样可以保证在做双目匹配。后然,obel滤波对图像做s,匹配精度提高使得图像的。后而,AD block matching图像与预存的投影光斑模板图像进行S。算复杂度小该算法的计,化和并行适合硬。后最,图像后处理经过简单的,原始分辨率下采样到,的深度图得到最终。

  以看到我们可,机市场的爆发(发售头10天100万台)随着2009年Kinect设备在消费,种在移动端设备的研发热潮逐渐开始催生了类似技术变。3年至今从201,提升和算法的进步随着计算能力的,深度相机开始在移动手机上涌现硬件成本更低的主动/被动双目。

  运行的双目匹配算法过去认为很难实时,构光辅助的情况下即使在没有主动结,异的3D成像质量也表现出非常优。动/被动可切换的双目深度视觉系统Segway robot采用了主。图所示如下,感器分别为左侧三个传,外相机左红,tern投影红外pat,外相机右红。工作时在室内,光源不足因为红外,影打开红外投,匹配算法辅助双目。工作时在室外,源充足红外光,影关闭红外投,可以直接运行双目匹配算法。合看综,出优异的深度传感能力此系统在室内外都表现。

  人开机机器,就会开始工作视觉里程计,的6DOF定位信息记录从开机位置起。运动过程中在机器人,始构建机器人看到的世界mapping算法开,的特征点信息将空间中丰富,录到机器人map中二维的地图信息记。

  、断电等原因丢失了自身的坐标当机器人运动过程中因为遮挡,中定位到机器人当前的位置估计重定位算法就需要从已知地图。外另,地图中曾经出现过的位置当机器人运动中回到了,导致轨迹并没有完全闭合往往视觉里程计的偏差会,检测和纠正这个错误这就需要闭环算法。

  地图之后有了全局,定一些目标点指令机器人就可以给,自主导航了做全局的。实中在现,不停变化的因为环境是,映导航时的障碍物状况全局地图并不能完全反,视觉避障算法进行实时的运动调整因此需要凌驾于全局导航之上的。

  后最,解空间中的不同物体的信息、位置、高度和大小一个自动的导航系统还需要机器人自动识别和理。息叠加在地图上这些tag信,上理解自己所处的环境机器人就可以从语义,高层次下达一些指令而用户也可以从更。

  个集合了视觉里程计视觉VSLAM是一,图建,的算法系统和重定位。发展很快近年来。法从经典的PTAM算法开端基于特征的视觉SLAM算,算法已经可以在PC上达到实时运行目前以ORB-SLAM为代表的。BSLAM的框图下面是一个OR:

  字可见从名,图像特征提取工具其使用ORB作为,中均使用了同一份特征点信息并且在后续的建图及重定位。和SURF特征提取算法相对于传统的SIFT,高出很多其效率。

  包含三个并行的线程ORB-SLAM,跟踪即,和闭环建图。程运行在前端其中跟踪线,时运行保证实,程运行在后端建图和闭环线,需要实时速度不,享同一份地图数据但是与跟踪线程共,数据精度和跟踪精度更高可以在线修正使得地图。M地图的主要数据结构下图是ORB-SLA,

  关键帧点云和。点与空间中的点云建立映射关系两者之间通过图像上2D特征,sibility graph关系同时还维护了关键帧之间的covi。数据关联通过这些,维护整个地图用优化方法来。

  在尺度不确定的问题3.单目SLAM存。快速旋转时在机器人,尤其明显此问题,过大无法纠正的情况很快会出现闭环误差。

  度问题针对尺,摄像头形成双目SLAM系统有两种方法解决:增加一个,合/紧耦合的视觉惯导定位系统或者增加一个IMU形成松耦。的视觉惯导定位系统这里简单介绍松耦合。M当成一个黑盒子一般把VSLA,个基于IMU的EKF系统中将其的输出作为观测量放到一,的输出即是系统的输出EKF最终fuse。

  IMU数据通常是不同步的考虑到camera数据和,硬件时间戳因此通过,间戳与IMU时间戳的关系需要判断图像数据对应的时。pagate步骤在EKF pro,不停的更新EKF的状态更高帧率的IMU数据。a数据到来时在camer,pdate步骤触发EKF u,新状态变量、协方差矩阵根据EKF建模方程来更,a数据的IMU数据对应的状态变量并且重新更新所有晚于camer。

  了业界领先的视觉惯导定位系统Segway Robot采用,道里面运行一圈下面是一个在楼,后的效果图回到原点之,如下优势具体有:

  引导机器人接近目标导航解决的问题是。有地图的时候当机器人没,称为视觉避障技术接近目标的方法。根据视觉传感器的数据避障算法解决的问题是,态障碍物实现躲避对静态障碍物、动,目标方向运动但仍维持向,主导航实时自。

  法有很多避障算,都有严格的假设然而这些方法,或假设机器人为圆形假设障碍物为圆形,以任意方向运动假设机器人可,能走圆弧路径s或假设它只。际应用上然而实,难达到条件机器人很。FF算法比如V,机器人为点该算法假设,意方向运动而且可以任。机器人为圆形VFH+假设,膨胀障碍物通过圆形,假设机器人以圆弧路径运动在考虑运动学问题时仅仅。机器人为圆形DWA也假设,拟了前向圆弧运动时的情况在考虑运动学问题时只模。

  而言相对,机器人的形状我们不限制,学问题时考虑运动,运动模型模拟多种,圆弧运动而不限于,到更佳避开障碍物的行为因为这样可以为机器人找。

  学模型导致不同的避障结果这张图显示了使用不同运动。模型时模拟的路径左图表示使用圆弧,路径模型模拟的路径右图表示使用另一种。狭小环境在这种,多个方向的障碍物情况此方法可以提前预测,更合适的运动方向躲避障碍物选择合适的模型可以帮助找到。

  法之间存在的差异在于和目前常用的避障算,化到周围环境地图中它将运动学模型抽象,何常用的避障算法然后就可以使用任,学模型与算法的捆绑这样就解耦了运动,避障算法都能加入进来而且任何要求严格的。obot的避障系统Segway R,度传感器综合了深,声波超,ensorIMU等s。的环境中在复杂,躲避障碍物可以自如。

  障系统的一个截图这张图是我们的避,和2维的避障地图可以看到深度图。表了每时每刻避障的决策最下面红色的指针就代。

  b相机呢?ir相机相对来讲的优势在哪里Q:为什么选用ir相机而不是传统的rg?

  到人眼看不到的物体A:ir相机可以看,在室内投射红外纹理比如深度相机需要,度识别帮助深。看不到人眼,机可以看但ir相。

  否主要是slam技术Q:现在机器人导航是,些?用于无人驾驶和无人机的视觉导航技术有哪些异同还有没其他导航技术?主要流行的slam技术有哪?

  导航中的一个基础模块A:slam技术是,很多种类,单目有,目双,pthde,感器为基础的算法imu+视觉等传。适应室内和室外的环境双目相机可以很好的。华体会hth体育其实非常小他的体积,camera长度在10cm左右segway robot使用的。

  人导航的导航地图存在Q:现在有无用于机器,器人导航的地图数据有哪些类似车载导航地图?用于机?

  的机器人导航地图存在A:现在还没有这样,研发热点但是是。bileye的地图之争比如tesla和mo。

  科技前沿、行业发展动态、跨界融合趋势《慧天地》公众号聚焦国内外时空信息,核心竞争力发现企业,理信息文化传播测绘地,日常学习、考研就业一站式服务为时空信息类相关专业学子提供,用精准对接的平台打造政产学研金服。

在线客服
联系电话
全国免费咨询热线 0371-53370142
  • · 专业的设计咨询
  • · 精准的解决方案
  • · 灵活的价格调整
  • · 1对1贴心服务
在线留言
回到顶部