为旌科技双目视觉方案，立体感知，赋能机器视觉

随着工业4.0的到来，不论是工业自动化还是家居智能化，已日渐成为常态，AGV、送餐机器人、扫地机器人等已屡见不鲜。这些小型服务机器人看似简单的工作，其实是需要机械、电子、控制，甚至人工智能等多个学科领域配合才能完成的。其中SLAM（Simultaneous Localization and Mapping）是小型服务机器人的核心技术之一。

01 SLAM技术及挑战

SLAM意为“即时定位与地图构建”，它是指运动物体根据传感器的信息，一边计算自身位置，一边构建环境地图的过程，用于机器人在未知环境下运动时的定位与地图构建问题。

(相关资料图)

SLAM一般可以分为两大类：激光SLAM和视觉SLAM

激光SLAM通过激光测距仪测量机器人与周围环境距离，并根据三角测距或TOF算法获得精确距离信息，从而生成周围环境地图，建图和定位精确度较高。但是激光传感器成本高，激光雷达的机械特性易损坏，凸起结构增加了机身厚度，降低通过率。

视觉SLAM通过视觉传感器识别周围环境，可分为单目(Monocular)、双目(Stereo)和深度摄像头(RGB-D)，根据视觉识别绘制地图。这种方案硬件成本低，信息采集丰富，适用范围广，在功能拓展上有更多可能性。

激光SLAM应用时间较早，但是视觉SLAM有望成为下一代机器人的主流方向，当前主要挑战在于：对主控芯片的算力资源要求很高，因为实时处理视频信息需要很高的计算能力，因此对算法精度和效果的高要求是视觉SLAM面临的第一重挑战。另外，以扫地机器人为例，室内不同环境的采光条件不同，如明亮环境，屋内墙角等弱光环境，甚至床底等暗光环境，是视觉SLAM算法面对的第二重挑战。

02 为旌科技双目视觉方案

为旌海山®系列旗舰产品VS839拥有丰富的接入能力及强大的异构计算资源，在提升纯视觉方案性价比的同时还可根据客户需求，提供多种解决方案。

视觉SLAM中的主流实现方式是双目视觉。双目在硬件结构上模仿人类视觉，利用双目视差，实现深度探距。为旌VS839内置双目深度算法，可提供高精度深度图，同时还可包含环境场景中物体的结构信息。

双目深度示意

双目测距在某些场景下，深度图边界容易失真，错误主要体现在以下三方面。

缺失(Missing)：边界缺失是指高质量RGB图像中存在真实对象边界，但在深度图中这些边界丢失了；

虚假(Fake)：虚假边界是指在深度图中存在对象边界，但在RGB图像中不存在真实边界的情况；

错位(Misaligned)：RGB图像和深度图中均有真实边界，但彼此没有很好的对齐；

下图可以很容易地看到这3种情况：

A：缺失；B：虚假；C：错位

为旌海山VS839内置的双目深度算法结合了单目视觉图像，实现了深度图增强算法，对深度图边界失真进行修复，进一步提高深度精度指标，为后续SLAM算法实现提供高质量输入，满足各类客户的需求。

某客户纯视觉双目方案开发板

目前已有若干客户正在开发基于VS839系列的纯视觉双目机器人方案，立体感知，赋能机器视觉。

03 多核处理提升算力优势

视觉SLAM是一个框架，在传感器数据处理之外还包含多种算法，典型视觉SLAM框架如下图所示：

视觉里程计（Visual Odometry，VO，又称为前端，Front End）：视觉里程计估算相邻图像间相机的运动以及局部地图的样子。

后端优化（Optimization）：后端接受不同时刻视觉里程计测量的相机位姿，以及回环检测的信息，对它们进行优化，得到全局一致的轨迹和地图。由于接在VO之后，又称为后端（Back End）。

回环检测（Loop Closing）：后端根据前端输入进行优化后得到的全局地图存在累计误差，长期估计的结果将不可靠，回环检测判断机器人是否曾经到达过先前的位置。如果检测到回环，它会把信息提供给后端进行处理。

建图（Mapping）：根据估计的轨迹，建立与任务要求对应的地图。

以上模块又各自包含多种算法。算法彼此配合且需要处理实时视频数据，对主控芯片算力资源提出很高要求，也是视觉SLAM方案在机器人领域大规模应用的阻碍之一。

为旌VS839集成四核A55 CPU和双核DSP，提供充足异构计算资源，满足客户对主控芯片的算力资源要求，赋能客户实现算法性能卓越、高性价比的机器人产品。

04 为旌海山®旗舰产品VS839

为旌海山®系列产品，拥有业内领先的星光全彩图像效果，支持低照场景提亮和智能降噪，即使是在全暗光0.01Lux场景下，也能实现如白天般的图像效果，细节纤毫毕现。能够为客户提供高质量的图像，助力客户开发具有市场竞争力的产品。

关键词：