SIGAI发布全球首款室内户外全场景毫米级精度低成本双目立体3D相机

人工智能快速发展的今天，图像视频识别在深度学习的加持下在各行各业广泛落地。相较于2D计算机视觉，3D计算机视觉因为具有额外的深度信息，可以轻松处理机器视觉中很多2D维度难以解决的问题。最近几年，3D成像与3D计算机视觉算法得到了快速发展。在以激光雷达，结构光，TOF，双目立体视觉为代表的主要技术路线上都涌现出一些不错的公司和产品，依托三维点云数据在如工业质检、精确测量、机械臂引导、物体定位、自动驾驶等场景进行落地。

除自动驾驶等少数几个场景外，目前主流3D相机主要应用在室内场景。如智能制造中的拆/码垛、工业质检、物体测量、机械臂引导、定位、分拣等任务，物流包裹测量分拣等任务。一方面，有应用场景挖掘的原因，另外也有技术上的原因。室外场景光照情况复杂，LIDAR方案得益于高功率的发射器和多回波技术可以很好地应用于此场景。其它构建在投射近红外频段光谱的3D成像技术比如结构光和TOF就会被阳光中相近的频谱光干扰，导致精度严重降低甚至不能正常成像。

当前能适用于室外场景的3D感知成像只有激光雷达和双目立体视觉两个方案。激光雷达成本高，分辨率低，精度通常只能做到厘米级，比如某公司系列固态雷达的绝对误差在2厘米左右。虽然也有精度非常高的激光雷达，产品可达到亚毫米级误差，但市面上此类产品成本非常高，通常需要数十万到上百万。

双目立体视觉技术在中近距离的高精度深度感知方面具有非常大的潜力，它成本低，结构简单，可以做到很高的分辨率。为什么市面上已有的基于双目立体视觉的产品精度一直做不高？基于立体视觉的深度计算原理，其深度感知误差会随着距离的变远快速放大（与距离的平方成线性关系），所以要得到高精度的深度图是非常困难的。尤其是在室外场景下，会面临复杂的光照条件：高光，弱光，逆光，阴影等，以及恶劣天气如雨、雪、雾所带来的影响。目前市面上的双目立体相机在4米左右一般只能达到1%左右的Z值误差，实测误差超过3厘米。

如果能做出一款高精度的双目立体视觉3D相机，再结合双目相机本身的低成本、高分辨率的特点，必将在很多工业和消费应用场景中具备很大的落地优势。SIGAI团队经过长时间的市场分析和调研，发现很多行业的客户对当前工业3D相机价格难以接受，迫切希望能将3D视觉感知硬件成本降低的同时能保持较高的感知精度，加速产品落地应用。

SIGAI团队在机器学习和3D感知理解方向有多年的深厚积累，在解决自身核心产品的需求同时，进一步将双目立体视觉相机在中近距离做到毫米级的误差，为适配更多的行业应用打下了坚实基础。

左图为原始图片，中间为国外知名厂商3D相机点云图，右边为SIGAI Tensor 1 Pro点云图

目前SIGAI已经发布了其第一代产品Tensor 1 Pro。该款双目相机在室外4米的距离内可以实现千分之一的z向误差（<4mm，1倍标准差）。该款3D相机采用片上计算，插电即可用，具有IP65防护等级，产品尺寸为302x123x72mm，整体重量2kg。下图是这款相机在室外的成像误差曲线，横坐标是相机的拍照距离，纵坐标是Z值误差（1倍标准差）。可以看到，在4米的距离，成像误差可以控制在4mm以内，相对误差为0.1%。

Tensor 1 Pro输出的RGB图和深度图均具有4K的超高分辨率。这为后续的智能识别分析算法提供了高质量的数据，开发者可以在此基础上做出高可用的AI应用。

目前Tensor 1 Pro已应用于室外高精度测量场景，包括原木体积测量、集装箱破损测量等。以木材体积测量为例，在室外4米的距离拍照，可以实现毫米级的木材横截面直径测量误差，平均测量误差4mm（1倍标准差），相对误差仅为0.1%，机器自动测量结果已经超越了人工作业的水准。

相对于市面上各条技术路线的3D成像产品，Tensor 1 Pro以较低的价格实现了高精度（毫米级）、室内外场景通用、高分辨率。在保持高精度的同时，我们将产品的成本控制在了一个较低的水准，大幅度低于激光雷达、结构光相机、结构光主动双目相机等类似产品。

双目立体视觉的精度问题一直以来是学术界与工业界的一个难题。SIGAI是如何在这个问题上实现突破的？首先得益于其拥有的业内一流的机器视觉研发团队，核心成员全部由来自于清华大学等知名高校的博士和硕士组成，在学术界与工业界均有丰富的经验和深厚的沉淀。此前通常都就职于百度、英伟达等知名企业，主导过核心机器视觉产品的研发。团队具备研发原创性算法和强大的工程优化能力。为了提高双目相机的精度，SIGAI在3个方面做了大量的工作：

众所周知，成像效果直接关系到双目匹配算法的精度。尤其是室外场景下，在各种复杂的光照与气象条件下获取高质量的图像是提升双目精度的第一步，SIGAI自研AI ISP保证了复杂光照的成像效果。

这是双目立体视觉的核心算法，其输入是左右相机的图像对，输出是视差图。根据视差图和相机的内外参数，可以计算出每个像素的深度值。SIGAI自研基于表征引导的双目立体深度匹配算法，大幅度提升了算法的精度和泛化能力。对于弱纹理等双目视觉中的难题，也能进行有效处理。