3D成像的技术方法主要分为三种:一是结构光(Structure Light),技术代表有苹果收购的PrimeSense、微软Kinect1、英特尔RealSense、GoogleTango等;二是双目成像(Stereo System),代表公司主要有LeapMotion;三是飞行时间法(TimeOf Flight, TOF),代表公司包括微软Kinect2、德州仪器、意法半导体、谷歌/联想Phab 2 Pro等。目前大多数公司主要采用的还是结构光技术。
结构光成像技术的原理示意
双目成像技术的原理示意
其中,结构光是指激光器发出的光束经过扩散片(DOE)和衍射光栅,形成点、单线、多线、单圆、同心多圆、网格、十字交叉等散斑图案。当结构光如光带或者光点投射到被测物体表面,从光源的角度看,物体表面上的光仍然是规则的光带或光点。但是从其他位置看,物体表面上的光带或光点则发生了扭曲,不同距离其扭曲程度不一样。然后我们把发射回来的光束用另一侧的图像传感器接收,通过对图像的处理和提取,比对物体表面光带或光点的形变,计算得到物体表面的深度信息,这种方法也叫做光学三角法。
双目成像的原理更为简单,与人眼视觉类似。是指在自然光环境下,使用两个或者多个摄像头同时采集图像,这些不同摄像头在同一时刻获得的图像有轻微偏移,通过在计算机中比对这两个图像,利用三角形几何原理计算就可以得到物体的深度信息。最典型的的应用就是利用双摄实现3D拍摄。
TOF飞行时间法的成像原理
利用TOF成像技术可以实现手势识别
而TOF飞行时间法,是一种主动式探测技术,先向被探测物体连续发送脉冲光,然后通过专用传感器接收从被物体反射回来的光信号,记录下红外光从发射到接收间的相位差(时间差),乘以光速,就计算得到了物体距离。与其他3D成像方法相比,TOF法可以直接测得深度信息,不需要通过复杂算法来确定。
双目需要在物体特征信息明显时才能使用,在暗光情况下表现较差,优点是成本较低,能长时间使用;而使用TOF成本太高,且不利于小型化,优点是响应速度快,暗光或者室外光都表现不错;结构光相对于TOF而言,识别精度更高,算法稍微简单些,成本就能降下来,但是在强光下表现不好,适合室内使用。由于结构光易于安装维护,因此在实际3D轮廓测量中被较多使用。综合来说,结构光、TOF是目前体感测量、手势识别等应用中较优的方案,如果苹果公司要在iPhone8上实现3D成像,那么子公司Primesense的结构光技术很有可能是首选项。
深度摄像头记录的深度信息,与2D图像结合可实现3D建模
通过深度摄像头记录的景深图像,与RGB摄像头捕捉的2D图像结合,可以实现3D图像建模。在图20中,我们看到的景深图像为灰度图像,只有黑白色系,是因为我们采用的红外光线人眼无法看到,而红外图像传感器却可以捕捉到,单色的红外光只能产生亮暗变化。而深度信息就隐藏在这灰度变化之中,图像越亮的部位说明离我们近,越暗的部位说明离我们远。通过左边原始2D图像获得了XY平面内的位置信息,叠加上右图景深图像中Z方向的深度信息,那么我们就得到了扫描空间内完整的3D坐标信息,通过算法和软件就可轻松实现空间的3D扫描建模。
至于说实现手势识别,面部识别等功能,所涉及的主要原理是抓取并跟踪人身体四肢或者面部的特征点,其核心还是通过3D扫描建模,实现对人身体不同部位的辨认,继而抓取特定部位的特征点实现图像比对和身份确认。
因此,我们可以看到,3D成像技术的关键是深度信息的采集,随着未来在越来越多的应用场景中被采纳,相关深度测量的产业链,尤其是硬件厂商有望迎来较大的发展机遇。
结构光、双目视觉、TOF三种主流成像技术的比较
- | 结构光 | 双目成像 | TOF |
软件复杂度 | 中等 | 高 | 低 |
深度精确度 | 高,um-cm | 低,cm | 中,mm-cm |
扫描速度 | 快,取决于摄像头 | 中等,取决于软件 | 快,取决于传感器 |
识别距离 | 较短,取决于照射功率 | 中等 | 较长,取决于激光功率 |
低光表现 | 良好,取决于可见光源还是红外光源 | 弱 | 良好(红外激光) |
室外表现 | 弱 | 好 | 中等 |
额外光源 | 需要 | 不需要 | 需要 |
成本 | 中高 | 低 | 高 |
功耗 | 中等 | 低 | 高 |
模组大小 | 大 | 小 | 大 |
代表厂商 | Primesense、Intel | Intel、Leap MoTion | 意法半导体、Infineon、Microsoft、TI |