温俊，李榕
（华南师范大学物理与电信工程学院，广东广州510006）
摘要：提出一种基于单目视觉和惯性传感器的视觉测量方法，当手持移动摄像头时，利用惯性传感器获取摄像头轨迹，再根据多视角测量原理，测量被测物体的大小、位置等信息；利用图像特征点的移动信息抑制加速度传感器的累积误差。实验证明测量结果误差在2%以内，且该方法不需要任何摄像机外参数的先验知识及定标参照物，可满足实际测量需求。
教育期刊网 http://www.jyqkw.com
关键词 ：手持式摄像机；惯性传感器；视觉测量；单目视觉
中图分类号：TN98?34；TP391 文献标识码：A 文章编号：1004?373X（2015）16?0088?04
收稿日期：2015?02?25
视觉测量技术是一种坐标测量与视觉技术相结合的测量技术，其任务是利用二维图像信息，计算其对应的三维世界信息，重点研究物体的几何尺寸及物体的位置测量。在现代化生产中，视觉测量技术广泛应用于工业自动化检测、反向工程、机器人视觉等主动、实时测量过程[1?2]。其中，基于单目视觉测量系统，国内外的科研工作者已进行了大量的研究工作，但在这些研究中，单目视觉测量多为基于结构光方式、使用辅助标定物[3]或与特定的物理平台结合[4]等方式进行测量。这些测量方式在一定程度上已满足了生产、建设中的测量需求，但它们并不具有手持便携性，不便于民用推广。
因此，本文提出一种手持式单目视觉测量方法——使用摄像机与惯性传感器相结合。本方法不但具有良好的便携性、测量灵活性，且成本低。实验结果表明其测量精度能满足一般的测量需求。
1 视觉测量结构与原理
经典的视觉测量方法是使用双目或多目结构，完成对三维空间点的测量，而本文是利用图1中摄像机与惯性传感器结合的单目结构，通过手持摄像机移动来模拟多目结构，从而完成测量。其测量原理如图2 所示。Oc?xcyczc 为摄像机坐标系，其中Oc 表示光心。设世界坐标系与摄像机坐标系重合，空间点Pc在世界坐标系的齐次坐标为[xc，yc，zc，1]T，摄像机在不同角度下在图像平面的投影点为mi（ui，vi），根据摄像机模型[5]有：
根据式（1）可知，只需求出摄像机移动过程中的旋转矩阵Ri及平移向量Ti，即可恢复空间点Xc的坐标。结合实际手持移动情况，手持移动拍摄时，一般只在近x?y平面运动，z 方向小范围的移动对测量结果影响不大，故本文约定z轴移动距离为0，即T = [tx ty 0 ]T。
2 摄像机位姿求解
2.1 惯性传感器
获得摄像机位置及姿态信息最直接的方法是使用惯性传感器，即陀螺仪和加速度计。本文除了采用惯性传感器外，还引入数字罗盘数据，位姿求解结构框图如图3所示。
使用互补滤波器[7?8]融合3种传感器数据，解算出摄像机姿态R ，同时计算出加速度的重力场分量，结合MPU6050中加速计的输出数据计算摄像机位移T 。当摄像机运动时，将同时存在线运动和角运动，故位移计算中应对旋转效应进行补偿[9]。
速度V 的迭代更新方程如下：
由于低成本加速度计的精度并不高，故直接经过二次积分所得位移的累积误差较大，不能直接使用。本文将引入图像信息，对加速度计进行补偿，可大大减少其累积误差。
2.2 数字图像处理
使用图像处理技术获得摄像机位姿信息的经典方法如文献[10]所描述，是通过计算2幅图像之间的基础矩阵F ，然后再结合摄像机内参数矩阵M 求解本质矩阵E ，根据本质矩阵可获得摄像机的位姿信息。但此方法需匹配特征点和求解矩阵方程，运算量大，且2幅图像间距离不能太小，否则求解的基础矩阵F 误差较大。结合本设计方法，摄像机只作小范围移动，且图像信息需实时修正加速度计的积分误差，计算量不宜过大，故本文直接对每帧帧间特征点距离作统计，可以得到摄像头在x?y 平面的帧间移动距离：
式中：mn ，mn - 1 为前后两帧对应的特征点坐标。
图像处理过程如图4所示。
由于摄像机移动过程中包含平移和旋转运动，而无论是摄像机平移或旋转，都会使图像发生移动，旋转补偿是为了去除帧间移动距离的旋转分量。令旋转分量为Tfr ，平移分量为Tft ，则有：
设摄像机绕光心O 旋转R ，世界点P ，在旋转前后的坐标分别为P ，P′ ，其投影在图像平面的点分别为p ，p′ 。根据摄像机模型[5]可知：
式中：K 为摄像机内参数矩阵；R 为旋转矩阵，联合三式有：
则可由式（6）得：
2.3 传感器与图像信息融合
由摄像机模型可知，当摄像机移动时，连续两帧之间的摄像机位移ΔT 与Tft 有如下关系：
式中k = z f ，z 为被测点与摄像机的距离，f 为摄像机焦距。
则有摄像机移动速度：
式中Δt 为采样周期，Vf 为特征点的移动速度。
设短时间[tn，tm]内加速度计的偏移量为常量ab ，加速度计测量值为as ，真实值为a ，则有：
得：
对于tn ≤ ti ≤tm 有：
同理，结合式（9），有：
则有：
离散化后，有：
式中w 为修正系数。结合速度、位移更新方程式（3）,式（4）可求得融合后的位移T 。
3 实验与结果
本文通过手持图1的实验装置，对目标盒子进行拍摄测量，测量过程中，摄像机拍摄目标盒子，先静止再沿y 轴移动一小段距离，然后再静止完成测量，整个过程目标物体必须保持静止，且在摄像机拍摄范围内。实验装置的摄像机使用USB摄像头，传感器使用MPU605三轴陀螺仪、三轴加速度计和HMC5883三轴数字罗盘，通过USB 转I2C 接口直接读取数据，测量算法在PC 端实现。
摄像机的姿态矩阵R 直接由互补滤波器解算得到，位移T 根据前面所述方法求解。图5显示了求解位移T 过程中各数据的曲线，加速度计输出及去除重力分量后的数据曲线如图5（a）所示，从图5（e），图5（f）可以看出，由于加速度计飘移的影响，当手持不动时，单独使用其输出的数据求得的速度Vsy 并不为零，导致Tfy 的误差随测量时间增大而增大。图5（b）是特征点跟踪的效果图，其中点A，B，C 是待测量的特征点，根据2.2节的方法，对特征点进行统计处理，得到图5（c）的特征点移动曲线及旋转补偿后的数据曲线。最后根据2.3节的方法计算系数k，修正加速计累积误差，图5（e），图5（f）显示修正前后的速度及位移曲线，可以明显看出图像信息很好地纠正了速度及位移的累积误差。
把R ，T ，代入式（1）求得特征点A，B，C 的世界点坐标值如表1所示。
盒子实测值AB 长22.5 cm，BC 长16.5 cm，视觉测量值为：
相对误差为1.83%。
相对误差为1.95%。
由此可见，其计算结果与实际情况基本相符，可达到实际测量的精度要求。
4 结语
本文采用传感器与摄像机结合的模式，通过手持移动模拟多目立体视觉，避免了运用多个摄像机所带来摄像机参数不一致的误差，并融合了传感器与摄像机两者数据，同时通过增加拍摄视频长度来获取更多视角图像，提高了实际测量结果的精确度与可靠性。实验结果表明，由于该方法不需要摄像机外参数的先验知识，也不需要定标参照物且结构简单、使用简单，因此，该方法易于推广应用。
教育期刊网 http://www.jyqkw.com
参考文献
[1] 叶声华，邾继贵，王仲，等.视觉检测技术及应用[J].中国工程科学，1999（1）：49?52.
[2] 马骊群，王立鼎，靳书元，等.工业大尺寸测量仪器的溯源现状及发展趋势[J].计测技术，2006（6）：1?5.
[3] 黄桂平，李广云，王保丰，等.单目视觉测量技术研究[J].计量学报，2004（4）：314?317.
[4] 彭永强，李祖枢，薛方正.基于舵机云台的人型机器人单目视觉测距[J].计算机测量与控制，2009（11）：2253?2255.
[5] 吴福朝.计算机视觉中的数学方法[M].北京：科学出版社，2008.
[6] ZHANG Zhengyou. A flexible new technique for camera calibra?tion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330?1334.
[7] EUSTON M，COOTE P，MAHONY R，et al. A complementa?ry filter for attitude estimation of a fixed?wing UAV [J]. IEEE/RSJ International Conference on Intelligent Robots and Sys?tems，2008，22（26）：340?345.
[8] 梁延德，程敏，何福本，等.基于互补滤波器的四旋翼飞行器姿态解算[J].传感器与微系统，2011（11）：56?58.
[9] 邓志红，付梦印，张继伟，等.惯性器件与惯性导航系统[M].北京：科学出版社，2012.
[10] 庄曈，曾庆化，刘建业，等.一种基于单目视觉的微型无人机姿态算法[J].计算机工程，2012（15）：197?200.
作者简介：温俊（1987—），男，广东惠州人，硕士研究生。主要研究方向为图像处理与机器视觉。
李榕（1957—），男，教授，硕士生导师。主要研究方向为图像处理与机器视觉、光信息处理。