《基于双目立体视觉的草坪植株高度测量》-农学论文，农业论文-论文范文参考-科学狗论文网

标题

基于双目立体视觉的草坪植株高度测量

范文

佘银海王新彦

摘要：计算机视觉现已被广泛应用于诸多农业领域，有助于精准农业的发展，提高劳动生产效率。针对坐骑式零转弯半径（ZTR）割草机刀盘高度无级调节问题，利用双目立体视觉对草坪植株高度进行测量可推动其智能化发展。首先对地毯草灰度图像中的V分量进行图像增强、形态学处理、阈值分割等预处理提取出植株图像。本研究提出一种结合高通滤波与Foerstner的特征点检测算法，对提取后的植株图像进行特征点检测，该方法可有效去除伪角点，准确率在98%以上。利用双目标确定后的参数对左右2幅图像进行角点匹配，选取z轴方向数值最小的3个点构造假想地面并最终计算植株均高。结果表明，该高度测量系统可识别测量不同草种，且总体相对误差为1.5%，有效地提高了测量精度且适用范围较广。

关键词：ZTR割草机;双目立体视觉;草坪植株;Forstner特征点;高度测量

中图分类号： TP391.41文献标志码： A

文章编号：1002-1302（2020）04-0215-07

收稿日期：2018-12-11

基金项目：国家自然科学基金面上项目（编号：51275223）;江苏省研究生创新计划（编号：SJCX18_0783）。

作者简介：佘银海（1994—），男，江苏南通人，硕士研究生，从事图像识别、自动化控制方面研究。E-mail：yinhai_she@163.com。

通信作者：王新彦，博士，教授，从事现代机械制造技术与车辆被动安全性方面研究。E-mail：xinyanwang1@163.com。

随着经济的发展，各国城市建设逐渐深化，城区绿化程度也随之提高，草坪业正以其特有的市场价值活跃在各国的城市园林绿化建设中。对于大型的牧场或高尔夫球场而言，一般都以坐骑式零转弯半径（ZTR）割草机作业为主[1]，但ZTR割草机刀盘高度变化都是通过手动调节，这不仅费时费力且降低了工作效率，与此同时，考虑不同草坪在修剪与维护时具有相应的留茬高度要求，进一步说明了手动调节刀盘高度的弊端。所以本研究旨在通过图像处理技术对待割草坪的高度特征进行提取，为ZTR割草机刀盘的自动调节奠定基础。

计算机视觉如今被广泛应用于植株高度的检测中。Tsubata等提出了在割草机器人中增添识别草坪信息的方法，它需先识别出草坪，然后通过使用透射型光电断路器估计草皮的高度[2]。林小冬通过在割草机的割草刀盘前部设置感应芯片感知草丛的分布和高度，但只能粗略感知高度，并不精确[3]。Seelan等依据水稻与土质背景中的对比度差异进行灰度级分割，并应用形态学方法消除阴影及噪声，通过图像二值化提取水稻高度，从而采集到水稻的长势信息，将植株高度作为作物生长率的监控参考指标[4]。阙玲丽利用计算机视觉通过测量对照杆的高度，间接测量玉米植株的高度，其总体相对误差小于2%[5]。何晶将棉花植株二维图像中的棉花株茎简化成2个关键点坐标，然后利用相机参数矩阵以及对2个关键点的约束条件，获得植株在世界坐标系中的三维信息[6]。

1?方法与原理

本研究主要算法流程见图1，主要包括双目标定、特征点提取及匹配、高度测量算法等。

1.1?双目立体视觉平台搭建

1.1.1?系统软硬件组成

硬件系统由2台大恒图像公司水星系列MER-231-41U3C相机、2个M0814-MP2型镜头、Philips计算机、相机支架等组成。软件包括HALCON12.0.1、Visual Studio 2012（C#）。

1.1.2?立体视觉原理

双目视觉是基于视差原理利用2台相机采集不同方向上的2幅图像，通过建立特征点间的对应关系，然后依据三角测量原理计算对应像素间的视差，再与标定板的坐标进行匹配，就可获得双目相机的外参，即相机相对现实世界中指定坐标系下的位置与方向，从而获得空间点的三维坐标、位姿、形状等信息。双目相机安装夹角及基线长度是影响系统测量精度的主要因素，为了提高测量精度，基线一般不能太小。另外基线长度的选取还与视场角有关，双目相机能够检测到的有效范围是在左右相机视场角的重叠区域，所以基线长度也不可太长，否则2个相机可能不能同时观察到目标点。

双目相机立体模型见图2。其中，C1、C2与O1、O2分别表示左右相机的主点和投影中心点，2个投影点的连线O1O2为系统的基线;O1C1和O2C2分别为左右相机的光轴，α1和α2为左右相机光轴与基线之间的夹角;f1和f2分别为相机的成像平面与投影中心点的距离;世界坐标系中任意点PW在左右图像上的投影点分别为P1与P2。

根据摄像机的投射模型得到如下关系式：

S1X1Y11=

f1000f10001

xyz，

S2X2Y21=

f2000f20001

xyz。（1）

式中：S1与S2分别为左右相机的投影矩阵，（X，Y）为P点坐标，（x，y，z）为P点经投影转化后的坐标。左相机坐标系O1-xyz与右相机坐标系O2-xyz之间的位置关系可通过空间转换矩阵M表示为：

x2y2z2=

Mxyz1=

r1r2r3txr4r5r6tyr7r8r9tz

xyz1，M=[R|T]。（2）

式中：R为旋转矩阵，其元素ri（i=1～9）由双目相机的旋转角度、方位角、仰角决定，（tx，ty，tz）為左右相机的相对偏移量;T为转置矩阵;

同理，对于O-xyz坐标系中的空间点，2个相机图像点之间的对应关系可以表示为：

ρ2X2Y21=

f1r1f1r2f1r3f1txf1r4f1r5f1r6f1tyr7r8r9tz

zX1/f1zY1/f1?z?1。（3）

式中：ρ2为右相机中空间点的系数变量。于是，空间点的三维坐标可表示为：

x=zX1/f1;

y=zY1/f1;

z=f1（f1tx-x2tz）X2（r7X1+r8Y1+f1r9）-f2（r1X1+r2Y1+f1r3）=

f1（f2ty-x2tz）Y2（r7X1+r8Y1+f1r9）-f2（r4X1+r5Y1+f1r6）。（4）

因此，只要通过相机标定获得其内参数/焦距，以及左右相機中的图像坐标，就可以重构出被测点的三维空间坐标。

1.2?图像获取

图片采集过程中，草坪高度约30～180 mm，为保证草坪在相机拍摄范围内，设定支架与草坪水平之间的距离为200 mm，基线O1O2=180 mm，相机光轴与基线的夹角采用α1=α2=85°，相机中心距地面高度为90 mm。在相机拍摄过程中带一点俯角拍摄，确保左右2幅图像的最高处均为现实坐标的最高处，而图像最低处则为草坪根部或地面，但俯角不应过大，否则会增大像差，进而影响测量精度。图3-a、b分别为左、右相机采集的植株图像。

1.3?立体校正图像对

为了能够更精确地进行匹配，提高运算的效率，在获得相机的内外参数后首先对立体图像进行校正。校正是将图像投影到1个公共的图像平面上，公共平面方向由双目立体视觉系统基线原始2个图像平面交线的叉集确定，当同一点投影到2个相机平面时，2个投影点位于各自像素坐标的同一行。本研究采用的是Bouguet极线校正方法，其主要步骤如下：

（1）将右图像平面相对左图像的旋转矩阵R分解为2个合成旋转矩阵Rl和Rr。其中Rl=R1/2，Rr=R-1/2，R-1/2为R1/2的逆矩阵。（2）将左右相机各旋转一半，使得左右相机的光轴平行。此时左右相机的成像面达到平行，但是基线与成像平面不平行。（3）构造变换矩阵Rrect，使得基线与成像平面平行。构造的方法是通过右相机相对于左相机的偏移矩阵T完成的。

（a）构造e1。变换矩阵将左视图的极点变换到无穷远处，则使极线达到水平，可见，左右相机的投影中心之间的平移向量就是左极点方向：

e1=T‖T‖，T=[Tx?Ty?Tz]T。（5）

（b）e2方向与主光轴方向正交，沿图像方向与e1垂直，则知e2方向可通过e1与主光轴方向的向量积并归一化获得。

e2=[-Ty?Tx?0]Tx2+Ty2。（6）

（c）获取了e1与e2后，e3与e1和e2正交，e3自然就是它们2个的向量积：e3=e1×e2，则可将左相机的极点转换到无穷远处的矩阵Rrect如下：

Rrect=（e1）T（e2）T（e3）T。（7）

（4）通过合成旋转矩阵与变换矩阵相乘获得左右相机的整体旋转矩阵。左右相机坐标系乘以各自的整体旋转矩阵就可使得左右相机的主光轴平行，且像平面与基线平行。

Rl′=Rrect×RlRr′=Rrect×Rr。（8）

（5）通过上述2个整体旋转矩阵，就能够得到理想的双目立体系图像系统。

1.4?改进的Foerstner特征点检测

图像点（角点）特征通常用于获取不同图像之间的像素对应关系，角点在保留图像中物体重要特征信息的同时又有效减少了信息的数据量，因而角点检测成为图像三维重建的重要步骤。最初的角点检测Moarvec算子被M-stephens进行改进得到Harris算子[7]，Harris算子虽然应用广泛但准确性不足，Forsmer算子是在Harris算子的基础上发展得到的。Remondino通过大量试验证明，与其余的角点提取算子相比，Foerstner算子具有最佳的稳定性、灵敏度、尺度不变性、运算速度等性能[8]。

Forstner算子通过计算各像素的Robert梯度值和以像素为中心的1个窗口的灰度协方差矩阵M，在图像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。它采用抑制局部极小点的方法提取特征点且精度较高，所以在实际中应用比较广泛。

灰度协方差矩阵M和误差椭圆的圆度q分别为

M=G（s）×∑nc=1I2x，c∑nc=1Ix，cIy，c

∑nc=1Ix，cIy，c∑nc=1I2y，c;（9）

q=4·DetM（TraceM）2，0≤q≤1。（10）

式中：Ix，c和Iy，c表示图像在x与y方向上的梯度图，G（s）为高斯平滑模板，DetM和TraceM分别表示协方差矩阵M的行列式与迹。

选取以3×3为模板的窗口计算兴趣值，对于给定的圆度阈值Tq（0.5≤Tq≤0.75），先计算其权值，并以权值为依据，以权值最大者为特征点。

由于Forstner算子灵敏性较高，检测时可能出现大量伪角点，所以在检测之前先进行高通滤波处理，高通滤波实现了图像的锐化，在消除噪声的同时使图像边缘变得更清晰，可提高Forstner算子检测真实特征点的性能。

1.5?特征点匹配

完成草坪植株图像Forstner特征点的提取后，以基于Forstner角点为基础的灰度特征值作为匹配依据，为单株叶片的三维重建提供可靠依据。本研究通过松弛迭代法计算可能匹配点的匹配概率P（0）（l），经过k次迭代后将匹配概率P（k）（l）最大的点确定为匹配的特征点。由于“1.4”节已对Forstner特征点进行滤波处理，减少了迭代次数与计算量，提高了特征点提取的准确性。算法的主要步骤如下：

（1）用Forstner特征点检测算法检测所处理的左摄像机拍摄的草坪单株图像I1，找到角点。

（2）将右图像I2中利用Forstner算子检测到的可能特征点组成一个可能匹配点集合。

（3）将左图像I1的每个特征点作为一个标号集，l为左图像特征点与其可能匹配点的视差。对于右图像I2中每个可能匹配点，通过以下公式设定初始匹配概率P（0）（l）。

A（l）=∑x，y∈W[fL（x，y）-fR（x+lx，y+ly）]2。（11）

式中：l=（lx，ly）为可能的视差;A（l）代表2个区间的灰度拟合值，与初始匹配概率P（0）（l）成反比，即P（0）（l）与可能匹配点邻域中的相似度相关;W为将图像f（x，y）划分的若干个互不重叠的小区域。借助松弛迭代法，给可能匹配点邻域中视差比较接近的点以正的增量，而给较远的点以负的增量来对P（0）（l）进行迭代更新。正确的匹配点经过k次迭代后匹配概率P（k）（l）会逐渐增大，而其余点的匹配概率则会降低，经过一定次数迭代后，将匹配概率最大的点确定为匹配的特征点。

1.6?植株高度测量算法

草坪植株高度可定义为植株顶端至地面的垂直距离，但由于单株草通常由几张叶片组成，所以取其叶片的平均高度作为整株草的高度。此外，由于地面凹凸不平或具有其他杂物等干扰项，导致测量精度存在较大误差，所以可在“1.5”小节经过匹配的特征点中，选择3个在z轴方向值最小的点构成1个三维平面并作为假想地面，这样即可降低测量误差。

设选取的3个点的坐标依次为P0（x0，y0，z0）、P1（x1，y1，z1）、P2（x2，y2，z2），其平面z=0可由向量NX=P1P0和NY=P1P2定义。

式中：NX=P1P0=x0-x1y0-y1z0-z1，

NY=P1P0=x2-x1y2-y1z2-z1。

通过计算NX和NY的叉乘运算来确定该平面上的法向量NZ：

NZ=NX×NY=0z1-z0y0-y1

z0-z10x1-x0

y1-y0x0-x10

x2-x1y2-y1z2-z1。（12）

并计算出单位法向量z=NZ/|NZ|=（i，j，k）。

确定底平面及其法向量后，选取所有叶片最顶端的特征點n个，将其三维坐标（am，bm，cm）与底平面的单位法向量z进行点积运算可获得每个叶片的高度，其平均高度值为单株草坪的整体高度H，表达式为：

H=1n∑nm=1（ami+bmj+cmk）。（13）

2?结果与分析

2.1?双目相机标定

本研究采用的相机分辨率为1 920×1 200，借助HALCON自带标定助手采集圆点阵列标定板（150 mm×150 mm）图像进行双目视觉系统的标定。在采集图像的过程中，双目相机的相对位置不能改变，每个相机拍摄16张标定板在不同位置的图片，并且保证每张图片中都包含标定板，且每个提取的圆的像素都大于10个像素，采集的标定板示意见图4。

首先通过Find_Caltab与Find_Marks_and_Pose算子确定标定板黑框里的部分和每个圆点的中心并确定其相应的世界坐标，将采集到的参数通过Set_Calib_Data_Observ_Points输入到标定数据模型句柄中，最后调用Calibrate_Cameras算子执行标定。标定后可获得相机的主距、镜头畸变、图像中心点的坐标值以及2个相机的相对位置等参数，结果见表1。

将标定后的2个相机内部参数以及相对位置关系作参数传递给gen_binocular_rectification_map算子，得到2个校正映射，通过map_image函数结合映射图将采集到的图像对校正为标准极线几何结构，经校正后图像对匹配点在同一水平线上并且基线相互平行。校正后相机结构参数见表2。

从标定结果中可以看出，左、右相机的径向畸变值均为负值，说明它们都成桶形畸变，左、右相机的主距相差较小;相机的结构参数中旋转矩阵R为[1.78?14.13?359.98]，说明右相机相对于左相机的x轴旋转1.78°、y轴的方向旋转14.13°、z轴的反方向旋转0.02°，可以判断出右相机几乎只绕左相机的y轴旋转，即2个相机向内倾斜了14.13°;平移矢量T为[18.22?0.09?0.98]，说明右相机在左相机右方18.22 cm、上方0.09 cm、前方0.98 cm的位置。标定结果与相机的实际摆放位置吻合，说明标定结果准确。

2.2?图像预处理

由于草坪种类较多，本研究以常见的地毯草、高羊茅、早熟禾等为试验对象，地毯草如图3所示。每种草坪各采集20幅图像，随机挑选1幅进行试验。图5为地毯草预处理过程，图5-a为右相机采集的地毯草原始RGB图像，首先通过HALCON中decompose3与trans_f-rom_rgb算子将RGB三通道图像转换到HSV颜色空间。通过比较发现，V分量图中草坪与地面的灰度值差别最大，如图5-b所示，故选取V分量图作后续处理。为提高阈值处理的分割效果，利用图像增强emphasize算子，提高叶片与地面的灰度值对比度，灰度值增强图像如图5-c所示。将阈值分割后的图像（图5-d）进行开闭运算等形态学处理，消除细小的干扰项，最后利用select_shape算子中的区域面积与形状等功能对ROI区域进行提取，最终提取结果如图5-f所示。

2.3?特征点检测及匹配

为验证本研究所改进的Forstner特征点算法的可靠性及精度，将“2.2”节中所提取的植物作处理对象，对其进行角点提取，并与传统的Forstner算法作对比。图6-a与图6-b分别为传统Forstner算法和本研究算法的处理结果，表3为所提取特征点的结果统计及时间对比。

通過试验后的图像及结果可知，改进的算法通过增加高通滤波，使得叶片的边缘信息被增强保留，而非边缘部分则被过滤。所以对于同一处理对象而言，虽然改进的算法检测的特征点个数降低，但其准确率与可靠性确有明显提高，而时间差异不太明显。

改进的Forstner算子在保留其较高灵敏性的同时会减少大量伪角点的出现?从而提高了特征点匹配的精度与速度，降低后期植株高度测量的误差。

2.4?植株高度测量

为了检验高度测量算法的可行性与精度，与人工测量值作对比。人工测量是采用直尺测量植株自然状态下的高度，分3次测量并取其平均值作算法测量的参考值。此外，由于草坪植物的种类繁多、区域性广泛，故选取3种不同类型的草坪验证本研究方法的适用性。地毯草与早熟禾相比，地毯草的叶片偏平偏宽，而早熟禾较纤细，两者高度相仿;高羊茅与早熟禾的高度范围是最大的区别，早熟禾正常高度范围为6～30 cm，而高羊茅可达40～120 cm。测量对比结果如表4所示。

分析表4可以看出，本研究算法测量值低于人工测量结果，其主要原因是人工软尺测量的是现实地面至叶片顶端的距离。而在本研究算法的实现过程中，图像预处理算法导致植物叶片底端模糊化，从而使后期的特征点提取和三维平面构造要高于实际地面，所以使测量造成误差，但其相对误差率符合实际需求。3种不同特性的草坪植物的测量结果说明本研究方法具有良好的适用性能。

3?讨论与结论

本研究采用双目立体视觉对草坪植株进行高度测量，验证所提出算法的可行性与准确度。首先对双目系统进行标定获得相机内外参数，将草坪植株灰度图像中的V分量进行图像增强等，然后进行阈值等操作提取出ROI区域。对传统的Foerstner算子加入高通滤波进行改进，使边缘信息进行强化，降低伪角点的个数，试验证明该方法准确率达98%以上且灵敏度较高，响应时间快。利用提取特征点的坐标构建三维平面作假想地面，最后通过叶片顶端特征点的三维坐标与底平面法向量进行点积运算获得植株平均高度，试验表明了所提方法相对误差率较低，可对不同草坪植株进行有效测量，为ZTR割草机刀盘的高度自动调节奠定基础。

参考文献：

[1]王振东，涂洪森. 草坪割草机高度调节机构对作业质量影响分析及其优化设计[J]. 林业机械与木工设备，2004，32（1）：29-30.

[2]Tsubata K，Suzuki K，Mikami S，et al. Recognition of lawn information for mowing robots[C]//International Conference on Autonomous Robots and Agents. IEEE，2009.

[3]林小冬. 自动草坪割草机及其控制系统和方法：CN201210146132.6[P]. 2012-08-22.

[4]Seelan S K，Laguette S，Casady G M，et al. Remote sensing applications for precision agriculture：a learning community approach[J]. Remote Sensing of Environment，2003，88（1/2）：157-169.

[5]阙玲丽. 基于计算机视觉技术的玉米植株高度检测的研究[J]. 农机化研究，2017，39（12）：219-223.

[6]何?晶. 基于图像处理的株高无损测量方法研究[J]. 测控技术，2015，34（4）：39-42.

[7]Overgaard N C. On a modification to the Harris corner detector[EB/OL]. [2018-11-10]. http：//muep.mau.se/bitstream/handle/2043/1239/SSAB03_Harris.pdf.

[8]Remondino F. Detectors and descriptors for photogrammetric applications[J]. International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2006，36（3）：49-54.

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。