本发明涉及数字图像测量领域，提出基于云镜摄系统参数和视频帧的植物三维测量方法和系统。该方法包括：S1云镜摄系统参数标定：轴像距、像方物方对应系数、像移速率俯仰值拟合方程及系数。S2同名像点配准模型：帧间像向量转换模型、光轴运动向量、同名像点二维配准矩阵和差分优化校验。S3点云世界坐标算法：同名像点三维转换矩阵、帧间双光学系统矢量投影关系模型、云镜摄系统运动矢量测量模型、三维点云坐标获取、灰度材质校正因子。S4植物局部测量方法。该系统包括：S1云镜摄系统参数获取模块；S2同名像点配准模块；S3三维测量模块；S4植物局部测量模块。相比其他数字测图技术，无需物方控制点，环境适应强，设备兼容性高，降低了成本。
1.一种基于云镜摄系统参数和视频帧的植物三维测量方法，其特征在于，其步骤包括：S1、对所述云镜摄系统的参数进行标定，获取所述云镜摄系统的轴像距以及像方和物方对应系数；根据所述云镜摄系统的运动规律，获取像平面上像移速率值；对所述像平面上像移速率值与所述云镜摄系统的俯仰值进行拟合，获取拟合的像平面上像移速率值与所述云镜摄系统俯仰值的拟合方程及其系数；
其中，轴像距为图像采集设备的轴心站点与像平面的中心的距离；
S2、根据所述云镜摄系统的参数，建立差分同名像点的几何配准模型，获取帧间同名像点；具体步骤包括：建立差分帧间同名像点的几何配准模型，以从视频帧中获取差分帧间光轴运动向量；建立帧间植物局部图像配准方法和帧间同名像点的二维配准矩阵，以获取目标区域的所有同名像点对；进行配准和差分优化校验，以获取最优配准结果；
S3、根据所述帧间同名像点，获得植物目标部位的点云世界坐标，具体步骤包括：建立同名像点的三维世界坐标转换矩阵；建立帧间双光学系统矢量投影关系模型、建立云镜摄系统运动矢量测量模型进行植物目标部位同名像点的矢量变换；获取目标部位的点云物方三维点云坐标；获取点云坐标的灰度和材质校正因子；
S4、根据所述植物目标部位点云世界坐标，获取待测数据；具体步骤包括：测量叶面积；
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：S11、利用张氏标定法对所述云镜摄系统进行标定，以获取所述云镜摄系统的焦距；利用变焦测距法对所述云镜摄系统进行变焦处理，以获得像素水平像长和像素水平物距；通过所述焦距和所述像素水平物距的光学和几何投影关系，获取该云镜摄系统的轴心站点至像心距，以下简称轴像距；公式如下：其中，dzi为轴像距的像方测度，首先计算光轴与像平面交点即像心点的运动弦长l和物点在光轴上投影的运动弦长L，利用光轴上点的运动速率规律和几何投影关系(1)可求得轴像距的物方测度dz，其中以L和l计算物方和像方运动速度比；θx为光学系统运动前后像平面坐标轴x的夹角，其交点在过站点的轴心上；θy为光学系统运动前后像平面坐标轴y的夹角；θz为光学系统运动前后像平面坐标轴z的夹角；θy＝ω·Δt，其中ω为云台的水平旋转角速度，为云台的俯仰角，Δt为云台运动时间，f为像素水平焦距，w为像素水平物距；
S12、像方物方对应系数Kn(Knx,Kny,Knz)获取，其步骤如下：S121、像平面上的像方物方对应系数Ki(Kix,Kiy)获取；
Kix、Kiy表示像平面上的像方与物方测度的对应系数；在上述S11步骤获得的焦距下，由任选固定刻度距离段X在像平面x、y方向上的投影的物方长度，和其x、y方向像素个数mx和my来获得，公式如下：其中m是像长在x、y轴方向投影的像素数，lx、ly是任选固定物方刻度的像在像平面的x、y轴上的投影物方长度；
S122、由步骤S121获取的Ki(Kix,Kiy)，进一步获取像方物方对应系数的像素等差值ΔK(ΔKx,ΔKy,ΔKz)；
K(w+f)y是在(w+f)物距上y轴的像方和物方对应系数，由任选固定刻度距离段X在y方向上的投影的物方长度与其y方向像素个数来获得，K(w+f)x也同样；公式如下：其中mx和my是像长在x、y轴方向投影的像素数，Xx、Xy是任选的固定物方刻度在x、y轴方向上的投影物方长度，f是标定测得的相机像方焦距，w是对所述云镜摄系统进行变焦处理获得的像素水平物距；
根据所述K(w+f)y和所述Ki(Kix,Kiy)的值，通过如下公式获取ΔK(ΔKx,ΔKy,ΔKz)值：ΔKz的获取由云镜摄系统运动在刻度尺上体现的实际物方变化和上述Kix、Kiy获取；设投影物方坐标分别为(Xwa,Ywa,Zwa)和(Xwb,Ywb,Zwb)，刻度值为C，则：S123、由步骤S122获取的ΔK(ΔKx,ΔKy,ΔKz)，进一步获取像素物距n下的像方与物方的对应系数Kn(Knx,Kny,Knz)的公式如下：S13、通过所述像方与物方的对应系数Kn(Knx,Kny,Knz)和云镜摄系统水平转速ω，获取像平面上像移速率 与俯仰值的拟合方程，其步骤如下:S131、云镜摄系统轴像距和焦距的物方测度获取；
f为标定出的系统像素水平焦距，转换成物方测度的公式如下：其中，dz为轴像距的物方测度，dzi为轴像距的像方测度，fw为焦距的物方测度，ΔKz为像方物方对应系数在z轴方向的像素等差值；
S132、由上所述轴像距和焦距的物方测度及所述Kn(Knx,Kny,Knz)，获取云镜系统机械运动速率；
根据云镜摄系统运动规律，由以下公式获得系统光轴上点的机械运动线速率的x、y和z方向线速率：dz为轴像距的物方测度，Δt是所述云镜摄系统中云台的运动时间，获得与 的关系式如下：
其中， 为像平面上像点在世界坐标中的随云镜摄系统移动的速率，Ki(Kix,Kiy)，为像平面上某焦距下，物方测度与像方测度在机械运动和光学投影变化综合影响下的关联系数；
S133、：由所述 与所述 的关系式，获取像平面上
3.根据权利要求2所述的方法，其特征在于，包括：所述步骤S2包括：S21、帧间像向量的转换模型
其中 为云镜系统光轴运动中止时刻的像点向量， 为为云镜系统光轴起始时刻同一物点的像点向量， 为光轴运动向量；
根据云镜系统的运动和光学向量转换模型，获取像点的像方像移速率；再由获取的云镜摄匀速运动系统进行像点的像移速度，建立云镜摄系统像移速率与帧间像方像点坐标转换公式，如下：其中，(xa,ya)是像移前像点的像方坐标，(xbw,ybw,zbw)是像移后的像点像方世界坐标；
其中，vx是世界坐标x轴上的像方像移速率；vy是世界坐标y轴上的像方像移速率；vz是世界坐标z轴上的像方像移速率；
S23、植物局部图像的配准方法及同名像点的二维坐标转换矩阵利用所述云镜摄系统，对采集的叶片、果实和茎秆部位的图像数据运用窗口程序进行窗口裁剪，运用自适应的田间叶片分割程序对植物局部进行分割，以获取叶片、果实和茎秆的边缘；利用所获取的帧像中的植物局部边缘，运用差分帧配准方法进行配准；配准方法的具体步骤如下：S231、第t帧裁剪和分割；
使用窗口裁剪程序对采集到的温室内植物的现场视屏图像帧进行搜索裁剪，通过自适应分割程序分割并判断其分割结果，选定视频序列中t帧的某分割部位样本边缘和其裁剪框的四个顶点坐标；
S232、利用上述S22所建立的云镜摄系统像移速率与帧间像方像点坐标转换公式，进一步建立云镜系统差分帧间同名像点的坐标二维转换矩阵进行配准；
用坐标转换矩阵(17)将t帧的选定样本部位的裁剪框坐标转换定位到t+n帧植物的实景图像中，裁剪出相应部位的子图；(17)式定位了所有同名像点；
用自适应图像分割程序对视频序列中t+n帧的选定子图部位运行分割，得到t+n帧的植物选定样本部位分割边缘，其中n为差分数；
S234、通过步骤S232所述二维转换矩阵，对t帧和t+n帧的植物选定样本部位边缘进行配准；
使用上述坐标系转换矩阵(17)将得到的第t+n帧的视屏帧像的局部分割边缘坐标转换到第t帧的坐标系，配准完成；
经过上述步骤S234坐标系转换后，计算第t帧坐标系下第t帧和第t+n帧的两个植物局部边缘坐标类间方差和视差系数，衡量其配准精度；
其中，t为某视频流中的任一时间点，n是时间点t之后的顺序差分第n帧数；利用类间方差法获取不同差分值下的配准精度，用以评估不同差分数对帧间像平面图像配准结果的影响，进一步获得最优配准差分域，并以所述最优配准差分域作为配准的差分域；并进一步取用两个差分帧图像的植物目标部位边缘轮廓内部区域函数f＝fa∪fb作为上述配准结果，同时设置视差系数 其中S为轮廓内部区域像素个数；其中fa为两个差分帧图像中a图中植物目标部位轮廓内部区域函数，同样fb为两个差分帧图像中b图中植物目标部位轮廓内部区域函数，在优化的差分域内，选取视差系最小的配准结果；
上述公式(14)、(15)、(16)和(17)及配准步骤和优化校验共同构成了差分帧间同名像点的几何配准模型。
4.根据权利要求3所述的方法，其特征在于，所述步骤S3包括：S31、同名像点的三维世界坐标转换矩阵
将二维同名像点变换成物方测度，则所述差分帧间世界坐标转换矩阵如下:则由同名像点对(a,b)中的a(xa,ya,za)＝a(xaw,yaw,zaw)的世界坐标，进一步求得a(Xaw,Yaw,0)＝a[(xaw·Kix),(yaw·Kiy),0]，进而可求得b(Xbw,Ybw,Zbw)的物方世界坐标，进一步可求得物点的物方世界坐标；其中像方和物方坐标分别用小写(x,y,z)和大写字母(X,Y,Z)表示，以下同此处；
通过物方点在像平面的投影与光学成像的关系，建立了如下帧间双光学系统矢量投影关系模型方程：其中
Ki(Kix,Kiy)为像平面上像方测度和物方测度的对应系数；(xa,ya)、(xb,yb)为像方点的像方坐标； 为物方点的物方世界坐标，即在像a坐标系中的坐标；
为物方点在像b坐标系中的坐标； 为同一物点在两个差分帧图像上的分别成像点的向量的物方长度；
通过光轴上点运动x、y和z方向速度关系，建立运动矢量测量模型公式如下:其中dz为轴像距的物方测度， 为俯仰角，θy＝ω·Δt，ω为水平角速率，S34、植物目标部位三维点云坐标获取方法根据目标区域内物方点的物方世界坐标，在上述S23所获取的差分域内，运用上述(19)、(20)和(21)组成方程组，获取物方点云的世界坐标 实现所述目标区域的三维待测量数据获取；
校正上述三维点云坐标时采用在点云坐标值上叠加灰度和材质校正因子(Δx,Δy,Δz)的方法；该方法以朗伯体模型为基础，把叶曲面的像素微面元作为朗伯体球面的切平面，(Δx,Δy,Δz)的获取是通过从阴影恢复三维的方法，过程如下：设叶曲面像素微面元的法矢量表示为：Δn＝(A,B,C)；
且对于叶曲面函数Δz＝f(Δx,Δy)，且f(Δx,Δy)是有界闭区域Ω上的有界函数，且f(x,y)在任一点的一阶偏导数fx,fy均连续；则表面面元的法矢量可用一阶导数表示为设 则面元的法矢量可表示为：Δn＝(p,q,-1)；
其中公式中的f示像素点的灰度值，p为指数函数拟合法矢量方向，q为二次多项式拟合法矢量方向；anm为系数列矩阵的元素；
通过初始值dz0的设定，建立初始朗伯球面方程，和四邻域遍历的迭代路径，几何迭代关系如下；球面方程一般迭代方程为：球心坐标迭代方程为：
设迭代的初始点(Δx0,Δy0,Δz0)的初始值如下：
其中 E0是初始迭代点的灰度值，Emin是全局最小灰度值，Emax是全局最大灰度值；pn为第n次迭代的法矢量p方向；qn为第n次迭代的法矢量q方向；Rn为第n次迭代的朗伯体球的半径；(Δxn,Δyn,Δzn)为朗伯体球面方程坐标； 为第n次迭代的朗伯体球心坐标；(Δx0,Δy0,Δz0)为迭代的初始点；(p0，q0，-1)是初始迭代点的法矢量；
将计算出的基于表面灰度和材质因素的校正因子(Δx,Δy,Δz)，添加到帧间差分测量得到的点云坐标，得到校正点云坐标[(x+Δx),(y+Δy),(z+Δz)]，则(Δxa,Δya,Δza)为差分第a帧某一像点的朗伯体球面方程坐标；
(Δxb,Δyb,Δzb)为差分第b帧所述某一像点的朗伯体球面方程坐标；
由(19)、(27)和(21)组成方程组，获取校正后的点云物方世界坐标。
5.根据权利要求4所述的方法，其特征在于，所述步骤S4包括：根据所述云镜摄系统的参数和所述植物目标部位的物方世界坐标，对叶面积、体积和茎秆直径的数字图像进行测量。
6.一种基于云镜摄系统参数和视频帧的植物三维测量系统，其特征在于，包括：云镜摄系统参数获取模块，用于对所述云镜摄系统进行标定，获取所述云镜摄系统的轴像距以及像方和物方对应系数；根据所述云镜摄系统运动规律，获取像平面上像移速率值；对所述像平面上像移速率值与所述云镜摄系统的俯仰值进行拟合，获取拟合像平面上像移速率值与云镜摄系统俯仰值的拟合方程及其系数；
其中，轴像距为图像采集设备的轴心站点与像平面的中心的距离；
同名像点配准模块，用于差分同名像点的几何配准，包括：建立差分帧间同名像点的几何配准模型，以从视频帧中获取差分帧间光轴运动向量；建立帧间植物局部图像配准方法和帧间同名像点的二维配准矩阵，以获取目标区域的所有同名像点对；进行配准和差分优化校验，以获取最优配准结果；
三维坐标测量模块，用于获取植物目标部位的点云世界坐标，包括：建立同名像点的三维世界坐标转换矩阵；建立帧间双光学系统矢量投影关系模型、建立云镜摄系统运动矢量测量模型进行植物目标部位同名像点的矢量变换；获取点云坐标灰度和材质校正因子，目标点云的物方三维世界坐标获取；
植物局部测量模块，用于根据所述植物目标部位点云世界坐标，获取待测数据，包括：测量叶面积；测量果实体积；测量茎秆直径。
7.根据权利要求6所述的系统，其特征在于，所述云镜摄系统参数获取模块用于：利用张氏标定法对所述云镜摄系统进行标定，以获取所述云镜摄系统的焦距；利用变焦测距法对所述云镜摄系统进行变焦处理，以获得像素水平像长和像素水平物距；通过所述焦距和所述像素水平物距的光学和几何投影关系，获取该云镜摄系统的轴心站点至像心距，以下简称轴像距；公式如下：上式中dzi为轴像距的像方测度；首先计算光轴与像平面交点即像心点的运动弦长l和物点在光轴上投影的运动弦长L，利用光轴上点的运动速率规律和几何投影关系(1)可求得轴像距的物方测度dz，其中θx为光学系统运动前后像平面坐标轴x的夹角，其交点在过站点的轴心上；θy为光学系统运动前后像平面坐标轴y的夹角；θz为光学系统运动前后像平面坐标轴z的夹角；θy＝ω·Δt，其中ω为云台的水平旋转角速度， 为云台的俯仰角，Δt为云台运动时间；f为像素水平焦距，w为像素水平物距；以下所有标识与此处相同；
所述云镜摄系统参数获取模块还用于，获取像方物方对应系数Kn(Knx,Kny,Knz)，具体特征如下，包括：获取像平面上的像方物方对应系数Ki(Kix,Kiy)获取；
Kix、Kiy表示像平面上的像方与物方测度的对应系数；在上述步骤获得的焦距下，由任选固定刻度距离段X在像平面x、y方向上的投影的物方长度，和其x、y方向像素个数mx和my来获得，公式如下：其中m是像长在x、y轴方向投影的像素数，lx、ly是任选固定物方刻度的像在像平面的x、y轴上的投影物方长度；
根据所述Ki(Kix,Kiy)，进一步获取像方物方对应系数的像素等差值ΔK(ΔKx,ΔKy,ΔKz)；
K(w+f)y是在(w+f)物距上y轴的像方和物方对应系数，由任选固定刻度距离段X在y方向上的投影的物方长度与其y方向像素个数来获得，K(w+f)x也同样；公式如下：其中，mx和my是像长在x、y轴方向投影的像素数，Xx、Xy是任选的固定物方刻度在x、y轴方向上的投影物方长度，f是标定测得的相机像方焦距，w是对所述云镜摄系统进行变焦处理获得的像素水平物距；
根据所述K(w+f)y和所述Ki(Kix,Kiy)的值，通过如下公式获取ΔK(ΔKx,ΔKy,ΔKz)值：ΔKz的获取由云镜摄系统运动在刻度尺上体现的实际物方变化和上述Kix、Kiy获取；设投影物方坐标分别为(Xwa,Ywa,Zwa)和(Xwb,Ywb,Zwb)，刻度值为C，则：由所述ΔK(ΔKx,ΔKy,ΔKz)，通过如下公式，获取像素物距n下的像方与物方的对应系数Kn(Knx,Kny,Knz)的公式如下：所述云镜摄系统参数获取模块还用于：
通过所述像方与物方的对应系数Kn(Knx,Kny,Knz)和云镜摄系统水平转速ω，获取像平面上像移速率 与俯仰值的拟合方程，具体特征如下:获取云镜摄系统轴像距和焦距的物方测度；
f为标定出的系统像素水平焦距，转换成物方测度的公式如下：其中，dz为轴像距的物方测度，dzi为轴像距的像方测度，fw为焦距的物方测度，ΔKz为像方物方对应系数在z轴方向的像素等差值；
由所述轴像距和焦距的物方测度及所述Kn(Knx,Kny,Knz)，进一步获取云镜系统机械运动速率；
根据云镜摄系统运动规律，由以下公式获得系统光轴上点的机械运动线速率的x、y和z方向线速率：dz为轴像距的物方测度，Δt是云台运动时间；获得 与
其中， 为像平面上像点在世界坐标中的随云镜摄系统移动的速率，Ki(Kix,Kiy)，为像平面上某焦距下，物方测度与像方测度在机械运动和光学投影变化综合影响下的关联系数；
8.根据权利要求7所述的系统，其特征在于，所述同名像点配准模块用于：帧间像向量的转换模型
其中 为云镜系统光轴运动中止时刻的像点向量， 为为云镜系统光轴起始时刻同一物点的像点向量， 为光轴运动向量；
根据云镜系统的运动和光学向量转换模型，获取像点的像方像移速率；再由获取的云镜摄匀速运动系统进行像点的像移速度，建立云镜摄系统像移速率与帧间像方像点坐标转换公式，如下：其中，(xa,ya)是像移前像点的像方坐标，(xbw,ybw,zbw)是像移后的像点像方世界坐标；
vx是世界坐标x轴上的像方像移速率；vy是世界坐标y轴上的像方像移速率；vz是世界坐标z轴上的像方像移速率，则光轴运动向量表示为：植物局部图像的配准方法及同名像点的二维坐标转换矩阵
利用上述云镜摄系统，运用窗口程序对在自然光条件下采集的田间植物图像的叶片、果实和茎秆部位的图像数据进行窗口裁剪，运用自适应的田间叶片分割程序对植物局部进行分割，以获取叶片、果实和茎秆的边缘；进一步利用所获取的帧像中的植物局部边缘，运用差分帧配准方法进行配准；
使用窗口裁剪程序对采集到的温室内植物的现场视屏图像帧进行搜索裁剪，通过自适应分割程序分割并判断其分割结果，选定视频序列中t帧的某分割部位样本边缘和其裁剪框的四个顶点坐标；
利用所述云镜摄系统像移速率与帧间像方像点坐标转换公式，进一步建立云镜系统差分帧间同名像点的坐标二维转换矩阵；
用坐标转换矩阵(17)将t帧的选定样本部位的裁剪框坐标转换定位到t+n帧植物的实景图像中，裁剪出相应部位的子图；(17)式定位了所有同名像点；
用自适应图像分割程序对视频序列中t+n帧的选定子图部位运行分割，得到t+n帧的植物选定样本部位分割边缘，其中n为差分数；
通过所述二维转换矩阵，对t帧和t+n帧的植物选定样本部位边缘进行配准；
使用上述坐标系转换矩阵(17)将得到的第t+n帧的视屏帧像的局部分割边缘坐标转换到第t帧的坐标系，配准完成；
计算第t帧坐标系下第t帧和第t+n帧的两个植物局部边缘坐标类间方差和视差系数，衡量其配准精度；
其中，t为某视频流中的任一时间点，n是时间点t之后的顺序差分第n帧数；利用类间方差法获取不同差分值下的配准精度，用以评估不同差分数对帧间像平面图像配准结果的影响，进一步获得最优配准差分域，并以所述最优配准差分域作为配准的差分域；并进一步取用两个差分帧图像的植物目标部位边缘轮廓内部区域函数f＝fa∪fb作为上述配准结果，同时设置视差系数 其中S为轮廓内部区域像素个数；其中fa为两个差分帧图像中a图中植物目标部位轮廓内部区域函数，同样fb为两个差分帧图像中b图中植物目标部位轮廓内部区域函数，在优化的差分域内，选取视差系最小的配准结果；
上述公式(14)、(15)、(16)和(17)及配准步骤和优化校验共同构成了差分帧间同名像点的几何配准模型。
9.根据权利要求8所述的系统，其特征在于，所述三维坐标测量模块用于：同名像点的三维世界坐标转换矩阵，将二维同名像点变换成物方测度，则差分帧间世界坐标转换矩阵如下:则由同名像点对(a,b)中的a(xa,ya,za)＝a(xaw,yaw,zaw)的世界坐标，进一步求得a(Xaw,Yaw,0)＝a[(xaw·Kix),(yaw·Kiy),0]，进而可求得b(Xbw,Ybw,Zbw)的物方世界坐标，进一步可求得物点的物方世界坐标；其中像方和物方坐标分别用小写(x,y,z)和大写字母(X,Y,Z)表示；
通过物方点在像平面的投影与光学成像的关系，建立了如下帧间双光学系统矢量投影关系模型方程：其中
Ki(Kix,Kiy)为像平面上像方测度和物方测度的对应系数；(xa,ya)、(xb,yb)为像方点的像方坐标； 为物方点的物方世界坐标，即在像a坐标系中的坐标；
为物方点在像b坐标系中的坐标； 为同一物点在两个差分帧图像上的分别成像点的向量的物方长度；
通过光轴上点运动x、y和z方向速度关系，建立运动矢量测量模型公式如下:其中dz为轴像距的物方测度，为俯仰角，θy＝ω·Δt，ω为水平角速率，根据目标区域内物方点的物方世界坐标，在所获取的差分域内，运用上述(19)、(20)和(21)组成方程组，解得物方点云的世界坐标 实现所述目标区域的三维待测量数据获取；
校正上述三维点云坐标时采用在点云坐标值上叠加灰度和材质校正因子(Δx,Δy,Δz)的方法；该方法以朗伯体模型为基础，把叶曲面的像素微面元作为朗伯体球面的切平面，(Δx,Δy,Δz)的获取是通过从阴影恢复三维的方法；
将计算出的基于表面灰度和材质因素的校正因子(Δx,Δy,Δz)，添加到帧间差分测量得到的点云坐标，得到校正点云坐标[(x+Δx),(y+Δy),(z+Δz)]，则(Δxa,Δya,Δza)为差分第a帧某一像点的朗伯体球面方程坐标；
(Δxb,Δyb,Δzb)为差分第b帧所述某一像点的朗伯体球面方程坐标；
由(19)、(27)和(21)组成方程组，获取校正后的点云物方世界坐标。
10.根据权利要求9所述的系统，其特征在于，所述三维坐标测量模块用于：根据所述云镜摄系统的参数和所述植物目标部位的物方世界坐标，对叶面积、体积和茎秆直径的数字图像进行测量。
基于云镜摄系统参数和视频帧的植物三维测量方法和系统
技术领域
[0001] 本发明涉及数字图像测量技术领域，尤其涉及基于云镜摄系统参数和视频帧的植物三维测量方法和系统。
背景技术
[0002] 目前，农业数字化生产管理是农业信息化的重要内容。叶片是植物制造营养物质的重要器官，是植物生长和结果的基础；果实是植物重要的功能器官；茎秆是植物重要的营养传导器官。因此，通过实时获取田间植物的果、叶、茎的性状特征参数，判断植物生长状态对实现农业数字化管理具有重要意义。
[0003] 随着物联网技术的发展，数字图像的采集和应用也得到了极大的重视和长足的发展，从田间植株的数字图像解析中获取的农田大数据可以使农业智能系统真正应用到农业生产中去，但传感器应用和传感数据的解析一直以来都是制约农田作物数据获取的瓶颈。利用数字图像进行的植株测量技术的滞后制约着农业图像信息处理的发展。
发明内容
[0004] 针对现有技术中的缺陷，本发明提供了基于云镜摄系统参数和视频帧的植物三维测量方法及系统，该发明的数字图像测量方法无需控制点、提高了三维测量设备的环境适应和设备兼容性。
[0005] 要解决的技术问题
[0006] 本发明要解决的技术问题是利用成本较低、环境适应强和设备兼容性高的普通CCD和CMOS传感器，并且无需物方控制点，来进行温室自然光环境下的植物果叶茎测量的技术和方法，以克服一些高精度和高成本设备的应用缺陷。
[0007] 技术方案
[0008] 为了解决上述技术问题，本发明提出了一种基于云镜摄参数和视频帧的植物三维测量方法，包括以下步骤：
[0009] S1.对云镜摄系统外部参数的标定方法，其优选的步骤包括：测量云镜摄系统的轴像距；获取像方和物方对应系数的方法；建立像平面上像移速率值与云镜摄系统俯仰值的拟合方程及其系数。
[0010] S2差分同名像点的几何配准模型，其优选的步骤包括：由帧间像平面的几何关系，建立基于运动和光学向量的向量转换模型；进一步获取差分帧间光轴运动向量；由自适应图像分割算法分割获得的帧间叶片、果实或茎杆等的边缘坐标，进一步利用帧间图像配准方法及同名像点的二维坐标转换矩阵，进行其边缘的帧间同名像点配准，并获取最优的配准结果。
[0011] S3获取植株目标部位的点云世界坐标的方法，其优选的步骤包括：建立同名像点的三维世界坐标转换矩阵；建立帧间双光学系统矢量投影关系模型、建立云镜摄系统运动矢量测量模型；点云坐标灰度和材质校正因子计算方法。
[0012] S4植物局部测量的方法，其优选的步骤包括：
[0013] 采用上述基于云镜摄参数和视频帧的测量方法获得的植物测量部位物方世界坐标，直接进行叶面积、体积和茎秆直径等的数字图像测量。
[0014] 本发明还提供了一种基于云镜摄系统参数和视频帧的植物三维测量的系统，具体包括：
[0015] 云镜摄参数获取模块，对云镜摄系统外部参数的标定方法，其特征在于，包括：获取云镜摄系统的轴像距；获取像方和物方对应系数的方法；建立像平面上像移速率值与云镜摄系统俯仰值的拟合方程。
[0016] 同名像点配准模块，差分同名像点的几何配准模型，其特征在于，包括：建立基于运动和光学向量的向量转换模型；差分帧间光轴运动向量的求解方法；帧间植株局部图像配准方法；建立帧间同名像点的二维配准矩阵；进行配准的方法和获取最优的配准结果。
[0017] 三维坐标测量模块，获取植株目标部位的点云世界坐标的方法，其特征在于，包括：建立同名像点的三维世界坐标转换矩阵；建立帧间双光学系统矢量投影关系模型，建立云镜摄系统运动矢量测量模型；获取点云坐标灰度和材质校正因子方法；获取三维点云物方世界坐标的方法。
[0018] 植物局部测量模块，植物局部测量的方法，其特征在于，包括：采用上述基于云镜摄系统的参数和视频帧的测量方法获得的植物测量部位物方世界坐标，直接进行叶面积测量、果实体积测量、茎秆直径测量。
附图说明
[0019] 通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
[0020] 图1为本发明一实施例提供的基于云镜摄系统参数和视频帧的植物三维测量方法的流程图；
[0021] 图2为本发明一实施例提供的变焦测量法的示意图；
[0022] 图3为本发明一实施例提供的配准过程的效果示意图；
[0023] 图4为本发明一实施例提供的图像采集设备的运动几何投影关系示意图；
[0024] 图5为本发明一实施例提供的差分帧间双光学系统投影关系示意图；
[0025] 图6为本发明一实施例提供的基于云镜摄系统参数和视频帧的植物三维测量系统的结构示意图。
具体实施方式
[0026] 下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0027] 如图1所示，本发明实施例提供的基于云镜摄系统参数和视频帧的植物三维测量方法，包括以下步骤：
[0028] S1.对云镜摄系统外部参数的标定方法，其优选的步骤包括：测量云镜摄系统的轴像距，即图像采集设备的轴心站点与像平面的中心的距离；求解像方和物方对应系数的方法；建立像平面上像移速率值与云镜摄系统俯仰值的拟合方程。
[0029] S2.差分同名像点的几何配准模型，其优选的步骤包括：建立运动和光学向量转换模型；差分帧间光轴运动向量的求解方法；帧间植株局部图像配准方法；建立帧间同名像点的二维配准矩阵；进行配准和差分优化校验获取最优值。
[0030] S3.计算植株目标部位的点云世界坐标的方法，其优选的步骤包括：建立同名像点的三维世界坐标转换矩阵；建立帧间双光学系统矢量投影关系模型、建立云镜摄系统运动矢量测量模型；点云坐标灰度和材质校正因子计算方法。
[0031] S4.植物局部测量的方法，其优选的步骤包括：采用上述基于云镜摄参数和视频帧的测量方法获得的植物测量部位物方世界坐标，直接进行叶面积测量、果实体积测量茎秆直径测量的方法。
[0032] 上述的方法从同一视频流中截取植物图像，并对植物图像进行分割、配准处理，以计算植物的三维物方坐标，进而完成对植物的测量。相比于现有的利用数字图像进行植株测量的技术，无需控制点，计算简化、环境适应强、设备兼容性高，同时降低了成本。参照图1，该方法包括以下优选的步骤：
[0033] S1具体包括：
[0034] S11获取云镜摄系统的轴像距，包括：
[0035] 利用张氏标定法标定焦距；利用变焦测量模型计算出像方像素水平物距和像素水平像长，参照图2，像素水平物距和像长测量公式：
[0036]
[0037]
[0038] 其中，x为物方像高，f为像素水平焦距，l1和l2为像素水平像方像高，w为像素水平物距。
[0039] 参照图4，根据光轴与像平面交点即像心点的运动弦长l和物点在光轴上投影的运动弦长L，利用几何投影关系可求得轴像距。公式如下：
[0040]
[0041] 其中，dzi为轴像距dz的像方测度。
[0042] 首先计算光轴与像平面交点即像心点的运动弦长l和物点在光轴上投影的运动弦长L，利用光轴上点的运动速率规律和几何投影关系(1)可求得轴像距dzi的像方测度，其中θx为光学系统运动前后像平面坐标轴x的夹角，其交点在过站点的轴心上；θy为光学系统运动前后像平面坐标轴y的夹角；θz为光学系统运动前后像平面坐标轴z的夹角。θy＝ω·Δt，[0043] 其中，ω为云台的水平旋转角速度， 为云台的俯仰角，Δt为云台运动时间。f为像素水平焦距，w为像素水平物距。以下所有标识与此处相同。
[0044] S12，获取云镜摄系统的像方物方对应系数Kn(Knx,Kny,Knz)，其优选的步骤如下：
[0045] 步骤一：获取像平面上的像方物方对应系数Ki(Kix,Kiy)；
[0046] Kix、Kiy表示像平面上的像方与物方测度的对应系数。在S11获得的焦距下，由任选固定刻度距离段X在像平面x、y方向上的投影的物方长度，和其x、y方向像素个数mx和my来获得，公式如下：
[0047]
[0048] 其中，m是像长在x、y轴方向投影的像素数，lx、ly是任选固定物方刻度的像在像平面的x、y轴上的投影物方长度。
[0049] 步骤二：根据步骤一获取的Ki(Kix,Kiy)，进一步获取像方物方对应系数的像素等差值ΔK(ΔKx,ΔKy,ΔKz)；
[0050] K(w+f)y是在(w+f)物距上y轴的像方和物方对应系数，由任选固定刻度距离段X在y方向上的投影的物方长度与其y方向像素个数来获得，K(w+f)x也同样；公式如下：
[0051]
[0052] 其中，mx和my是像长在x、y轴方向投影的像素数，Xx、Xy是任选的固定物方刻度在x、y轴方向上的投影物方长度，f是标定测得的相机像方焦距，w1、w2均是对所书云镜摄系统进行变焦处理获得的像素水平物距。
[0053] 根据K(w+f)y和步骤一获取的Ki(Kix,Kiy)值，进一步通过以下公式获取ΔK(ΔKx,ΔKy,ΔKz)值：
[0054]
[0055] ΔKz由云镜摄系统运动在刻度尺上体现的实际物方变化和上述Kxi、Kyi获取。设投影物方坐标分别为(Xwa,Ywa,Zwa)和(Xwb,Ywb,Zwb)，刻度值为C，则：
[0056]
[0057] 步骤三：由上述步骤二获取的ΔK(ΔKx,ΔKy,ΔKz)，进一步获取像素物距n下的像方与物方的对应系数Kn(Knx,Kny,Knz)的公式如下：
[0058]
[0059] S13，根据所述云镜摄系统的运动规律，获取像平面上像移速率值，具体包括：
[0060] 通过S12获取的像方与物方的对应系数Kn(Knx,Kny,Knz)和云镜摄系统水平转速ω，其中，该水平转速由云镜摄系统中智能云台的固有参数中获取；进一步获取像平面上像移速率 与俯仰值的拟合方程，其优选的步骤如下：
[0061] 步骤一：获取云镜摄系统的轴像距和焦距的物方测度；
[0062] 轴像距的像方物方测度换算公式如下：
[0063]
[0064] f为标定出的系统像素水平焦距，转换成物方测度的公式如下：
[0065]
[0066] 其中，dz为轴像距的物方测度，dzi为轴像距的像方测度，fw为焦距的物方测度，ΔKz为像方物方对应系数在z轴方向的像素等差值；
[0067] 步骤二：由上述步骤一获取的轴像距和焦距的物方测度及S12获取的Kn(Knx,Kny,Knz)，进一步获取云镜系统机械运动速率；
[0068] 根据云镜摄系统运动规律，系统光轴上点的机械运动线速率 的x、y和z方向线速率，由以下公式获得：
[0069]
[0070] 其中，dz为轴像距的物方测度，Δt是云台运动时间。
[0071] 当焦距一定时，经过正畸后的像平面上所有像点机械像移速率一致，获得与 的关系式如下：
[0072]
[0073] 其中， 为像平面上像点在世界坐标中的随云镜摄系统移动的速率，即为像平面上像移速率值；Ki(Kix,Kiy)为像平面上某焦距下，物方测度与像方测度在机械运动和光学投影变化综合影响下的关联系数。
[0074] 步骤三：对所述像平面上像移速率值与所述云镜摄系统的俯仰值进行拟合，包括：
[0075] 由上述步骤二获取的 与 的关系式，进一步获取像平面上像移速率值 与俯仰值 的拟合方程；
[0076] vy与 的拟合方程如下：
[0077]
[0078] 与 的拟合方程如下：
[0079]
[0080] vz与 的拟合方程如下：
[0081]
[0082] S2，根据所述云镜摄系统的参数，建立差分同名像点的几何配准模型，获取帧间同名像点，具体包括：
[0083] S21帧间像向量的转换模型
[0084]
[0085] 其中 为云镜系统光轴运动中止时刻的像点向量，为为云镜系统光轴起始时刻同一物点的像点向量， 为光轴运动向量。
[0086] S22获取差分帧间光轴运动向量 包括：
[0087] 根据上述S12所述云镜系统的运动和光学向量转换模型，获取像点的像方像移速率；再由获取的云镜摄匀速运动系统进行像点的像移速度，建立云镜摄系统像移速率与帧间像方像点坐标转换公式，如下：
[0088]
[0089] 其中，(xa,ya)是像移前像点的像方坐标，(xbw,ybw,zbw)是像移后的像点像方世界坐标；则光轴运动向量表示为：
[0090]
[0091] S23，建立帧间植株局部图像的配准方法及帧间同名像点的二维坐标转换矩阵，包括：
[0092] 利用上述云镜摄系统，运用窗口程序对在自然光条件下采集的田间植株图像的叶片、果实和茎秆等部位的图像数据进行窗口裁剪，运用自适应的田间叶片分割程序对植株局部进行分割，以获取叶片、果实和茎秆的边缘；进一步利用所获取的帧像中的植株局部边缘，运用帧间植株局部图像配准方法进行配准；
[0093] 图3为本发明一实施例提供的配准过程的效果示意图，参照图3，下面对配准和差分优化校验进行详细说明：
[0094] 步骤一：第t帧裁剪和分割；
[0095] 使用窗口裁剪程序对采集到的温室内植株的现场视屏图像帧进行搜索裁剪获取t帧裁剪子图(参照图3中的子图a)，通过自适应分割程序分割并判断其分割结果图(参照图3中的子图b)，选定视频序列中t帧的某分割部位样本边缘和其裁剪框的四个顶点坐标；
[0096] 步骤二：利用云镜摄系统像移速率与帧间像方像点坐标转换公式，进一步建立云镜系统帧间同名像点的二维转换配准矩阵；
[0097]
[0098] 用坐标转换矩阵(17)将t帧的选定样本部位的裁剪框坐标转换定位到t+n帧植株的实景图像中，裁剪出相应部位的子图。(17)式定位了所有同名像点。
[0099] 步骤三：第t+n帧裁剪；
[0100] 使用窗口裁剪程序对采集到的温室内植株的现场视屏图像帧进行搜索裁剪获取t帧裁剪子图(参照图3中的子图c)，用自适应图像分割程序对视频序列中t+n帧的选定子图部位运行分割，得到t+n帧的植物选定样本部位分割边缘(参照图3中的子图d)，其中n为差分数；
[0101] 步骤四：通过上述步骤二所述二维转换矩阵，对t帧和t+n帧的植物选定样本部位边缘进行配准；
[0102] 使用坐标系转换矩阵将得到的第t+n帧的视屏帧像的局部分割边缘坐标转换到第t帧的坐标系(参照图3中的子图e)，配准完成(参照图3中的子图f)；
[0103] 步骤五：差分优化校验。
[0104] 经过上述步骤四坐标系转换后，计算第t帧坐标系下第t帧和第t+n帧的两个植株局部边缘坐标类间方差和视差系数，衡量其配准精度。
[0105] 上述五个步骤中，t为某视频流中的任一时间点，n是时间点t之后的顺序差分第n帧数。利用类间方差法获取不同差分值下的配准精度，用以评估不同差分数对帧间像平面图像配准结果的影响，进一步获得最优配准差分域，并以该优化差分域内作为配准的差分域；并进一步取用两个差分帧图像的植物目标部位边缘轮廓内部区域函数f＝fa∪fb作为上述配准结果，同时设置视差系数 其中S为轮廓内部区域像素个数。其中fa为两个差分帧图像中a图中植物目标部位轮廓内部区域函数，同样fb为两个差分帧图像中b图中植物目标部位轮廓内部区域函数，在优化的差分域内，选取视差系最小的配准结果。
[0106] 上述公式(14)、(15)、(16)和(17)及配准步骤和优化校验共同构成了差分帧间同名像点的几何配准模型。
[0107] S3，根据所述帧间同名像点，获得植株目标部位的点云世界坐标，具体包括：
[0108] S31，建立同名像点的三维世界坐标转换矩阵，包括：
[0109] 将二维同名像点变换成物方测度，则差分帧间世界坐标转换矩阵如下:
[0110]
[0111] 由同名像点对(a,b)中的a(xa,ya,za)＝a(xaw,yaw,zaw)的世界坐标，获取a(Xaw,Yaw,0)＝a[(xaw·Kix),(yaw·Kiy),0]，进而可求得b(Xbw,Ybw,Zbw)的物方世界坐标，进一步可求得物点的物方世界坐标。本发明中像方世界坐标和物方世界坐标分别用小写(x,y,z)和大写字母(X,Y,Z)表示。
[0112] S32建立帧间双光学系统矢量投影关系模型，包括：
[0113] 通过物方点在像平面的投影与光学成像的关系，参照图5，建立了如下帧间双光学系统矢量投影关系模型方程：
[0114]
[0115] 其中，
[0116] Ki(Kix,Kiy)为像平面上像方测度和物方测度的对应系数；(xa,ya)、(xb,yb)为像方点的像方坐标； 为物方点的物方世界坐标，即在像a坐标系中的坐标；为物方点在像b坐标系中的坐标； 为同一物点在两个差分帧图像上的分
别成像点的向量的物方长度。
[0117] S33，建立云镜摄系统运动矢量测量模型，包括：
[0118] 通过光轴上点运动x、y和z方向速度关系，参照图4，建立运动矢量测量模型公式如下:
[0119]
[0120] 其中d为轴像距， 为俯仰角，θy＝ω·Δt，ω为水平角速率，
[0121] S34，获取目标部位的点云物方三维点云坐标，包括：
[0122] 根据目标区域内物方点的物方世界坐标，在上述S23所获取的差分域内，运用上述(19)、(20)和(21)组成方程组，解得物方点云的世界坐标 实现植物目标部位的三维待测量数据获取。
[0123] S35，获取点云坐标的灰度和材质校正因子，包括：
[0124] 校正上述三维点云坐标时采用在点云坐标值上叠加灰度和材质校正因子(Δx,Δy,Δz)的方法。该方法以朗伯体模型为基础，把叶曲面的像素微面元作为朗伯体球面的切平面，(Δx,Δy,Δz)的获取是通过从阴影恢复三维的方法。
[0125] 将迭代方程计算出的基于表面灰度和材质因素的校正因子(Δx,Δy,Δz)，添加到帧间差分测量得到的点云坐标，得到校正点云坐标[(x+Δx),(y+Δy),(z+Δz)]，则[0126]
[0127] 由(19)、(27)和(21)组成方程组，获取校正后的点云物方世界坐标。
[0128] S4，根据所述植物目标部位点云世界坐标，获取待测数据，具体包括：
[0129] 利用上述S2步骤获取的差分域和最小视差系数，并利用S3步骤所获取的点云坐标，对植株目标部位进行测量。
[0130] 下面对步骤S4中的三维目标部位的测量进行详细说明，此处仅举例说明了植物叶片面积、果实体积以及茎秆直径的测量方法，并不代表本发明的作用仅用于此。
[0131] 其优选的步骤包括：
[0132] S41叶片面积测量方法
[0133] 假设叶面或果实等植株局部所在区域为D，取恢复得到的三维形态的三角网格上任意三角面片的三点坐标分别是(x1,y1,z1)，(x2,y2,z2)，(x3,y3,z3)，f(x,y)的表达式，则在区域D中，叶片面积S有如下关系：
[0134]
[0135]
[0136] S42果实体积测量方法
[0137] 植物果实体积计算可利用上述与叶片面积计算一样的方法建立三角面片，构建曲面。用伪高程数据和arcGIS函数，计算曲面下体积的方法，来计算果实的半体积。或者采用下述近似方法：
[0138] 植物果实形态各异，以椭圆型、圆柱型、圆锥型等几何形状拟合，得到了较好的效果。利用自适应分割程序分割含有果实图像的子图，获得果实的封闭图像边缘。再利用matlab函数获取果实封闭边缘的像方几何最长轴和最短轴，利用上述(19)、(22)和(21)组成方程组求解最长轴和最短轴的端点坐标，求得果实三维点云的物方最长轴L和物方最短轴l。
[0139] 则锥体型果实，如草莓等体积以如下公式近似为
[0140]
[0141] 椭球型果实，小的如小麦和水稻的籽粒，大的如西红柿、苹果等体积以如下公式近似为
[0142]
[0143] 圆柱型果实，如玉米、黄瓜和茄子等体积以如下公式近似为
[0144] V＝π·l2·L (24)
[0145] S43茎秆直径测量方法
[0146] 利用自适应分割程序分割含有茎秆图像的子图，获得茎秆的图像边缘。在图像边缘上利用截图工具获得待测部位间的像方测度，换算成物方测度即可得到茎秆直径。
[0147] 本发明还提供基于云镜摄系统参数和视频帧的植物三维测量的系统，如图6所示，该系统包括：
[0148] 云镜摄参数获取模块61：用于对图像采集设备进行标定，获取云镜摄系统的轴像距、焦距和物距；获取像方和物方对应系数；建立像平面上像移速率值与云镜摄系统俯仰值的拟合方程及其系数，以获取不同俯仰值下的像移速率。
[0149] 同名像点配准模块62：用于建立差分同名像点的几何配准模型，包括：建立运动和光学向量坐标系转换模型以从视频帧中获取差分帧间光轴运动向量；建立帧间植株局部图像配准方法和帧间同名像点的二维配准矩阵，以获取目标区域的所有同名像点对；进行配准和差分优化校验，以获取最优差分值。
[0150] 三维坐标测量模块63：用于计算植株目标部位的点云世界坐标的方法，包括：建立同名像点的三维世界坐标转换矩阵；建立帧间双光学系统矢量投影关系模型、建立云镜摄系统运动矢量测量模型建立；点云坐标灰度和材质校正因子计算方法，以解得目标点云的物方三维世界坐标。
[0151] 其中，所述校正因子通过阴影恢复三维方法获取。
[0152] 植物局部测量模块64：用于采用上述基于云镜摄参数和视频帧的测量方法获得的植物测量部位物方世界坐标，直接进行叶面积、体积和茎秆直径等的数字图像测量。
[0153] 云镜摄系统参数获取模61用于：
[0154] 利用张氏标定法标定焦距；利用变焦测量模型计算出像方像素水平物距和像素水平像长，见说明附图2；根据云镜摄系统光学投影关系获取轴像距，即轴心站点至像心的距离，见说明附图4。
[0155] 像素水平物距和像长测量公式
[0156]
[0157]
[0158] x为物方像高，f为像素水平焦距，l1和l2为像素水平像方像高，w为像素水平物距。如说明附图4所示，首先计算光轴与像平面交点即像心点的运动弦长l和物点在光轴上投影的运动弦长L，利用几何投影关系可求得轴像距。公式如下：
[0159]
[0160] 步骤一：获取像方物方对应系数Kn(Knx,Kny,Knz)，其优选的步骤如下：
[0161] Kix、Kiy表示像平面上的像方与物方测度的对应系数。在上述获得的焦距下，由任选固定刻度距离段X在像平面x、y方向上的投影的物方长度，和其x、y方向像素个数mx和my来获得，公式如下：
[0162]
[0163] 步骤二：由上述步骤一获取的Ki(Kix,Kiy)，进一步获取像方物方对应系数的像素等差值ΔK(ΔKx,ΔKy,ΔKz)；
[0164] K(w+f)y是在(w+f)物距上y轴的像方和物方对应系数，由任选固定刻度距离段X在y方向上的投影的物方长度与其y方向像素个数来获得，K(w+f)x也同样；公式如下：
[0165]
[0166] 其中mx和my是像长在x、y轴方向投影的像素数，Xx、Xy是任选的固定物方刻度在x、y轴方向上的投影物方长度，f是标定测得的相机像方焦距，w1、w2均是对所书云镜摄系统进行变焦处理获得的像素水平物距。
[0167] 以上述K(w+f)y和步骤一获取的Ki(Kix,Kiy)值，进一步以如下公式获取ΔK(ΔKx,ΔKy,ΔKz)值：
[0168]
[0169] ΔKz的获取由云镜摄系统运动在刻度尺上体现的实际物方变化和上述Kxi、Kyi获取。设投影物方坐标分别为(Xwa,Ywa,Zwa)和(Xwb,Ywb,Zwb)，刻度值为C，则：
[0170]
[0171] 步骤三：由上述步骤二获取的ΔK(ΔKx,ΔKy,ΔKz)，进一步获取像素物距n下的像方与物方的对应系数Kn(Knx,Kny,Knz)的公式如下：
[0172]
[0173] 通过上述S12获取的像方与物方的对应系数Kn(Knx,Kny,Knz)和云镜摄系统水平转速ω，获取像平面上像移速率 与俯仰值的拟合方程，其优选的步骤如下：
[0174] 步骤一：云镜摄系统轴像距和焦距的物方测度获取；
[0175] 轴像距的像方物方测度换算公式如下：
[0176]
[0177] f为标定出的系统像素水平焦距，转换成物方测度的公式如下：
[0178]
[0179] 其中，dz为轴像距的物方测度，dzi为轴像距的像方测度，fw为焦距的物方测度，ΔKz为像方物方对应系数在z轴方向的像素等差值；
[0180] 步骤二：由上述步骤一获取的轴像距和焦距的物方测度及S12获取的Kn(Knx,Kny,Knz)，进一步获取云镜系统机械运动速率；
[0181] 根据云镜摄系统运动规律，系统光轴上点的机械运动线速率 的x、y和z方向线速率，由以下公式获得：
[0182]
[0183] dz为轴像距的物方测度。Δt是云台运动时间。当焦距一定时，经过正畸后的像平面上所有像点机械像移速率一致。获得 与 的关系式如下：
[0184]
[0185] 其中 为像平面上像点在世界坐标中的随云镜摄系统移动的速率，Ki(Kix,Kiy)，为像平面上某焦距下，物方测度与像方测度在机械运动和光学投影变化综合影响下的关联系数。
[0186] 步骤三：由上述步骤二获取的 与 的关系式，进一步获取像平面上 与俯仰值 的拟合方程；
[0187] vy与 的拟合方程如下:
[0188]
[0189] 与 的拟合方程如下:
[0190]
[0191] vz与 的拟合方程如下：
[0192]
[0193] 同名像点配准模块62具体用于：
[0194] 建立帧间像向量的转换模型；
[0195] 其中 为云镜系统光轴运动中止时刻的像点向量， 为为云镜系统光轴起始时刻同一物点的像点向量， 为光轴运动向量。
[0196] 建立差分帧间光轴运动向量
[0197] 根据云镜系统的运动和光学向量转换模型，获取像点的像方像移速率；再由获取的云镜摄匀速运动系统进行像点的像移速度，建立云镜摄系统像移速率与帧间像方像点坐标转换公式，如下：
[0198]
[0199] 其中，(xa,ya)是像移前像点的像方坐标，(xbw,ybw,zbw)是像移后的像点像方世界坐标；则光轴运动向量表示为：
[0200]
[0201] 建立植株局部图像的配准方法及同名像点的二维坐标转换矩阵
[0202] 配准方法的具体步骤如下：
[0203] 步骤一：第t帧裁剪和分割；
[0204] 使用窗口裁剪程序对采集到的温室内植株的现场视屏图像帧进行搜索裁剪，通过自适应分割程序分割并判断其分割结果，选定视频序列中t帧的某分割部位样本边缘和其裁剪框的四个顶点坐标；
[0205] 步骤二：利用上述S22所建立的云镜摄系统像移速率与帧间像方像点坐标转换公式，进一步建立云镜系统差分帧间同名像点的坐标二维转换矩阵进行配准；
[0206]
[0207] 用坐标转换矩阵(17)将t帧的选定样本部位的裁剪框坐标转换定位到t+n帧植株的实景图像中，裁剪出相应部位的子图。(17)式定位了所有同名像点。
[0208] 步骤三：第t+n帧裁剪；
[0209] 用自适应图像分割程序对视频序列中t+n帧的选定子图部位运行分割，得到t+n帧的植物选定样本部位分割边缘，其中n为差分数；
[0210] 步骤四：通过上述步骤二所述二维转换矩阵，对t帧和t+n帧的植物选定样本部位边缘进行配准；
[0211] 使用上述坐标系转换矩阵(17)将得到的第t+n帧的视屏帧像的局部分割边缘坐标转换到第t帧的坐标系，配准完成；
[0212] 步骤五：差分优化校验。
[0213] 经过上述步骤四坐标系转换后，计算第t帧坐标系下第t帧和第t+n帧的两个植株局部边缘坐标类间方差和视差系数，衡量其配准精度。
[0214] 上述五个步骤中，t为某视频流中的任一时间点，n是时间点t之后的顺序差分第n帧数。利用类间方差法获取不同差分值下的配准精度，用以评估不同差分数对帧间像平面图像配准结果的影响，进一步获得最优配准差分域，并以该优化差分域内作为配准的差分域；并进一步取用两个差分帧图像的植物目标部位边缘轮廓内部区域函数f＝fa∪fb作为上述配准结果，同时设置视差系数 其中S为轮廓内部区域像素个数。其中fa为两个差分帧图像中a图中植物目标部位轮廓内部区域函数，同样fb为两个差分帧图像中b图中植物目标部位轮廓内部区域函数，在优化的差分域内，选取视差系最小的配准结果。
[0215] 上述公式(14)、(15)、(16)和(17)及配准步骤和优化校验共同构成了差分帧间同名像点的几何配准模型。
[0216] 三维坐标测量模块用于：
[0217] 将二维同名像点变换成物方测度，则差分帧间世界坐标转换矩阵如下:
[0218]
[0219] 则由同名像点对(a,b)中的a(xa,ya,za)＝a(xaw,yaw,zaw)的世界坐标，进一步求得a(Xaw,Yaw,0)＝a[(xaw·Kix),(yaw·Kiy),0]，进而可求得b(Xbw,Ybw,Zbw)的物方世界坐标，进一步可求得物点的物方世界坐标。本发明中像方和物方坐标分别用小写(x,y,z)和大写字母(X,Y,Z)表示，以下同此处。
[0220] 通过物方点在像平面的投影与光学成像的关系，建立了如下帧间双光学系统矢量投影关系模型方程：
[0221]
[0222] 其中
[0223] Ki(Kix,Kiy)为像平面上像方测度和物方测度的对应系数；(xa,ya)、(xb,yb)为像方点的像方坐标； 为物方点的物方世界坐标，即在像a坐标系中的坐标；为物方点在像b坐标系中的坐标； 为同一物点在两个差分帧图像上的
分别成像点的向量的物方长度。
[0224] 通过光轴上点运动x、y和z方向速度关系，建立运动矢量测量模型公式如下:
[0225]
[0226] 其中d为轴像距，为俯仰角，θy＝ω·Δt，ω为水平角速率，
[0227] 根据目标区域内物方点的物方世界坐标，在上述S23所获取的差分域内，运用上述(19)、(20)和(21)组成方程组，解得物方点云的世界坐标 实现所述目标区域的三维待测量数据获取。
[0228] 校正上述三维点云坐标时采用在点云坐标值上叠加灰度和材质校正因子(Δx,Δy,Δz)的方法。该方法以朗伯体模型为基础，把叶曲面的像素微面元作为朗伯体球面的切平面，(Δx,Δy,Δz)的获取是通过从阴影恢复三维的方法，
[0229] 将上述权利要求中迭代方程计算出的基于表面灰度和材质因素的校正因子(Δx,Δy,Δz)，添加到帧间差分测量得到的点云坐标，得到校正点云坐标[(x+Δx),(y+Δy),(z+Δz)]，则
[0230]
[0231] 由(19)、(27)和(21)组成方程组，获取校正后的点云物方世界坐标。
[0232] 植物局部测量模块64用于：
[0233] 利用差分域和最小视差系数，并利用点云坐标，进行植株局部测量。
[0234] 下面对植物局部测量模块中的三维目标区域的测量进行详细说明，此处仅举例说明了植物叶片面积、果实体积以及茎秆直径的测量方法，并不代表本发明的作用仅用于此。
[0235] 上述植物局部测量模块的特征在于，其优选的步骤包括：
[0236] 假设叶面或果实等植株局部所在区域为D，取恢复得到的三维形态的三角网格上任意三角面片的三点坐标分别是(x1,y1,z1)，(x2,y2,z2)，(x3,y3,z3)，f(x,y)的表达式，则在区域D中，叶片面积S有如下关系：
[0237]
[0238]
[0239] 植物果实体积计算可利用上述与叶片面积计算一样的方法建立三角面片，构建曲面。用伪高程数据和arcGIS函数，计算曲面下体积的方法，来计算果实的半体积。或者采用下述近似方法：
[0240] 植物果实形态各异，以椭圆型、圆柱型、圆锥型等几何形状拟合，得到了较好的效果。利用自适应分割程序分割含有果实图像的子图，获得果实的封闭图像边缘。再利用matlab函数获取果实封闭边缘的像方几何最长轴和最短轴，利用上述(19)、(22)和(21)组成方程组求解最长轴和最短轴的端点坐标，求得果实三维点云的物方最长轴L和物方最短轴l。
[0241] 则锥体型果实，如草莓等体积以如下公式近似为
[0242]
[0243] 椭球型果实，小的如小麦和水稻的籽粒，大的如西红柿、苹果等体积以如下公式近似为
[0244]
[0245] 圆柱型果实，如玉米、黄瓜和茄子等体积以如下公式近似为
[0246] V＝π·l2·L (24)
[0247] 利用自适应分割程序分割含有茎秆图像的子图，获得茎秆的图像边缘。在图像边缘上利用截图工具获得待测部位间的像方测度，换算成物方测度即可得到茎秆直径。
[0248] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
