利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置

摘要

本发明涉及一种利用卷积神经网络对育苗期鲍鱼计数的方法，并设计了相应的系统及配套使用的装置，属于图像处理技术领域。一种利用卷积神经网络对育苗期鲍鱼计数的方法，其特殊之处在于，通过如下的步骤实现对育苗期鲍鱼的计数：通过拍摄鲍鱼幼苗附着的瓦片的初始图像、初始图像处理和幼鲍个体检测三个过程，实现对鲍鱼幼苗的数量的检测。本申请的优点在于，通过对图像的处理，获得鲍鱼幼苗图像的细致的颜色纹理信息，实现对鲍鱼幼苗数量的确定。

权利要求

1.一种利用卷积神经网络对育苗期鲍鱼计数的方法，其特征在于，通过如下的步骤实现对育苗期鲍鱼的计数：

步骤1，从育苗池中选取鲍鱼幼苗附着的瓦片，并通过灯光模拟养殖环境，拍摄大小为

512*512的初始图像；

步骤2，初始图像处理，首先利用灰度方差算法计算初始图像的模糊度，模糊度低于

100，重新拍摄，模糊度高于100，作为预处理图像；

步骤3，幼鲍个体检测，利用asarray函数读取预处理图像的每个像素，获得初始矩阵，通过卷积神经网络处理初始矩阵，通过对初始矩阵连续的卷积处理，形成连续的多个二维特征矩阵；对二维特征矩阵采用融合处理，获得融合矩阵；提取最终形成的融合矩阵中的信息，获得图片中的幼鲍位置信息、颜色纹理信息，并将信息保存在幼鲍个体检测模块；

步骤4，对育苗池进行连续的拍照，获得育苗池中鲍鱼幼苗的整体图像，利用步骤3获取的幼鲍位置、颜色和纹理信息以及二维特征矩阵的层次化融合方法对育苗池照片中的幼鲍进行检测，对单个瓦片上的幼鲍数量确认，识别育苗池中的幼鲍个体并得到图像中幼鲍的预测框，对预测框进行计数获得育苗池中幼鲍的数量。

2.根据权利要求1所述的利用卷积神经网络对育苗期鲍鱼计数的方法，其特征在于，所述的通过灯光模拟养殖环境是采用四个等级亮度的灯光，且每个等级的灯光设置三种色温；四个等级亮度分别为55lm的低亮、260lm的中亮、760lm的高亮、1800lm的极亮；三种色温分别为5800k 6300k的正白光、3000k 5000k的中性光、低于3000k的暖黄光。

~ ~

3.根据权利要求1所述的利用卷积神经网络对育苗期鲍鱼计数的方法，其特征在于，所述初始矩阵为：

，其中，图像大小表示为N，N=H*W，图像高为H，宽为W，卷积层通道数为C，其中矩阵中的元素 ，i=1,2,……,c;j=1,2,……,n； 代表育苗期幼鲍图像的像素信息，矩阵中元素代表图像中包含颜色和位置的小方格，此时的颜色信息和位置信息是一个组合，利用卷积神经网络进行特征提取之后会将颜色信息和位置信息分开存储在网络中，信息数量也会因为网络中卷积层的不同而有所差异。

4.根据权利要求3所述的利用卷积神经网络对育苗期鲍鱼计数的方法，其特征在于，所述二维特征矩阵，是利用C1、C2卷积层对图像输入矩阵X进行卷积操作得到二维特征矩阵A1；再利用C3、C4卷积层对A1进行卷积操作得到二维特征矩阵A2；再利用C5、C6卷积层对二维特征矩阵A2进行卷积操作得到A3；再利用C7、C8卷积层对A3进行卷积操作得到二维特征矩阵A4。

5.根据权利要求4所述的利用卷积神经网络对育苗期鲍鱼计数的方法，其特征在于，所述融合矩阵，将二维矩阵A3和A4进行融合；处理矩阵A4，利用M4( ,  )将二维矩阵A4从(c,  )改为(c,  )；处理矩阵A3，利用L3(c, 2c)将二维矩阵A3从(2c,  )改为(c,  )；

A3和A4处理过后得到的矩阵B3和U4行列数相同，并对其进行相加运算得到合并后的特征矩阵D3；融合二维矩阵A2和D3；处理矩阵D3，利用M3( ， )将二维矩阵D3从(c,  )改为(c, )；处理矩阵A2，利用L2(c, 4c)将二维矩阵A2从(4c,  )改为(c,  )；A2和D3处理过后得到的矩阵B2和U3行列数相同，并对其进行相加运算得到合并后的特征矩阵D2；融合二维矩阵A1和D2，处理矩阵D2，利用M2( ，n)将二维矩阵D2从(c,  )改为(c,n)；处理矩阵A1，利用L1(c, 2c)将二维矩阵A1从(2c，n)改为(c, n)；A1和D2处理过后得到的矩阵B1和U2行列数相同，并对其进行相加运算得到合并后的特征矩阵D1；利用含有较多颜色纹理信息的二维矩阵D1在幼鲍特征图上检测图中所有幼鲍，并通过显示先验框（x,y,w,h）突出幼鲍区域、进一步确定幼鲍大体位置。

6.一种权利要求1所述的利用卷积神经网络对育苗期鲍鱼计数的系统，其特征在于，所述系统包括拍照模块和幼鲍个体检测模块；所述拍照模块包括相机、灯和用于调节灯的亮度调节器；幼鲍个体检测模块包括内置的预处理图像分模块和幼鲍个体检测分模块；所述预处理图像分模块将拍摄的图片通过预处理，利用图像模糊度对幼鲍图像进行筛选：利用灰度方差算法计算图像的模糊度，删除模糊度低于100的幼鲍图像并重新拍摄，保留模糊度高于100的图像；对于筛选后保留下来的模糊度高于100的图像，以原图像中心为中心点将大小为512*512的幼鲍图像裁剪成256*256大小的预处理图像；所述幼鲍个体检测分模块，将预处理图像传输到幼鲍个体检测模块，利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别，二维特征矩阵的层次化融合方法为系统提供更多的幼鲍颜色纹理信息，使得系统能提取更多的颜色纹理特征，进一步提高幼鲍先验框的准确性，提高在幼鲍颜色、纹理相近情况下的检测精度。

7.一种权利要求1所述的利用卷积神经网络对育苗期鲍鱼计数的装置，其特征在于，所述装置包括相机，用于放置附有鲍鱼幼苗的瓦片的玻璃板，用于模仿鲍鱼幼苗生存环境的灯，用于控制灯的亮度和色温的亮度调节器，以及内置幼鲍个体检测模块的电脑。

8.根据权利要求7所述的利用卷积神经网络对育苗期鲍鱼计数的装置，其特征在于，所述的灯为环形灯。

说明书

利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置

技术领域

[0001] 本发明涉及一种利用卷积神经网络对育苗期鲍鱼计数的方法，并设计了相应的系统及配套使用的装置，属于图像处理技术领域。

背景技术

[0002] 鲍鱼营养价值丰富，国内外市场对鲍鱼的需求量持续增大，但鲍鱼的自然产量较低，远不能满足市场需求。我国鲍鱼工厂化养殖快速发展，鲍鱼育苗是工厂化养殖的重要组
成部分。当鲍鱼壳体长到1.8mm，形成第一个孔时算成苗，称为稚鲍。稚鲍数量要严格控制，
防止密度大饵料不足造成稚鲍生长缓慢，密度小影响生产效益。当稚鲍壳长为3 5mm时对其
~
进行剥离，并进行3 4个月幼鲍培育阶段。当鲍苗长到10 20mm时,成为商品鲍苗, 鲍苗个体
~ ~
大小参差不齐，需要进行筛选分级再作为种苗出售或进行成鲍培养。我国现阶段剥离稚鲍、
幼鲍计数依赖人工，工作量大且易出错。将卷积神经网络应用到幼鲍检测和计数，提高检测
和计数的准确率，是鲍鱼育苗的关键工作之一。

[0003] 针对育苗期鲍鱼个体小且形状、颜色、纹理相近的问题，本发明研究了一种二维特征矩阵的层次化融合方法，即融合两个二维特征矩阵得到新的特征矩阵，二维特征矩阵中
包含多个先验框，用于表示输入图像经过卷积操作后检测到的鲍鱼的粗略位置和大小，新
特征矩阵包含多个预测框，预测框框是通过层次化融合方法将先验框进行筛选和位置大小
微调后得到的。融合后的新特征矩阵中包含更多的幼鲍颜色、纹理特征信息，更有利于检测
幼鲍，因此，新特征矩阵中的幼鲍预测框比融合前二维特征矩阵的幼鲍先验框更能准确地
预测鲍鱼大小和位置。对每张图像中的预测框进行计数，得到图像中幼鲍数量。利用本方法
对育苗期鲍鱼进行检测和计数得结果准确度较高。

发明内容

[0004] 针对现有技术中对于育苗期鲍鱼幼苗难以检测数量的问题，提供一种利用卷积神经网络对育苗期鲍鱼计数的方法，并设计了相应的系统及配套使用的装置。

[0005] 本发明是通过如下的技术方案，解决上述技术问题：一种利用卷积神经网络对育苗期鲍鱼计数的方法，其特殊之处在于，通过如下的步骤实现对育苗期鲍鱼的计数：

[0006] 步骤1，从育苗池中选取鲍鱼幼苗附着的瓦片，并通过灯光模拟养殖环境，拍摄大小为512*512的初始图像；

[0007] 步骤2，初始图像处理，初始图像发送到图像处理模块，首先利用灰度方差算法计算初始图像的模糊度，模糊度低于100，重新拍摄，模糊度高于100的图像作为预处理图像；

[0008] 步骤3，幼鲍个体检测，利用asarray函数读取预处理图像的每个像素，获得初始矩阵，通过卷积神经网络处理初始矩阵，通过对初始矩阵连续的卷积处理，形成连续的多个二
维特征矩阵；对二维特征矩阵采用融合处理，获得融合矩阵；提取最终形成的融合矩阵中的
信息，获得图片中的幼鲍位置信息、颜色纹理信息，并将信息保存在幼鲍个体检测模块；

[0009] 为了统计育苗池中鲍鱼的数量，可以使用如下的步骤：

[0010] 步骤4，对育苗池进行连续的拍照，获得育苗池中鲍鱼幼苗的整体图像，利用步骤3获取的幼鲍位置、颜色和纹理信息以及二维特征矩阵的层次化融合方法对育苗池照片中的
幼鲍进行检测，对单个瓦片上的幼鲍数量确认，识别育苗池中的幼鲍个体并得到图像中幼
鲍的预测框，对预测框进行计数获得育苗池中幼鲍的数量。

[0011] 为了能够更好实现本申请的发明目的，在上述技术方案的基础上，作出如下的细化及完善：

[0012] 进一步，所述的通过灯光模拟养殖环境是采用四个等级亮度的灯光，且每个等级的灯光设置三种色温；四个等级亮度分别为55lm的低亮、260lm的中亮、760lm的高亮、
1800lm的极亮；三种色温分别为5800k 6300k的正白光、3000k 5000k的中性光、低于3000k
~ ~
的暖黄光。

[0013] 上述技术特征的优势在于，通过模拟不同的鲍鱼幼苗所处的养殖环境，提高拍摄的原始相片对鲍鱼幼苗生存环境的模拟。

[0014] 进一步，所述初始矩阵为：

[0015] ，其中，图像大小表示为N，N=H*W，图像高为H，宽为W，卷积层通道数为C，其中矩阵中的元素 （i=1,2,……,c;j=1,2,……,n）代表育苗期幼鲍图像
的像素信息，矩阵中元素代表图像中包含颜色和位置的小方格，此时的颜色信息和位置信
息是一个组合（一组颜色位置信息存在于一个小方格中），利用卷积神经网络进行特征提取
之后会将颜色信息和位置信息分开存储在网络中，他们的信息数量也会因为网络中卷积层
的不同而有所差异。接下来通过矩阵融合，在保证位置信息不变的情况下，增加矩阵包含的
颜色纹理特征信息，以此提高对颜色纹理相近的小鲍鱼的检测性能。

[0016] 进一步，所述二维特征矩阵，是利用C1、C2卷积层对图像输入矩阵X进行卷积操作得到二维特征矩阵A1；再利用C3、C4卷积层对A1进行卷积操作得到二维特征矩阵A2；再利用
C5、C6卷积层对二维特征矩阵A2进行卷积操作得到A3；再利用C7、C8卷积层对A3进行卷积操
作得到二维特征矩阵A4。

[0017] A1矩阵到A4矩阵利用不同卷积层逐步获取更多的颜色纹理特征信息，A1到A4颜色纹理信息是逐渐增多的。这样做的目的是：接下来我们可以将颜色纹理特征多的矩阵A4和
比A4的位置信息丰富的A3融合，这是逐步获取更多的颜色纹理信息的原因。

[0018] 进一步，所述融合矩阵，将二维矩阵A3和A4进行融合；处理矩阵A4，利用M4( , )将二维矩阵A4从(c,  )改为(c,  )，M4为转换矩阵，转换矩阵为自定义矩阵，用于转换矩阵
的行列数，如转换矩阵M4将二维特征矩阵A4转换为二维矩阵U4，本申请中的M矩阵和L矩阵，
均为转换矩阵；处理矩阵A3，利用L3(c,2c)将二维矩阵A3从(2c,  )改为(c,  )，转换矩
阵L3用于转换二维矩阵A3的行列数，将二维特征矩阵A3转换为B3；A3和A4处理过后得到的
矩阵B3和U4行列数相同，并对其进行相加运算得到合并后的特征矩阵D3；融合二维矩阵A2
和D3；处理矩阵D3，利用M3( ，)将二维矩阵D3从(c,  )改为(c,  )；处理矩阵A2，利用
L2(c, 4c)将二维矩阵A2从(4c,  )改为(c,  )；A2和D3处理过后得到的矩阵B2和U3行列
数相同，并对其进行相加运算得到合并后的特征矩阵D2；融合二维矩阵A1和D2，处理矩阵
D2，利用M2( ，n)将二维矩阵D2从(c,  )改为(c,n)；处理矩阵A1，利用L1(c, 2c)将二维
矩阵A1从(2c，n)改为(c, n)；A1和D2处理过后得到的矩阵B1和U2行列数相同，并对其进行
相加运算得到合并后的特征矩阵D1；利用含有较多颜色纹理信息的二维矩阵D1在幼鲍特征
图上检测图中所有幼鲍，并通过显示先验框（x，y，w，h）突出幼鲍区域、进一步确定幼鲍大体
位置。

[0019] 在上述技术方案的基础上，还设计了相应的计数系统：

[0020] 一种利用卷积神经网络对育苗期鲍鱼计数的系统，其特殊之处在于，所述系统包括拍照模块和幼鲍个体检测模块；所述拍照模块包括相机、灯和用于调节灯的亮度调节器；
幼鲍个体检测模块包括内置的预处理图像分模块和幼鲍个体检测分模块；所述预处理图像
分模块将拍摄的图片通过预处理，利用图像模糊度对幼鲍图像进行筛选：利用灰度方差算
法计算图像的模糊度，删除模糊度低于100的幼鲍图像并重新拍摄，保留模糊度高于100的
图像。对于筛选后保留下来的模糊度高于100的图像，以原图像中心为中心点将大小为512*
512的幼鲍图像裁剪成256*256大小的预处理图像；所述幼鲍个体检测分模块，将预处理图
像传输到幼鲍个体检测模块，利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识
别，二维特征矩阵的层次化融合方法为系统提供更多的幼鲍颜色纹理信息，使得系统能提
取更多的颜色纹理特征，进一步提高幼鲍先验框的准确性，提高在幼鲍颜色、纹理相近情况
下的检测精度。

[0021] 在上述技术方案的基础上，还设计了相应的计数装置：

[0022] 一种利用卷积神经网络对育苗期鲍鱼计数的装置，其特殊之处在于，所述装置包括相机，用于放置附有鲍鱼幼苗的瓦片的玻璃板，用于模仿鲍鱼幼苗生存环境的灯，用于控
制灯的亮度和色温的亮度调节器，以及内置幼鲍个体检测模块的电脑。

[0023] 进一步，所述的灯为环形灯。

[0024] 本申请的技术方案的有益效果是：

[0025] 将处理好的幼鲍图像传输到幼鲍个体检测模块，利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别。二维特征矩阵的层次化融合方法为网络提供更多的幼鲍颜
色纹理信息，使得网络能提取更多的颜色纹理特征，进一步提高幼鲍先验框的准确性，提高
在幼鲍颜色、纹理相近情况下的检测精度。对鲍鱼个体进行检测识别得到幼鲍先验框以及
每个先验框上对应的分数，其中，先验框上对应的分数代表网络检测到的此先验框与幼鲍
实际位置的交并比（交并比：先验框、幼鲍实际位置的交集与先验框、幼鲍实际位置的并集
的比值），利用交并比对先验框进行从大到小的排序，筛选出与幼鲍实际位置交并比最高的
先验框，并利用网络的训练权重对先验框进行微调得到幼鲍预测框，并将带有预测框的幼
鲍图像输出。提高了在幼鲍颜色纹理相近情况下的检测精度。其中，一个图像中预测框的x,
y,w,h参数表示幼鲍的位置信息，而预测框的个数代表此图中幼鲍的数量。这样我们就利用
二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别，并统计幼鲍预测框的位置信息
和数量作为每张图像中幼鲍的位置和数量信息。

附图说明

[0026] 图1为本申请利用卷积神经网络对育苗期鲍鱼计数的方法的流程图；

[0027] 图2为本申请利用卷积神经网络对育苗期鲍鱼计数的装置的结构示意图。

具体实施方式

[0028] 以下实施例结合附图，仅是为了对权利要求书中所记载的技术方案加以说明，并非是对权利要求保护范围的限制。

[0029] 一种利用卷积神经网络对育苗期鲍鱼计数的方法，通过如下的步骤实现对育苗期鲍鱼的计数：

[0030] 步骤1，从育苗池中选取鲍鱼幼苗附着的瓦片，并通过灯光模拟养殖环境，拍摄大小为512*512的初始图像；

[0031] 步骤2，初始图像处理，初始图像发送到图像处理模块，首先利用灰度方差算法计算初始图像的模糊度，模糊度低于100，重新拍摄，模糊度高于100的图像作为预处理图像；

[0032] 步骤3，幼鲍个体检测，利用asarray函数读取预处理图像的每个像素，获得初始矩阵，通过卷积神经网络处理初始矩阵，通过对初始矩阵连续的卷积处理，形成连续的多个二
维特征矩阵；对二维特征矩阵采用融合处理，获得融合矩阵；提取最终形成的融合矩阵中的
信息，获得图片中的幼鲍位置信息、颜色纹理信息，并将信息保存在幼鲍个体检测模块；

[0033] 为了统计育苗池中鲍鱼的数量，可以使用如下的步骤：

[0034] 步骤4，对育苗池进行连续的拍照，获得育苗池中鲍鱼幼苗的整体图像，利用步骤3获取的幼鲍位置、颜色和纹理信息以及二维特征矩阵的层次化融合方法对育苗池照片中的
幼鲍进行检测，对单个瓦片上的幼鲍数量确认，识别育苗池中的幼鲍个体并得到图像中幼
鲍的预测框，对预测框进行计数获得育苗池中幼鲍的数量。

[0035] 进一步，所述的通过灯光模拟养殖环境是采用四个等级亮度的灯光，且每个等级的灯光设置三种色温；四个等级亮度分别为55lm的低亮、260lm的中亮、760lm的高亮、
1800lm的极亮；三种色温分别为5800k 6300k的正白光、3000k 5000k的中性光、低于3000k
~ ~
的暖黄光。

[0036] 上述技术特征的优势在于，通过模拟不同的鲍鱼幼苗所处的养殖环境，提高拍摄的原始相片对鲍鱼幼苗生存环境的模拟。

[0037] 进一步，所述初始矩阵为：

[0038] ，其中，图像大小表示为N，N=H*W，图像高为H，宽为W，卷积层通道数为C，其中矩阵中的元素 （i=1,2,……,c;j=1,2,……,n）代表育苗期幼鲍图像
的像素信息，矩阵中元素代表图像中包含颜色和位置的小方格，此时的颜色信息和位置信
息是一个组合（一组颜色位置信息存在于一个小方格中），利用卷积神经网络进行特征提取
之后会将颜色信息和位置信息分开存储在网络中，他们的信息数量也会因为网络中卷积层
的不同而有所差异。接下来通过矩阵融合，在保证位置信息不变的情况下，增加矩阵包含的
颜色纹理特征信息，以此提高对颜色纹理相近的小鲍鱼的检测性能。

[0039] 进一步，所述二维特征矩阵，是利用C1、C2卷积层对图像输入矩阵X进行卷积操作得到二维特征矩阵A1；再利用C3、C4卷积层对A1进行卷积操作得到二维特征矩阵A2；再利用
C5、C6卷积层对二维特征矩阵A2进行卷积操作得到A3；再利用C7、C8卷积层对A3进行卷积操
作得到二维特征矩阵A4。

[0040] 进一步，所述融合矩阵，将二维矩阵A3和A4进行融合；处理矩阵A4，利用M4( , )将二维矩阵A4从(c,  )改为(c,  )，M4为转换矩阵，转换矩阵为自定义矩阵，用于转换矩
阵的行列数，如转换矩阵M4将二维特征矩阵A4转换为二维矩阵U4，本申请中的M矩阵和L矩
阵，均为转换矩阵；处理矩阵A3，利用L3(c,2c)将二维矩阵A3从(2c,  )改为(c,  )，转换
矩阵L3用于转换二维矩阵A3的行列数，将二维特征矩阵A3转换为B3；A3和A4处理过后得到
的矩阵B3和U4行列数相同，并对其进行相加运算得到合并后的特征矩阵D3；融合二维矩阵
A2和D3；处理矩阵D3，利用M3( ，)将二维矩阵D3从(c,  )改为(c,  )；处理矩阵A2，利
用L2(c, 4c)将二维矩阵A2从(4c,  )改为(c,  )；A2和D3处理过后得到的矩阵B2和U3行
列数相同，并对其进行相加运算得到合并后的特征矩阵D2；融合二维矩阵A1和D2，处理矩阵
D2，利用M2( ，n)将二维矩阵D2从(c,  )改为(c,n)；处理矩阵A1，利用L1(c, 2c)将二维
矩阵A1从(2c，n)改为(c, n)；A1和D2处理过后得到的矩阵B1和U2行列数相同，并对其进行
相加运算得到合并后的特征矩阵D1；利用含有较多颜色纹理信息的二维矩阵D1在幼鲍特征
图上检测图中所有幼鲍，并通过显示先验框（x，y，w，h）突出幼鲍区域、进一步确定幼鲍大体
位置。

[0041] 其配套的装置包括相机，用于放置附有鲍鱼幼苗的瓦片的玻璃板，用于模仿鲍鱼幼苗生存环境的灯，用于控制灯的亮度和色温的亮度调节器，以及内置幼鲍个体检测模块
的电脑；所述的灯为环形灯。

[0042] 具体的：

[0043] 在长10米、宽8米、高0.4米的养殖池中培育鲍鱼，长0.25米、宽0.1米的瓦片规则排列在养殖池中，且每个瓦片上大约养殖5mm 13mm的鲍鱼30 200个，在幼鲍培育阶段，需要根
~ ~
据幼鲍的大小和数量估计养殖密度，进而确定投喂量，防止饵料过少影响幼鲍发育；防止饵
料过多污染养殖环境导致鲍鱼发病。

[0044] 育苗期幼鲍个体较小且鲍鱼个体之间颜色纹理相近，检测和计数准确度较低。为解决这一问题，提出了一种技术方案：二维特征矩阵的层次化融合策略。

[0045] 育苗期鲍鱼图像采集模块包含相机、固定架、环形灯、亮度控制器、玻璃板。将包含30 200个壳长5mm 13mm的鲍鱼的瓦片放置在玻璃板上，玻璃板上方放置的环形灯由亮度控
~ ~
制器控制亮度和色温，其中，亮度控制器有四种亮度档位（55lm的低亮、260lm的中亮、760lm
的高亮、1800lm的极亮），三种色温（5800k 6300k的正白光、3000k 5000k的中性光、低于
~ ~
3000k的暖黄光），四种亮度档位和三种色温组合形成12种不同的光亮和色温环境：低亮的
正白光、中亮的正白光、高亮的正白光、极亮的正白光、低亮的中性光、中亮的中性光、高亮
的中性光、极亮的中性光、低亮的暖黄光、中亮的暖黄光、高亮的暖黄光、极亮的暖黄光。亮
度和色温的12种排列组合用于模拟实际生产中不同的养殖环境，使得获取到的幼鲍图像中
亮度和色温贴合实际生产环境的亮度和色温，验证该方法在实际鲍鱼养殖应用中的有效
性。将鲍鱼放置在玻璃板上并通过调节环形灯光的亮度和色温选择一种光亮和色温组合，
使用相机进行拍摄，将拍摄到的512*512大小的鲍鱼图像，传输到育苗期鲍鱼图像处理模
块。

[0046] 育苗期鲍鱼图像处理模块由一台计算机组成，计算机用于接收相机传输过来的幼鲍图像并对其进行处理。首先，计算机利用图像模糊度对幼鲍图像进行筛选：利用灰度方差
算法计算图像的模糊度，删除模糊度低于100的幼鲍图像并重新拍摄，保留模糊度高于100
的图像。将处理好的幼鲍图像传输到幼鲍个体检测模块。

[0047] 针对育苗期鲍鱼图像采集和处理装置整体结构示意图如图2所示。其中育苗期鲍鱼图像采集和处理装置1，图像采集模块2，图像处理模块3，相机4，环形灯5，亮度控制器6，
亮度控制模块7，玻璃板8。

[0048] 二维特征矩阵的层次化融合：

[0049] 第一步，将育苗期鲍鱼图像处理模块处理后的幼鲍图像作为本模块的输入图像，其中，输入图像大小表示为n(n=h*w，图像高为h，宽为w)，图像通道数为c。利用asarray函数
读取输入图像中的每个像素（共c*n个像素）并转换成矩阵的形式，获取图像的输入矩阵
。接下来，利用C1、C2卷积层对图像输入矩阵X进行卷积操作得到二维
特征矩阵A1；再利用C3、C4卷积层对A1进行卷积操作得到二维特征矩阵A2；再利用C5、C6卷
积层对二维特征矩阵A2进行卷积操作得到A3；再利用C7、C8卷积层对A3进行卷积操作得到
二维特征矩阵A4。具体地，

[0050]

[0051] ；

[0052]

[0053] ；

[0054]

[0055] ；

[0056]

[0057] ；

[0058] 其中，矩阵C2、C4、C6、C8用于提取鲍鱼的位置信息，这四个矩阵的每一列可以提取一条鲍鱼位置信息，所以n列的C2、 列的C4、 列的C6、 列的C8分别可以提取n条、 条、
条、 条的鲍鱼位置信息，并分别存储到A1、A2、A3、A4矩阵中。因此，A1、A2、A3、A4分别包含n
条、 条、 条、 条的鲍鱼位置信息。此外，这个网络共2n条有用信息，理论上包含n条颜色
纹理位置信息和n条边缘、形状信息，但为了获取更多的颜色纹理位置信息，提高在鲍鱼外
壳颜色纹理相近情况下的检测性能，便将 条的边缘、形状信息所占空间转让给了颜色纹
理位置信息，所以实际上颜色纹理和位置信息共 条，边缘、形状信息共 条。由上可知，
颜色纹理和位置信息共 条，A1、A2、A3、A4包含的鲍鱼位置信息分别有n条、 条、 条、
条。理论上，颜色纹理信息条数=颜色纹理位置信息条数‑位置信息条数。因此A1、A2、A3、A4
包含的颜色纹理信息分别有 条、 条、 条、n条；但在卷积过程中会丢失颜色纹理信
息，A2、A3都丢失了 条的颜色纹理信息。所以，A2的颜色纹理信息 ,同理A3的
颜色纹理信息有 条。综上所述，卷积之后A1、A2、A3、A4实际上包含的颜色纹理信息分别有
条、 条、 条、n条。此时，根据二维矩阵A1、A2、A3、A4所包含的颜色纹理信息在幼鲍特征
图上检测图中所有幼鲍，并通过显示先验框突出幼鲍区域、确定幼鲍大体位置，先验框的x,
y,w,h参数分别对应幼鲍所在先验框的中心位置的横坐标、中心位置的纵坐标、先验框的宽
度、先验框的高度，以此确定幼鲍位置。

[0059] 第二步，为了获取更多的颜色纹理和位置信息，将二维矩阵A3和A4进行融合。处理矩阵A4，利用M4( ,  )将二维矩阵A4从(c,  )改为(c,  )；处理矩阵A3，利用L3(c,2c)
将二维矩阵A3从(2c,  )改为(c,  )；A3和A4处理过后得到的矩阵B3和U4行列数相同，并
对其进行相加运算得到合并后的特征矩阵D3。D3有n条颜色纹理信息、 条位置信息，而A3
只有 条颜色纹理信息、 条位置信息，A4只有n条颜色纹理信息、 条位置信息。因此，含
有n条颜色纹理信息D3代替只含有 条颜色纹理信息的A3作为输出更有助于特征信息的提
取。具体地，

[0060] ，

[0061] ，

[0062] ，

[0063] 此时，含有n条颜色纹理信息的D3代替只含有 条颜色纹理信息的A3作为输出，利用含有较多颜色纹理信息的二维矩阵D3在幼鲍特征图上检测图中所有幼鲍，并通过显示先
验框（x,y,w,h）突出幼鲍区域、进一步确定幼鲍大体位置。此时得到的幼鲍先验框位置比利
用A3检测幼鲍得到的先验框位置更接近幼鲍实际位置，提高幼鲍颜色纹理相近情况下的检
测精度。

[0064] 第三步，类似地，融合二维矩阵A2和D3。处理矩阵D3，利用M3( ，)将二维矩阵D3从(c,  )改为(c,  )；处理矩阵A2，利用L2(c, 4c)将二维矩阵A2从(4c, )改为(c, )；
A2和D3处理过后得到的矩阵B2和U3行列数相同，并对其进行相加运算得到合并后的特征矩
阵D2。D2有n条颜色纹理信息、 条位置信息，而A2只有 条颜色纹理信息、 条位置信息，
D3只有n条颜色纹理信息、 条位置信息。因此，含有n条颜色纹理信息的D2代替只含有 条
颜色纹理信息的A2作为输出更有助于特征信息的提取。具体地，

[0065] ，

[0066] ，

[0067] ，

[0068] 此时，含有n条颜色纹理信息的D2代替只含有 条颜色纹理信息的A2作为输出，利用含有较多颜色纹理信息的二维矩阵D2在幼鲍特征图上检测图中所有幼鲍，并通过显示先
验框（x,y,w,h）突出幼鲍区域、进一步确定幼鲍大体位置。此时得到的幼鲍先验框位置比利
用A2检测幼鲍得到的先验框位置更接近幼鲍实际位置，提高幼鲍颜色纹理相近情况下的检
测精度。

[0069] 第四步，类似地，融合二维矩阵A1和D2。处理矩阵D2，利用M2( ，n)将二维矩阵D2从(c,  )改为(c,n)；处理矩阵A1，利用L1(c, 2c)将二维矩阵A1从(2c，n)改为(c, n)；A1
和D2处理过后得到的矩阵B1和U2行列数相同，并对其进行相加运算得到合并后的特征矩阵
D1。D1有n条颜色纹理信息、n条位置信息，而A1只有 条颜色纹理信息、n条位置信息，D2只
有n条颜色纹理信息、 条位置信息。因此，含有n条颜色纹理信息D1代替只含有 条颜色纹
理信息的A1作为输出更有助于特征信息的提取。具体地，

[0070] ，

[0071] ，

[0072] 。

[0073] 此时，含有n条颜色纹理信息D1代替只含有 条颜色纹理信息的A1作为输出，利用含有较多颜色纹理信息的二维矩阵D1在幼鲍特征图上检测图中所有幼鲍，并通过显示先验
框（x,y,w,h）突出幼鲍区域、进一步确定幼鲍大体位置。此时得到的幼鲍先验框位置比利用
A1检测幼鲍得到的先验框位置更接近幼鲍实际位置，提高幼鲍颜色纹理相近情况下的检测
精度。

[0074] 这样，特征矩阵A1,A2,A3,A4经过层次化融合得到特征矩阵D1,D2,D3。D3结合了A3的位置信息和A4的颜色纹理信息；D2结合了A2的位置信息和D3的颜色纹理信息；D1结合了
A1的位置信息和D2的颜色纹理信息。最终含有n条颜色纹理信息的矩阵D1、D2、D3分别代替
含有 条颜色纹理信息的矩阵A1、含有 条颜色纹理信息的矩阵A2、含有 条颜色纹理信
息的矩阵A3输出，使得网络获取的颜色纹理信息更多，利用获取到的颜色纹理信息检测幼
鲍得到的先验框位置就更准确、更接近幼鲍实际位置，从而提高幼鲍颜色纹理相近情况下
的检测精度。

[0075] 上述的图像处理方法，将处理好的幼鲍图像传输到幼鲍个体检测模块，利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别。二维特征矩阵的层次化融合方法为
网络提供更多的幼鲍颜色纹理信息，使得网络能提取更多的颜色纹理特征，进一步提高幼
鲍先验框的准确性，提高在幼鲍颜色、纹理相近情况下的检测精度。对鲍鱼个体进行检测识
别得到幼鲍先验框以及每个先验框上对应的分数，其中，先验框上对应的分数代表网络检
测到的此先验框与幼鲍实际位置的交并比（交并比：先验框、幼鲍实际位置的交集与先验
框、幼鲍实际位置的并集的比值），利用交并比对先验框进行从大到小的排序，筛选出与幼
鲍实际位置交并比最高的先验框，并利用网络的训练权重对先验框进行微调得到幼鲍预测
框，并将带有预测框的幼鲍图像输出。提高了在幼鲍颜色纹理相近情况下的检测精度。其
中，一个图像中预测框的x,y,w,h参数表示幼鲍的位置信息，而预测框的个数代表此图中幼
鲍的数量。这样我们就利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别，并
统计幼鲍预测框的位置信息和数量作为每张图像中幼鲍的位置和数量信息；通过上述方法
对单个瓦片上的幼鲍数量的确认，对育苗池进行连续的拍照，利用步骤3获取的幼鲍位置、
颜色和纹理信息以及二维特征矩阵的层次化融合方法对育苗池照片中的幼鲍进行检测，识
别育苗池中的幼鲍个体并得到图像中幼鲍的预测框，对预测框进行计数获得育苗池中幼鲍
的数量。

[0076] 以上所述仅为本发明 的较佳实施例，并不用以限制本发明 ，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。