一种鱼类增殖放流去向的监测方法及系统

摘要

本发明涉及一种鱼类增殖放流去向的监测方法及系统，该方法包括：获取增殖放流点上游和下游的视频图像；采用具有色彩保护的多尺度视网膜图像增强算法增强上游和下游的视频图像；采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。本发明不损伤鱼体且降低了监测成本。

权利要求

1.一种鱼类增殖放流去向的监测方法，其特征在于，所述方法包括：获取增殖放流点上游和下游的视频图像；

采用具有色彩保护的多尺度视网膜图像增强算法增强上游和下游的视频图像；

采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量；

所述获取增殖放流点上游和下游的视频图像，具体包括：采用水下摄像头实时采集所述增殖放流点上游和下游的视频图像；

将水下摄像头采集的视频图像以RTSP视频流的方式实时传输到图像增强终端。

2.根据权利要求1所述的鱼类增殖放流去向的监测方法，其特征在于，所述采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量，具体包括：获取鱼类图像数据集；

对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

采用训练好的神经网络模型识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

3.根据权利要求2所述的鱼类增殖放流去向的监测方法，其特征在于，所述对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，具体包括：对所述鱼类图像数据集通过labelimg软件对目标鱼类进行标记，获得目标鱼类的种类及对应数量。

4.根据权利要求2所述的鱼类增殖放流去向的监测方法，其特征在于，所述神经网络模型为YOLOv4模型。

5.一种鱼类增殖放流去向的监测系统，其特征在于，所述系统包括：视频图像获取模块，用于获取增殖放流点上游和下游的视频图像；

图像增强模块，用于采用具有色彩保护的多尺度视网膜图像增强算法增强上游和下游的视频图像；

识别模块，用于采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

6.根据权利要求5所述的鱼类增殖放流去向的监测系统，其特征在于，所述识别模块，具体包括：

数据集获取单元，用于获取鱼类图像数据集；

统计单元，用于对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

模型训练单元，用于以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

识别单元，用于采用训练好的神经网络模型识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量；

所述视频图像获取模块，具体包括：视频图像获取单元，用于采用水下摄像头实时采集所述增殖放流点上游和下游的视频图像，将水下摄像头采集的视频图像以RTSP视频流的方式实时传输到图像增强终端。

7.根据权利要求6所述的鱼类增殖放流去向的监测系统，其特征在于，所述统计单元，具体包括：

统计子单元，用于对所述鱼类图像数据集通过labelimg软件对目标鱼类进行标记，获得目标鱼类的种类及对应数量。

8.根据权利要求6所述的鱼类增殖放流去向的监测系统，其特征在于，所述神经网络模型为YOLOv4模型。

说明书

一种鱼类增殖放流去向的监测方法及系统

技术领域

[0001] 本发明涉及鱼类监测技术领域，特别是涉及一种鱼类增殖放流去向的监测方法及系统。

背景技术

[0002] 河流筑坝开发对水文情势、水力学特性、水温、水质以及鱼类洄游等有一定影响，根据水利水电工程建设项目环境保护要求，需要建立减缓筑坝影响的环境保护措施，实施
生态补偿，恢复河流生态系统健康。鱼类是河流生态系统相对敏感的指示性物种，鱼类种群
的变化直接反映了河流生态系统状况。

[0003] 目前，中国已在水电工程施工期和运行期采取了多项水、大气、声和生态环境保护措施。鱼类人工增殖放流是缓解水电开发对所在流域水生生态影响，保护珍稀濒危鱼类种
群，补充经济鱼类资源的重要手段。鱼类增殖放流可归纳为三类：(1)生态修复型。实施生态
修复型增殖放流的前提是栖息地可选择，环境适应性和承载力适合，自然增殖受到限制。其
主要功能是修复和补偿由于人类活动造成环境变化所带来的资源损失。一般选择土著种和
近缘种作为放流对象；(2)增加资源量型。前提条件是自然增殖受限，栖息地资源数量小于
承载力，野生和增殖种群能共存不产生负影响。主要目的是补充由于过度捕捞带来的资源
损失。以土著种为增殖放流对象；(3)改变生态结构型。前提是物种能够适应新的环境，已存
在的资源量小于环境的生态容量。主要目的是维持水域的高产量，充分利用水域资源，一般
选择外来种作为增殖放流对象。

[0004] 目前，增殖放流已经有100多年的实践经验，涉及超过100多个国家，在享受增殖放流工程带来巨大利益的同时，它也给人们带来了新的问题。很多增殖放流项目并没有实现
放流计划时的预期目标，一些项目甚至实施了数十年效果依然不理想，人力财力投入了，但
是资源危机没有得到缓解，甚至出现了一些珍惜资源量持续降低、生物入侵等负面的影响。
造成这种局面的主要原因在于对增值放流缺乏有效的评估和监测。国内大多数增殖放流仅
停留在放流阶段，没有后续跟进的效果评价，因此，对于增殖放流效果的评价体系的研究也
不关注，不重视，导致增殖放流效果评价体系缺乏。能够查找到的关于增殖放流效果评价体
系的研究资料非常有限；仅有的文献资料比较笼统，没有针对性，对具体的增殖放流项目的
增殖放流效果评价的指导意义不大。根据不同的性质和目的，增殖放流被分成了很多不同
类别，一些是为了获得渔获物的增殖性增殖放流，那么这种增殖放流的评价必然会侧重增
殖放流的经济效益，同时顾及生态效益考虑社会效益；一些以珍惜濒危鱼类为放流目标的
增殖放流必然不会首先考虑经济效益而是重点关注放流种类的生存繁衍情况；一些以种群
恢复为目的的补偿性增殖放流，则首先应该重视生态效益，同时兼顾经济效益和社会效益。
而目前，能够具体从增殖放流的性质为出发点提出的增殖放流效果评价体系是缺乏的；提
出的体系所给出的各项评价指标没有指出具体的操作指导方案，应用到具体的增殖放流项
目时难以实现。

[0005] 目前，中国较为成熟的鱼类放流标志技术可分为传统标志方法和现代标志方法。前者主要为挂牌标志法；后者则主要为荧光标记法、微卫星标记法等。传统挂牌标记常对鱼
体造成损伤，影响放流后的存活率，而荧光标记可以避免损伤，同时适合标记较小的幼鱼。
调查结果表明:目前，少数鱼类增殖放流正在开展其他标记方法研究外，已运行的鱼类增殖
站标记技术大多还是采用传统挂牌标记。其主要原因是，很多流域渔业市场化程度不高，渔
获物大多分散上市，荧光标记回捕率较低，而分子标法等其他方法需要做大量的测试工作，
成本也较高。

[0006] 总体来说，传统的标志方法会对鱼体造成损伤，影响放流后的存活率，荧光标记回捕率较低，分子标法需要工作量大且成本较高。

发明内容

[0007] 基于此，本发明的目的是提供一种鱼类增殖放流去向的监测方法及系统，不损伤鱼体且降低了监测成本。

[0008] 为实现上述目的，本发明提供了如下方案：

[0009] 一种鱼类增殖放流去向的监测方法，所述方法包括：

[0010] 获取增殖放流点上游和下游的视频图像；

[0011] 采用具有色彩保护的多尺度视网膜图像增强算法增强上游和下游的视频图像；

[0012] 采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

[0013] 可选地，所述采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量，具体包括：

[0014] 获取鱼类图像数据集；

[0015] 对所述鱼类图像数据集中进行鱼的种类的标记及各种类的鱼的数量进行统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

[0016] 以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

[0017] 采用训练好的神经网络模型识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

[0018] 可选地，所述对所述鱼类图像数据集中进行鱼的种类的标记及各种类的鱼的数量进行统计，具体包括：

[0019] 对所述鱼类图像数据集通过labelimg软件对目标鱼类进行标记，获得目标鱼类的种类及对应数量。

[0020] 可选地，所述神经网络模型为YOLOv4模型。

[0021] 可选地，所述获取增殖放流点上游和下游的视频图像，具体包括：

[0022] 采用水下摄像头实时采集所述增殖放流点上游和下游的视频图像。

[0023] 本发明还公开了一种鱼类增殖放流去向的监测系统，所述系统包括：

[0024] 视频图像获取模块，用于获取增殖放流点上游和下游的视频图像；

[0025] 图像增强模块，用于采用具有色彩保护的多尺度视网膜图像增强算法增强上游和下游的视频图像；

[0026] 识别模块，用于采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

[0027] 可选地，所述识别模块，具体包括：

[0028] 数据集获取单元，用于获取鱼类图像数据集；

[0029] 统计单元，用于对所述鱼类图像数据集中进行鱼的种类的标记及各种类的鱼的数量进行统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

[0030] 模型训练单元，用于以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

[0031] 识别单元，用于采用训练好的神经网络模型识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

[0032] 可选地，所述统计单元，具体包括：

[0033] 统计子单元，用于对所述鱼类图像数据集通过labelimg软件对目标鱼类进行标记，获得目标鱼类的种类及对应数量。

[0034] 可选地，所述神经网络模型为YOLOv4模型。

[0035] 可选地，所述视频图像获取模块，具体包括：

[0036] 视频图像获取单元，用于采用水下摄像头实时采集所述增殖放流点上游和下游的视频图像。

[0037] 根据本发明提供的具体实施例，本发明公开了以下技术效果：

[0038] 本发明公开了一种鱼类增殖放流去向的监测方法及系统，通过视频采集鱼类的视频图像，并通过深度学习算法识别增殖放流点上游和下游的鱼的种类及数量，不需要对鱼
类进行标注，不损伤鱼体，识别效率高且节约监测成本。

附图说明

[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。

[0040] 图1为本发明一种鱼类增殖放流去向的监测方法流程示意图；

[0041] 图2为本发明YOLOv4模型结构示意图；

[0042] 图3为本发明YOLOv4模型详细结构示意图；

[0043] 图4为本发明一种鱼类增殖放流去向的监测系统结构示意图。

具体实施方式

[0044] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0045] 本发明的目的是提供一种鱼类增殖放流去向的监测方法及系统，不损伤鱼体且降低了监测成本。

[0046] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0047] 图1为本发明一种鱼类增殖放流去向的监测方法流程示意图，如图1所示，一种鱼类增殖放流去向的监测方法包括：

[0048] 步骤101：获取增殖放流点上游和下游的视频图像。

[0049] 所述获取增殖放流点上游和下游的视频图像，具体包括：

[0050] 采用高清水下摄像头实时采集所述增殖放流点上游和下游的视频图像。高清水下摄像头实时采集的上游和下游的视频图像以RTSP(Real Time Streaming Protocol，实时
流传输协议)视频流的方式实时传输。

[0051] 步骤102：采用具有色彩保护的多尺度视网膜图像增强算法增强上游和下游的视频图像。

[0052] Retinex(视网膜大脑皮层理论)的基础理论是物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的，而不是由反射光强度的绝对值来
决定的，物体的色彩不受光照非均匀性的影响，具有一致性，即Retinex是以色感一致性(颜
色恒常性)为基础的。不同于传统的线性、非线性的只能增强图像某一类特征的方法，
Retinex可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不
同类型的图像进行自适应的增强。40多年来，研究人员模仿人类视觉系统发展了Retinex算
法，从单尺度Retinex算法，MSR(Multi‑Scale Retinex，多尺度视网膜算法)改进成多尺度
加权平均的MSR算法，再发展成彩色恢复多尺度MSRCR(Multi‑Scale Retinex with Color 
Restoration，具有色彩恢复的多尺度视网膜图像增强算法)和色彩保护多尺度MSRCP
(Multi‑Scale Retinex with Chromaticity Preservation，具有色彩保护的多尺度视网
膜图像增强算法)。

[0053] 步骤103：采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及各种鱼对应的数量和下游鱼的种类及各种鱼对应的数
量。

[0054] 根据增殖流放点上游鱼的种类及数量和下游鱼的种类及数量对鱼类增殖放流去向进行监测。

[0055] 所述采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量，具体包括：

[0056] 获取鱼类图像数据集；

[0057] 对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

[0058] 以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

[0059] 采用训练好的神经网络模型识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

[0060] 所述对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，具体包括：

[0061] 对所述鱼类图像数据集通过labelimg软件对目标鱼类进行标记，获得目标鱼类的种类及对应数量。

[0062] 所述神经网络模型为YOLOv4模型。

[0063] 下面以具体实施例说明本发明一种鱼类增殖放流去向的监测方法。

[0064] 首先，在增殖放流点上下游分别布置一套监测系统用于实时观测。视频采集系统主要通过高清水下摄像头来实施，由于藏区河流水质浑浊，为了确保能够得到高清的水下
鱼类视频图像，高清水下摄像头通过RTSP视频流的方式将采集到的视频图像实时传输到实
时图像增强系统终端，该终端内置图像增强算法，对实时传输过来的图像进行图像增强。

[0065] 然后，经过图像增强后的视频图像输入到鱼类智能化识别系统终端，该终端内置基于深度学习的鱼类图像识别算法，该算法可以识别输入图像中的鱼类种类。

[0066] 本发明一种鱼类增殖放流去向的监测方法主要步骤如下：

[0067] Step1：在增殖放流点上下游安装高清水下摄像头进行拍照。

[0068] Step2：将高清水下摄像头采集的视频图像以RTSP视频流的方式实时传输到图像增强终端。

[0069] 灰度调整可以突出图像中感兴趣的目标或灰度区间，抑制那些不感兴趣的灰度区间，同时不会改变图像中的空间关系，调整灰度值可以较好地将鱼和浑水分离出来，因此采
用灰度变换增强实现图像增强。

[0070] Step3：将Step2得到的高清鱼类图像输入到鱼类智能化识别终端，通过已经训练好的内置深度学习算法识别鱼类种类并计数。

[0071] YOLOv4是最近开发的一个高效、强大的目标检测模型，采用了近些年CNN(Convolutional neural network，卷积神经网络)领域中最优秀的优化策略，从数据处理、
主干网络、网络训练、激活函数和损失函数等各个方面都有着不同程度的优化，YOLOv4模型
的结构如图2‑3所示，YOLOv4模型主要训练过程如下：

[0072] 第一步：将事先采集的增殖放流点目标鱼类图像集通过labelimg软件进行标注形成标注数据集。

[0073] 第二步：修改配置文件，配置文件包括训练路径和训练类，修改配置文件目的主要是初始化基础模型，进行环境设置。

[0074] 第三步：将第一步得到的标注数据集输入到第二步修改好配置文件的YOLOv4模型中进行训练得到训练好的神经网络模型，YOLOv4的总体训练流程大致如下：训练集输入，通
过主干提取网络CSPDarknet53，加强特征提取网络SPP(Spatial Pyramid Pooling)和
PANet(Path Aggregation Network)结构进行特征提取得到13*13*1024、26*26*512和52*
52*256三个固定尺寸的特征层，最后通过YOLO head将得到的特征层与真实的标注数据对
比最后转换成预测结果，平均损失在多次迭代后在固定振幅内波动或者不再减少的时候训
练终止。

[0075] 本发明一种鱼类增殖放流去向的监测方法，通过视频采集和深度学习的鱼类识别算法，完成鱼类增殖放流去向的监测，该方法不需要对鱼类进行标注，可做到不损伤鱼体，
同时整个系统可实现智能化自动化，节约大量人力成本。另外，通过实时获取增殖放流点上
游和下游的视频图像，且实时对视频图像进行图像增强，通过训练好的神经网络模型实时
获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量，提高了监测的及时性。

[0076] 图4为本发明一种鱼类增殖放流去向的监测系统结构示意图，如图4所示一种鱼类增殖放流去向的监测系统包括：

[0077] 视频图像获取模块201，用于获取增殖放流点上游和下游的视频图像。

[0078] 所述视频图像获取模块201，具体包括：

[0079] 视频图像获取单元，用于采用水下摄像头实时采集所述增殖放流点上游和下游的视频图像。

[0080] 图像增强模块202，用于采用具有色彩保护的多尺度视网膜图像增强算法增强上游和下游的视频图像。

[0081] 高清水下摄像头实时采集的上游和下游的视频图像以RTSP(Real  Time Streaming Protocol，实时流传输协议)视频流的方式实时传输至图像增强模块202。

[0082] 识别模块203，用于采用深度学习算法识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

[0083] 所述识别模块203，具体包括：

[0084] 数据集获取单元，用于获取鱼类图像数据集；

[0085] 统计单元，用于对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

[0086] 模型训练单元，用于以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

[0087] 识别单元，用于采用训练好的神经网络模型识别增强后上游和下游的视频图像中鱼的种类及数量，获得增殖流放点上游鱼的种类及数量和下游鱼的种类及数量。

[0088] 所述统计单元，具体包括：

[0089] 统计子单元，用于对所述鱼类图像数据集通过labelimg软件对目标鱼类进行标记，获得目标鱼类的种类及对应数量。

[0090] 所述神经网络模型为YOLOv4模型。

[0091] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统
而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说
明即可。

[0092] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据
本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不
应理解为对本发明的限制。