基于高帧率动态帧差精准识别的渔场投喂系统及方法

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

基于高帧率动态帧差精准识别的渔场投喂系统及方法
申请号	CN202210077627.1	申请日	2022-01-24	公开(公告)号	CN114503946A	公开(公告)日	2022-05-17
申请人	海南大学;			发明人	黄梦醒; 张宏瑞; 吴迪; 毋媛媛; 冯思玲; 冯文龙; 张雨; 冯子凯;
摘要	本发明公开基于高帧率动态帧差精准识别的渔场投喂系统及方法，该方法包括如下步骤：启动驱动装置，使饵料投喂标识物绕驱动装置做圆周运动；获取饵料投喂标识物运动状态下的的高帧率视频流数据；基于高帧率动态帧差算法对高帧率视频流数据进行分析处理，预测饵料投喂标识物的位置；根据预测的饵料投喂标识物的位置，计算投喂模块的投喂角度、距离以及时间；根据计算获得的投喂模块的投喂角度、距离以及时间向饵料投喂标识物下方的网状饵料箱投喂饵料。本发明通过饵料投喂装置对渔场运动投喂标识物的精准识别和跟随，实现了渔场的智能化圆周状的投喂饵料，有效的降低了水产养殖户的人力物力成本的同时确保大范围投喂的实现。
权利要求	1.基于高帧率动态帧差精准识别的渔场投喂系统，其特征在于，包括驱动装置、网状饵料箱和无人投饵车，其中，所述驱动装置的输出端通过连杆与网状投料箱连接，所述网状投料箱的正上方设置有饵料投喂标识物；所述无人投饵车，包括车载嵌入式主控模块、投喂模块、图像采集模块和数据处理模块，所述数据处理模块分别与图像采集模块和嵌入式主控模块通信连接，所述嵌入式主控模块与投喂模块通信连接，其中，所述图像采集模块，用于获取饵料投喂标识物运动状态下的高帧率视频流数据，并将高帧率视频流数据发送至数据处理模块；所述数据处理模块，用于接收图像采集模块发送的高帧率视频流数据并进行分析处理，预测饵料投喂标识物的位置；所述车载嵌入式主控模块，用于根据所述数据处理模块预测的饵料投喂标识物的位置向投喂模块发送投喂角度、距离以及时间的控制信号；所述投喂模块，用于根据所述车载嵌入式主控模块发送的控制信号作相应调整并投喂饵料。 2.根据权利要求1所述的基于高帧率动态帧差精准识别的渔场投喂系统，其特征在于，所述驱动装置的输出端与连杆之间呈90°～150°夹角设置。 3.根据权利要求1所述的基于高帧率动态帧差精准识别的渔场投喂系统，其特征在于，所述饵料投喂标识物呈圆柱体结构。 4.根据权利要求1所述的基于高帧率动态帧差精准识别的渔场投喂系统，其特征在于，所述驱动装置为电机。 5.根据权利要求1所述的基于高帧率动态帧差精准识别的渔场投喂系统，其特征在于，还包括手动遥控装置，所述手动遥控装置分别与数据处理模块和驱动装置无线通信连接。 6.应用如权利要求1至5中任意一项所述的基于高帧率动态帧差精准识别的渔场投喂系统的方法，其特征在于，包括如下步骤：启动驱动装置，使饵料投喂标识物绕驱动装置做圆周运动；获取饵料投喂标识物运动状态下的的高帧率视频流数据；基于高帧率动态帧差算法对高帧率视频流数据进行分析处理，预测饵料投喂标识物的位置；根据预测的饵料投喂标识物的位置，计算投喂模块的投喂角度、距离以及时间；根据计算获得的投喂模块的投喂角度、距离以及时间控制投喂模块向饵料投喂标识物下方的网状饵料箱投喂饵料。 7.根据权利要求6所述的基于高帧率动态帧差精准识别的渔场投喂方法，其特征在于，所述基于高帧率动态帧差算法对高帧率视频流数据进行分析处理，预测饵料投喂标识物的位置，具体包括如下步骤：对高帧率视频流数据中每一帧视频图像进行目标检测，提取每幅图像序列中饵料投喂标示物的像素级位置坐标；采用Levenberg‑Marquardt算法对高帧率视频流数据中每一帧的饵料投喂标示物的像素级位置坐标进行实时拟合，获得圆周运动物体的像素级预测位置，即获得饵料投喂标识物的预测位置信息。 8.根据权利要求7所述的基于高帧率动态帧差精准识别的渔场投喂方法，其特征在于，所述投喂角度包括饵料投喂标示物的极角和距离相机光轴的偏角。 9.根据权利要求8所述的基于高帧率动态帧差精准识别的渔场投喂方法，其特征在于，所述饵料投喂标示物运动状态下在tlast时刻与tlast+τ时刻之间位移的极角角度Δθpre的计算公式如下所示：其中，为饵料投喂标示物被识别到时的初始相位，a，b，c分别为拟合的变量常数，tlast为预测算法拟合出预测方程后的当前帧时刻，τ为预测时间间隔，t为时间变量，dt为时间变量的微分量。 10.根据权利要求8所述的基于高帧率动态帧差精准识别的渔场投喂方法，其特征在于，所述距离相机光轴的偏角是利用小孔成像原理模型，由张正友相机标定法标定得到的相机焦距、内参矩阵和外参矩阵计算获得。
说明书全文	基于高帧率动态帧差精准识别的渔场投喂系统及方法技术领域 [0001] 本发明涉及智能养殖技术领域，尤其涉及基于高帧率动态帧差精准识别的渔场投喂系统及方法。背景技术 [0002] 当前水产养殖业发展较为迅速，但水产养殖中饲料的泼洒仍停留在传统人工或半机械化阶段，传统的养殖方式耗时费力，成本较高。传统的池塘一般都是由人工泼洒饲料与鱼药，但是当池塘较大时，传统泼洒方式费时费力，且不均匀，导致鱼虾生长快慢不均，不能确保鱼虾的养殖品质。 [0003] 随着人力成本增长，越来越多的水产养殖用户选择进行自主投饵洒药。虽然已有许多自动投饵装置，但是目前市场上的饲料投饵装置只简单解决了人工重复投饵洒药的问题，并不能实现大范围均匀的投喂效果。除此之外，当前自主智能设备的水产养殖应用技术并不成熟，基于无人船与无人机的投喂装置造价极高，与人工或者半人工的投饵、洒药方式相比，并不能有效地降低水产养殖户的人力物力成本，并且也不能实现大范围的推广。发明内容 [0004] 为了解决上述技术问题，本发明提出一种基于高帧率动态帧差精准识别的渔场投喂系统及方法，通过消除传统帧差法易受相机抖动噪声影响的缺点，实现饵料投喂装置对渔场运动投喂标识的精准识别和跟随，实现了渔场的智能化投喂，有效的降低了水产养殖户的人力物力成本。 [0005] 为了达到上述目的，本发明的技术方案如下： [0006] 基于高帧率动态帧差精准识别的渔场投喂系统，包括驱动装置、网状饵料箱和无人投饵车，其中， [0007] 所述驱动装置的输出端通过连杆与网状投料箱连接，所述网状投料箱的正上方设置有饵料投喂标识物； [0008] 所述无人投饵车，包括车载嵌入式主控模块、投喂模块、图像采集模块和数据处理模块，所述数据处理模块分别与图像采集模块和嵌入式主控模块通信连接，所述嵌入式主控模块与投喂模块通信连接，其中， [0009] 所述图像采集模块，用于获取饵料投喂标识物运动状态下的高帧率视频流数据，并将高帧率视频流数据发送至数据处理模块； [0010] 所述数据处理模块，用于接收图像采集模块发送的高帧率视频流数据并进行分析处理，预测饵料投喂标识物的位置； [0011] 所述车载嵌入式主控模块，用于根据所述数据处理模块预测的饵料投喂标识物的位置向投喂模块发送投喂角度、距离以及时间的控制信号； [0012] 所述投喂模块，用于根据所述车载嵌入式主控模块发送的控制信号作相应调整并投喂饵料。 [0013] 优选地，所述驱动装置的输出端与连杆之间呈90°～150°夹角设置。 [0014] 优选地，所述饵料投喂标识物呈圆柱体结构。 [0015] 优选地，所述驱动装置为电机。 [0016] 优选地，还包括手动遥控装置，所述手动遥控装置分别与数据处理模块和驱动装置无线通信连接。 [0017] 应用如上述所述的基于高帧率动态帧差精准识别的渔场投喂系统的方法，包括如下步骤： [0018] 启动驱动装置，使饵料投喂标识物绕驱动装置做圆周运动； [0019] 获取饵料投喂标识物运动状态下的的高帧率视频流数据； [0020] 基于高帧率动态帧差算法对高帧率视频流数据进行分析处理，预测饵料投喂标识物的位置； [0021] 根据预测的饵料投喂标识物的位置，计算投喂模块的投喂角度、距离以及时间； [0022] 根据计算获得的投喂模块的投喂角度、距离以及时间向饵料投喂标识物下方的网状饵料箱投喂饵料。 [0023] 优选地，所述基于高帧率动态帧差算法对高帧率视频流数据进行分析处理，预测饵料投喂标识物的位置，具体包括如下步骤： [0024] 对高帧率视频流数据中每一帧视频图像进行目标检测，提取每幅图像序列中饵料投喂标示物的像素级位置坐标； [0025] 采用Levenberg‑Marquardt算法对高帧率视频流数据中每一帧的饵料投喂标示物的像素级位置坐标进行实时拟合，获得圆周运动物体的像素级预测位置，即获得饵料投喂标识物的预测位置信息。 [0026] 优选地，所述投喂角度包括饵料投喂标示物的极角和距离相机光轴的偏角。 [0027] 优选地，所述饵料投喂标示物运动状态下在tlast时刻与tlast+τ时刻之间位移的极角角度Δθpre的计算公式如下所示： [0028] [0029] 其中，φ为饵料投喂标示物被识别到时的初始相位，a，b，c分别为拟合的变量常数，tlast为预测算法拟合出预测方程后的当前帧时刻，τ为预测时间间隔，t为时间变量，dt 为时间变量的微分量。 [0030] 优选地，所述距离相机光轴的偏角是利用小孔成像原理模型，由张正友相机标定法标定得到的相机焦距、内参矩阵和外参矩阵计算获得。 [0031] 基于上述技术方案，本发明的有益效果是：本发明针对高帧率摄像头的采样率高、易受相机抖动噪声影响、运动目标检测精度低以及鲁棒性差等问题，设计了一种基于高帧率图像动态帧差的投喂标识识别算法，通过消除传统帧差法易受相机抖动噪声影响的缺点，实现饵料投喂装置对渔场运动投喂标识的精准识别和跟随，实现了渔场的智能化投喂，有效的降低了水产养殖户的人力物力成本。附图说明 [0032] 图1是一个实施例中基于高帧率动态帧差精准识别的渔场投喂系统的结构示意图； [0033] 图2是一个实施例中基于高帧率动态帧差精准识别的渔场投喂系统中无人投饵车的结构示意图； [0034] 图3是一个实施例中基于高帧率动态帧差精准识别的渔场投喂系统中数据处理模块的并行处理结构； [0035] 图4是一个实施例中方向控制单元的流程示意图； [0036] 图5是一个实施例中传统帧间差分识别算法与高帧率动态帧差识别算法角速度对比图； [0037] 图6是一个实施例中基于高帧率动态帧差算法的预测结果与实际识别数据对比图。 [0038] 图中，各附图标记为： [0039] 1、驱动装置；2、网状饵料箱；3、无人投饵车；310、图像采集模块；320、数据处理模块；330、车载嵌入式主控模块；340、投喂模块；341、方向控制单元；342、距离控制单元；343、投饵单元；4、饵料投喂标识物；5、连杆。具体实施方式 [0040] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。 [0041] 如图1至6所示，本实施例中基于高帧率动态帧差精准识别的渔场投喂系统，包括驱动装置1(电机)、网状饵料箱2和无人投饵车3，其中， [0042] 所述驱动装置1的输出端通过连杆5与网状投料箱2连接，且驱动装置1的输出端与连杆5之间呈90°夹角设置，所述网状投料箱2的正上方设置有呈圆柱体结构的饵料投喂标识物4； [0043] 如图2所示，无人投饵车3包括车载嵌入式主控模块330、投喂模块340、图像采集模块310和数据处理模块320，所述数据处理模块320分别与图像采集模块310和嵌入式主控模块通信连接，所述嵌入式主控模块与投喂模块340通信连接，其中， [0044] 1)图像采集模块310，设置在无人投饵车3的投饵装置上方的中心位置，与投喂模块340保持相对静止，以获得最佳视野范围。该模块通过usb接口直接与数据处理模块320相连接，用于获取饵料投喂标识物4运动状态下的高帧率视频流数据，并将高帧率视频流数据发送至数据处理模块320； [0045] 2)所述数据处理模块320，用于接收图像采集模块310发送的高帧率视频流数据并进行分析处理，预测饵料投喂标识物4的位置； [0046] 3)所述车载嵌入式主控模块330，用于根据所述数据处理模块320预测的饵料投喂标识物4的位置向投喂模块340发送投喂角度、距离以及时间的控制信号； [0047] 4)所述投喂模块340，为一种双轴云台设备，其中设有方向控制单元341、距离控制单元342以及投饵单元343，均通过控制线与车载嵌入式主控相连接并进行实时通信，获取控制信号和相应反馈数据以调整饵料的落点。方向控制单元341由安装在侧面以及云台底部的两个无刷电机组成，用于接收车载嵌入式主控模块330发送的控制信号，进行云台的俯仰角度以及水平角度控制，以达到调整投饵角度的效果。 [0048] 本实施例中，数据处理模块320采用英特尔NUC11TNv70Lz作为处理系统数据的PC硬件，系统采用Ubuntu20.04，内存为32GB，硬盘为512GB。数据处理模块320主要有两个任务，一是通过嵌入式主控模块操控无人投饵车3，二是处理图像采集模块310传回的视频数据流。因为数据需要实时处理，所以选用较新的硬件平台和完善的软件平台，使用C++边写运行效率高的程序并行计算。使用开源的Opencv计算机视觉库进行上位机图形处理程序的构建，使用高帧率动态帧差法、灰度化、二值化、形态学变化(腐蚀、膨胀)算法，对图像采集模块310返回的视频流数据进行实时处理。数据处理模块320接收到图像采集模块310传来的逐帧图像信息后，对带时间序列的图像进行处理分析获取运动物体位置信息，采用 Levenberg‑Marquardt算法对位置信息进行实时拟合，得到圆周运动物体的像素级预测位置，得到预测点位置信息，从而算出期望的投饵的角度，并实时结合嵌入式主控发送的云台俯仰角度，采用PID控制器，输出控制信号并发送给车载嵌入式主控，控制投喂模块340达到期望投喂角度、距离以及时间，从而实现精准投喂。 [0049] 在一个实施例的基于高帧率动态帧差精准识别的渔场投喂系统中，还包括手动遥控装置，所述手动遥控装置分别与数据处理模块320和驱动装置1无线通信连接。 [0050] 本实施例提供基于高帧率动态帧差精准识别的渔场投喂方法，该方法是基于无人投饵车3和能够旋转的饵料投喂标识物4和网状饵料箱2装置进行实现的，具体包括如下步骤： [0051] 步骤S210：在鱼虾养殖塘水面，设置能够旋转的饵料投喂标识物4和网状饵料箱2，开启电机，使饵料投喂标识物4和网状饵料箱2围绕电机做圆周运动。 [0052] 步骤S220：启动无人投饵车3，无人投饵车3通过手动遥控装置控制开往指定的投喂地点，然后关闭手动遥控模式，开启自主识别投喂模式，并设饵料投喂标示物以角速度做圆周运动。开启无人投饵车的图像采集设备，图像采集模块 310选用大恒工业相机，图像输入可达150fps，为保证稳定性采用100帧，并选用张正友相机标定法获得的相机焦距、相机内参矩阵和相机外参矩阵。相机所采集的视频信息会通过专用输出端口，传输至数据处理模块320。 [0053] 步骤S230：上传到数据处理模块320的高帧率视频流数据需要在保证时序顺序的情况完成实时处理，所以我们采用了 NUC11TNv70Lz，6核12线程作为数据处理模块 320，采用并行结构。对每个模块单独建立线程，在识别线程中又采用了线程池技术，保证每帧图像均由单独的线程处理，满足了高帧率要求的同时保证了实时性，具体并行结构见图 3。 [0054] 步骤S240：图像视频数据需要通过数据处理模块320进行目标检测。目标检测是在对获取的每一帧视频图像进行预处理后，从每幅图像序列中检测出圆周运动的饵料投喂标示物4。采取图像识别的形态学处理和分割算法进行目标检测。 [0055] 基于图像识别的形态学处理和分割算法如下： [0056] 步骤S241：采用背景去除法的思想进行目标检测，设t时刻图像为It(x,y)，背景图像为Bt(x,y)，则 [0057] [0058] 其中T为区别前景和背景的阈值，大于T的连通域被认为是运动目标(前景)，小于阙值T的区域则被认为是背景图像，进而区分出了运动目标和背景。该方法是否能够完整准确地检测出运动目标，取决于背景模型是否准确和分割阙值是否合适。对于背景模型的建立，使用的时域中值滤波方法是选取n帧视频并选取以下序列的平均值作为背景灰度值，根据摄像头采集到的原始数据流，这里推荐选取150： [0059] Bt＝average{It‑n+1，It‑n+2，It‑n+3，…，It) [0060] 其中I表示图像中的所有像素点，B表示计算出来的背景图像。 [0061] 步骤S242：对获取到的t时刻的背景图像Bt(x，y)，通过当前帧It(x，y)与背景图片相减获得t时刻待处理的灰度图像。 [0062] Gt(x，y)＝\|It(x，y)‑It(x，y)\| [0063] 实现该算法是采用OpenCV的threshold函数来确定阈值，该函数使用的大津法(最大类间距)来确定自适应分割阈值，从而实现图像的二值化。 [0064] 步骤S243：对于二值化图像It(x，y)进行形态学操作，对于形状不规则的连通域，我们使用OpenCV的膨胀(dilate)、腐蚀(erode)等操作进行平滑和去除杂质及空洞。从而得到形状较为规则的连通区域，提取各个连通区域作为目标个体，将各个连通域的质心作为饵料投喂标示物的像素级位置坐标。 [0065] 步骤S250：对经过形态学处理和分割算法提取到的饵料投喂标示物像素级位置坐标及其旋转中心的像素级位置坐标，并以旋转中心坐标为原点P建立极坐标系，并且在存储空间中，建立队列Q，记录获得饵料投喂标示物像素级坐标和旋转中心像素级坐标的时间戳 t，旋转中心像素级坐标记为Pt，饵料投喂标示物像素级坐标记为Pt(ρ，θ)。例如，Q队列中的第i帧图像所具有的三个元素分为时间戳ti，旋转中心坐标Pti，饵料投喂标示物坐标为Pti (ρ，θi)。 [0066] 步骤S260：设高帧率摄像头视频数据的提取帧间隔为n帧，启动预测线程的关键帧为ts时刻的第s帧(n＜s)。关键帧间隔n帧的设定是根据饵料投喂标示物的采样过程中的高斯白噪声决定的，第s帧的设定是根据饵料投喂标示物的运动状态变化程度，目标坐标点的置信度等综合考虑而设定的。当队列Q中的帧数达到n，启动预测线程预处理算法，并创建新队列Qn，为预测线程的启动做准备。 [0067] 预测线程预处理算法如下： [0068] 步骤S261：队列Q中的帧数达到第n帧时，提取第1帧和第n帧中的三个元素，并计算Δθ1＝θn‑θ1，Δt1＝tn‑t1，将x1＝(Δθ1，Δt1)作为第一个新元素放入新队列Qn中。即队列Q 中储存的帧数达到第i帧(i＞n)，Qn队列中的将增加新元素： [0069] xi‑n+1＝(Δθi‑n+1，Δti‑n+1) [0070] 其中Δθi‑n+1＝θi‑θi‑n，Δti‑n+1＝ti‑ti‑n。 [0071] 步骤S262：不断重复S261，直到Q中的帧数达到第s帧后，启动圆周运动饵料投喂标示物的预测算法，并且队列Q中新增加的元素时间戳ts+j，旋转中心坐标Pts+j，饵料投喂标示物坐标为Pts+j(ρ，θs+j)，将不断更新队列Q中的元素。 [0072] 步骤S263：不断重复步骤S262，直到队列Q已经达到最大容量，则将最早进入的队列的元素移出队列。 [0073] 步骤S270：当队列Q中的储存的帧数达到第s帧时，新的对列Qn中，也就是生成了预测样本S，启动预测线程。如果预测线程已经启动，预测样本S将更新扩充，直到新队列Qn达到容量上限。在我们的实验中设定的预测线程启动帧为第150帧。以新队列Qn中的(Δθ，Δ t)序列作为样本，采用Levenberg‑Marquardt算法对Δθ与Δt之间的非线性关系进行拟合。 Δθ与Δt之间非线性关系可以描述为： [0074] [0075] 其中为圆周运动目标被识别到时的初始相位，三个变量a，b，c分别为需要拟合的常数。 [0076] 步骤S280：根据在步骤S270中拟合出来的a，b，c，从而得到圆周运动的饵料投喂标示物4的角速度运动方程。从而在主线程中，预测τ秒后，目标的像素级坐标位置，可以根据饵料投喂标示物4的角速度方程和图像采集模块310采集到的当前帧的三个元素时间戳 tlast，旋转中心坐标Ptlast，饵料投喂标示物坐标为Ptlast(ρ，θlast)，带入下式： [0077] [0078] 其中Δθpre是饵料投喂标示物在tlast时刻与tlast+τ时刻之间位移的夹角角度，则在tlast时刻，τ秒后的目标极角即为θpre+θlast。基于高帧率动态帧差算法的预测结果与实际识别数据对比图见图6。 [0079] 步骤S290：根据步骤S280中获得tlast+τ时刻的饵料投喂标示物极角θpre+θlast，通过小孔成像原理和经过张正友相机标定法获得的相机焦距、相机内参矩阵和相机外参矩阵计算出预测位置x、y方向距离相机光轴的偏角θx，θy。但是在解出相机光轴的偏角θx，θy时，方向控制单元仍在处于运动状态，因此偏角θx，θy与真实的相机光轴的偏角存在滞后性，若直接采用PID控制云台减小偏角θx，θy去对圆周运动的饵料投喂标示物进行主动跟随，会导致方向控制单元的相位滞后，发生正反馈从而无法进行精准投喂。所以我们在实现对方向模块进行精准控制时，采用了将预测的时间τ秒作为PID控制周期的倒计时的总时间，通过提前调整方向控制单元341姿态置于目标的预测位置来等待饵料投喂标示物4的这种方法。 tpassed为无人投饵车3的投饵单元343调整到投饵角度所需要的时间，τres为预测总时间减去无人投饵车3的投饵单元343调整到投饵角度所需要时间的预测剩余时间，tmin为投饵单元 343从投喂饵料到命中的间隔时间，随着预测剩余时间τres的不断减少，不断重复步骤S280，直至预测时间τres≤tmin。当τres≤tmin时，启动投饵单元343，进行精准投喂。方向控制单元 341流程示意图见图4。 [0080] 本发明基于上述高帧率动态帧差识别方法，实现对渔场中的饵料投喂标识物4的精准识别，然后无人投饵车3上基于PID的饵料投喂模块340将饵料自动投射到渔场中的饵料投喂标识物4下方的网状饵料箱2，最终在渔场水面形成一个圆周状的投喂区域，实现对渔场的大范围精准投喂。 [0081] 以上所述仅为本发明所公开的基于高帧率动态帧差精准识别的渔场投喂系统及方法的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。 [0082] 上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。