一种基于融合CNN模型的渔船捕捞状态识别方法

摘要

本发明公开了一种基于融合CNN模型的渔船捕捞状态识别方法，首先对实验数据进行分析及预处理，包括异常值处理、航迹分段、特征衍生；然后基于Inception‑ResNet神经网络架构搭建融合CNN模型来识别渔船捕捞状态，其中输入级采用原始特征与衍生特征的组合作为输入，卷积级采用特征融合的方式输出特征，输出级进行最后的分类输出；最后为探究方法的有效性，比较了普通CNN模型、传统SVM模型及融合CNN模型在识别渔船捕捞状态上的效果。本发明在识别渔船捕捞状态时，准确度高，识别效果好，识别类型广。

权利要求

1.一种基于融合CNN模型的渔船捕捞状态识别方法，其特征在于：包括以下步骤：采集渔船捕捞数据并进行分析，所述渔船捕捞数据的原始特征包括渔船作业类型、经度、纬度、对地航速、对地航向，按照所述渔船作业类型进行数据分类，所述渔船作业类型包括延绳钓、张网、竿钓、围网、拖网、曳绳钓；

所述渔船捕捞数据为2012 2016年部分渔船的AIS数据；

~

对所述渔船捕捞数据进行预处理，在所述渔船捕捞数据上均匀设置若干个数据点，删除所述数据点前后时间长度大于1800S的数据，删除所述经度、纬度、对地航速和对地航向中明显异常的值，根据已有特征衍生新特征并将所述渔船捕捞数据部分特征标准化；

基于Inception‑ResNet架构搭建融合CNN模型，所述融合CNN模型包括输入级、卷积级和输出级，其中所述输入级包括衍生特征和所述原始特征，输入后采用特征融合的方法将所述卷积级的各层输出融合，通过所述输出级进行输出，采用分类函数进行最终分类，获得渔船捕捞状态；

所述融合CNN模型由一维卷积层、最大池化层、Flatten层、全连接层及Dropout层八层堆叠而成；模型选择T时宽、10深度的特征作为输入，先通过卷积核尺寸均为5、卷积核数为

32与64的两层一维卷积层，第一层输入和输出维度分别是(T,10)、(T‑4,32)，第二层输入和输出维度分别是(T‑4,32)、(T‑8,64)；其次通过一层参数为3的最大池化层，并通过一层Flatten层将数据展开，第三层输入和输出维度分别是(T‑8,64)、((T‑8)/3,64)，第四层输入和输出维度分别是((T‑8)/3,64)、(64*(T‑8)/3)；最后通过两层概率值为0.5的Dropout层和两层全连接层，并通过分类函数输出结果；

所述渔船捕捞数据的原始特征还包括：MMSI、Unix时间、距海岸的距离、距锚地的距离、表明捕捞活动的标签；

获得所述衍生特征的方法具体为：基于所述MMSI及所述数据点的时间间隔将经过处理后的数据划分为不同航迹，在同一段航迹内基于所述Unix时间、所述经度、所述纬度、所述对地航速和所述对地航向获得衍生特征；

所述输入级的输入为：由所述衍生特征和所述原始特征构成的时宽为256、深度为10的特征阵列；

所述卷积级包括四层卷积层，四层所述卷积层的深度分别为：16、32、64、96，步长均为

2，当前层的输出维度是下一层的输入维度；

四层所述卷积层的输入和输出维度分别为：

第一层的输入层维度和输出层维度分别是：（256，40）、（128，16）；

第二层的输入层维度和输出层维度分别是：（128，16）、（64，32）；

第三层的输入层维度和输出层维度分别是：（64，32）、（32，64）；

第四层的输入层维度和输出层维度分别是：（32，64）、（16，96）；

所述输出级基于全连接层将四层所述卷积层的输出融合，获得的输出维度为（256，

218）；

所述输出级包括三层卷积层，其中两层卷积层的宽度为1、深度为64，另一层卷积层的宽度为1、深度为1；

所述融合CNN模型的损失函数为二元交叉熵函数，分类函数为Sigmoid；

进行所述预处理后，为提取与实验相关的数据信息，同时精简特征并丢弃无效字段，需按照MMSI及时间间隔将实验数据划分为不同航迹，在同一段航迹内根据Unix时间、经度、纬度、航速、航向已有特征衍生其余6个数据特征，计算衍生特征中的 和；随后对与航向相关的特征进行归一化，所述归一化的计算公式为：式中， 和 均为归一化后的数据。

2.根据权利要求1所述的基于融合CNN模型的渔船捕捞状态识别方法，其特征在于：所述渔船捕捞数据的原始特征中，时间精度为秒，空间精度为0.0573º×0.0573º，速度精度为

0.1节，航向精度为0.1º，表明捕捞活动的标签分为捕捞状态1和未捕捞状态0。

说明书

一种基于融合CNN模型的渔船捕捞状态识别方法

技术领域

[0001] 本发明涉及智慧渔业领域，特别是涉及一种基于融合CNN模型的渔船捕捞状态识别方法。

背景技术

[0002] 渔业这个古老而又新兴的产业，一直伴随着人类文明的前进，近年来严峻的全球粮食安全问题更凸显了渔业的重要性。如今渔业总产量虽逐年稳定增长，但仅捕捞渔业就存在资源过度利用、非法捕鱼等严重问题。在这个万物互联的智能时代，为了更好的管理渔业资源，保障捕捞业的可持续发展，智慧捕捞必不可少。其中全面了解渔船捕捞状态、宏观掌握捕捞努力量、精准分析渔场时空变化成为关键。

[0003] 目前，识别渔船捕捞状态的方法主要分为四类：第一类是经验阈值法，通常依靠专家或相关渔业人员的专业经验，通过对渔船捕捞过程中的航速、航向等信息进行阈值设定，识别其捕捞状态。Roy Deng等人基于澳大利亚地区的拖网渔船数据，先选出渔船不在锚地、港口或同一位置停留的数据，再选出航行时间在禁渔期之外的数据，最后将航行速度小于4节的数据识别为捕捞状态；Mills等人基于英国海域的拖网渔船数据，选出船速为2‑8节的数据，再结合实时航向对捕捞状态进行判断；Janette Lee等人回顾了数十种使用速度阈值识别捕捞状态的方法，并基于英国水域的各类渔船捕捞数据，在确定渔船类型的基础上，通过筛选原始数据中的瞬时船速及两个连续位置之间的平均船速，得到了各类渔船处于捕捞状态时的数据特征。然而，通过经验确定阈值进行识别的方法虽然简单，但在准确度上仍有不足。Russo等人曾指出通过预定阈值判定时，部分渔船的减速转向行为有可能会符合阈值判定，会被错误的识别为捕捞状态，造成准确度下降。

[0004] 第二类是聚类方法，通常将捕捞活动对应的轨迹段作为停止点，通过检测轨迹中的停止点来识别捕捞状态。Mazzarella等人先通过AIS数据中航速和航向的变化来识别渔船轨迹中的停靠点，再基于聚类方法提取轨迹中所有停靠点，最后识别渔船的捕捞状态。然而这种方法没有考虑到捕捞活动的可持续性，不能识别短时间内参数出现巨大变化但捕捞状态未改变的情况。

[0005] 第三类是传统机器学习，包括隐马尔可夫模型(Hidden Markov Model,HMM)、高斯混合模型(GaussianMixture Models,GMM)、支持向量机(Support Vector Machine,SVM)模型等。Souza等人基于拖网渔船的AIS数据，使用船速作为观察变量，建立HMM来识别捕捞状态；Vermard等人提出了一种基于隐马尔可夫过程的贝叶斯层次模型(Bayesian Hidden Markov Model,HBM)，该模型先利用隐藏马尔可夫链对渔船的连续行为状态进行建模，并有条件地定义运动过程的航速与航向，再利用贝叶斯方法整合数据，对模型的未知参数进行推断，最后达到分析渔船轨迹、识别捕捞状态的目的；Michele等人基于渔船速度分布的特征，提出了一种基于GMM的捕捞状态识别方法，该方法使用GMM确定了不同状态的速度阈值，再将速度对应的轨迹点分类为停泊、捕捞和航行。然而这些方法都只使用渔船的当前状态来预测下一个状态，没有考虑捕捞轨迹的时间和空间关系。

[0006] 第四类是深度学习，包括循环神经网络(Recurrent Neural Network,RNN)、卷积神经网络(Convolutional Neural Networks，CNN)等。汤先峰等人基于VMS数据，使用自定义的10层CNN模型识别了刺网和拖网渔船的捕捞状态；郑巧玲等人基于VMS数据中的航速与航向数据，识别了中国近海部分刺网、拖网和张网渔船的捕捞状态。这些研究均基于VMS数据，并且数据只有部分捕捞类型的渔船。

[0007] 近年来，深度学习逐渐走进各行各业，这一利用计算机通过模拟人脑来分析解释数据的技术，已成为当前各领域的热点。捕捞渔业也不例外，如何通过深度学习来更好的实现智慧捕捞已成为新的研究课题。

发明内容

[0008] 本发明的目的是提供一种基于融合CNN模型的渔船捕捞状态识别方法，以解决上述现有技术存在的问题，更好的识别渔船捕捞状态，实现智慧捕捞。

[0009] 为实现上述目的，本发明提供了如下方案：

[0010] 本发明提供一种基于融合CNN模型的渔船捕捞状态识别方法，包括以下步骤：

[0011] 采集渔船捕捞数据并进行分析，所述渔船捕捞数据的原始特征包括渔船作业类型、经度、纬度、对地航速、对地航向，按照所述渔船作业类型进行数据分类，所述渔船作业类型包括延绳钓、张网、竿钓、围网、拖网、曳绳钓；

[0012] 对所述渔船捕捞数据进行预处理，在所述渔船捕捞数据上均匀设置若干个数据点，删除所述数据点前后时间长度大于1800S的数据，删除所述经度、纬度、对地航速和对地航向中明显异常的值，根据已有特征衍生新特征并将所述渔船捕捞数据部分特征标准化；

[0013] 基于Inception‑ResNet架构搭建融合CNN模型，所述融合CNN模型包括输入级、卷积级和输出级，其中所述输入级包括所述衍生特征和所述原始特征，输入后采用特征融合的方法将所述卷积级的各层输出融合，通过所述输出级进行输出，采用分类函数进行最终分类，获得渔船捕捞状态。

[0014] 优选地，所述渔船捕捞数据的原始特征还包括：MMSI、Unix时间、距海岸的距离、距锚地的距离、表明捕捞活动的标签。

[0015] 优选地，所述渔船捕捞数据的原始特征中，时间精度为秒，空间精度为0.0573°×0.0573°，速度精度为0.1节，航向精度为0.1°，表明捕捞活动的标签分为捕捞状态1和未捕捞状态0。

[0016] 优选地，获得所述衍生特征的方法具体为：基于所述MMSI及所述时间间隔将经过处理后的数据划分为不同航迹，在同一段航迹内基于所述Unix时间、所述经度、所述纬度、所述对地航速和所述对地航向获得衍生特征。

[0017] 优选地，所述输入级的输入为：由所述衍生特征和所述原始特征构成的时宽为256、深度为10的特征阵列。

[0018] 优选地，所述卷积级包括四层卷积层，四层所述卷积层的深度分别为：16、32、64、96，步长均为2，当前层的输出维度是下一层的输入维度。

[0019] 优选地，四成所述卷积层的输入和输出维度分别为：

[0020] 第一层的输入层维度和输出层维度分别是：(256，40)、(128，16)；

[0021] 第二层的输入层维度和输出层维度分别是：(128，16)、(64，32)；

[0022] 第三层的输入层维度和输出层维度分别是：(64，32)、(32，64)；

[0023] 第四层的输入层维度和输出层维度分别是：(32，64)、(16，96)。

[0024] 优选地，所述输出级基于全连接层将四层所述卷积层的输出融合，获得的输出维度为(256，218)。

[0025] 优选地，所述输出级包括三层卷积层，其中两层卷积层的宽度为1、深度为64，另一层卷积层的宽度为1、深度为1。

[0026] 优选地，所述融合CNN模型的损失函数为二元交叉熵函数，分类函数为Sigmoid。

[0027] 本发明公开了以下技术效果：

[0028] 本发明公开了一种基于融合CNN模型的渔船捕捞状态识别方法，首先对数据进行了相应的预处理，并为提取更多的信息衍生了部分特征，其次模型的搭建基于当前热门的Inception‑ResNet结构，并采用特征融合的方法来增强模型对时间相关特征的获取能力，最后与普通CNN模型、传统SVM模型进行对比，结果表明本发明提出的融合CNN模型在识别渔船捕捞状态上效果更好，本发明在识别渔船捕捞状态时，准确度高，识别效果好，识别类型广。

附图说明

[0029] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0030] 图1为本实施例中实验数据量基本情况；

[0031] 图2为本实施例中渔船捕捞状态识别模型结构示意图；

[0032] 图3为本实施例中卷积神经网络的基本结构图；

[0033] 图4为本实施例中Inception结构示意图；

[0034] 图5为本实施例中基于Inception‑ResNet结构的融合CNN网络框图；

[0035] 图6为本实施例中模型损失函数曲线图，其中(a)为延绳钓；(b)为张网；(c)为竿钓；(d)为围网；(e)为拖网；(f)为曳绳钓；

[0036] 图7为本实施例中模型准确率曲线图，其中(a)为延绳钓；(b)为张网；(c)为竿钓；(d)为围网；(e)为拖网；(f)为曳绳钓。

具体实施方式

[0037] 现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更详细的描述。

[0038] 应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为还具体公开了该范围的上限和下限之间的每个中间值。在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。

[0039] 除非另有说明，否则本文使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。

[0040] 在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易见的。本申请说明书和实施例仅是示例性的。

[0041] 关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

[0042] 本发明中所述的“份”如无特别说明，均按质量份计。

[0043] 实施例1

[0044] 本实施例的实验数据是2012～2016年部分渔船的AIS数据，来自由Google、Oceana及Skytruth共同创建的Global  Fishing  Watch平台(https://globalfishingwatch.org/)。

[0045] 采集渔船捕捞数据并进行分析：

[0046] 本发明实验数据的字段包括渔船作业类型、MMSI、Unix时间、经度、纬度、距海岸的距离、距锚地的距离、对地航速、对地航向、表明捕捞活动的标签等。其中时间精度为秒，空间精度约为0.0573°×0.0573°，速度精度为0.1节，航向精度为0.1°，表明捕捞活动的标签分为捕捞状态1和未捕捞状态0。

[0047] 首先按照渔船作业类型进行数据分类，主要包括延绳钓、张网、竿钓、围网、拖网、曳绳钓等类型，数据总计约900余万条，其中拖网数据最多，曳绳钓与竿钓数据较少，详细情况如图1所示。

[0048] 数据预处理：

[0049] 预处理数据时首先根据时间间隔删除数据点前后时间长度均大于1800s的数据，再根据式(1)的标准删除经度、纬度、航向和航速中明显异常的值。

[0050]

[0051] 然后为提取与实验相关的数据信息，同时精简特征并丢弃无效字段，需按照MMSI及时间间隔将实验数据划分为不同航迹，在同一段航迹内根据Unix时间、经度、纬度、航速、航向等已有特征衍生其余6个数据特征，具体如表1(实验数据衍生特征)所示。

[0052] 表1

[0053]

[0054] 表中，δt为当前位置时间戳t0与上一位置时间戳t1的差值；s为当前位置与上一位置之间的距离，该距离由式(2)的Haversine公式算得；vave为上一段轨迹的平均直线速度；a为当前位置与上一位置间船速的变化率，即加速度；δCOG为当前位置与上一位置之间对地航向的变化值；为当前位置与上一位置之间对地航向的变化率。表中对部分特征值取对数，有助于防止在训练时模型被大数值支配，产生误差。

[0055]

[0056] 式中，r为地球半径；(lon0,lat0)、(lon1,lat1)分别为上一位置和当前位置的经纬度。

[0057] 最后对与航向相关的特征按式(3)进行归一化。

[0058]

[0059] 式中，COG'、δCOG'均为归一化后的数据。

[0060] 渔船捕捞状态识别模型：

[0061] 本实施例提出的渔船捕捞状态识别模型由数据层、网络层及测试层组成，具体结构如图2所示，模型数据层主要对数据进行预处理，包括异常值处理、航迹分段、衍生及选择输入特征以及数据标准化；其中为了更好的反映渔船捕捞状态的特征，不仅选取当前位置到海岸的距离sh、到锚地的距离sm、船速v、对地航向COG等原始特征作为输入特征，还将表征捕捞状态内在属性的衍生特征也作为输入特征，进一步增强了模型对时间戳差异及地理位置的鲁棒性。

[0062] 模型的网络层由各类CNN模型组成，主要负责提取有效特征，学习输入特征中的各类信息，完成渔船捕捞状态的识别。模型的测试层是保证模型的可靠性，在网络层训练完成后，对训练好的网络模型进行测试，并选用合适的评价指标进行评价。

[0063] CNN模型：

[0064] CNN模型是目前最成功的深度神经网络模型之一，其在更少参数的前提下拥有更优越的性能，因此不仅被用于图像处理领域，更已成为数据、语音及视频等多个领域的热门算法。

[0065] CNN作为一种前馈神经网络，其结构由包括输入层、卷积层、池化层、全连接层及输出层在内不同类型的层堆叠而成，模型基本结构如图3所示。

[0066] 卷积层：

[0067] 卷积层通常由多个基于反向传播算法优化参数的卷积单元组成，通过叠加卷积层能够提取出输入特征的各类复杂信息，并降低数据的噪声。在输入层和隐藏层的连接方式上，卷积层采用了局部感知的设计，即每个隐含单元只连接输入单元的一部分，这一设计大大降低了运算量、加快了模型的学习速率，也在一定程度上防止模型出现过拟合。同时卷积层采用了参数共享的方法，即在同一深度的平面共享同一组权重和偏置，进一步提高了模型的训练速度、减少了参数数量。卷积层的输出是卷积核矩阵与输入特征不同局部矩阵中各个元素先相乘再相加的运算结果。若输入为3×3矩阵，卷积核为2×2矩阵。

[0068] 池化层：

[0069] 池化就是压缩输入张量的各个子矩阵，先将大维度的输入子矩阵切成n×n个元素的小区域，再采用最大池化函数或平均池化函数，用一个元素代替一个区域，最后得到新的小维度特征。池化一方面可以降低输出特征向量的维度，减少参数数量，加快计算速度；另一方面也可以提取出输入特征中最重要的信息，减少噪声，防止过拟合现象的发生。

[0070] 全连接层与Sigmoid函数：

[0071] 全连接层主要是整合经过多次卷积、池化操作的高度抽象化特征，将神经网络学习到的特征从隐藏空间映射到样本的标记空间，常在输出级使用，Sigmoid层主要用于分类问题，通常接在全连接层后，其表达如式(4)所示。

[0072]

[0073] 实验环境及评价指标：

[0074] 实验环境有硬件配置和软件配置两部分，具体信息如表2(实验环境配置信息)所示：

[0075] 表2

[0076]

[0077] 评价指标：

[0078] 本实施例实验的输出分为捕捞状态和非捕捞状态两种，因此模型的评价指标选择准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1‑score四项。

[0079] 准确率是指分类正确的样本占总体的比例，如式(5)所示；精确率是指预测为正的样本中分类正确样本的比例，如式(6)所示；召回率是指正确分类的正样本占所有正样本的比例，如式(7)所示；F1‑score是精确率和召回率的调和平均数，用来权衡这两项指标，如式(8)所示。

[0080]

[0081]

[0082]

[0083]

[0084] 基于CNN模型识别渔船捕捞状态：

[0085] CNN模型常用来处理图像数据，其二维卷积能够有效提取出图像中的各类信息。但本实施例中实验所用的AIS数据是时间序列数据，若继续使用二维卷积会丢失大量的特征信息，造成模型准确率下降。故在此模型中采用一维卷积来提取固定时宽的数据特征。

[0086] 本实验基于CNN模型识别渔船的捕捞状态，所述CNN模型由一维卷积层、最大池化层、Flatten层、全连接层及Dropout层等八层堆叠而成。模型选择T时宽、10深度的特征作为输入，先通过卷积核尺寸均为5、卷积核数为32与64的两层一维卷积层，第一层输入和输出维度分别是(T,10)、(T‑4,32)，第二层输入和输出维度分别是(T‑4,32)、(T‑8,64)；其次通过一层参数为3的最大池化层，并通过一层Flatten层将数据展开，第三层输入和输出维度分别是(T‑8,64)、((T‑8)/3,64)，第四层输入和输出维度分别是((T‑8)/3,64)、(64*(T‑8)/3)；最后通过两层概率值为0.5的Dropout层和两层全连接层，并通过分类函数输出结果。

[0087] 模型的最优输入：

[0088] 在本节识别渔船捕捞状态的CNN模型中，模型的激活函数均为线性整流函数(Rectified Linear Unit,ReLU)；分类函数选用Softmax函数；损失函数选用分类交叉熵(categorical crossentropy)函数；并选用accuracy评价模型的识别效果。

[0089] 由于模型的输入维度是(T,10)，为确定其最佳输入维度，当实验输入不同渔船作业类型的数据时，输入特征选择以15个时间点为单位，T依次取15、30、45、60、75和90进行实验，实验结果如表3(不同输入的实验结果汇总表)所示。

[0090] 表3

[0091]

[0092] 从表中可以看出，不同时宽的输入特征对实验结果整体影响不大，但依旧可以得到，当输入维度为(60,10)时，模型在各数据上表现均较好。

[0093] 融合CNN模型：

[0094] Inception‑ResNet架构：

[0095] 近年来，主流模型一直朝着更深更宽的网络结构发展，新的CNN模型不断被提出，目前ResNet和GoogLeNet应用最广泛。其中ResNet的创新在于残差网络，GoogLeNet的创新在于Inception结构。

[0096] ResNe：

[0097] 残差网络利用残差块将不同的网络层直接相连，是一种在原网络结构旁新开一条专用通道，让输入直达输出的跳跃结构。

[0098] 在深层网络中，由于网络直接拟合潜在的恒等映射关系较为困难，所以网络基于残差结构将这一关系转化为学习F(x)＝H(x)‑x，即通过拟合输出与输入的差H(x)‑x来代替原本需要拟合的输出H(x)。这种转换方法不仅解决了深层网络训练困难的问题，而且提升了网络提取特征信息的能力。

[0099] Inception：

[0100] Inception是一种网中网(Network In Network)的结构，其用密集成分替换了局部的稀疏结构，即将原网络中的节点也变成了网络。同时该结构为减少运算，大量使用1×1的卷积核对特征进行降维。Inception结构极大地增加了整个网络结构的宽度和深度，带来了巨大的性能提升，其结构如图4所示。

[0101] 基于融合CNN模型识别渔船捕捞状态：

[0102] 随着新CNN模型的不断提出，普通CNN模型已不能完全满足实际需求，为了进一步提高模型的准确率，增加实用性。本实施例结合目前主流的Inception‑ResNet架构与特征融合的方法，搭建了基于融合CNN的渔船捕捞状态识别模型。

[0103] 本实施例用来识别渔船捕捞状态的融合CNN模型由输入级、卷积级和输出级构成，输入特征通过输入级进入网络，再经过卷积级的一系列计算，最后在输出级进行输出。模型采用上节的方法，经实验表明一次预测256个连续时间点渔船的捕捞状态时，模型效果最好。故选择256时宽、10深度的特征阵列作为整个网络的输入，经输入级进入网络。

[0104] 融合CNN模型的具体结构如图5所示，其中左侧为整个融合CNN模型的框图，右侧为该模型卷积级中每层网络的具体结构。

[0105] 由图可知，融合CNN模型的卷积级由四层卷积层构成，每层结构大量借用ResNet和Inception神经网络架构。其左侧结构使用了简化版本的Inception架构，先将一个宽度为3、步长为2、深度为D的卷积层与一个宽度为3、步长为2的最大池化层级联，构成并行滤波器；再利用一个全连接层将这两层的输出进行串联；最后通过一层宽度为1、步长为1、深度为D的卷积层来减少特征深度。右侧结构基本是一条上层直通下层的路径，为匹配下一层只有平均池和零填充这两种结构。此外，每层卷积层的输出为右侧结构输出与左侧结构输出的和。

[0106] 此外，由于卷积级在提取特征信息时，早期的层会包含具有高时间分辨率的信息，但不包含较长的时间尺度信息，而后期的层则相反，具有长时间尺度的信息，但时间分辨率相对粗糙。故为了提升模型性能，综合利用不同层中的不同信息，卷积级的输出使用类似于特征融合的方法，通过复制将每层的时间宽度保持在一个恒定值，再将每层的输出提取并连接在一起，同时所有卷积层均使用批归一化(Batch‑Normalization,BN)和ReLU。

[0107] 在融合CNN模型中，卷积级的四层卷积层的深度为分别为16、32、64、96，步长均为2，且当前层的输出维度是下一层的输入维度。故第一层输入和输出维度分别是(256,10)、(128,16)；第二层输入和输出维度分别是(128,16)、(64,32)；第三层输入和输出维度分别是(64,32)、(32,64)；第四层输入和输出维度分别是(32,64)、(16,96)；最后通过将各卷积层输出融合的全连接层，输出维度为(256,218)，并将该输出送入输出级。

[0108] 模型的输出级包括两层宽度为1、深度为64的卷积层，一层宽度为1、深度为1的卷积层，同时使用分类函数将模型产生的一系列预测结果转换为每个时间点上渔船的捕捞状态。

[0109] 实施例2

[0110] 实验配置及结果分析：

[0111] 本模型在Keras环境下搭建，模型的损失函数由最终分类函数确定，当选用Softmax函数时，损失函数选择分类交叉熵(categorical crossentropy)；当选用Sigmoid函数时，损失函数选择二元交叉熵(binary crossentropy)。同时数据按8:2随机划分为训练集与测试集，采用多组参数、多次实验取最优值的方法确定最优模型，并评价模型的识别效果。

[0112] 首先需要选择优化器及分类函数的最优搭配，模型分别使用Adam、Adagrad优化器进行优化，再使用Softmax、Sigmoid函数进行最终分类。实验对不同的函数组合进行了5组平行实验并记录了最好的实验结果，如表4(不同函数组合的实验效果比较(％))所示。

[0113] 表4

[0114]

[0115]

[0116] 在四种不同的函数组合中，当优化器为Adam，分类函数和损失函数分别为Sigmoid和binary‑crossentropy时，模型测试集的准确度最高，实验效果最好。故采用最优的函数组合训练模型，当输入不同作业类型的数据时，模型训练的loss曲线如图6所示。

[0117] 由图中曲线可以清晰的看出，模型训练集和验证集的loss随着epoch增大总体呈下降趋势，并在训练一定轮次后开始收敛并逐渐趋于稳定。此外，模型训练的accuracy曲线如图7所示。

[0118] 由图中曲线可以清晰的看出，accuracy随着epoch增大总体呈上升趋势，并且在训练一定轮次后开始收敛并逐渐趋于稳定，其中验证集曲线出现轻微波动属于正常现象，模型整体未出现其他异常情况。

[0119] 综上分析，该模型的参数设置合理，并且训练过程未出现欠拟合或过拟合现象。同时，从图中可以看到当epoch为100时，模型开始收敛，当epoch为150时，各曲线均趋于稳定。当epoch取150时，对各作业类型的渔船捕捞状态进行识别，并选用准确率、精确率、召回率和F1‑score四项指标评价模型，识别结果如表5(模型对不同作业类型渔船捕捞状态的识别结果(％))所示。

[0120] 表5

[0121]

[0122]

[0123] 从表中可以看出，所有实验的准确率均高于88％，其中模型对使用张网及围网作业的渔船捕捞状态识别效果相对较差，准确率分别为88.53％和89.27％，对使用延绳钓、竿钓、拖网作业的渔船捕捞状态识别效果较好，准确率达到93％以上，对使用竿钓的作业的渔船捕捞状态识别效果最好，准确率、精确率、召回率和F1‑score分别达到95.41％、94.94％、94.84％、95.25％。实验结果说明该模型对于识别不同作业类型的渔船捕捞状态均有较好的效果。

[0124] 别渔船捕捞状态的基础方法：

[0125] 本节基于Keras环境搭建SVM模型，模型的高斯核函数选择RBF函数，输入特征与前文相同，并选用accuracy评价模型。模型采用五折交叉验证与网格搜索的方法确定最优参数，实验数据随机按8:2划分为训练集和测试集。

[0126] 在选择最佳的参数组合(C,γ)时，先大范围粗糙的寻找参数最佳范围，再在此范围‑5 ‑4 4 5内选择准确率最高的参数组合。实验将大范围均设为(2 ,2 ,…,2 ,2)，当输入数据的作‑1 0 ‑3 ‑1
业类型为延绳钓，实验表明C在(2 ,2)内、γ在(2 ,2 )内时，模型具有较高的准确，故在此范围内寻找最优参数组合，实验结果如表6(不同参数组合下实验效果比较(％))所示。

[0127] 表6

[0128]

[0129]

[0130] 由表可知，当模型参数分别为C＝0.63、γ＝0.15时，测试集的准确率最高，为87.01％，模型表现最好。同理，其他作业类型的最佳参数组合如表7(各作业类型的最佳参数)所示。

[0131] 表7

[0132]

[0133] 实验效果对比：

[0134] 为了探究各个模型在识别渔船捕捞状态上的效果，本节按渔船的作业类型随机抽取经过了相同预处理的数据，使用CNN模型、SVM模型与本实施例提出的融合CNN模型分别识别渔船的捕捞状态，实验结果如表8(实验准确率汇总表(％))所示。

[0135] 表8

[0136]

[0137] 由表可见，融合CNN模型在延绳钓、张网、竿钓、围网、拖网、曳绳钓数据上的准确度分别为0.9381、0.8840、0.9511、0.89、0.9276、0.9028，比普通CNN模型分别高出18.54％、20.93％、16.76％、2.32％、15.75％、2.54％，比SVM模型分别高出18.58％、13.51％、
17.23％、4.78％、8.77％、24.85％。

[0138] 实验结果显示，本实施例提出的融合CNN模型在识别各个作业类型的渔船捕捞状态上，与普通CNN模型及传统SVM模型相比，该模型识别的准确度较高，其中相比普通CNN模型，识别延绳钓、张网、竿钓以及围网渔船捕捞状态的准确率有15％以上的提升。相比传统SVM模型，识别曳绳钓渔船捕捞状态的准确率有24％以上的提升，识别延绳钓、张网、竿钓渔船捕捞状态的准确率也有13％以上的提升，这表明本实施例提出的融合CNN模型在识别各个作业类型渔船的捕捞状态时准确率更高、识别效果更好。

[0139] 本实施例提出了一种基于融合CNN模型识别不同作业类型渔船捕捞状态的方法。论文首先对数据进行了相应的预处理，并为提取更多的信息衍生了部分特征。其次模型的搭建基于当前热门的Inception‑ResNet结构，并采用特征融合的方法来增强模型对时间相关特征的获取能力。最后与普通CNN模型、传统SVM模型进行对比，结果表明本实施例提出的融合CNN模型在识别渔船捕捞状态上效果更好。

[0140] 以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。