精子运动状态的分类方法、装置、介质及电子设备

摘要

本发明公开了一种精子运动状态的分类方法、分类装置、计算机可读存储介质以及电子设备，通过获取包含待分类精子的视频数据，在该视频数据中的每一帧图像数据中标注出待分类精子，并且将带有标注信息的多帧图像数据输入神经网络模型，得到待分类精子的运动类型；即利用神经网络模型跟踪视频数据中的待分类精子的运动轨迹并依此得到待分类精子的运动类型，大幅降低人工操作的工作量，同时利用神经网络模型对视频数据进行跟踪分析，能够获取较高精度的待分类精子的运动轨迹，从而提高了带分类精子的分类准确度，并且完成训练的神经网络模型也具备较高的一致性、鲁棒性和可靠性。

权利要求

1.一种精子运动状态的分类方法，其特征在于，包括：获取包含待分类精子的视频数据，其中，所述视频数据包括多帧图像数据；

标注出所述多帧图像数据中的所述待分类精子，其中，所述多帧图像数据中的同一个所述待分类精子的标注信息均唯一确认该所述待分类精子；以及将带有所述标注信息的所述多帧图像数据输入神经网络模型，得到所述待分类精子的运动类型；

其中，所述标注出所述多帧图像数据中的所述待分类精子的方法包括：获取所述多帧图像数据的第一部分数据及对应的标注信息；

以所述第一部分数据及对应的标注信息为训练样本训练第三神经网络模型；

将所述多帧图像数据的第N部分数据输入所述第三神经网络模型，得到所述第N部分数据的标注信息，N≥2；其中，所述第一部分数据至所述第N部分数据的数量之和小于或等于所述多帧图像数据的数量，所述多帧图像数据的前N-1部分数据由人工标注和所述第三神经网络模型标注共同完成；

对所述第N部分数据的标注信息进行验证，得到不准确的标注信息；

对所述不准确的标注信息进行修正，得到修正后的标注信息；以及将所述修正后的标注信息及对应的图像数据输入所述第三神经网络模型，对所述第三神经网络模型再次训练；

所述获取包含待分类精子的视频数据包括：

调整所述视频数据的成像分辨率，得到多个成像分辨率下的多个视频数据；以及根据所述多个视频数据综合得到所述待分类精子的标注信息。

2.根据权利要求1所述的精子运动状态的分类方法，其特征在于，所述将带有所述标注信息的所述多帧图像数据输入神经网络模型，得到所述待分类精子的运动类型包括：将带有所述标注信息的所述多帧图像数据输入第一神经网络模型，得到所述待分类精子的运动轨迹；以及将所述待分类精子的运动轨迹输入第二神经网络模型，得到所述待分类精子的运动类型。

3.根据权利要求1所述的精子运动状态的分类方法，其特征在于，所述标注信息包括以下信息中的任一个或多个的组合：所述待分类精子的位置、精子头关键点位置、精子尾关键点位置。

4.根据权利要求1所述的精子运动状态的分类方法，其特征在于，所述获取所述多帧图像数据的第一部分数据及对应的标注信息包括：通过人工标注获取所述第一部分数据对应的标注信息。

5.根据权利要求1所述的精子运动状态的分类方法，其特征在于，所述对所述第N部分数据的标注信息进行验证包括：对所述第N部分数据的标注信息进行人工验证。

6.一种精子运动状态的分类装置，其特征在于，包括：获取模块，用于获取包含待分类精子的视频数据，其中，所述视频数据包括多帧图像数据；

标注模块，用于标注出所述多帧图像数据中的所述待分类精子，其中，所述多帧图像数据中的同一个所述待分类精子的标注信息均唯一确认该所述待分类精子；以及分类模块，用于将带有所述标注信息的所述多帧图像数据输入神经网络模型，得到所述待分类精子的运动类型；

其中，所述标注模块进一步配置为：

获取所述多帧图像数据的第一部分数据及对应的标注信息；

以所述第一部分数据及对应的标注信息为训练样本训练第三神经网络模型；以及将所述多帧图像数据的第N部分数据输入所述第三神经网络模型，得到所述第N部分数据的标注信息，N≥2；其中，所述第一部分数据至所述第N部分数据的数量之和小于或等于所述多帧图像数据的数量，所述多帧图像数据的前N-1部分数据由人工标注和所述第三神经网络模型标注共同完成；

对所述第N部分数据的标注信息进行验证，得到不准确的标注信息；

对所述不准确的标注信息进行修正，得到修正后的标注信息；以及将所述修正后的标注信息及对应的图像数据输入所述第三神经网络模型，对所述第三神经网络模型再次训练；

所述获取模块进一步配置为：

调整所述视频数据的成像分辨率，得到多个成像分辨率下的多个视频数据；

所述标注模块进一步配置为：

根据所述多个视频数据综合得到所述待分类精子的标注信息。

7.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5任一所述的精子运动状态的分类方法。

8.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-5任一所述的精子运动状态的分类方法。

说明书

精子运动状态的分类方法、装置、介质及电子设备

技术领域

[0001] 本申请涉及人工智能领域，具体涉及精子运动状态的分类方法、分类装置、计算机可读存储介质以及电子设备。

背景技术

[0002] 随着人们健康意识的加强，自我健康状况测定的问题也越来越受到重视；与此同时，伴随着生活节奏加快、工作生活压力大等复杂因素的影响，人类精子的质量正在悄然下降，为了全面、客观地反映患者的真实情况，进行全面的精液检查是十分有必要的。世界卫生组织(World Health Organization，WHO)于1980年首次出版关于人类精液与精子的实验室检验手册，该手册被公认提供了全球性的标准，被广泛地应用于世界各地的研究和临床实验室。

[0003] 近几年，基于深度学习的人工智能技术在医学检测分类领域迅猛发展，特别是在医学图像分析中取得了巨大的成功。通过卷积神经网络对图像每一个原始像素进行处理，通过对数据的学习完成高维空间内的特征转换与映射，实现端到端的目标任务分析。根据深度学习训练中使用的数据是否有对应的标注信息，可以将深度学习分为有监督深度学习，半监督深度学习，无监督深度学习三类。目前发展最为成熟的，就是有监督深度学习，有监督深度学习是指训练过程中的全部数据都有对应的标注信息(比如人工标注信息)，这种方案的成本最高，但是与之带来的效果也是最好的。

[0004] 目前的精液分析手段主要包括人工分析和计算机辅助分析，人工分析的具体步骤在WHO出版的实验室检验手册中有明确的规范，但手册的描述内容反映了几个人工分析存在劣势：

[0005] (1)工作量巨大，在精子活动能力推断中，需要进行至少400条精子的活动状态分析，其工作量非常大。

[0006] (2)效率和准确度不高，在精子活动能力推断中，精子活动状态的分析是否正确依赖于实验者的能力，能否在规定时间内完成足够样本量的分析依赖于实验者的熟练度。

[0007] (3)一致性不高，实验者间的检验结果不一致性高，在精子活动能力推断中，对精子活动能力的判断在不同观察者间的统计差异范围高达20％～40％。

[0008] 在计算机辅助分析中，分析结果在许多方面都有限制，其可靠性和可重复性高度依赖系统操作者的经验，不具备高性能，高鲁棒性，不够可靠，难以广泛使用。

发明内容

[0009] 为了解决上述技术问题，本申请提出了一种精子运动状态的分类方法、分类装置、计算机可读存储介质以及电子设备，通过获取包含待分类精子的视频数据，在该视频数据中的每一帧图像数据中标注出待分类精子，并且将带有标注信息的多帧图像数据输入神经网络模型，得到待分类精子的运动类型；即利用神经网络模型跟踪视频数据中的待分类精子的运动轨迹并依此得到待分类精子的运动类型，大幅降低人工操作的工作量，同时利用神经网络模型对视频数据进行跟踪分析，能够获取较高精度的待分类精子的运动轨迹，从而提高了带分类精子的分类准确度，并且完成训练的神经网络模型也具备较高的一致性、鲁棒性和可靠性。

[0010] 根据本申请的一个方面，提供了一种精子运动状态的分类方法，包括：获取包含待分类精子的视频数据，其中，所述视频数据包括多帧图像数据；标注出所述多帧图像数据中的所述待分类精子，其中，所述多帧图像数据中的同一个所述待分类精子的标注信息均唯一确认该所述待分类精子；以及将带有所述标注信息的所述多帧图像数据输入神经网络模型，得到所述待分类精子的运动类型。

[0011] 在一实施例中，所述将带有所述标注信息的所述多帧图像数据输入神经网络模型，得到所述待分类精子的运动类型包括：将带有所述标注信息的所述多帧图像数据输入第一神经网络模型，得到所述待分类精子的运动轨迹；以及将所述待分类精子的运动轨迹输入第二神经网络模型，得到所述待分类精子的运动类型。

[0012] 在一实施例中，所述获取包含待分类精子的视频数据包括：调整所述视频数据的成像分辨率，得到多个成像分辨率下的多个视频数据。

[0013] 在一实施例中，所述标注出所述多帧图像数据中的所述待分类精子包括：根据所述多个视频数据综合得到所述待分类精子的标注信息。

[0014] 在一实施例中，所述标注信息包括以下信息中的任一个或多个的组合：所述待分类精子的位置、精子头关键点位置、精子尾关键点位置。

[0015] 在一实施例中，所述标注出所述多帧图像数据中的所述待分类精子包括：获取所述多帧图像数据的第一部分数据及对应的标注信息；以所述第一部分数据及对应的标注信息为训练样本训练第三神经网络模型；以及将所述多帧图像数据的第N部分数据输入所述第三神经网络模型，得到所述第N部分数据的标注信息，N≥2；其中，所述第一部分数据至所述第N部分数据的数量之和小于或等于所述多帧图像数据的数量。

[0016] 在一实施例中，在所述得到所述第N部分数据的标注信息之后，所述分类方法还包括：对所述第N部分数据的标注信息进行验证，得到不准确的标注信息；以及对所述不准确的标注信息进行修正，得到修正后的标注信息。

[0017] 在一实施例中，在所述得到修正后的标注信息之后，所述分类方法还包括：将所述修正后的标注信息及对应的图像数据输入所述第三神经网络模型，对所述第三神经网络模型再次训练。

[0018] 在一实施例中，所述获取所述多帧图像数据的第一部分数据及对应的标注信息包括：通过人工标注获取所述第一部分数据对应的标注信息。

[0019] 在一实施例中，所述对所述第N部分数据的标注信息进行验证包括：对所述第N部分数据的标注信息进行人工验证。

[0020] 根据本申请的另一个方面，提供了一种精子运动状态的分类装置包括：获取模块，用于获取包含待分类精子的视频数据，其中，所述视频数据包括多帧图像数据；标注模块，用于标注出所述多帧图像数据中的所述待分类精子，其中，所述多帧图像数据中的同一个所述待分类精子的标注信息均唯一确认该所述待分类精子；以及分类模块，用于将带有所述标注信息的所述多帧图像数据输入神经网络模型，得到所述待分类精子的运动类型。

[0021] 根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的精子运动状态的分类方法。

[0022] 根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的精子运动状态的分类方法。

[0023] 本申请实施例提供的一种精子运动状态的分类方法、分类装置、计算机可读存储介质以及电子设备，通过获取包含待分类精子的视频数据，在该视频数据中的每一帧图像数据中标注出待分类精子，并且将带有标注信息的多帧图像数据输入神经网络模型，得到待分类精子的运动类型；即利用神经网络模型跟踪视频数据中的待分类精子的运动轨迹并依此得到待分类精子的运动类型，大幅降低人工操作的工作量，同时利用神经网络模型对视频数据进行跟踪分析，能够获取较高精度的待分类精子的运动轨迹，从而提高了带分类精子的分类准确度，并且完成训练的神经网络模型也具备较高的一致性、鲁棒性和可靠性。

附图说明

[0024] 通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

[0025] 图1是本申请一示例性实施例提供的一种精子运动状态的分类方法的流程示意图。

[0026] 图2是本申请另一示例性实施例提供的一种精子运动状态的分类方法的流程示意图。

[0027] 图3是本申请一示例性实施例提供的一种待分类精子的标注方法的流程示意图。

[0028] 图4是本申请另一示例性实施例提供的一种待分类精子的标注方法的流程示意图。

[0029] 图5是本申请另一示例性实施例提供的一种待分类精子的标注方法的流程示意图。

[0030] 图6是本申请一示例性实施例提供的一种精子运动状态的分类装置的结构示意图。

[0031] 图7是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

[0032] 下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

[0033] 申请概述

[0034] 随着医疗水平的不断提高和人们生活质量的不断提升，人们对自身身体的关心程度也明显提升，为了提高生育的质量，很多夫妇会在生育之前进行一系列的检查，其中对于男性最多的检查就是检验精子的活力，而精子的活力是通过精液中各种精子运动类型的比例来判断的，因此，如何得到待检验的精子的运动类型是检验精子活力的一个关键步骤。

[0035] 现有的检验精子的运动类型大多是通过人工检验，即由具备相关的专业知识的医务人员通过显微镜去观察每个精子的运动状态或运动轨迹来判断其属于哪一种运动类型。很显然，这样的检验方法效率很低，并且由于依靠人眼去长时间观察很容易会造成视觉疲劳，从而会造成观察结果的误差，甚至会出现较大失误，而且因为每个医务人员的医学水平不同、主观意识也不同，不同的医务人员在检验过程中会存在偏差，甚至会导致最终的结论完全不同。

[0036] 虽然现有技术中也有一些加入了计算机辅助分析，然而由于通常停留在对图像的处理，例如图像识别、图像分割等，这些图像处理的方式并不能替代或部分替代医务人员去通过显微镜观察精子的运动状态或运动轨迹来判断其属于哪一种运动类型。

[0037] 为了解决上述问题，本申请实施例提供的一种精子运动状态的分类方法、分类装置、计算机可读存储介质以及电子设备，通过获取包含待分类精子的视频数据，在该视频数据中的每一帧图像数据中标注出待分类精子，并且将带有标注信息的多帧图像数据输入神经网络模型，得到待分类精子的运动类型；即利用神经网络模型跟踪视频数据中的待分类精子的运动轨迹并依此得到待分类精子的运动类型，大幅降低人工操作的工作量，同时利用神经网络模型对视频数据进行跟踪分析，能够获取较高精度的待分类精子的运动轨迹，从而提高了带分类精子的分类准确度，并且完成训练的神经网络模型也具备较高的一致性、鲁棒性和可靠性。

[0038] 示例性方法

[0039] 图1是本申请一示例性实施例提供的一种精子运动状态的分类方法的流程示意图。如图1所示，该精子运动状态的分类方法包括如下步骤。

[0040] 步骤110：获取包含待分类精子的视频数据，其中，所述视频数据包括多帧图像数据。

[0041] 将包含待分类的精液的湿片置于标准影像记录装置下进行影像记录，以获取包含待分类精子的视频数据，即通过影像记录获取一定时长的待分类精子的运动视频。该标准影像记录装置的参数可以根据实际应用场景的需求而调整，例如帧率参数(图像连续出现在显示器上的频率)、成像分辨率、影像的记录时长等。

[0042] 在一实施例中，可以调整视频数据的成像分辨率，得到多个成像分辨率下的多个视频数据。成像分辨率过高，获取的视频数据的局部细节信息较多，但是获取的图像区域范围就会减小，而成像分辨率过低，获取的视频图像区域范围就会增加，但是获取的图像局部细节信息较少。因此，为了更为准确的判断待分类精子的运动类型，就需要综合考虑单个待分类精子的运动状态与其周围的信息，这样才能准确的获知该单个待分类精子的运动轨迹，从而准确的得到其运动类型。多个成像分辨率可以从WHO出版的实验室检验手册所规定的显微镜下人工检验常用的分辨率参数中选取。在进一步的实施例中，将得到的多个成像分辨率下的多个视频数据综合得到一个最终的视频数据，具体的综合方式可以为加权平均等方式，本申请实施例对于综合方式不做具体限定。

[0043] 步骤120：标注出多帧图像数据中的待分类精子，其中，多帧图像数据中的同一个待分类精子的标注信息均唯一确认该待分类精子。

[0044] 针对上述获取的视频数据的每一帧图像数据，对待分类精子进行标注，以明确表明每个待分类精子的身份信息及位置信息。并且在多帧图像数据中的同一个待分类精子采用相同或相似的标注信息，例如同一个待分类精子在1至N帧图像数据中的标注信息可以命名为A1至AN，以确定每一个待分类精子在视频数据中的位置变化和状态变化。

[0045] 在一实施例中，可以根据上述多个成像分辨率下获取的多个视频数据综合得到待分类精子的标注信息。其具体的综合方式可以是先综合得到一个最终的视频数据后，对该最终的视频数据的每一帧图像数据进行标注；也可以是先对多个视频数据的每一帧图像数据进行标注，然后对多个视频数据的对应帧的图像数据进行加权平均等综合方式得到最终的标注信息。应当理解，本申请实施例只是示例性的列举了两种实现方式，并非限于此。

[0046] 在一实施例中，标注信息可以包括以下信息中的任一个或多个的组合：待分类精子的位置、精子头关键点位置、精子尾关键点位置。待分类精子的位置可以是由一个包含该待分类精子区域的方框，并且该方框可以具备其唯一性的标志属性以区分不同的待分类精子，例如颜色等，并且在待分类精子的精子头和精子尾的位置处都选取一个关键点并将其标注出来，以获知该待分类精子的运动方向。应当理解，本申请实施例可以根据实际应用场景的需求而选取不同的标注信息，例如待分类精子的位置可以是椭圆形或其他形状的框，还可以选用箭头标注待分类精子的运动方向，只要所选取的标注信息能够体现待分类精子的位置信息和运动方向信息即可，本申请实施例对于标注信息的具体内容不做限定。

[0047] 在一实施例中，当对单个待分类精子进行标注时，可以将其他待分类精子设置为背景，以避免其他待分类精子的干扰，提高分类的准确度。

[0048] 在一实施例中，当单个待分类精子只出现在多帧图像数据中的部分帧图像数据中时，可以将该单个待分类精子删除，在对结果产生较小影响的前提下减小工作量。在一实施例中，当单个待分类精子只出现在多帧图像数据中的部分帧图像数据中时，也可以对其所在的部分帧图像数据中进行标注。应当理解，本申请实施例可以根据实际应用场景的需求而选取标注不在所有帧图像数据中的待分类精子的不同方式，例如还可以根据其初始位置选取不同的处理方式，当其初始位置在图像的中间位置时，对其进行标注，否则不标注，只要所选取的标注方式能够保证后续的判断精度即可，本申请实施例对于标注不在所有帧图像数据中的待分类精子的具体方式不做限定。

[0049] 步骤130：将带有标注信息的多帧图像数据输入神经网络模型，得到待分类精子的运动类型。

[0050] 通过上述步骤获得带有标注信息的多帧图像数据(视频数据)，并将该多帧图像数据输入已经训练完成的神经网络模型，利用该神经网络模型得到待分类精子的运动类型。该神经网络模型可以是深度学习神经网络模型，通过大量的训练样本可以保证其分类准确度。根据WHO出版的实验室检验手册的规定，精子的运动类型包括前向运动(精子主动地呈直线或沿一大圆周运动，不管其速度如何)、非前向运动和不活动。

[0051] 本申请实施例提供的一种精子运动状态的分类方法，通过获取包含待分类精子的视频数据，在该视频数据中的每一帧图像数据中标注出待分类精子，并且将带有标注信息的多帧图像数据输入神经网络模型，得到待分类精子的运动类型；即利用神经网络模型跟踪视频数据中的待分类精子的运动轨迹并依此得到待分类精子的运动类型，大幅降低人工操作的工作量，同时利用神经网络模型对视频数据进行跟踪分析，能够获取较高精度的待分类精子的运动轨迹，从而提高了带分类精子的分类准确度，并且完成训练的神经网络模型也具备较高的一致性、鲁棒性和可靠性。

[0052] 图2是本申请另一示例性实施例提供的一种精子运动状态的分类方法的流程示意图。如图2所示，步骤130可以包括如下子步骤：

[0053] 步骤131：将带有标注信息的多帧图像数据输入第一神经网络模型，得到待分类精子的运动轨迹。

[0054] 将带有标注信息的多帧图像数据分别或同时输入第一神经网络模型，并由第一神经网络模型根据每个待分类精子的不同标注信息得到每个待分类精子的运动轨迹。第一神经网络模型可以是深度学习神经网络模型，通过大量的训练样本可以保证其分类准确度。

[0055] 步骤132：将待分类精子的运动轨迹输入第二神经网络模型，得到待分类精子的运动类型。

[0056] 通过第二神经网络模型，基于上述三种运动类型的定义，根据待分类精子的运动轨迹得到待分类精子的运动类型。第二神经网络模型可以是深度学习神经网络模型，通过大量的训练样本可以保证其分类准确度。应当理解，本申请实施例可以通过两个神经网络模型分两步来实现精子的运动类型的分类，以减小每个神经网络模型的复杂程度，提高分类的效率；也可以只采用一个神经网络模型来实现精子的运动类型的分类，以降低系统的繁琐程度，本申请实施例对此不作具体限定。

[0057] 图3是本申请一示例性实施例提供的一种待分类精子的标注方法的流程示意图。如图3所示，步骤120可以包括如下子步骤：

[0058] 步骤121：获取多帧图像数据的第一部分数据及对应的标注信息。

[0059] 通常在图像中准确的标注待分类精子的位置信息和方向信息是由人工实现，然而由于人工标注的工作量太大，单纯依靠人工无法按时案量完成这巨大的工作量。若完全采用智能机器标注，则需要该智能机器的准确度达到医疗的要求，要达到如此高的准确度将需要大量的样本去学习和验证，这不仅需要大量的时间去完成，而且还需要大量的样本，而这些样本的获取通常也是人工标注得到的，这样就不能短期内解决标注工作量大的问题。因此，本申请实施例采用人工标注与智能标注相结合的方式来标注待分类精子的位置信息和方向信息，不仅能利用智能机器减少人工标注的工作量，同时由专业的医务人员对智能标注的结果进行把关，从而也能保证其标注的准确度。可以将多帧图像数据中的第一部分数据由人工进行标注以得到其标注信息，第一部分数据可以是所检验的总数据的10％，即第一部分数据所包含的待分类精子的数量是检验的所有待分类精子的数量的10％，本申请实施例中列出的10％只是示例性的，并非限于此。具体的人工标注方式可以是：由奇数个(例如3个)专业的医务人员分别进行标注，并综合这奇数个专业的医务人员的标注信息，综合得到最终的标注结果。应当理解，本申请实施例也可以采用其他的方式获取第一部分数据的标注信息，本申请实施例对此不做限定。

[0060] 步骤122：以第一部分数据及对应的标注信息为训练样本训练第三神经网络模型。

[0061] 将获取的第一部分数据及对应的标注信息作为训练样本来训练第三神经网络模型，以得到可以对多帧图像数据进行标注的神经网络模型。第三神经网络模型可以是深度学习神经网络模型。

[0062] 步骤123：将多帧图像数据的第N部分数据输入第三神经网络模型，得到第N部分数据的标注信息，N≥2。其中，第一部分数据至第N部分数据的数量之和小于或等于多帧图像数据的数量。

[0063] 可以将多帧图像数据分为多个部分，并且每次完成一部分数据的标注工作，在依次完成了第一部分数据至第N-1部分数据的标注工作后，将多帧图像数据的第N部分数据输入上述第三神经网络模型中，得到第N部分数据的标注信息。应当理解，前N-1部分数据的标注可以是由人工标注和智能标注共同完成，并且两者完成的数据比例可以调整，例如当智能标注的标注准确度较低时，提高人工标注的完成比例，当智能标注的标注准确度较高时，提高智能标注的完成比例，本申请对于人工标注和智能标注的具体完成比例不做限定。

[0064] 图4是本申请另一示例性实施例提供的一种待分类精子的标注方法的流程示意图。如图4所示，在步骤123之后，上述标注方法还可以包括如下子步骤：

[0065] 步骤124：对第N部分数据的标注信息进行验证，得到不准确的标注信息。

[0066] 当第三神经网络模型完成了一部分数据(第N部分数据)的标注工作后，对第N部分数据的标注信息进行验证，以判断第三神经网络模型的标注准确度，并且得到不准确的标注信息。在一实施例中，对第N部分数据的标注信息进行人工验证，即通过人工验证的方式来获取第三神经网络模型标注的第N部分数据的标注信息。应当理解，本申请实施例也可以采用其他的验证方式，本申请对此不作限定。

[0067] 步骤125：对不准确的标注信息进行修正，得到修正后的标注信息。

[0068] 对那些不准确的的标注信息进行修正，例如采用人工的方式对不准确的标注信息进行修正，以得到修正后的标注信息(即准确的标注信息)。通过第三神经网络模型对第N部分数据进行标注，然后由人工去验证并修正，这样可以大幅降低人工标注的工作量，同时保证了标注的准确度。

[0069] 图5是本申请另一示例性实施例提供的一种待分类精子的标注方法的流程示意图。如图5所示，在步骤125之后，上述标注方法还可以包括如下子步骤：

[0070] 步骤126：将修正后的标注信息及对应的图像数据输入第三神经网络模型，对第三神经网络模型再次训练。

[0071] 通过验证并修正后的部分数据作为训练样本再次训练第三神经网络模型，可以进一步提高第三神经网络模型的标注准确度。并且可以在标注的过程中对第三神经网络模型一次次的进行训练，在逐步减少人工标注的工作量的同时，能够保证标注信息的准确度。

[0072] 示例性装置

[0073] 图6是本申请一示例性实施例提供的一种精子运动状态的分类装置的结构示意图。如图6所示，该精子运动状态的分类装置60包括：获取模块61，用于获取包含待分类精子的视频数据，其中，视频数据包括多帧图像数据；标注模块62，用于标注出多帧图像数据中的待分类精子，其中，多帧图像数据中的同一个待分类精子的标注信息均唯一确认该待分类精子；以及分类模块63，用于将带有标注信息的多帧图像数据输入神经网络模型，得到待分类精子的运动类型。

[0074] 本申请实施例提供的一种精子运动状态的分类装置，通过获取模块获取包含待分类精子的视频数据，标注模块在该视频数据中的每一帧图像数据中标注出待分类精子，并且分类模块将带有标注信息的多帧图像数据输入神经网络模型，得到待分类精子的运动类型；即利用神经网络模型跟踪视频数据中的待分类精子的运动轨迹并依此得到待分类精子的运动类型，大幅降低人工操作的工作量，同时利用神经网络模型对视频数据进行跟踪分析，能够获取较高精度的待分类精子的运动轨迹，从而提高了带分类精子的分类准确度，并且完成训练的神经网络模型也具备较高的一致性、鲁棒性和可靠性。

[0075] 在一实施例中，如图6所示，获取模块61可以进一步配置为：调整视频数据的成像分辨率，得到多个成像分辨率下的多个视频数据。通过获取多个视频数据，综合考虑单个待分类精子的运动状态与其周围的信息，这样才能准确的获知该单个待分类精子的运动轨迹，从而准确的得到其运动类型。

[0076] 在一实施例中，如图6所示，标注模块62可以进一步配置为：根据上述多个成像分辨率下获取的多个视频数据综合得到待分类精子的标注信息。在一实施例中，标注信息可以包括以下信息中的任一个或多个的组合：待分类精子的位置、精子头关键点位置、精子尾关键点位置。

[0077] 在一实施例中，如图6所示，标注模块62可以进一步配置为：当对单个待分类精子进行标注时，可以将其他待分类精子设置为背景，以避免其他待分类精子的干扰，提高分类的准确度。

[0078] 在一实施例中，如图6所示，标注模块62可以进一步配置为：当单个待分类精子只出现在多帧图像数据中的部分帧图像数据中时，可以将该单个待分类精子删除，在对结果产生较小影响的前提下减小工作量；或者可以对其所在的部分帧图像数据中进行标注。

[0079] 在一实施例中，如图6所示，分类模块63可以包括子单元：运动轨迹获取单元631，用于将带有标注信息的多帧图像数据输入第一神经网络模型，得到待分类精子的运动轨迹；运动类型获取单元632，用于将待分类精子的运动轨迹输入第二神经网络模型，得到待分类精子的运动类型。

[0080] 在一实施例中，如图6所示，标注模块62可以包括以下子单元：初始标注单元621，用于获取多帧图像数据的第一部分数据及对应的标注信息；初始训练单元622，用于以第一部分数据及对应的标注信息为训练样本训练第三神经网络模型；智能标注单元623，用于将多帧图像数据的第N部分数据输入第三神经网络模型，得到第N部分数据的标注信息，N≥2。

[0081] 在一实施例中，如图6所示，标注模块62还可以包括以下子单元：验证单元624，用于对第N部分数据的标注信息进行验证，得到不准确的标注信息；修正单元625，用于对不准确的标注信息进行修正，得到修正后的标注信息。

[0082] 在一实施例中，如图6所示，标注模块62还可以包括以下子单元：再次训练单元626，用于将修正后的标注信息及对应的图像数据输入第三神经网络模型，对第三神经网络模型再次训练。

[0083] 示例性电子设备

[0084] 下面，参考图7来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

[0085] 图7图示了根据本申请实施例的电子设备的框图。

[0086] 如图7所示，电子设备10包括一个或多个处理器11和存储器12。

[0087] 处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

[0088] 存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的精子运动状态的分类方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

[0089] 在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

[0090] 例如，在该电子设备是第一设备或第二设备时，该输入装置13可以是摄像头，用于捕捉图像的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

[0091] 此外，该输入设备13还可以包括例如键盘、鼠标等等。

[0092] 该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

[0093] 当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

[0094] 示例性计算机程序产品和计算机可读存储介质

[0095] 除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的精子运动状态的分类方法中的步骤。

[0096] 所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

[0097] 此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的精子运动状态的分类方法中的步骤。

[0098] 所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

[0099] 以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

[0100] 本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

[0101] 还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

[0102] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

[0103] 为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。