基于目标检测的目标边界记录方法、装置和计算设备转让专利

申请号 : CN202110658862.3

文献号 : CN113343999B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 乔元风曾凡

申请人 : 萱闱(北京)生物科技有限公司河南萱闱堂医疗信息科技有限公司

摘要 :

本发明的实施方式提供了一种基于目标检测的目标边界记录方法、装置和计算设备。该方法包括:通过实例分割模型对原始影像数据进行目标检测,得到原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到目标位置处显示第二预设形式标识的第二影像数据;获取第一影像数据的第一边界数据,并将第一边界数据存储至目标的目标类型对应的第一边界数据存储文件中;获取第二影像数据的第二边界数据,并将第二边界数据存储至目标的目标类型对应的第二边界数据存储文件中。本发明能够对原始图像中的目标自动进行边界识别,并且可以将识别到的边界数据自动的与目标对应的目标类型进行关联存储,提升了对图片标注的效率。

权利要求 :

1.一种基于目标检测的目标边界记录方法,包括:通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标位置处显示第二预设形式标识的第二影像数据;其中,所述第一预设形式为包围框;所述第一影像数据中包含所述第一预设形式对应的包围框的第一边界数据,所述第一边界数据用于确定所述包围框在所述原始影像数据中的具体位置;所述第二预设形式为不规则形状的掩码;第二边界数据中包含所述第二预设形式对应的不规则形状的掩码的第二边界数据,所述第二边界数据用于在所述原始影像数据中确定所述掩码的形状和具体位置;

获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;

获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标的目标类型对应的第二边界数据存储文件中;

其中,所述原始影像数据为基于时序的影像数据,获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中,包括:

从所述第一影像数据中获取基于时序的第一检测内容数据;其中,所述第一检测内容数据中至少包含所述第一影像数据标识的目标的目标类型、当前时刻以及第一边界数据;

基于时序遍历所述第一检测内容数据,构建类型映射字典;其中,所述类型映射字典中包含至少一个时间映射字典,所述时间映射字典与目标类型一一对应,且任意两个时间映射字典对应的目标类型不同;

基于所述类型映射字典,将所述第一检测内容数据中的所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;

其中,基于时序遍历所述第一检测内容数据,构建类型映射字典,包括:基于时序遍历所述第一检测内容数据,构建时间映射字典,所述时间映射字典中包含至少一个当前时刻与第一边界数据的时间键值对,其中,所述时间键值对中的当前时刻与第一边界数据从同一第一检测内容数据中获取;

基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典,所述类型映射字典中包含至少一个目标类型与时间映射字典的类型键值对,所述目标类型与所述时间映射字典中的当前时刻和第一边界数据属于同一第一检测内容数据。

2.根据权利要求1所述的基于目标检测的目标边界记录方法,基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典之后,所述方法还包括:当检测到所述时间映射字典中存在一个当前时刻对应多个第一边界数据的时间键值对时,计算得到所述多个第一边界数据的平均值;

基于所述平均值确定所述当前时刻与所述平均值的时间键值对。

3.根据权利要求1或2所述的基于目标检测的目标边界记录方法,所述第一边界数据包括所述第一影像数据对应的横向数值、纵向数值、影像宽和影像高。

4.根据权利要求1或2所述的基于目标检测的目标边界记录方法,获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标位置的目标类型对应的第二边界数据存储文件中,包括:

从所述第二影像数据中获取掩码图像;

对所述掩码图像进行图像处理,得到第二边界数据;

将所述第二边界数据存储至所述目标位置的目标类型对应的第二边界数据存储文件中。

5.根据权利要求4所述的基于目标检测的目标边界记录方法,对所述掩码图像进行图像处理,得到第二边界数据,包括:对所述掩码图像进行灰度变换,得到所述掩码图像对应的灰度掩码图像;

通过多级边缘检测算法对所述灰度掩码图像进行运算,得到掩码边界数据;

对所述掩码边界数据进行二值化处理,得到第二边界数据。

6.一种基于目标检测的目标边界记录装置,包括:检测单元,用于通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标位置处显示第二预设形式标识的第二影像数据;其中,所述第一预设形式为包围框;所述第一影像数据中包含所述第一预设形式对应的包围框的第一边界数据,所述第一边界数据用于确定所述包围框在所述原始影像数据中的具体位置;所述第二预设形式为不规则形状的掩码;第二边界数据中包含所述第二预设形式对应的不规则形状的掩码的第二边界数据,所述第二边界数据用于在所述原始影像数据中确定所述掩码的形状和具体位置;

第一获取单元,用于获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;

第二获取单元,用于获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标的目标类型对应的第二边界数据存储文件中;

其中,所述原始影像数据为基于时序的影像数据,所述第一获取单元包括:第一获取子单元,用于从所述第一影像数据中获取基于时序的第一检测内容数据;其中,所述第一检测内容数据中至少包含所述第一影像数据标识的目标的目标类型、当前时刻以及第一边界数据;

构建子单元,用于基于时序遍历所述第一检测内容数据,构建类型映射字典;其中,所述类型映射字典中包含至少一个时间映射字典,所述时间映射字典与目标类型一一对应,且任意两个时间映射字典对应的目标类型不同;

第一存储子单元,用于基于所述类型映射字典,将所述第一检测内容数据中的所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;

其中,所述构建子单元包括:

第一构建模块,用于基于时序遍历所述第一检测内容数据,构建时间映射字典,所述时间映射字典中包含至少一个当前时刻与第一边界数据的时间键值对,其中,所述时间键值对中的当前时刻与第一边界数据从同一第一检测内容数据中获取;

第二构建模块,用于基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典,所述类型映射字典中包含至少一个目标类型与时间映射字典的类型键值对,所述目标类型与所述时间映射字典中的当前时刻和第一边界数据属于同一第一检测内容数据。

7.根据权利要求6所述的基于目标检测的目标边界记录装置,所述装置还包括:计算单元,用于在所述第二构建模块基于所述数据文件和所述时间映射字典,构建类型映射字典之后,以及当检测到所述时间映射字典中存在一个当前时刻对应多个第一边界数据的时间键值对时,计算得到所述多个第一边界数据的平均值;

确定单元,用于基于所述平均值确定所述当前时刻与所述平均值的时间键值对。

8.根据权利要求6或7所述的基于目标检测的目标边界记录装置,所述第一边界数据包括所述第一影像数据对应的横向数值、纵向数值、影像宽和影像高。

9.根据权利要求6或7所述的基于目标检测的目标边界记录装置,所述第二获取单元包括:

第二获取子单元,用于从所述第二影像数据中获取掩码图像;

处理子单元,用于对所述掩码图像进行图像处理,得到第二边界数据;

第二存储子单元,用于将所述第二边界数据存储至所述目标位置的目标类型对应的第二边界数据存储文件中。

10.根据权利要求9所述的基于目标检测的目标边界记录装置,所述处理子单元包括:变换模块,用于对所述掩码图像进行灰度变换,得到所述掩码图像对应的灰度掩码图像;

运算模块,用于通过多级边缘检测算法对所述灰度掩码图像进行运算,得到掩码边界数据;

处理模块,用于对所述掩码边界数据进行二值化处理,得到第二边界数据。

11.一种临床人工智能辅助系统,所述系统执行权利要求1‑5中的任一项所述的基于目标检测的目标边界记录方法。

12.一种存储有程序的存储介质,其中,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1‑5中的任一项所述的基于目标检测的目标边界记录方法。

13.一种计算设备,包括如权利要求12所述的存储介质。

说明书 :

基于目标检测的目标边界记录方法、装置和计算设备

技术领域

[0001] 本发明的实施方式涉及人工智能领域,更具体地,本发明的实施方式涉及一种基于目标检测的目标边界记录方法、装置和计算设备。

背景技术

[0002] 本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003] 近年来,为了提高系统目标检测准确性,可以使用基于深度学习的神经网络模型来对图像或视频进行目标检测,但是在神经网络模型投入使用之前需要使用标注后的图片
对神经网络模型进行训练。目前,可以通过语义分割识别图片中目标的范围掩码,从而基于
范围掩码实现对图片中目标的分割。然而,在实践中发现,为了保证对分割后的图片标注的
准确性,通常需要通过人工的方式对图片进行标注,过程复杂,操作难度较大,从而导致图
片标注的效率较低。

发明内容

[0004] 在本上下文中,本发明的实施方式期望提供一种基于目标检测的目标边界记录方法、装置和计算设备。
[0005] 在本发明实施方式的第一方面中,提供了一种基于目标检测的目标边界记录方法,包括:
[0006] 通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标位置处显示第二预设
形式标识的第二影像数据;
[0007] 获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;
[0008] 获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标的目标类型对应的第二边界数据存储文件中。
[0009] 在本实施方式的一个实施例中,所述原始影像数据为基于时序的影像数据,获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对
应的第一边界数据存储文件中,包括:
[0010] 从所述第一影像数据中获取基于时序的第一检测内容数据;其中,所述第一检测内容数据中至少包含所述第一影像数据标识的目标的目标类型、当前时刻以及第一边界数
据;
[0011] 基于时序遍历所述第一检测内容数据,构建类型映射字典;其中,所述类型映射字典中包含至少一个时间映射字典,所述时间映射字典与目标类型一一对应,且任意两个时
间映射字典对应的目标类型不同;
[0012] 基于所述类型映射字典,将所述第一检测内容数据中的所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中。
[0013] 在本实施方式的一个实施例中,基于时序遍历所述第一检测内容数据,构建类型映射字典,包括:
[0014] 基于时序遍历所述第一检测内容数据,构建时间映射字典,所述时间映射字典中包含至少一个当前时刻与第一边界数据的时间键值对,其中,所述时间键值对中的当前时
刻与第一边界数据从同一第一检测内容数据中获取;
[0015] 基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典,所述类型映射字典中包含至少一个目标类型与时间映射字典的类型键值对,所述目标类型与所述时
间映射字典中的当前时刻和第一边界数据属于同一第一检测内容数据。
[0016] 在本实施方式的一个实施例中,基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典之后,所述方法还包括:
[0017] 当检测到所述时间映射字典中存在一个当前时刻对应多个第一边界数据的时间键值对时,计算得到所述多个第一边界数据的平均值;
[0018] 基于所述平均值确定所述当前时刻与所述平均值的时间键值对。
[0019] 在本实施方式的一个实施例中,所述第一边界数据包括所述第一影像数据对应的横向数值、纵向数值、影像宽和影像高。
[0020] 在本实施方式的一个实施例中,获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标位置的目标类型对应的第二边界数据存储文件中,包括:
[0021] 从所述第二影像数据中获取掩码图像;
[0022] 对所述掩码图像进行图像处理,得到第二边界数据;
[0023] 将所述第二边界数据存储至所述目标位置的目标类型对应的第二边界数据存储文件中。
[0024] 在本实施方式的一个实施例中,对所述掩码图像进行图像处理,得到第二边界数据,包括:
[0025] 对所述掩码图像进行灰度变换,得到所述掩码图像对应的灰度掩码图像;
[0026] 通过多级边缘检测算法对所述灰度掩码图像进行运算,得到掩码边界数据;
[0027] 对所述掩码边界数据进行二值化处理,得到第二边界数据。
[0028] 在本发明实施方式的第二方面中,提供了一种基于目标检测的目标边界记录装置,包括:
[0029] 检测单元,用于通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标位置
处显示第二预设形式标识的第二影像数据;
[0030] 第一获取单元,用于获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;
[0031] 第二获取单元,用于获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标的目标类型对应的第二边界数据存储文件中。
[0032] 在本发明实施方式的第三方面中,提供了一种临床人工智能辅助系统,所述系统用于执行第一方面中任一项所述的方法。
[0033] 在本发明实施方式的第四方面中,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序在被处理器执行时能够实现第一方面中任一项所述
的方法。
[0034] 在本发明实施方式的第五方面中,提供了一种计算设备,包括第四方面所述的存储介质。
[0035] 根据本发明实施方式的基于目标检测的目标边界记录方法、装置和计算设备,能够通过实例分割模型对原始影像数据进行目标检测,以得到原始影像数据中的目标所在的
位置,并且可以通过第一预设形式和第二预设形式对目标所在位置处进行标示,得到第一
预设形式对应的第一影像数据以及第二预设形式对应的第二影像数据,因此可以识别得到
第一影像数据的第一边界数据以及第二影像数据的第二边界数据,进而可以将第一边界数
据和第二边界数据分别与其对应的目标类型进行关联存储,可见,本发明可以对原始图像
中的目标自动进行边界识别,并且可以将识别到的边界数据自动的与目标对应的目标类型
进行关联存储,提升了对图片标注的效率。

附图说明

[0036] 通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若
干实施方式,其中:
[0037] 图1为本发明一实施例提供的基于目标检测的目标边界记录方法的流程示意图;
[0038] 图2为本发明另一实施例提供的基于目标检测的目标边界记录方法的流程示意图;
[0039] 图3为本发明实施例中第一边界数据存储文件的结构化示意图;
[0040] 图4为本发明实施例中第一边界数据存储文件的文件命名格式示意图;
[0041] 图5为本发明实施例中的掩码图像;
[0042] 图6为根据本发明的实施方式生成的灰度掩码图;
[0043] 图7为根据本发明的实施方式生成的掩码边界图;
[0044] 图8为根据本发明的实施方式生成的二值化掩码边界图;
[0045] 图9为本发明实施例中第二边界数据存储文件的结构化示意图;
[0046] 图10为本发明一实施例提供的临床人工智能辅助系统的界面示意图;
[0047] 图11为基于本发明实施例的临床人工智能辅助系统输出的操作设备检查界面示意图;
[0048] 图12为本发明一实施例提供的基于目标检测的目标边界记录装置的结构示意图;
[0049] 图13示意性地示出了本发明实施例的一种介质的结构示意图;
[0050] 图14示意性地示出了本发明实施例的一种计算设备的结构示意图。
[0051] 在附图中,相同或对应的标号表示相同或对应的部分。

具体实施方式

[0052] 下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何
方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能
够将本公开的范围完整地传达给本领域的技术人员。
[0053] 本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件
(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
[0054] 根据本发明的实施方式,提出了一种基于目标检测的目标边界记录方法、装置和计算设备。
[0055] 在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
[0056] 下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
[0057] 示例性方法
[0058] 下面参考图1,图1为本发明一实施例提供的基于目标检测的目标边界记录方法的流程示意图。需要注意的是,本发明的实施方式可以应用于适用的任何场景。
[0059] 图1所示的本发明一实施例提供的基于目标检测的目标边界记录方法的流程,包括:
[0060] 步骤S101,通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标位置处显
示第二预设形式标识的第二影像数据;
[0061] 步骤S102,获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;
[0062] 步骤S103,获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标的目标类型对应的第二边界数据存储文件中。
[0063] 本申请中提出的基于目标检测的目标边界记录方法应用在有限视野或操作环境复杂等应用场景,对上述应用场景中采集到的影像数据进行目标检测,并对检测到的目标
进行目标边界记录,上述应用场景包括但不限于手术室、检查间、建筑孔洞、机械检查场景
等。
[0064] 本发明中能够通过实例分割模型对原始影像数据进行目标检测,以得到原始影像数据中的目标所在的位置,并且可以通过第一预设形式和第二预设形式对目标所在位置处
进行标示,得到第一预设形式对应的第一影像数据以及第二预设形式对应的第二影像数
据,因此可以识别得到第一影像数据的第一边界数据以及第二影像数据的第二边界数据,
进而可以将第一边界数据和第二边界数据分别与其对应的目标类型进行关联存储,可见,
本发明可以对原始图像中的目标自动进行边界识别,并且可以将识别到的边界数据自动的
与目标对应的目标类型进行关联存储,提升了对图片标注的效率。
[0065] 下面结合附图说明如何将识别到的边界数据自动的与目标对应的目标类型进行关联存储,提升对图片标注的效率:
[0066] 本发明实施例中,实例分割(Instance Segmentation)模型可以通过神经网络构建,原始影像数据可以为图像采集设备(如摄像机、内窥镜等)采集到的图片或者视频数据。
原始影像数据中通常包含需要检测的目标,例如,当原始影像数据为内窥镜采集的患者的
腔内图像时,通常需要从腔内图像中检测到病灶区域等目标,且从同一原始影像数据中可
以检测到一个或多个目标,可见,不同的目标可以分别对应不同的目标类型。
[0067] 本发明实施例中,当实例分割模型从原始影像数据中检测出目标时,可以对该目标进行标识,标识方式可以为通过第一预设形式标识该目标所处的目标位置处,还可以通
过第二预设形式标识该目标所处的目标位置处,第一预设形式可以为包围框(Bounding‑
Box,BBox),包围框的形状可以多样化,例如,包围框可以为矩形包围框或圆形包围框等;第
二预设形式可以为不规则形状的掩码(Mask),可以通过实例分割模型对原始影像数据中的
目标进行检测,对检测到的目标进行语义分割,得到目标在原始影像数据中的目标位置,进
而可以在目标位置对应的区域生成掩码,该掩码即为第二预设形式对目标进行标识的方
式。
[0068] 更进一步,可以在原始影像数据中目标位置处显示以第一预设形式对目标进行标识的第一影像数据;还可以在原始影像数据中目标位置处显示以第二预设形式对目标进行
标识的第二影像数据;其中,第一影像数据中可以包含第一预设形式对应的包围框的第一
边界数据,第一边界数据可以确定包围框在原始影像数据中的具体位置;第二边界数据中
可以包含第二预设形式对应的不规则形状的掩码的第二边界数据,通过第二边界数据可以
在原始影像数据中确定掩码的形状和具体位置。并且还可以确定目标对应的目标类型,进
而可以将第一边界数据存储至目标的目标类型对应的第一边界数据存储文件中,以使第一
边界数据和原始影像数据中包含的目标的目标类型进行关联;还可以将第二边界数据存储
至目标的目标类型对应的第二边界数据存储文件中,以使第二边界数据和原始影像数据中
包含的目标的目标类型进行关联。
[0069] 请参阅图2,图2为本发明另一实施例提供的基于目标检测的目标边界记录方法的流程示意图,图2所示的本发明另一实施例提供的基于目标检测的目标边界记录方法的流
程包括:
[0070] 步骤S201,通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标位置处显
示第二预设形式标识的第二影像数据;所述原始影像数据为基于时序的影像数据;
[0071] 步骤S202,从所述第一影像数据中获取基于时序的第一检测内容数据;其中,所述第一检测内容数据中至少包含所述第一影像数据标识的目标的目标类型、当前时刻以及第
一边界数据;
[0072] 步骤S203,基于时序遍历所述第一检测内容数据,构建类型映射字典;其中,所述类型映射字典中包含至少一个时间映射字典,所述时间映射字典与目标类型一一对应,且
任意两个时间映射字典对应的目标类型不同;
[0073] 步骤S204,基于所述类型映射字典,将所述第一检测内容数据中的所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中。
[0074] 实施上述的步骤S201~步骤S204,可以从第一影像数据中获取到基于时序的第一检测内容数据,并且基于第一检测内容数据中包含的目标类型、当前时刻以及第一边界数
据构建类型映射字典,该类型映射字典可以表示目标类型、当前时刻以及第一边界数据之
间的映射关系,进而可以基于类型映射字典将第一边界数据与目标的目标类型进行关联存
储,提升了第一边界数据与目标类型关联的准确性。
[0075] 本发明实施例中,所述第一边界数据包括所述第一影像数据对应的横向数值、纵向数值、影像宽和影像高。可见,第一边界数据中包含的数据类型全面,保证了通过第一边
界数据能够准确的确定目标所在位置。
[0076] 本发明实施例中,原始影像数据可以为视频类型的数据,在本实施例中,可以通过实例分割模型对原始影像数据中的每一帧图像数据进行目标检测,从而可以得到原始影像
数据中的多个目标,且得到的多个目标可以为基于时序的目标,因此,以第一预设形式对目
标位置进行标识得到的第一影像数据可以为基于时序的影像数据,以第二预设形式对目标
位置进行标识得到的第二影像数据也可以为基于时序的影像数据。
[0077] 本发明实施例中,第一检测内容数据中可以包含基于时序的目标类型、当前时刻以及第一边界数据,可以将当前时刻对应的目标类型和第一边界数据组成一个元组
single_tuple,该元组single_tuple可以包含当前时刻time、与当前时刻对应的目标类型
label和第一边界数据BBox:
[0078] single_tuple=(time,label,BBox)
[0079] 其中,当前时刻time可以为视频类型的原始影像数据中每一帧图像的计数,BBox可以表示第一边界数据对应的矩形包围框的边界数据,例如,可以基于原始影像数据的每
一帧图像建立平面坐标系,包围框BBox中可以包含包围框在该平面坐标系中矩形包围框的
任意一个顶点在横轴的横向数值x以及在纵轴的纵向数值y,还可以包含矩形包围框的影像
宽w和影像高h,具体为:
[0080] BBox=[x,y,w,h]
[0081] 更进一步,可以创建一个队列(例如链表)matrix_array,将原始影像数据中的每一帧图像对应的元组single_tuple存储至该队列matrix_array中,存储方式可以基于时序
依次将每一帧图像对应的元组single_tuple存储至该队列matrix_array中。
[0082] 作为一种可选的实施方式,步骤S203基于时序遍历所述第一检测内容数据,构建类型映射字典的方式具体可以包括以下步骤:
[0083] 基于时序遍历所述第一检测内容数据,构建时间映射字典,所述时间映射字典中包含至少一个当前时刻与第一边界数据的时间键值对,其中,所述时间键值对中的当前时
刻与第一边界数据从同一第一检测内容数据中获取;
[0084] 基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典,所述类型映射字典中包含至少一个目标类型与时间映射字典的类型键值对,所述目标类型与所述时
间映射字典中的当前时刻和第一边界数据属于同一第一检测内容数据。
[0085] 其中,实施这种实施方式,可以先基于第一检测内容数据中的当前时刻和第一边界数据构建时间映射字典,通过时间映射字典表示当前时刻与第一边界数据的映射关系,
还可以基于第一检测内容数据中的目标类型以及时间映射字典构建类型映射字典,以通过
类型映射字典表示目标类型与任一时间映射字典的映射关系,进而可以基于类型映射字典
确定目标类型与对应的时间映射字典中包含的当前时刻和第一边界数据之间的映射关系,
从而保证了构建的类型映射字典中的映射关系的准确性。
[0086] 本发明实施例中,可以基于第一检测内容数据构建类型映射字典coord_dict,类型映射字典coord_dict中可以包含一个或多个键值对,类型映射字典coord_dict中的键
(Key)可以为第一检测内容数据中的目标类型label,且类型映射字典coord_dict中任意两
个键的目标类型label均不相同,类型映射字典coord_dict中键对应的值(Value)可以为时
间映射字典label_dict,任意一个目标类型label对应的时间映射字典label_dict中包含
的当前时刻和第一边界数据均与该目标类型label对应,映射关系为:
[0087] coord_dict[label]=label_dict
[0088] 本发明实施例中,可以基于第一检测内容数据构建时间映射字典label_dict,时间映射字典label_dict中可以包含一个或多个键值对,时间映射字典label_dict中的键可
以为第一检测内容数据中的当前时刻time,且时间映射字典label_dict中任意两个键的当
前时刻time均不相同,时间映射字典label_dict中键对应的值可以为当前时刻time对应的
第一边界数据BBox,映射关系为:
[0089] label_dict[time]=BBox
[0090] 可见,类型映射字典coord_dict中,可以包含一个或多个目标类型label的键,任意一个目标类型label的键可以映射一个时间映射字典label_dict,该时间映射字典
label_dict中的键值对与目标类型label对应;一个时间映射字典label_dict中,可以包含
一个或多个当前时刻time的键,任意一个当前时刻time的键可以映射一个第一边界数据
BBox,且该第一边界数据BBox可以与当前时刻time对应。
[0091] 更进一步,基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典之后,还可以包括以下步骤:
[0092] 当检测到所述时间映射字典中存在一个当前时刻对应多个第一边界数据的时间键值对时,计算得到所述多个第一边界数据的平均值;
[0093] 基于所述平均值确定所述当前时刻与所述平均值的时间键值对。
[0094] 其中,实施这种实施方式,可以在检测到时间映射字典中存在一个当前时刻对应多个第一边界数据的时间键值对时,可以计算多个第一边界数据的平均值,以使当前时刻
与该平均值建立映射,从而简化了时间映射字典中的映射关系。
[0095] 本发明实施例中,如果时间映射字典label_dict中存在一个当前时刻time对应多个第一边界数据BBox的时间键值对,可能会出现在同一帧图像中存在与目标位置对应的多
个包围框,导致无法确定目标位置准确的边界数据,因此,可以计算多个第一边界数据的平
均值,并将该平均值作为当前时刻time对应的第一边界数据BBox,具体的计算方式为:
[0096]
[0097] 其中,n为当前时刻time对应的多个第一边界数据BBox的数量。
[0098] 此外,可以对类型映射字典coord_dict进行遍历,将类型映射字典coord_dict中的时间映射字典label_dict分别存储至与其对应的目标类型label的第一边界数据存储文
件file1_label中。
[0099] 举例来说,可以遍历类型映射字典coord_dict,对类型映射字典coord_dict中的每一目标类型label分别创建第一边界数据存储文件file1_label,每一第一边界数据存储
文件file1_label中可以预先初始化横轴轴数组x1_arr、纵轴轴数组y1_arr、宽数组w1_
arr、高数组h1_arr以及时间数组t1_arr,之后可以遍历任意目标类型label映射的时间映
射字典label_dict,将时间映射字典label_dict中的当前时刻time和第一边界数据BBox存
储至与该目标类型label对应的第一边界数据存储文件file1_label中,其中,当前时刻
time存储至时间数组t1_arr,第一边界数据BBox中的横向数值x存储至横轴轴数组x1_arr、
纵向数值y存储至纵轴轴数组y1_arr、影像宽w存储至宽数组w1_arr以及影像高h存储至高
数组h1_arr中。当类型映射字典coord_dict遍历完成时,可以生成与各个目标类型label分
别对应的第一边界数据存储文件file1_label,进而可以将第一边界数据存储文件file1_
label进行存储。
[0100] 请一并参阅图3和图4,图3为本发明实施例中第一边界数据存储文件的结构化示意图;图4为本发明实施例中第一边界数据存储文件的文件命名格式示意图;其中,图3中的
t可以表示当前时刻,x可以表示第一边界数据BBox中的横向数值,y可以表示第一边界数据
BBox中的纵向数值,w可以表示第一影像数据中的影像宽,h可以表示第一影像数据中的影
像高,t可以与x、y、w以及h对应,即图3中的每一列的数据一一对应,例如,第一列数据t为
85,x为90,y为98,w为600,h为417,则可以认为当前时刻85与第一边界数据BBox中的横向数
值90、纵向数据98、第一影像数据中的影像宽600以及影像高417一一对应。图4为根据图3中
的第一边界数据存储文件中包含的数据生成的csv文件格式的文件命名格式示意图,一个
目标类型可以对应一个csv文件格式的第一边界数据存储文件。
[0101] 步骤S205,从所述第二影像数据中获取掩码图像;
[0102] 步骤S206,对所述掩码图像进行图像处理,得到第二边界数据;
[0103] 步骤S207,将所述第二边界数据存储至所述目标位置的目标类型对应的第二边界数据存储文件中。
[0104] 实施上述的步骤S205~步骤S207,可以从第二影像数据中获取到掩码图像,进而可以确定掩码图像对应的第二边界数据,以使第二边界数据与目标类型关联存储,保证了
第二边界数据与目标类型关联的准确性。
[0105] 本发明实施例中,掩码图像可以为多边形或不规则形状的掩码,且掩码区域中为填充的色值,因此无需对掩码区域中的数值进行记录,只需对掩码图像的边界值进行记录
即可,即可以对掩码图像进行处理,得到掩码图像的第二边界数据。
[0106] 作为一种可选的实施方式,步骤S206对所述掩码图像进行图像处理,得到第二边界数据的方式具体可以包括以下步骤:
[0107] 对所述掩码图像进行灰度变换,得到所述掩码图像对应的灰度掩码图像;
[0108] 通过多级边缘检测算法对所述灰度掩码图像进行运算,得到掩码边界数据;
[0109] 对所述掩码边界数据进行二值化处理,得到第二边界数据。
[0110] 其中,实施这种实施方式,可以对掩码图像进行灰度变换得到灰度掩码图像,并通过多级边缘检测算法对灰度掩码图像进行运算,得到掩码边界数据,以及对掩码边界数据
进行二值化处理,得到第二边界数据,提高了第二边界数据的精确度。
[0111] 本发明实施例中,可以通过归一化的图像矩阵对掩码图像进行灰度变换,以使掩码图像变换为灰度掩码图像,请参阅图5,图5为掩码图像,其中,图5中的矩形包围框中标识
的可以为黄色花椰菜肿瘤的目标,可以在图5中的矩形包围框中进一步识别出黄色花椰菜
肿瘤的具体位置区域,并且可以对确定的黄色花椰菜肿瘤的具体位置区域填充不同的色
值,即填充了不同的色值的为位置区域可以确定为掩码,从而得到了掩码图像,请参阅图6,
图6为灰度掩码图像,其中,可以对图5的掩码图像中的掩码的色值进行转换,以确定掩码对
应的灰度掩码,从而得到包含灰度掩码的灰度掩码图像;并且可以通过多级边缘检测算法
(例如Canny边缘检测算子)对灰度掩码图像进行运算,得到灰度掩码的边界,请参阅图7,图
7为掩码边界图,可以表示掩码图像的掩码边界数据;以及可以对掩码边界图中的掩码边界
数据进行二值化处理,即可以对掩码边界图中的每个边界像素进行取反操作,得到二值化
掩码边界,该二值化掩码边界可以确定为第二边界数据,请参阅图8,图8为二值化掩码边界
图。
[0112] 此外,可以创建目标类型对应的第二边界数据存储文件file2_label,每一第二边界数据存储文件file2_label中可以预先初始化横轴轴数组x2_arr、纵轴轴数组y2_arr以
及时间数组t2_arr,可以将得到的任意一帧图像的第二边界数据存储至与该图像中目标的
目标类型对应的第二边界数据存储文件file2_label中,即可以将当前时刻time存储至时
间数组t2_arr,第二边界数据中包含的每一个坐标点的横向数值x存储至横轴轴数组x2_
arr,以及每一个坐标点与横向数值x对应的纵向数值y存储至纵轴轴数组y2_arr中。当原始
影像数据中的每一帧图像遍历完成时,可以生成与各个目标类型label分别对应的第二边
界数据存储文件file2_label,进而可以将第二边界数据存储文件file2_label进行存储。
[0113] 请一并参阅图9,图9为本发明实施例中第二边界数据存储文件的结构化示意图;其中,图9中的A列可以表示当前时刻,B列可以表示当前时刻分别对应的x值和y值,x可以表
示第二边界数据中包含的每一个坐标点的横向数值,y可以表示第二边界数据中包含的每
一个坐标点的纵向数值,C列至X列中的数据可以为第二边界数据中包含的每一个坐标点的
横向数值或纵向数值;以第一行和第二行为例,第一行和第二行中A列均为当前时刻85,第
一行中B列表示当前时刻85对应的第二边界数据中包含的每一个坐标点的横向数值x,第一
行中C列至X列的数据为第二边界数据中包含的每一个坐标点具体的横向数值,第二行中B
列表示当前时刻85对应的第二边界数据中包含的每一个坐标点的纵向数值y,第二行中C列
至X列的数据为第二边界数据中包含的每一个坐标点具体的纵向数值,每一行的当前时刻
与该行的第二边界数据中包含的每一个坐标点的横向数值或纵向数值一一对应。
[0114] 请一并参阅图10和图11,图10为本发明一实施例提供的临床人工智能辅助系统的界面示意图,图11为基于本发明实施例的临床人工智能辅助系统输出的操作设备检查界面
示意图;其中,图10对应的临床人工智能辅助系统可以用于控制操作设备对患者的腔内病
变部位进行智能识别,图11可以为操作设备对患者的腔内病变部位进行智能识别时的检查
界面。
[0115] 具体的,图10中可以包含5个区域,区域①可以为时间选择区域,区域②可以为患者搜索区域,区域③可以为系统管理区域,区域④可以为异常组织区域,区域⑤可以为参数
设置区域;其中,
[0116] 区域①可以根据输入的时间来选择查看的患者并将患者信息展示给系统使用者(如医生);
[0117] 区域②至少可以包含患者搜索子区域和患者信息输出子区域,患者搜索子区域可以对系统使用者输入的患者名字来快速查询到这个患者的病例信息,患者信息输出子区域
可以输出搜索到的患者的病例信息;
[0118] 区域③至少可以包含新建患者子区域、系统连接子区域、系统信息子区域、系统操作子区域,其中,新建患者子区域可以当确定未查询到当前患者的病例信息或系统没有连
接工作站系统时,根据系统使用者输入的患者信息进行患者病例信息的创建;系统连接子
区域可以将当前系统与工作站系统进行连接;系统信息子区域可以输出关于临床人工智能
辅助系统的版本号、公司简介、版权声明等信息;系统操作子区域可以对系统使用者输入的
指令进行响应,从而实现系统界面的最小化、大小切换或关闭等操作;
[0119] 区域④至少可以包括名称子区域和异常组织截图暂存子区域,名称子区域可以输出异常组织截图暂存子区域中异常组织的名称,异常组织截图暂存子区域可以输出患者体
内疑似病变区域的截图;
[0120] 区域⑤至少可以包括透明度子区域、自动新建子区域、识别概率子区域、截图概率子区域、自动截图子区域、视频播放子区域、直播子区域以及存储子区域,其中,透明度子区
域可以用于设置覆盖患者体内病变区域的掩码的透明度;自动新建子区域可以用于在没有
连接工作站或者忘记新建患者直接作检查时,自动新建一个名字为未定义的患者信息;识
别概率子区域可以用于设置临床人工智能辅助系统对于患者的病变区域的识别概率;截图
概率子区域可以用于设置截图概率,当系统识别到的病变区域的病变概率达到截图概率时
对病变区域进行截图;自动截图子区域可以用于设置系统自动毒病变区域进行截图;视频
播放子区域可以用于选择需要查看的患者检查过程的视频,并将该视频进行输出播放;直
播子区域可以用于在系统与工作站处于连接状态时,当患者信息传输进来之后,直接打开
直播页面;存储子区域可以用于选择需要保存/删除的影像信息进行保存/删除。
[0121] 图11所示的临床人工智能辅助系统可以对操作设备进行控制,并且可以执行图1和图2中的基于目标检测的目标边界记录方法的任意步骤。
[0122] 此外,图11中可以包含4个区域,区域A可以为结果识别区域,区域B可以为内镜视野区域,区域C可以为提示区域,区域D可以为图片暂存区域,其中:
[0123] 区域A至少可以包括病变概率子区域、电刀概率子区域、电烧出血概率子区域以及视野提示子区域,病变概率子区域可以用于依据预先设置的识别概率判断病变区域,并输
出病变概率和结论;电刀概率子区域可以用于识别手术器具,并且输出手术器具的识别概
率和结论;电烧出血概率子区域可以用于依据预先设置的识别概率判断出血区域或烧伤区
域,并输出出血概率/烧伤概率和结论;视野提示子区域可以用于提示当前内镜的视野清晰
度;
[0124] 区域B可以输出内镜采集到的患者的腔内图像,并且在识别出病变区域、出血区域或烧伤区域时,在病变区域、出血区域或烧伤区域上依据预先设置的透明度输出掩码;
[0125] 区域C可以对内镜采集到的患者的腔内图像进行检测,并将检测得到的结论进行输出;
[0126] 区域D可以将系统截图得到的患者的腔内图像的截图进行至的存储,并输出在区域D中。
[0127] 本发明能够对原始图像中的目标自动进行边界识别,并且可以将识别到的边界数据自动的与目标对应的目标类型进行关联存储,提升了对图片标注的效率。此外,本发明还
可以提升第一边界数据与目标类型关联的准确性。此外,本发明还可以保证通过第一边界
数据能够准确的确定目标所在位置。此外,本发明还可以保证构建的类型映射字典中的映
射关系的准确性。此外,本发明还可以简化时间映射字典中的映射关系。此外,本发明还可
以保证第二边界数据与目标类型关联的准确性。此外,本发明还可以提高第二边界数据的
精确度。
[0128] 示例性装置
[0129] 在介绍了本发明示例性实施方式的方法之后,接下来,参考图12对本发明示例性实施方式的一种基于目标检测的目标边界记录装置进行说明,该装置包括:
[0130] 检测单元1201,用于通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标
位置处显示第二预设形式标识的第二影像数据;
[0131] 第一获取单元1202,用于获取检测单元1201得到的所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件
中;
[0132] 第二获取单元1203,用于获取检测单元1201得到的所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标的目标类型对应的第二边界数据存储文件
中。
[0133] 示例性介质
[0134] 在介绍了本发明示例性实施方式的方法和装置之后,接下来,参考图13对本发明示例性实施方式的计算机可读存储介质进行说明,请参考图13,其示出的计算机可读存储
介质为光盘130,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行
时,会实现上述方法实施方式中所记载的各步骤,例如,通过实例分割模型对原始影像数据
进行目标检测,得到原始影像数据中的目标位置处显示第一预设形式标识的第一影像数
据,以及得到目标位置处显示第二预设形式标识的第二影像数据;获取第一影像数据的第
一边界数据,并将第一边界数据存储至目标的目标类型对应的第一边界数据存储文件中;
获取第二影像数据的第二边界数据,并将第二边界数据存储至目标的目标类型对应的第二
边界数据存储文件中;各步骤的具体实现方式在此不再重复说明。
[0135] 需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存
储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光
学、磁性存储介质,在此不再一一赘述。
[0136] 示例性计算设备
[0137] 在介绍了本发明示例性实施方式的方法、介质和装置之后,接下来,参考图14对本发明示例性实施方式的用于基于目标检测的目标边界记录的计算设备。
[0138] 图14示出了适于用来实现本发明实施方式的示例性计算设备140的框图,该计算设备140可以是计算机系统或服务器。图14显示的计算设备140仅仅是一个示例,不应对本
发明实施例的功能和使用范围带来任何限制。
[0139] 如图14所示,计算设备140的组件可以包括但不限于:一个或者多个处理器或者处理单元1401,系统存储器1402,连接不同系统组件(包括系统存储器1402和处理单元1401)
的总线1403。
[0140] 计算设备140典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备140访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
[0141] 系统存储器1402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)14021和/或高速缓存存储器14022。计算设备140可以进一步包括其它可移
动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,ROM14023可以用于读
写不可移动的、非易失性磁介质(图14中未显示,通常称为“硬盘驱动器”)。尽管未在图14中
示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移
动非易失性光盘(例如CD‑ROM,DVD‑ROM或者其它光介质)读写的光盘驱动器。在这些情况
下,每个驱动器可以通过一个或者多个数据介质接口与总线1403相连。系统存储器1402中
可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模
块被配置以执行本发明各实施例的功能。
[0142] 具有一组(至少一个)程序模块14024的程序/实用工具14025,可以存储在例如系统存储器1402中,且这样的程序模块14024包括但不限于:操作系统、一个或者多个应用程
序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的
实现。程序模块14024通常执行本发明所描述的实施例中的功能和/或方法。
[0143] 计算设备140也可以与一个或多个外部设备1404(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口605进行。并且,计算设备140还可以通过网络适
配器1406与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特
网)通信。如图14所示,网络适配器1406通过总线1403与计算设备140的其它模块(如处理单
元1401等)通信。应当明白,尽管图14中未示出,可以结合计算设备140使用其它硬件和/或
软件模块。
[0144] 处理单元1401通过运行存储在系统存储器1402中的程序,从而执行各种功能应用以及数据处理,例如,通过实例分割模型对原始影像数据进行目标检测,得到原始影像数据
中的目标位置处显示第一预设形式标识的第一影像数据,以及得到目标位置处显示第二预
设形式标识的第二影像数据;获取第一影像数据的第一边界数据,并将第一边界数据存储
至目标的目标类型对应的第一边界数据存储文件中;获取第二影像数据的第二边界数据,
并将第二边界数据存储至目标的目标类型对应的第二边界数据存储文件中。各步骤的具体
实现方式在此不再重复说明。应当注意,尽管在上文详细描述中提及了基于目标检测的目
标边界记录装置的若干单元/模块或子单元/子模块,但是这种划分仅仅是示例性的并非强
制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能
可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一
步划分为由多个单元/模块来具体化。
[0145] 在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
[0146] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0147] 在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,
仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可
以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨
论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接
耦合或通信连接,可以是电性,机械或其它的形式。
[0148] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0149] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0150] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明
的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件
产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得
一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所
述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read‑
Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以
存储程序代码的介质。
[0151] 最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发
明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员
在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护
范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
[0152] 此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的
结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个
步骤分解为多个步骤执行。
[0153] 通过上述的描述,本发明的实施例提供了以下的技术方案,但不限于此:
[0154] 1.一种基于目标检测的目标边界记录方法,包括:
[0155] 通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标位置处显示第二预设
形式标识的第二影像数据;
[0156] 获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;
[0157] 获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标的目标类型对应的第二边界数据存储文件中。
[0158] 2.如方案1所述的基于目标检测的目标边界记录方法,所述原始影像数据为基于时序的影像数据,获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至
所述目标的目标类型对应的第一边界数据存储文件中,包括:
[0159] 从所述第一影像数据中获取基于时序的第一检测内容数据;其中,所述第一检测内容数据中至少包含所述第一影像数据标识的目标的目标类型、当前时刻以及第一边界数
据;
[0160] 基于时序遍历所述第一检测内容数据,构建类型映射字典;其中,所述类型映射字典中包含至少一个时间映射字典,所述时间映射字典与目标类型一一对应,且任意两个时
间映射字典对应的目标类型不同;
[0161] 基于所述类型映射字典,将所述第一检测内容数据中的所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中。
[0162] 3.如方案2所述的基于目标检测的目标边界记录方法,基于时序遍历所述第一检测内容数据,构建类型映射字典,包括:
[0163] 基于时序遍历所述第一检测内容数据,构建时间映射字典,所述时间映射字典中包含至少一个当前时刻与第一边界数据的时间键值对,其中,所述时间键值对中的当前时
刻与第一边界数据从同一第一检测内容数据中获取;
[0164] 基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典,所述类型映射字典中包含至少一个目标类型与时间映射字典的类型键值对,所述目标类型与所述时
间映射字典中的当前时刻和第一边界数据属于同一第一检测内容数据。
[0165] 4.如方案3所述的基于目标检测的目标边界记录方法,基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典之后,所述方法还包括:
[0166] 当检测到所述时间映射字典中存在一个当前时刻对应多个第一边界数据的时间键值对时,计算得到所述多个第一边界数据的平均值;
[0167] 基于所述平均值确定所述当前时刻与所述平均值的时间键值对。
[0168] 5.如方案1~4任一项所述的基于目标检测的目标边界记录方法,所述第一边界数据包括所述第一影像数据对应的横向数值、纵向数值、影像宽和影像高。
[0169] 6.如方案1~4任一项所述的基于目标检测的目标边界记录方法,获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标位置的目标类型对应的第
二边界数据存储文件中,包括:
[0170] 从所述第二影像数据中获取掩码图像;
[0171] 对所述掩码图像进行图像处理,得到第二边界数据;
[0172] 将所述第二边界数据存储至所述目标位置的目标类型对应的第二边界数据存储文件中。
[0173] 7.如方案6所述的基于目标检测的目标边界记录方法,对所述掩码图像进行图像处理,得到第二边界数据,包括:
[0174] 对所述掩码图像进行灰度变换,得到所述掩码图像对应的灰度掩码图像;
[0175] 通过多级边缘检测算法对所述灰度掩码图像进行运算,得到掩码边界数据;
[0176] 对所述掩码边界数据进行二值化处理,得到第二边界数据。
[0177] 8.一种基于目标检测的目标边界记录装置,包括:
[0178] 检测单元,用于通过实例分割模型对原始影像数据进行目标检测,得到所述原始影像数据中的目标位置处显示第一预设形式标识的第一影像数据,以及得到所述目标位置
处显示第二预设形式标识的第二影像数据;
[0179] 第一获取单元,用于获取所述第一影像数据的第一边界数据,并将所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中;
[0180] 第二获取单元,用于获取所述第二影像数据的第二边界数据,并将所述第二边界数据存储至所述目标的目标类型对应的第二边界数据存储文件中。
[0181] 9.如方案8所述的基于目标检测的目标边界记录装置,所述原始影像数据为基于时序的影像数据,所述第一获取单元包括:
[0182] 第一获取子单元,用于从所述第一影像数据中获取基于时序的第一检测内容数据;其中,所述第一检测内容数据中至少包含所述第一影像数据标识的目标的目标类型、当
前时刻以及第一边界数据;
[0183] 构建子单元,用于基于时序遍历所述第一检测内容数据,构建类型映射字典;其中,所述类型映射字典中包含至少一个时间映射字典,所述时间映射字典与目标类型一一
对应,且任意两个时间映射字典对应的目标类型不同;
[0184] 第一存储子单元,用于基于所述类型映射字典,将所述第一检测内容数据中的所述第一边界数据存储至所述目标的目标类型对应的第一边界数据存储文件中。
[0185] 10.如方案9所述的基于目标检测的目标边界记录装置,所述构建子单元包括:
[0186] 第一构建模块,用于基于时序遍历所述第一检测内容数据,构建时间映射字典,所述时间映射字典中包含至少一个当前时刻与第一边界数据的时间键值对,其中,所述时间
键值对中的当前时刻与第一边界数据从同一第一检测内容数据中获取;
[0187] 第二构建模块,用于基于所述第一检测内容数据和所述时间映射字典,构建类型映射字典,所述类型映射字典中包含至少一个目标类型与时间映射字典的类型键值对,所
述目标类型与所述时间映射字典中的当前时刻和第一边界数据属于同一第一检测内容数
据。
[0188] 11.如方案10所述的基于目标检测的目标边界记录装置,所述装置还包括:
[0189] 计算单元,用于在所述第二构建模块基于所述数据文件和所述时间映射字典,构建类型映射字典之后,以及当检测到所述时间映射字典中存在一个当前时刻对应多个第一
边界数据的时间键值对时,计算得到所述多个第一边界数据的平均值;
[0190] 确定单元,用于基于所述平均值确定所述当前时刻与所述平均值的时间键值对。
[0191] 12.如方案8~11任一项所述的基于目标检测的目标边界记录装置,所述第一边界数据包括所述第一影像数据对应的横向数值、纵向数值、影像宽和影像高。
[0192] 13.如方案8~11任一项所述的基于目标检测的目标边界记录装置,所述第二获取单元包括:
[0193] 第二获取子单元,用于从所述第二影像数据中获取掩码图像;
[0194] 处理子单元,用于对所述掩码图像进行图像处理,得到第二边界数据;
[0195] 第二存储子单元,用于将所述第二边界数据存储至所述目标位置的目标类型对应的第二边界数据存储文件中。
[0196] 14.如方案13所述的基于目标检测的目标边界记录装置,所述处理子单元包括:
[0197] 变换模块,用于对所述掩码图像进行灰度变换,得到所述掩码图像对应的灰度掩码图像;
[0198] 运算模块,用于通过多级边缘检测算法对所述灰度掩码图像进行运算,得到掩码边界数据;
[0199] 处理模块,用于对所述掩码边界数据进行二值化处理,得到第二边界数据。
[0200] 15.一种临床人工智能辅助系统,所述系统执行方案1‑7中的任一项所述的基于目标检测的目标边界记录方法。
[0201] 16.一种存储有程序的存储介质,其中,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如方案1‑7中的任一项所述的基于目标检测的目标边界记录
方法。
[0202] 17.一种计算设备,包括如方案16所述的存储介质。