内窥镜图像检测方法、装置、存储介质及电子设备转让专利
申请号 : CN202111039891.8
文献号 : CN113487608B
文献日 : 2021-12-07
发明人 : 边成 , 李剑 , 杨志雄 , 石小周 , 赵家英
申请人 : 北京字节跳动网络技术有限公司
摘要 :
权利要求 :
1.一种内窥镜图像检测方法,其特征在于,所述方法包括:获取待检测的内窥镜图像;
通过内窥镜图像检测模型对所述内窥镜图像执行多个目标任务,得到所述内窥镜图像对应的多个任务检测结果,所述内窥镜图像检测模型用于通过如下方式执行所述多个目标任务:
通过任务特征网络从所述内窥镜图像中提取所述目标任务对应的图像特征,通过交互特征网络将提取到的每一所述图像特征和预训练的质控图像特征进行融合计算,得到每一所述目标任务对应的融合特征,针对每一所述目标任务,通过目标任务网络根据所述目标任务对应的所述融合特征,确定所述目标任务对应的任务检测结果;
所述内窥镜图像检测模型的训练过程包括:通过所述任务特征网络从样本内窥镜图像中提取所述目标任务对应的样本图像特征,其中所述样本内窥镜图像标注有每一所述目标任务对应的实际检测结果;
通过所述交互特征网络将提取到的每一所述样本图像特征与本次训练过程中的所述质控图像特征进行融合计算,得到每一所述目标任务对应的样本融合特征,并针对每一所述目标任务,通过所述目标任务网络根据所述目标任务对应的所述样本融合特征,确定所述目标任务对应的预估检测结果;
根据每一所述目标任务对应的所述预估检测结果与所述实际检测结果,计算每一所述目标任务对应的损失函数,并根据每一所述目标任务对应的所述损失函数的计算结果,调整所述内窥镜图像检测模型的参数,所述参数包括用于表征所述质控图像特征的向量参数。
2.根据权利要求1所述的方法,其特征在于,所述通过任务特征网络从所述内窥镜图像中提取所述目标任务对应的图像特征,包括:将所述内窥镜图像划分为多个内窥镜子图像;
通过线性特征提取器对每一所述内窥镜子图像提取二维图像特征,并将提取到的每一所述二维图像特征转换为一维特征向量;
针对每一所述内窥镜子图像对应的一维特征向量,通过编码器进行特征处理,得到每一所述内窥镜子图像对应的任务特征子向量;
将同一所述任务特征网络输出的所述任务特征子向量相加,得到所述目标任务对应的图像特征向量。
3.根据权利要求1所述的方法,其特征在于,所述根据每一所述目标任务对应的所述损失函数的计算结果,调整所述内窥镜图像检测模型的参数,包括:确定每一所述目标任务对应的自适应权重,其中每一所述目标任务的自适应权重与所述目标任务对应的预估检测结果的指标数值负相关,所述预估检测结果的指标数值用于表征所述预估检测结果的准确性;
根据每一所述目标任务对应的所述损失函数的计算结果和每一所述目标任务对应的所述自适应权重,计算所述内窥镜图像检测模型的总损失函数,并根据所述总损失函数的计算结果,调整所述内窥镜图像检测模型的参数。
4.根据权利要求3所述的方法,其特征在于,所述内窥镜图像检测模型的训练过程为迭代训练的过程,所述确定每一所述目标任务对应的自适应权重,包括:针对每一所述目标任务,确定上次迭代过程中所述目标任务对应的预估检测结果的历史指标数值和本次迭代过程中所述目标任务对应的预估检测结果的当前指标数值;
根据预设衰减因子、所述历史指标数值和所述当前指标数值,确定每一所述目标任务对应的预估检测结果的目标指标数值,并根据所述目标指标数值和负相关对应关系,确定每一所述目标任务的自适应权重,其中所述负相关对应关系用于表征所述自适应权重与所述目标指标数值负相关。
5.根据权利要求3所述的方法,其特征在于,所述确定每一所述目标任务对应的自适应权重,包括:
在所述内窥镜图像检测模型的训练过程中,按照如下公式确定每一所述目标任务对应的自适应权重:
其中, 表征第i个目标任务对应的自适应权重, 表征第i个目标任务对应的预估检测结果的指标数值, 表征第i个目标任务的预设权重调节参数。
6.根据权利要求1或2所述的方法,其特征在于,所述多个目标任务包括肠道清洁度评估任务、寻腔进镜任务、息肉检测任务、回盲识别任务和内窥镜图像质量监控任务中的至少两者。
7.根据权利要求1或2所述的方法,其特征在于,所述任务特征网络和所述交互特征网络包括深度自注意力变换网络transformer网络的编码器。
8.一种内窥镜图像检测装置,其特征在于,所述装置包括:获取模块,用于获取待检测的内窥镜图像;
检测模块,用于通过内窥镜图像检测模型对所述内窥镜图像执行多个目标任务,得到所述内窥镜图像对应的多个任务检测结果,所述内窥镜图像检测模型用于通过如下模块执行所述多个目标任务:
第一处理子模块,用于通过任务特征网络从所述内窥镜图像中提取所述目标任务对应的图像特征;
第二处理子模块,用于通过交互特征网络将提取到的每一所述图像特征和预训练的质控图像特征进行融合计算,得到每一所述目标任务对应的融合特征;
第三处理子模块,用于针对每一所述目标任务,通过目标任务网络根据所述目标任务对应的所述融合特征,确定所述目标任务对应的任务检测结果;
所述装置还包括用于训练所述内窥镜图像检测模型的训练模块,所述训练模块用于:通过所述任务特征网络从样本内窥镜图像中提取所述目标任务对应的样本图像特征,其中所述样本内窥镜图像标注有每一所述目标任务对应的实际检测结果;
通过所述交互特征网络将提取到的每一所述样本图像特征与本次训练过程中的所述质控图像特征进行融合计算,得到每一所述目标任务对应的样本融合特征,并针对每一所述目标任务,通过所述目标任务网络根据所述目标任务对应的所述样本融合特征,确定所述目标任务对应的预估检测结果;
根据每一所述目标任务对应的所述预估检测结果与所述实际检测结果,计算每一所述目标任务对应的损失函数,并根据每一所述目标任务对应的所述损失函数的计算结果,调整所述内窥镜图像检测模型的参数,所述参数包括用于表征所述质控图像特征的向量参数。
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1‑7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现权利要求1‑7中任一项所述方法的步骤。
说明书 :
内窥镜图像检测方法、装置、存储介质及电子设备
技术领域
背景技术
后包括一个AI模型加一个质控模型,因此实际应用中需要部署多个模型来满足多任务检测
的需求。如果有新的检测任务,则需要部署用于执行新增检测任务的AI模型和对应的质控
模型。如果新增的检测任务较多,则需要部署的模型数量会成倍增长,增加了用于模型部署
的工作量。并且模型迭代过程中,由于需要对每一个独立的模型进行迭代,因此随着模型数
量的增加,模型的整体迭代效率会受到影响,从而会影响内窥镜图像检测效率。
发明内容
要特征,也不旨在用于限制所要求的保护的技术方案的范围。
目标任务:
每一所述目标任务对应的融合特征,针对每一所述目标任务,通过目标任务网络根据所述
目标任务对应的所述融合特征,确定所述目标任务对应的任务检测结果。
块执行所述多个目标任务:
通过一个模型实现内窥镜图像场景下的多任务检测,因此在模型部署时可以只部署一个模
型,减少了需要部署的模型数量,进而减少了内窥镜图像检测场景下用于模型部署的人力
和时间,可以提高模型部署效率。并且,由于只需部署一个内窥镜图像检测模型,因此在模
型迭代过程中对该内窥镜图像检测模型进行迭代即可,相较于相关技术中对多个模型逐一
迭代的方式,可以提高模型迭代效率,进而提高内窥镜图像检测效率。
附图说明
解附图是示意性的,原件和元素不一定按照比例绘制。在附图中:
具体实施方式
里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的
是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
开的范围在此方面不受限制。
“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定
义将在下文描述中给出。
另外需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术
人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
后包括一个AI模型加一个质控模型,因此实际应用中需要部署多个模型来满足多任务检测
的需求。如果有新的检测任务,则需要部署用于执行新增检测任务的AI模型和对应的质控
模型。如果新增的检测任务较多,则需要部署的模型数量会成倍增长,增加了用于模型部署
的工作量。并且模型迭代过程中,由于需要对每一个独立的模型进行迭代,因此随着模型数
量的增加,模型的整体迭代效率会受到影响。
镜检测场景下的模型部署效率和模型迭代效率,进而提高内窥镜图像检测效率。
统,本公开实施例对此不作限定。比如,将本公开提供的内窥镜图像检测方法应用于肠镜,
则该肠镜可以对患者体内的结肠或直肠进行图像拍摄,从而生成肠镜视频流,之后则可以
从该肠镜视频流中选取待处理的内窥镜图像执行多任务检测过程。或者,将本公开提供的
内窥镜图像检测方法应用于医疗系统,则该医疗系统可以包括内窥镜装置和内窥镜图像检
测装置,其中内窥镜装置用于进行内窥镜图像拍摄,生成内窥镜视频流,并从该内窥镜视频
流中选取待处理的内窥镜图像,将该内窥镜图像发送给内窥镜图像检测装置。内窥镜图像
检测装置用于对接收到的内窥镜图像执行多任务检测过程。
像特征和预训练的质控图像特征进行融合计算,得到每一目标任务对应的融合特征,针对
每一目标任务,通过目标任务网络根据目标任务对应的融合特征,确定目标任务对应的任
务检测结果。
一个模型实现内窥镜图像场景下的多任务检测,因此在模型部署时可以只部署一个模型,
减少了需要部署的模型数量,进而减少了用于模型部署的工作量,可以提高模型部署效率。
并且,由于只需部署一个内窥镜图像检测模型,因此在模型迭代过程中对该内窥镜图像检
测模型进行迭代即可,相较于相关技术中对多个模型逐一迭代的方式,可以提高模型迭代
效率,从而可以提高内窥镜图像检测效率。
内窥镜视频流中选取待处理的内窥镜图像。当然,还可以通过其他方式获得内窥镜图像,本
公开实施例对此不作限定。
能的方式中,多个目标任务可以包括肠道清洁度评估任务、寻腔进镜任务、息肉目标任务、
回盲识别任务和内窥镜图像质量监控任务中的至少两者,本公开实施例对此不作限定。
器。其中,线性层可以将输入的内窥镜图像转换为一维特征向量。编码器可以与目标任务对
应,即一个目标任务可以对应一个编码器(图2以transformer网络的编码器进行示意),通
过该编码器可以对一维特征向量进行特征处理,得到每一目标任务对应的图像特征向量。
内窥镜图像检测模型的第二部分为交互特征网络,该交互特征网络用于将任务特征网络提
取到的每一图像特征与预训练的质控图像特征进行融合计算,得到融合特征。内窥镜图像
检测模型的第三部分为目标任务网络,该目标任务网络用于根据每一目标任务对应的融合
特征,确定目标任务的任务检测结果。应当理解的是,一个目标任务对应一个目标任务网
络,从而可以实现多任务检测。
可以保证任务的独立和相关性。另外,如果有新的目标任务,则可以通过增加新的任务特征
网络和目标任务网络,方便地将该新的目标任务融入内窥镜图像检测模型。
特征网络提取局部特征进行后续处理。
特征转换为一维特征向量,之后再针对每一内窥镜子图像对应的一维特征向量,通过编码
器进行特征处理,得到每一内窥镜子图像对应的任务特征子向量,最后将同一任务特征网
络输出的任务特征子向量相加,得到目标任务对应的图像特征向量。
取到的二维图像特征进行处理,得到对应的embedding,即将其转换为对应的一维特征向量
(i=1,2,…,9)。之后,任务特征网络中与目标任务对应的各编码器可以对该多个内窥镜
子图像对应的一维特征向量进行特征处理,输出多个内窥镜子图像对应的任务特征子向量
(t=1,2,…,T,T为任务特征网络的数量,图2中取2)。最后,可以将同一任务特征网络输
出的任务特征子向量相加,得到目标任务对应的任务特征向量 :
因此可以将内窥镜图像质量监控任务对应的图像特征设定为通过模型训练结果来确定。比
如,参照图2所示的内窥镜图像检测模型,可以将内窥镜图像质量监控任务对应的质控图像
特征设定为随机值,然后在模型训练过程中调整该质控图像特征,之后则可以在每一次检
测过程中,将该调整后的质控图像特征作为内窥镜图像质量监控任务对应的特征输入交互
特征网络。
目标任务之间也存在一定的关联性和辅助性,例如清洁度评估较好的图片,对于息肉检测
和寻腔进镜任务有较好的作用。因此,在提取到目标任务对应的图像特征后,可以通过交互
特征网络将提取到的每一图像特征和预训练的质控图像特征进行融合计算,使得独立的图
像特征互相交互,得到融合特征。
质控图像特征进行自适应权重的融合计算,得到更准确的融合特征。也即是说,交互特征网
络可以基于预训练的融合权重将每一图像特征和预训练的质控图像特征进行特征融合计
算,得到每一目标任务对应的融合特征融合特征。其中,融合权重可以表征融合计算过程中
各图像特征的权重大小,在不同融合特征的计算过程中,同一图像特征对应的融合权重可
以不同,图像特征之间的关联越大,则对应的融合权重越大。
可以通过内窥镜图像检测模型输出的预测结果与样本标注结果之间的差异调整该融合权
重,直到模型训练结束。在训练结束后,通过该融合权重和各任务特征网络输出的图像特征
和预训练的质控图像特征可以较好地进行融合计算,从而提高多任务检测的准确性。
任务网络中,从而通过目标任务网络得到对应的检测结果。应当理解的是,目标任务网络和
融合特征可以有对应的预设标号,因此交互特征网络可以根据该预设标号将融合特征输入
对应的目标任务网络进行任务检测。如果要实现单一任务检测,则可以将目标任务网络设
置为单一任务对应的检测网络。也即是说,本公开实施例中可以通过设置目标任务网络的
数量和类型来控制实现不同的任务检测。
果包括四个类别结果,因此该肠道清洁度评估任务对应的目标任务网络输出是4维的数据。
针对寻腔进镜任务,考虑到主要是找到腔的位置,需要考虑到局部和全局信息,因此目标任
务网络可以是ResNet50网络的译码器(decoder),再接一个2维的全连接层,输出是二维坐
标点。针对息肉检测任务,目标任务网络可以是标准的,检测网络,包括一个256维的全连接
层,该全连接层后面接一个非线性ReLU层,该非线性ReLU层后面接一个256维的全连接层,
该全连接层输出分成两个分支,分别输入2维的全连接层和4维的全连接层,最终输出息肉
分类概率(是否有息肉)、息肉检测框的坐标。针对回盲识别任务,目标任务网络包括一个
256维的全连接层和一个3维的全连接层,中间接一个非线性ReLU层。针对内窥镜图像质量
监控任务,目标任务网络包括一个256维的全连接层和T维的全连接层(T为目标任务的数
量),中间接一个非线性ReLU层。
寻腔进镜任务,则输入一张内窥镜图像后,执行多任务检测,可以得到该三个目标任务的检
测结果。
务对应的实际检测结果;通过交互特征网络将提取到的每一样本图像特征与本次训练过程
中对应的质控图像特征进行融合计算,得到每一目标任务对应的样本融合特征,并针对每
一目标任务,通过目标任务网络根据目标任务对应的样本融合特征,确定目标任务对应的
预估检测结果;根据每一目标任务对应的预估检测结果与实际检测结果,计算每一目标任
务对应的损失函数,并根据每一目标任务对应的损失函数的计算结果,调整内窥镜图像检
测模型的参数,该参数包括用于表征质控图像特征的向量参数。
获取方式不作限定。在得到样本内窥镜图像后,可以由经验丰富的医师针对不同的目标任
务对该样本内窥镜图像进行标注。
和内窥镜图像质量监控任务,则样本内窥镜图像可以标注有针对肠道清洁度评估任务的实
际检测结果、针对寻腔进镜任务的实际检测结果、针对息肉目标任务的实际检测结果、针对
回盲识别任务的实际检测结果和针对内窥镜图像质量监控任务的实际检测结果。
务,比如未执行清洁度评估任务可以标注0,执行清洁度评估任务则可以标注1。清洁度评估
分类标注可以表征该样本内窥镜图像对应的肠道清洁度类别。比如,可以根据BBPS(波士顿
量表,衡量肠道清洁度评分的量表)进行标注:若由于无法清除的固体和液体粪便导致整段
肠粘膜无法观测,则可以标注0;若由于污斑、浑浊液体、残留粪便导致的部分肠道粘膜无法
观测,则可以标注1;若肠道粘膜观察良好,但残留少量污斑、浑浊液体、粪便,则可以标注2;
若肠道粘膜观察良好,基本无残留污斑、浑浊液体、粪便,则可以标注3。
任务可以标注0,执行寻腔进镜任务则可以标注1。寻腔进镜位置标注可以表征样本内窥镜
图像中腔点的具体位置,比如腔点位置用(x,y)坐标进行标注。息肉检测任务可以包括息肉
检测质控标注和息肉信息标注。其中,息肉检测质控标注可以表征该样本内窥镜图像通过
质控后是否执行息肉检测任务,比如未执行息肉检测任务可以标注0,执行息肉检测任务则
可以标注1。息肉信息标注可以表征样本内窥镜图像中是否有息肉以及息肉的具体位置,比
如通过标注0表示样本内窥镜图像中没有息肉,通过标注1表示样本内窥镜图像中有息肉,
并且通过坐标(x1,x2,y1,y2)标注包括息肉的位置检测框的位置。
任务可以标注0,执行回盲识别任务则可以标注1。回盲信息标注可以表征样本内窥镜图像
中是否包括回盲瓣信息以及该回盲瓣信息的具体位置,比如通过标注0表示不包括回盲瓣
信息,通过标注1表示包括回盲瓣信息,并且通过标注0表示该回盲瓣信息来源于回盲瓣,通
过标注1表示该回盲瓣信息来源于体内,通过标注2表示该回盲瓣信息来源于体外。
窥镜图像对应质控标注为‑1进行占位。
可以通过任务特征网络从样本内窥镜图像中提取目标任务对应的样本图像特征,然后通过
交互特征网络将提取到的每一样本图像特征与本次训练过程中对应的质控图像特征进行
融合计算,得到每一目标任务对应的样本融合特征。其中,该训练过程中任务特征网络和交
互特征网络的处理过程可以参见上文模型应用过程中所述的相关内容,这里不再赘述。
际检测结果,计算每一目标任务对应的损失函数。最后,根据每一目标任务对应的损失函数
的计算结果,调整内窥镜图像检测模型的参数。
高质量图像特征相符。由此,在模型训练结束后,执行内窥镜图像质量监控任务时,可以将
输入的图像特征与该质控图像特征进行比较,从而确定内窥镜图像质量监控任务对应的预
估检测结果。另外,调整的参数还可以包括上文所述的融合权重等,本公开实施例对此不作
限定。
同的学习算力,以提升模型的整体训练效率。
标数值用于表征所述预估检测结果的准确性,然后根据每一目标任务对应的损失函数的计
算结果和每一目标任务对应的自适应权重,计算内窥镜图像检测模型的总损失函数,并根
据总损失函数的计算结果,调整内窥镜图像检测模型的参数。
标数值可以是对应的分类准确率,而对于寻腔进镜任务,预估检测结果的指标数值可以是
坐标误差值,本公开实施例对此不作限定。应当理解的是,若根据坐标误差值确定寻腔进镜
任务对应的预估检测结果的指标数值,可以将每一预估检测结果的坐标误差值除以最大的
坐标误差值后再取反,最后将取反的结果作为最终的指标数值。
i的取值范围为1至T,T表示目标任务的数量,比如T取5,则内窥镜图像检测模型可以用于执
行肠道清洁度评估任务、寻腔进镜任务、息肉检测任务、回盲识别任务和内窥镜图像质量监
控任务这5个目标任务,实现单一模型的多任务检测。
果的指标数值成反比。或者,在可能的方式中,可以在内窥镜图像检测模型的训练过程中,
按照如下公式确定每一目标任务对应的自适应权重:
设权重调节参数可以根据实际情况设定,本公开实施例对此不作限定,只要该预设权重调
节参数位于0至1之间(包括数值1)即可,比如可以将第1个目标任务的预设权重调节参数设
定为0.5,将第2个目标任务的预设权重调节参数设定为1,等等。
任务对应的预估检测结果的历史指标数值和本次迭代过程中目标任务对应的预估检测结
果的当前指标数值,然后根据预设衰减因子、历史指标数值和当前指标数值,确定每一目标
任务对应的预估检测结果的目标指标数值,并根据目标指标数值和负相关对应关系,确定
每一目标任务的自适应权重,其中负相关对应关系用于表征自适应权重与目标指标数值负
相关。
整内窥镜图像检测模型的参数,进而提高模型应用阶段中内窥镜图像检测模型的结果准确
性。
次迭代过程中目标任务对应的预估检测结果的指标数值和预设衰减因子计算得到的历史
目标指标数值,本公开实施例不作限定。
结果的当前指标数值, 表示第 次迭代过程中第i个目标任务对应的预估检
测结果的历史目标指标数值。
模型实现内窥镜图像检测场景下的多任务检测,因此在模型部署时可以只部署一个模型,
减少了需要部署的模型数量,进而减少了用于模型部署的工作量,可以提高模型部署效率。
并且,由于只需部署一个内窥镜图像检测模型,因此在模型迭代过程中对该内窥镜图像检
测模型进行迭代即可,相较于相关技术中对多个模型逐一迭代的方式,可以提高模型迭代
效率。
多任务检测的同时,提升内窥镜图像检测模型对不同目标任务的检测性能。
镜、或者包括不同类型内窥镜的医疗设备)的部分或全部。参照图3,该内窥镜图像检测装置
300包括:
下模块执行所述多个目标任务:
一所述目标任务,通过所述目标任务网络根据所述目标任务对应的所述样本融合特征,确
定所述目标任务对应的预估检测结果;
果,调整所述内窥镜图像检测模型的参数,所述参数包括用于表征所述质控图像特征的向
量参数。
于表征所述预估检测结果的准确性;
数的计算结果,调整所述内窥镜图像检测模型的参数。
确定每一所述目标任务的自适应权重,其中所述负相关对应关系用于表征所述自适应权重
与所述目标指标数值负相关。
收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车
载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电
子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有电子设备
400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相
连。输入/输出(I/O)接口405也连接至总线404。
动器等的输出装置407;包括例如磁带、硬盘等的存储装置408;以及通信装置409。通信装置
409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具
有各种装置的电子设备400,但是应理解的是,并不要求实施或具备所有示出的装置。可以
替代地实施或具备更多或更少的装置。
读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这
样的实施例中,该计算机程序可以通过通信装置409从网络上被下载和安装,或者从存储装
置408被安装,或者从ROM 402被安装。在该计算机程序被处理装置401执行时,执行本公开
实施例的方法中限定的上述功能。
限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计
算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便
携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储
器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、
或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程
序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本
公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其
中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于
电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存
储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于
由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的
程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述
的任意合适的组合。
介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网
(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前
已知或未来研发的网络。
述内窥镜图像执行多个目标任务,得到所述内窥镜图像对应的多个任务检测结果,所述内
窥镜图像检测模型用于通过如下方式执行所述多个目标任务:通过任务特征网络从所述内
窥镜图像中提取所述目标任务对应的图像特征,通过交互特征网络将提取到的每一所述图
像特征和预训练的质控图像特征进行融合计算,得到每一所述目标任务对应的融合特征,
针对每一所述目标任务,通过目标任务网络根据所述目标任务对应的所述融合特征,确定
所述目标任务对应的任务检测结果。
Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语
言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立
的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或
服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包
括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如
利用因特网服务提供商来通过因特网连接)。
表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用
于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标
注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上
可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注
意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执
行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令
的组合来实现。
用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等
等。
读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电
子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合
适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM
或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或
上述内容的任何合适组合。
目标任务:
每一所述目标任务对应的融合特征,针对每一所述目标任务,通过目标任务网络根据所述
目标任务对应的所述融合特征,确定所述目标任务对应的任务检测结果。
一所述目标任务,通过所述目标任务网络根据所述目标任务对应的所述样本融合特征,确
定所述目标任务对应的预估检测结果;
果,调整所述内窥镜图像检测模型的参数,所述参数包括用于表征所述质控图像特征的向
量参数。
于表征所述预估检测结果的准确性;
数的计算结果,调整所述内窥镜图像检测模型的参数。
括:
确定每一所述目标任务的自适应权重,其中所述负相关对应关系用于表征所述自适应权重
与所述目标指标数值负相关。
量监控任务中的至少两者。
块执行所述多个目标任务:
骤。
方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行
任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功
能的技术特征进行互相替换而形成的技术方案。
的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公
开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实
施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的
子组合的方式实现在多个实施例中。
面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装
置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此
处将不做详细阐述说明。