图像处理方法、装置、设备及存储介质

摘要

本发明提供了一种基于人工智能的图像处理方法、装置、电子设备及存储介质；方法包括：响应于针对图像的检索请求，确定待检索图像；通过编码网络对所述待检索图像进行编码处理，得到对应所述待检索图像的语义特征；获取数据库中的待检出图像；通过匹配网络对所述对应所述待检索图像的语义特征、与所述待检出图像的语义特征进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配度；根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像，以作为所述待检索图像的参考数据。通过本发明，能够高效、准确检索到有参考价值的内镜图像。

权利要求

1.一种图像处理方法，其特征在于，所述方法包括：预训练编码网络，根据与内镜图像数据集相关的任务对所述编码网络进行微调；其中，所述与内镜图像数据集相关的任务包括：内镜图像的分类层、内镜图像的病理属性分类层；

去除所述编码网络与任务相关的分类层，并保留特征层，利用所述编码网络输出特征图；

响应于针对内镜图像的检索请求，基于对消化道进行图像采集得到的图像确定待检索图像；

通过编码网络中的卷积层对所述待检索图像进行特征提取，得到对应所述待检索图像的特征图；

通过所述编码网络中的池化层去除所述特征图中的空间信息，得到对应所述待检索图像的语义特征；其中，所述空间信息包括所述特征图的位置信息和位置关系；

对所述待检索图像进行聚类处理，得到所述待检索图像所属的类别；

结合所述类别以及数据库目录，对数据库中的图像样本进行筛选，得到对应所述类别的待检出图像；其中，所述目录包括：食管样本目录、胃部样本目录；

通过匹配网络中的多个全连接层，将所述对应所述待检索图像的K维语义特征映射为第一M维特征向量、所述待检出图像的K维语义特征映射为第二M维特征向量；

通过所述匹配网络对所述第一M维特征向量、与所述第二M维特征向量进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配度；

其中，K大于或者等于M，且K和M为自然数；

根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像以及所述检出图像的相关数据，以作为所述待检索图像的参考数据；其中，所述相关数据包括：所述检出图像的视频、病理报告；

当根据对应所述待检索图像的语义特征，确定所述数据库中不存在所述待检索图像的语义特征时，根据所述待检索图像所属的类别，将所述待检索图像的语义特征、以及所述待检索图像的相关数据，存储至所述数据库中相应的文档中。

2.根据权利要求1所述的方法，其特征在于，所述基于对消化道进行图像采集得到的图像确定待检索图像，包括：

获取对消化道进行图像采集得到的原始彩色图像；

对所述原始彩色图像中的各个像素点进行亮度归一化处理，得到亮度归一化图像；

将所述原始彩色图像中的消化区域与背景的对比度进行增强处理，得到增强图像；

将所述原始彩色图像、所述亮度归一化图像和增强图像中的至少一个确定为所述待检索图像。

3.根据权利要求1所述的方法，其特征在于，所述通过所述匹配网络对所述第一M维特征向量、与所述第二M维特征向量进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配度，包括：

通过所述匹配网络确定所述对应所述待检索图像的第一M维特征向量、与所述待检出图像的第二M维特征向量的欧式距离，并确定所述欧式距离为所述待检索图像与所述待检出图像之间的匹配度；

所述根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行排序，得到响应所述检索请求的检出图像，包括：根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行升序排序，得到排序在前的预设数量的检出图像。

4.根据权利要求1所述的方法，其特征在于，所述通过所述匹配网络对所述第一M维特征向量、与所述第二M维特征向量进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配度，包括：

通过所述匹配网络确定所述对应所述待检索图像的第一M维特征向量、与所述待检出图像的第二M维特征向量的余弦相似度，并确定所述余弦相似度为所述待检索图像与所述待检出图像之间的匹配度；

所述根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行排序，得到响应所述检索请求的检出图像，包括：根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行降序排序，得到排序在前的预设数量的检出图像。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获得待检索图像样本与所述待检出图像之间的匹配度、以及所述待检索图像样本与所述待检出图像的相关关系；

根据所述匹配度、以及所述相关关系，构建所述匹配网络的损失函数；

更新所述匹配网络的参数直至所述损失函数收敛。

6.一种图像处理装置，其特征在于，所述装置包括：编码模块，用于预训练编码网络，根据与内镜图像数据集相关的任务对所述编码网络进行微调；其中，所述与内镜图像数据集相关的任务包括：内镜图像的分类层、内镜图像的病理属性分类层；去除所述编码网络与任务相关的分类层，并保留特征层，利用所述编码网络输出特征图；

第一确定模块，用于响应于针对内镜图像的检索请求，基于对消化道进行图像采集得到的图像确定待检索图像；

所述编码模块，还用于通过编码网络中的卷积层对所述待检索图像进行特征提取，得到对应所述待检索图像的特征图；通过所述编码网络中的池化层去除所述特征图中的空间信息，得到对应所述待检索图像的语义特征；其中，所述空间信息包括所述特征图的位置信息和位置关系；获取模块，用于对所述待检索图像进行聚类处理，得到所述待检索图像所属的类别；结合所述类别以及数据库目录，对数据库中的图像样本进行筛选，得到对应所述类别的待检出图像；其中，所述目录包括：食管样本目录、胃部样本目录；

匹配模块，用于通过匹配网络中的多个全连接层，将所述对应所述待检索图像的K维语义特征映射为第一M维特征向量、所述待检出图像的K维语义特征映射为第二M维特征向量；

通过所述匹配网络对所述第一M维特征向量、与所述第二M维特征向量进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配度；其中，K大于或者等于M，且K和M为自然数；

处理模块，用于根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行排序，得到响应所述检索请求的检出图像以及所述检出图像的相关数据，以作为所述待检索图像的参考数据；其中，所述相关数据包括：所述检出图像的视频、病理报告；

存储模块，用于当根据对应所述待检索图像的语义特征，确定所述数据库中不存在所述待检索图像的语义特征时，根据所述待检索图像所属的类别，将所述待检索图像的语义特征、以及所述待检索图像的相关数据，存储至所述数据库中相应的文档中。

7.一种图像处理设备，其特征在于，所述设备包括：存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至5任一项所述的图像处理方法。

8.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至5任一项所述的图像处理方法。

说明书

图像处理方法、装置、设备及存储介质

技术领域

[0001] 本发明涉及图像处理技术，尤其涉及一种基于人工智能的图像处理方法、装置、电子设备及存储介质。

背景技术

[0002] 人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技
术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大
方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价
值。

[0003] 图像检索是从大量的图像中检索出有参考价值的图像的技术。目前数据库中存在大量的图像存在参考价值，但是从大量的图像中挖掘出有参考价值的数据往往依赖于人工
判断，准确性和效率都不理想，成本非常高。

发明内容

[0004] 本发明实施例提供一种图像处理方法、装置、电子设备及存储介质，能够快捷地从数据库中检索到有参考价值的图像，作为待检索图像的参考数据。

[0005] 本发明实施例的技术方案是这样实现的：

[0006] 本发明实施例提供一种图像处理方法，所述方法包括：

[0007] 响应于针对图像的检索请求，确定待检索图像；

[0008] 通过编码网络对所述待检索内镜图像进行编码处理，得到对应所述待检索内镜图像的语义特征；

[0009] 获取数据库中的待检出图像；

[0010] 通过匹配网络对所述对应所述待检索图像的语义特征、与所述待检出图像的语义特征进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配度；

[0011] 根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像，以作为所述待检索图像的参考数据。

[0012] 本发明实施例提供一种图像处理装置，所述装置包括：

[0013] 确定模块，用于响应于针对图像的检索请求，确定待检索图像；

[0014] 编码模块，用于通过编码网络对所述待检索图像进行编码处理，得到对应所述待检索图像的语义特征；

[0015] 获取模块，用于获取数据库中的待检出图像；

[0016] 匹配模块，用于通过匹配网络对所述对应所述待检索图像的语义特征、与所述待检出图像的语义特征进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配
度；

[0017] 处理模块，用于根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像，以作为所述待检索图像的参考数据。

[0018] 上述技术方案中，所述确定模块还用于获取对消化道进行图像采集得到的原始彩色图像；

[0019] 对所述原始彩色图像中的各个像素点进行亮度归一化处理，得到亮度归一化图像；

[0020] 将所述原始彩色图像中的消化区域与背景的对比度进行增强处理，得到增强图像；

[0021] 将所述原始彩色图像、所述亮度归一化图像和增强图像中的至少一个确定为所述待检索图像。

[0022] 上述技术方案中，所述编码模块还用于通过所述编码网络中的卷积层对所述待检索图像进行特征提取，得到对应所述待检索图像的特征图；

[0023] 通过所述编码网络中的池化层对所述特征图进行降维处理，得到对应所述待检索图像的语义特征。

[0024] 上述技术方案中，所述编码模块还用于通过所述编码网络中的池化层去除所述特征图中的空间信息，得到对应所述待检索图像的语义特征。

[0025] 上述技术方案中，所述匹配模块还用于通过所述匹配网络确定所述对应所述待检索图像的语义特征、与所述待检出图像的语义特征的欧式距离，并

[0026] 确定所述欧式距离为所述待检索图像与所述待检出图像之间的匹配度；

[0027] 所述处理模块还用于根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行升序排序，得到排序在前的预设数量的检出图像。

[0028] 上述技术方案中，所述匹配模块还用于通过所述匹配网络确定所述对应所述待检索图像的语义特征、与所述待检出图像的语义特征的余弦相似度，并

[0029] 确定所述余弦相似度为所述待检索图像与所述待检出图像之间的匹配度；

[0030] 所述处理模块还用于根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行降序排序，得到排序在前的预设数量的检出图像。

[0031] 上述技术方案中，所述匹配模块还用于通过所述匹配网络中的多个全连接层，将所述对应所述待检索图像的K维语义特征映射为第一M维特征向量、所述待检出图像的K维
语义特征映射为第二M维特征向量；

[0032] 通过所述匹配网络对所述第一M维特征向量、与所述第二M维特征向量进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配度；

[0033] 其中，K大于或者等于M，且K和M为自然数。

[0034] 上述技术方案中，所述基于人工智能的图像处理装置，还包括：

[0035] 存储模块，用于当根据所述对应所述待检索图像的语义特征，确定所述数据库中不存在所述待检索图像的语义特征时，将所述待检索图像的语义特征以及所述待检索图像
的相关数据存储至所述数据库中。

[0036] 上述技术方案中，所述存储模块还用于对所述待检索图像进行聚类处理，得到所述待检索图像所属的类别；

[0037] 根据所述待检索图像所属的类别，将所述待检索图像的语义特征、以及所述待检索图像的相关数据，存储至所述数据库中相应的文档中。

[0038] 上述技术方案中，所述获取模块还用于根据所述待检索图像，对所述数据库中的图像样本进行筛选，得到所述待检出图像。

[0039] 上述技术方案中，所述获取模块还用于对所述待检索图像进行聚类处理，得到所述待检索图像所属的类别；

[0040] 根据所述类别对所述数据库中的图像样本进行筛选，得到对应所述类别的所述待检出图像。

[0041] 上述技术方案中，所述基于人工智能的图像处理装置，还包括：

[0042] 训练模块，用于获得待检索图像样本与所述待检出图像之间的匹配度、以及所述待检索图像样本与所述待检出图像的相关关系；

[0043] 根据所述匹配度、以及所述相关关系，构建所述匹配网络的损失函数；

[0044] 更新所述匹配网络的参数直至所述损失函数收敛。

[0045] 本发明实施例提供一种图像处理设备，包括：

[0046] 存储器，用于存储可执行指令；

[0047] 处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像处理方法。

[0048] 本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像处理方法。

[0049] 本发明实施例具有以下有益效果：

[0050] 1、通过编码网络对待检索图像进行编码，通过匹配网络对编码后的图像与待检出图像进行关联，得到待检索图像与待检出图像之间的匹配度，并基于匹配度得到检出图像，
从而能够快捷地检索到有参考价值的图像；

[0051] 2、基于待检索图像，通过检索图像本身对数据库中的待检出图像进行检索，从而可以通过高维的特征，得到有效的检出图像作为待检索图像的参考数据。

附图说明

[0052] 图1是本发明实施例提供的基于人工智能的图像处理系统10的应用场景示意图；

[0053] 图2是本发明实施例提供的基于人工智能的图像处理设备500的结构示意图；

[0054] 图3是本发明实施例提供的基于人工智能的图像处理方法的流程示意图；

[0055] 图4是本发明实施例提供的基于人工智能的图像处理方法的流程示意图；

[0056] 图5是本发明实施例提供的基于人工智能的图像处理方法的一个可选的流程示意图；

[0057] 图6是本发明实施例提供的基于人工智能的图像处理方法的一个可选的流程示意图；

[0058] 图7为本发明实施例提供的图像检索系统示意图；

[0059] 图8为本发明实施例提供的编码网络的结构示意图；

[0060] 图9为本发明实施例提供的匹配网络的结构示意图。

具体实施方式

[0061] 为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有
做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0062] 在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突
的情况下相互结合。

[0063] 在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后
次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

[0064] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，
不是旨在限制本发明。

[0065] 对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

[0066] 1)内镜图像：消化道的内镜图像，例如胃镜、肠镜等的内窥镜图像。

[0067] 2)内容检索：基于目标的内容进行的检索，该内容可以是图像、语音、视频等。

[0068] 3)深度学习(Deep Learning，DL)：机器学习(Machine Learning，ML)领域中一个新方向，深度学习能更接近于最初的目标—人工智能。深度学习是学习样本数据的内在规
律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大
的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图
像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效
果，远远超过先前相关技术。

[0069] 4)ImageNet：一种数据集，编码网络可通过ImageNet进行预训练，以便将编码网络的数据集与ImageNet进行关联。

[0070] 为至少解决相关技术的上述技术问题，本发明实施例提供一种基于人工智能的图像处理方法、装置、电子设备和存储介质，能够高效、准确检索到有参考价值的内镜图像，提
高用户体验感。下面说明本发明实施例提供的基于人工智能的图像处理设备的示例性应
用，本发明实施例提供的基于人工智能的图像处理设备可以是服务器，例如部署在云端的
服务器，根据其他设备或者用户提供的针对内镜图像的检索请求，向用户提供作为待检索
内镜图像的参考数据的检出内镜图像，例如，服务器根据其他设备获得包括待检索内镜图
像的针对内镜图像的检索请求，根据检索请求提取待检索内镜图像，通过编码网络以及匹
配网络，获得检出内镜图像；也可是笔记本电脑，平板电脑，台式计算机，移动设备(例如，移
动电话，个人数字助理)等各种类型的用户终端，例如手持终端，根据用户在手持终端上输
入待检索内镜图像，获得检出内镜图像，并显示在手持终端的显示界面上，用户可以根据待
检索内镜图像，能够高效、准确检索到有参考价值的内镜图像，从而为工作人员提供可供参
考的治疗思路。

[0071] 作为示例，参见图1，图1是本发明实施例提供的基于人工智能的图像处理系统10的应用场景示意图，终端200通过网络300连接服务器100，网络300可以是广域网或者局域
网，又或者是二者的组合。

[0072] 终端200可以被用来获取待检索内镜图像，例如，当用户通过输入界面输入待检索内镜图像，输入完成后，终端自动获取待检索内镜图像，并生成针对内镜图像的检索请求。

[0073] 在一些实施例中，终端200本地执行本发明实施例提供的基于人工智能的内镜图像处理方法来完成根据输入的待检索内镜图像，得到与待检索内镜图像对应的检出内镜图
像，例如，在终端200上安装应用(Application，APP)，如内镜图像检索助手APP，用户在内镜
图像检索助手APP中，输入待检出内镜图像，终端200根据待检索内镜图像，获得作为待检索
内镜图像的参考数据的检出内镜图像，并将检出内镜图像显示在终端200的显示界面210
上，以便用户可以根据待检索内镜图像快速地得到有参考价值的检出内镜图像。

[0074] 在一些实施例中，终端200也可以通过网络300向服务器100发送用户在终端100上输入的待检索内镜图像，并调用服务器100提供的基于人工智能的内镜图像处理功能，服务
器100通过本发明实施例提供的基于人工智能的内镜图像处理方法获得与待检索内镜图像
对应的检出内镜图像，例如，在终端200上安装内镜图像检索助手APP，用户在内镜图像检索
助手APP中，输入待检索内镜图像，终端通过网络300向服务器100发送待检索内镜图像的检
索请求，服务器100接收到该检索请求后，提取检索请求中的待检索内镜图像，根据待检索
内镜图像，获得与待检索内镜图像对应的检出内镜图像，并返回检出内镜图像至内镜图像
检索助手APP，将检出内镜图像显示在终端200的显示界面210上，或者，服务器100直接通过
检出内镜图像，以便用户可以根据待检索内镜图像快速地得到有参考价值的检出内镜图
像。

[0075] 继续说明本发明实施例提供的基于人工智能的图像处理设备的结构，基于人工智能的图像处理设备可以是各种终端，例如手机、电脑等，也可以是如图1示出的服务器100。

[0076] 参见图2，图2是本发明实施例提供的基于人工智能的图像处理设备500的结构示意图，图2所示的基于人工智能的图像处理设备500包括：至少一个处理器510、存储器550、
至少一个网络接口520和用户接口530。基于人工智能的药物分子处理设备500中的各个组
件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。
总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了
清楚说明起见，在图2中将各种总线都标为总线系统540。

[0077] 处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者
晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理
器等。

[0078] 用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包
括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输
入按钮和控件。

[0079] 存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储
器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器550
旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一
个或多个存储设备。

[0080] 在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

[0081] 操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

[0082] 网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，
Universal Serial Bus)等；

[0083] 显示模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户
接口)；

[0084] 输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

[0085] 在一些实施例中，本发明实施例提供的基于人工智能的图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的基于人工智能的图像处理装置可以
是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于人工智能
的图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成
电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，
Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic 
Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

[0086] 在另一些实施例中，本发明实施例提供的基于人工智能的图像处理装置可以采用软件方式实现，图2示出了存储在存储器550中的基于人工智能的图像处理装置555，其可以
是程序和插件等形式的软件，并包括一系列的模块，包括确定模块5551、编码模块5552、获
取模块5553、匹配模块5554、处理模块5555、存储模块5556以及训练模块5557；其中，确定模
块5551、编码模块5552、获取模块5553、匹配模块5554、处理模块5555、存储模块5556以及训
练模块5557用于实现本发明实施例提供的基于人工智能的图像处理方法。

[0087] 结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的基于人工智能的图像处理方法，根据上文可以理解，本发明实施例提供的基于人工智能的
图像处理方法可以由各种类型的基于人工智能的图像处理设备实施，例如智能终端和服务
器等。

[0088] 下面结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的基于人工智能的图像处理方法。参见图3，图3是本发明实施例提供的基于人工智能的
图像处理方法的流程示意图，结合图3示出的步骤进行说明。

[0089] 在步骤101中，响应于针对图像的检索请求，确定待检索图像。

[0090] 这里，用户可以在终端的输入界面中输入待检索图像，当输入完成后，终端自动生成针对图像的检索请求，并向服务器发送该针对图像的检索请求，当服务器接收到该针对
图像的检索请求后，对该检索请求进行解析，从而得到待检索图像。

[0091] 其中，图像可以是用于医疗或非医疗场景，即图像可以是内镜图像或其他类型的医疗图像。内镜影像检索是从大量的内镜图像中检索出在医学上有参考价值的图像的技
术，例如检索出与病灶等目标更接近的样本，从而进行医学诊断或医学研究。目前存在大量
的内镜影像数据存在有参考价值的数据，但是从大量的内镜影像数据中挖掘出有参考价值
的数据往往依赖于人工判断，准确性和效率都不理想，成本非常高。

[0092] 在一些实施例中，确定待检索图像，包括：获取对消化道进行图像采集得到的原始彩色图像；对原始彩色图像中的各个像素点进行亮度归一化处理，得到亮度归一化图像；将
原始彩色图像中的消化区域与背景的对比度进行增强处理，得到增强图像；将原始彩色图
像、亮度归一化图像和增强图像中的至少一个确定为待检索图像。

[0093] 用户在终端输入的待检索图像为对消化道进行图像采集得到的原始彩色图像，当服务器对检索请求进行解析，得到原始彩色图像。为了便于后续对原始彩色图像进行编码
等处理，可以对原始彩色图像进行预处理，例如可以对原始彩色图像中的各个像素点进行
亮度归一化处理，得到亮度归一化图像，从而将原始彩色图像转换成标准模式，减小仿射变
换以及几何变换的影响，并加快梯度下降求最优解的速度。还可以将原始彩色图像中的消
化区域与背景的对比度进行增强处理，得到增强图像，例如对胃镜中的溃疡部分与背景的
对比度进行增强处理，从而加大溃疡部分与其他部分的区别，从而有目的地强调图像的整
体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同
物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判
读和识别效果。

[0094] 本发明实施例中对原始彩色图像的预处理，并不局限于亮度归一化以及图像增强，其他图像预处理方法也可应用于本发明实施例。

[0095] 在步骤102中，通过编码网络对待检索图像进行编码处理，得到对应待检索图像的语义特征。

[0096] 在服务器获得待检索图像后，需要通过编码网络对待检索图像进行编码处理，得到对应待检索图像的语义特征，以便后续根据待检索图像的语义特征，得到待检索图像与
待检出图像之间的匹配度。

[0097] 参见图4，图4是本发明实施例提供的基于人工智能的图像处理方法的流程示意图，图4示出图3中的步骤102可以通过图4中的1021-1022实现。

[0098] 在步骤1021中，通过编码网络中的卷积层对待检索图像进行特征提取，得到对应待检索图像的特征图。

[0099] 在服务器获得待检索图像后，编码网络中的卷积层可以对待检索图像进行特征提取，得到对应待检索背景图像的至少一个特征图，例如，根据待检索图像，得到H*W*K维的特
征图，其中，H和W分别表示特征图的长和宽，K表示特征图的数量。

[0100] 在步骤1022中，通过编码网络中的池化层对特征图进行降维处理，得到对应所述待检索图像的语义特征。

[0101] 在通过编码网络的卷积层获得特征图后，还可以通过编码网络中的池化层对特征图进行降维处理，得到对应待检索图像的语义特征，例如，H*W*K维的特征图通过编码网络
中的池化层处理后，得到1*K维的语义特征，从而去除特征图中不重要的信息，节约计算的
复杂度。

[0102] 在一些实施例中，通过编码网络中的池化层对特征图进行降维处理，得到对应待检索图像的语义特征，包括：通过编码网络中的池化层去除特征图中的空间信息，得到对应
待检索图像的语义特征。

[0103] 由于编码网络中的卷积层对待检索图像进行编码处理，得到的特征图中包含很多不重要的信息，例如包含一些空间信息，例如特征图的位置信息以及位置关系等，这些空间
信息并不影响待检索图像的语义，因此可以通过编码网络中的池化层去除特征图中的空间
信息，从而去除一些特征图中不重要的信息。

[0104] 本发明实施例中的并不限于去除特征图中的空间信息，还可以去除特征图中的其他的不重要信息。

[0105] 步骤103中，获取数据库中的待检出图像。

[0106] 在服务器获得对应待检索图像的语义特征，需要从数据库中获取待检出图像，以便后续通过待检出图像、以及待检索图像，得到待检索图像与待检出图像之间的匹配度。

[0107] 在一些实施例中，获取数据库中的待检出图像，包括：根据待检索图像，对数据库中的图像样本进行筛选，得到待检出图像。

[0108] 为了提高检出图像的检索速度，可以根据待检索图像，对数据库中的图像样本进行初步筛选，得到符合初步筛选条件的待检出图像，避免计算所有数据库中待检出图像与
待检索图像的匹配度，大大地节省了计算量。

[0109] 在一些实施例中，根据待检索图像，对数据库中的图像样本进行筛选，得到待检出图像，包括：对待检索图像进行聚类处理，得到待检索图像所属的类别；根据类别对数据库
中的图像样本进行筛选，得到对应类别的待检出图像。

[0110] 在服务器中存储图像样本时，可以按照类别进行存储，例如当图像样本属于食管样本时，将图像样本存储至食管样本的目录下；当图像样本属于胃部样本时，将图像样本存
储至胃部样本的目录下。因此，在获得待检索图像后，可以首先对待检索图像进行聚类处
理，得到待检索图像所属的类别，从而根据待检索图像所属的类别对数据库中的图像样本
进行筛选，得到对应类别的待检出图像，例如待检索图像属于食管类别，则根据食管类别对
数据库目录进行筛选，得到食管目录下的待检出图像。

[0111] 在步骤104中，通过匹配网络对对应待检索图像的语义特征、与待检出图像的语义特征进行匹配处理，得到待检索图像与待检出图像之间的匹配度。

[0112] 在获得待检出图像后，可以通过编码网络对待检出图像进行编码处理，得到待检出图像的语义特征。在获得对应待检索图像的语义特征、与待检出图像的语义特征后，可以
通过匹配网络对对应待检索图像的语义特征、与待检出图像的语义特征进行匹配处理，从
而得到待检索图像与待检出图像之间的匹配度，以便后续根据匹配度获得检出图像。

[0113] 在一些实施例中，通过匹配网络对对应待检索图像的语义特征、与待检出图像的语义特征进行匹配处理，得到待检索图像与待检出图像之间的匹配度，包括：通过匹配网络
确定对应待检索图像的语义特征、与待检出图像的语义特征的欧式距离，并确定欧式距离
为待检索图像与待检出图像之间的匹配度。

[0114] 这里，匹配度可以是欧式距离。在获得对应待检索图像的语义特征、与待检出图像的语义特征后，匹配网络可以确定对应待检索图像的语义特征、与待检出图像的语义特征
的欧式距离，从而将欧式距离确定为待检索图像与待检出图像之间的匹配度，以便后续根
据欧式距离确定有参考价值的检出图像，工作人员根据检出图像分析待检索图像，以确定
治疗方案。

[0115] 其中，对应待检索图像的语义特征、与待检出图像的语义特征的欧式距离越大，说明对应待检索图像、与待检出图像越不相关，即欧式距离与相关度成反比。

[0116] 在一些实施例中，通过匹配网络对对应待检索图像的语义特征、与待检出图像的语义特征进行匹配处理，得到待检索图像与待检出图像之间的匹配度，包括：通过匹配网络
确定对应所述待检索图像的语义特征、与待检出图像的语义特征的余弦相似度，并确定余
弦相似度为待检索图像与待检出图像之间的匹配度。

[0117] 这里，匹配度可以是余弦相似度。在获得对应待检索图像的语义特征、与待检出图像的语义特征后，匹配网络可以确定对应待检索图像的语义特征、与待检出图像的语义特
征的余弦相似度，从而将余弦相似度确定为待检索图像与待检出图像之间的匹配度，以便
后续根据余弦相似度确定有参考价值的检出图像，工作人员根据检出图像分析待检索图
像，以确定治疗方案。

[0118] 其中，对应待检索图像的语义特征、与待检出图像的语义特征的余弦相似度越大，说明对应待检索图像、与待检出图像越相关，即欧式距离与相关度成正比。

[0119] 在一些实施例中，通过匹配网络对对应待检索图像的语义特征、与待检出图像的语义特征进行匹配处理，得到待检索图像与待检出图像之间的匹配度，包括：通过匹配网络
中的多个全连接层，将对应待检索图像的K维语义特征映射为第一M维特征向量、待检出图
像的K维语义特征映射为第二M维特征向量；通过匹配网络对第一M维特征向量、与第二M维
特征向量进行匹配处理，得到待检索图像与待检出图像之间的匹配度；其中，K大于或者等
于M，且K和M为自然数。

[0120] 在获得对应待检索图像的语义特征、与待检出图像的语义特征后，匹配网络中的多个全连接层可以将对应待检索图像的K维语义特征映射为第一M维特征向量、待检出图像
的K维语义特征映射为第二M维特征向量，从而对第一M维特征向量、与第二M维特征向量进
行匹配处理，得到待检索图像与待检出图像之间的匹配度。其中，全连接层的每一个结点都
与上一层的所有结点相连，用来把前边提取到的特征综合起来，对应待检索图像的K维语义
特征、与待检出图像的K维语义特征通过多个全连接层的处理后，可以得到比K维更低维度
的M维特征向量，其中，M维特征向量为综合前面所有重要特征的特征。

[0121] 在步骤105中，根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像，以作为所述待检索图像的参考数据。

[0122] 待检索图像与待检出图像之间的匹配度为得到检出图像标准，待检索图像与待检出图像之间的匹配度为利用深度学习得到的精确相似度，根据待检索图像与待检出图像之
间的匹配度，可以获得准确的检出图像，还可以得到检出图像的相关数据，例如视频、病理
报告等，为工作人员提供可供参考的治疗思路。

[0123] 在一些实施例中，根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像，以作为所述待检索图像的参考数据，包括：根据待检索图像与待
检出图像之间的匹配度，对待检出图像进行升序排序，得到排序在前的预设数量的检出图
像。

[0124] 当匹配度为欧式距离时，需要对待检出图像进行升序排序，得到排序在前的预设数量的检出图像，即排序在前的待检出图像与待检索图像相似度比较高，具有参考价值。

[0125] 在一些实施例中，根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像，以作为所述待检索图像的参考数据，包括：根据待检索图像与待
检出图像之间的匹配度，对待检出图像进行降序排序，得到排序在前的预设数量的检出图
像。

[0126] 当匹配度为余弦相似度时，需要对待检出图像进行降序排序，得到排序在前的预设数量的检出图像，即排序在前的待检出图像与待检索图像相似度比较高，具有参考价值。

[0127] 在一些实施例中，根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像，以作为所述待检索图像的参考数据之前，还包括：当确定待检索
图像与待检出图像之间的匹配度满足检出得分阈值的条件时，确定待检出图像为检出图
像，以作为待检索图像的参考数据。

[0128] 当匹配度为欧式距离时，当确定待检索图像与待检出图像之间的匹配度小于检出得分阈值时，确定待检出图像为检出图像，说明待检出图像与待检索图像相似度比较高，具
有参考价值。

[0129] 当匹配度为余弦相似度时，当确定待检索图像与待检出图像之间的匹配度大于检出得分阈值时，确定待检出图像为检出图像，说明待检出图像与待检索图像相似度比较高，
具有参考价值。

[0130] 在一些实施例中，参见图5，图5是本发明实施例提供的基于人工智能的图像处理方法的一个可选的流程示意图，基于图5，在通过编码网络对待检索图像进行编码处理，得
到对应待检索图像的语义特征之后，在步骤106中，当根据对应待检索图像的语义特征，确
定数据库中不存在待检索图像的语义特征时，将待检索图像的语义特征以及待检索图像的
相关数据存储至数据库中。

[0131] 在获得对应待检索图像的语义特征，根据数据库的数据结构，对该对应待检索图像的语义特征进行相应数据结构的处理，从而确定数据库中是否已存在待检索图像的语义
特征，当确定数据库中不存在待检索图像的语义特征时，需要将待检索图像的语义特征以
及待检索图像的相关数据存储至数据库中，以便将待检索图像的语义特征作为待检出图
像；当确定数据库中存在待检索图像的语义特征时，继续进行获取数据库中的待检出图像。
其中，待检索图像的相关数据包括待检索图像的视频、病理报告等数据。

[0132] 在一些实施例中，将待检索图像的语义特征以及待检索图像的相关数据存储至所述数据库中，包括：对待检索图像进行聚类处理，得到待检索图像所属的类别；根据待检索
图像所属的类别，将待检索图像的语义特征、以及待检索图像的相关数据，存储至数据库中
相应的文档中。

[0133] 为了便于从数据库中快捷地获取待检出图像，需要对待检索图像进行聚类处理，得到待检索图像所属的类别，并根据待检索图像所属的类别，将待检索图像的语义特征、以
及待检索图像的相关数据，存储至数据库中相应的文档中，以便根据图像所属的类别，可以
快速定位图像。

[0134] 通过编码网络对待检索内镜图像进行编码，通过匹配网络对编码后的内镜图像与待检出内镜图像进行关联，得到待检索内镜图像与待检出内镜图像之间的匹配度，并基于
匹配度得到检出内镜图像，从而能够快捷地检索到有参考价值的内镜图像，作为待检索内
镜图像的参考数据，从而为工作人员提供可供参考的治疗思路。

[0135] 在一些实施例中，参见图6，图6是本发明实施例提供的基于人工智能的图像处理方法的一个可选的流程示意图，基于图6，基于人工智能的图像处理方法还包括对匹配网络
的训练过程，在步骤107中，获得待检索图像样本与待检出图像之间的匹配度、以及待检索
图像样本与待检出图像的相关关系；根据匹配度、以及相关关系，构建匹配网络的损失函
数；更新匹配网络的参数直至损失函数收敛。其中，步骤107与步骤101-105并无明显的先后
顺序。

[0136] 这里，相关关系为待检索图像样本与待检出图像的正相关或者负相关。服务器可以根据匹配度、以及相关关系，构建匹配网络的损失函数，已根据损失函数训练匹配网络。
当服务器根据匹配度、以及相关关系，构建匹配网络的损失函数后，可以判断损失函数的值
是否达到预设阈值，当损失函数的值超出预设阈值时，基于损失函数确定匹配网络的误差
信号，将误差信息在匹配网络中反向传播，并在传播的过程中更新各个层的参数。

[0137] 这里，对反向传播进行说明，将训练样本数据(待检索图像样本与待检出图像)输入到匹配网络的输入层，经过隐藏层，最后达到输出层并输出结果，这是匹配网络的前向传
播过程，由于匹配网络的输出结果与实际结果有误差，则计算输出结果与实际值之间的误
差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根
据误差调整匹配网络参数的值；不断迭代上述过程，直至收敛，其中，匹配网络属于神经网
络。

[0138] 至此已经结合本发明实施例提供的基于人工智能的图像处理方法以及在基于人工智能的图像处理装置中的示例性应用，下面继续说明本发明实施例提供的基于人工智能
的图像处理装置555中各个模块配合实现基于人工智能的图像的处理方案。

[0139] 确定模块5551，用于响应于针对图像的检索请求，确定待检索图像；

[0140] 编码模块5552，用于通过编码网络对所述待检索图像进行编码处理，得到对应所述待检索图像的语义特征；

[0141] 获取模块5553，用于获取数据库中的待检出图像；

[0142] 匹配模块5554，用于通过匹配网络对所述对应所述待检索图像的语义特征、与所述待检出图像的语义特征进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹
配度；

[0143] 处理模块5555，用于根据所述待检索图像与所述待检出图像之间的匹配度，获得满足匹配度要求的检出图像，以作为所述待检索图像的参考数据。

[0144] 上述技术方案中，所述确定模块5551还用于获取对消化道进行图像采集得到的原始彩色图像；对所述原始彩色图像中的各个像素点进行亮度归一化处理，得到亮度归一化
图像；将所述原始彩色图像中的消化区域与背景的对比度进行增强处理，得到增强图像；将
所述原始彩色图像、所述亮度归一化图像和增强图像中的至少一个确定为所述待检索图
像。

[0145] 上述技术方案中，所述编码模块5552还用于通过所述编码网络中的卷积层对所述待检索图像进行特征提取，得到对应所述待检索图像的特征图；通过所述编码网络中的池
化层对所述特征图进行降维处理，得到对应所述待检索图像的语义特征。

[0146] 上述技术方案中，所述编码模块5552还用于通过所述编码网络中的池化层去除所述特征图中的空间信息，得到对应所述待检索图像的语义特征。

[0147] 上述技术方案中，所述匹配模块5554还用于通过所述匹配网络确定所述对应所述待检索图像的语义特征、与所述待检出图像的语义特征的欧式距离，并确定所述欧式距离
为所述待检索图像与所述待检出图像之间的匹配度；

[0148] 所述处理模块5555还用于根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行升序排序，得到排序在前的预设数量的检出图像。

[0149] 上述技术方案中，所述匹配模块5554还用于通过所述匹配网络确定所述对应所述待检索图像的语义特征、与所述待检出图像的语义特征的余弦相似度，并确定所述余弦相
似度为所述待检索图像与所述待检出图像之间的匹配度；

[0150] 所述处理模块5555还用于根据所述待检索图像与所述待检出图像之间的匹配度，对所述待检出图像进行降序排序，得到排序在前的预设数量的检出图像。

[0151] 上述技术方案中，所述匹配模块5554还用于通过所述匹配网络中的多个全连接层，将所述对应所述待检索图像的K维语义特征映射为第一M维特征向量、所述待检出图像
的K维语义特征映射为第二M维特征向量；通过所述匹配网络对所述第一M维特征向量、与所
述第二M维特征向量进行匹配处理，得到所述待检索图像与所述待检出图像之间的匹配度；
其中，K大于或者等于M，且K和M为自然数。

[0152] 上述技术方案中，所述基于人工智能的图像处理装置555，还包括：

[0153] 存储模块5556，用于当根据所述对应所述待检索图像的语义特征，确定所述数据库中不存在所述待检索图像的语义特征时，将所述待检索图像的语义特征以及所述待检索
图像的相关数据存储至所述数据库中。

[0154] 上述技术方案中，所述存储模块5556还用于对所述待检索图像进行聚类处理，得到所述待检索图像所属的类别；根据所述待检索图像所属的类别，将所述待检索图像的语
义特征、以及所述待检索图像的相关数据，存储至所述数据库中相应的文档中。

[0155] 上述技术方案中，所述获取模块5553还用于根据所述待检索图像，对所述数据库中的图像样本进行筛选，得到所述待检出图像。

[0156] 上述技术方案中，所述获取模块5553还用于对所述待检索图像进行聚类处理，得到所述待检索图像所属的类别；根据所述类别对所述数据库中的图像样本进行筛选，得到
对应所述类别的所述待检出图像。

[0157] 上述技术方案中，所述基于人工智能的图像处理装置555，还包括：

[0158] 训练模块5557，用于获得待检索图像样本与所述待检出图像之间的匹配度、以及所述待检索图像样本与所述待检出图像的相关关系；根据所述匹配度、以及所述相关关系，
构建所述匹配网络的损失函数；更新所述匹配网络的参数直至所述损失函数收敛。

[0159] 下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。

[0160] 现有技术中，基于内镜图像的内容的检索系统较少，未发现与深度学习相关的内镜图像检索系统。

[0161] 本发明实施例可应用于与消化道内镜使用或研究相关的数据管理场景中，例如对历史留存数据的智能化管理系统，例如下列场景：

[0162] 在内镜影像研究机构中，存在大量的内镜影像数据，包括视频，截图，对应的病理报告等。目前，通过文字等关键字信息定位到近似的样例(待检出内镜图像)中，但是这种判
断所依据的信息比较抽象、主观。本发明实施例提供的基于内容的检索方案(基于人工智能
的内镜图像处理方法)，可以通过待检索内镜图像本身的内容对待检出内镜图像进行检索
并滤出与待检索内镜图像更接近的样本，再以此调出其他相关数据。为研究人员提供更便
捷、目标更明确的检索方式。

[0163] 本发明实施例为内镜数据的管理提供了一种检索方法，能快速得到与待待检索内镜图像内容相关的库存数据，即提出了一种结合深度学习的内镜图像检索方案，首先通过
使用普通卷积分类网络进行预训练，预训练后使用内镜图像进行微调(finetune)，并以编
码网络对样本进行特征提取，再通过匹配网络将提取特征与数据库中样本的特征进行比
对，输出相似度高的样本。一方面，可以得到高维的语义特征；另一方面，可以有效利用深度
学习的特点进行更精细的相似度对比，得到准确的样本。

[0164] 本发明实施例旨在利用深度卷积网络，构建基于内容的内镜图像检索系统。如图7所示，图7为本发明实施例提供的内镜图像检索系统示意图，系统的整体构造由三个主要部
分构成：编码网络、数据库、匹配网络。编码网络由一个深度全卷积网络构成，可以将输入的
内镜图像编码为语义特征，降低内镜图像的维度，并作为数据库和编码网络的输入，以便后
续内镜图像的匹配比对。数据库用于存储内镜图像样本、内镜图像样本对应的特征(语义特
征)以及其他重要信息(例如对应视频片段)。匹配网络由一个双分支输入的相似度量网络
(S iamese Network)构成，可以评估两个输入样本之间的相似度。当一个需要进行检索的
内镜图像(待检索内镜图像)到来时，首先经过编码网络得到高维语义特征，当这个待检索
内镜图像不存在数据库中时，优先进行入库流程，同时数据库将粗略过滤出一批与该语义
特征接近的待检出内镜图像，并依次在匹配网络中进行比对，当匹配网络输出的匹配度满
足一定条件时，认为数据库中的该待检出内镜图像与待检索内镜图像匹配，并输出待检出
内镜图像对应的原始图像及相关信息。接下来将会就整个系统中的各个主要部分进行说
明：

[0165] A)编码网络：如图8所示，图8为本发明实施例提供的编码网络的结构示意图，所示编码网络可以由各种全卷积神经网络构成，网络的输入是待检索内镜图像的RGB图像，编码
网络的中间输出为H*W*K大小的特征图，其中，H和W分别对应特征图的长宽，K为特征图的个
数。编码网络首先需要通过ImageNet数据集(并不限于ImageNet数据集)进行预训练，预训
练之后，再根据与内镜图像数据集相关的任务对编码网络进行微调，从而得到训练好的编
码网络。其中，与内镜图像数据集相关的任务可以是消化道的内镜图像的分类层：食管、胃
部、十二指肠，还可以是内镜图像数据集对应的有病、没病分类层，还可以是内镜图像的恢
复训练。当编码网络训练完成后，将编码网络与任务相关的分类层去除，编码网络将保留最
后的特征层(输出为H*W*K的特征图)。对于特征图，编码网络会通过全局池化层进行后处
理，从而得到最终内镜图像对应的语义特征向量。因此，需要通过全局池化层去除特征图中
包含的空间信息，达到降维的作用，从而编码网络的输出由H*W*K维变为1*K维。

[0166] B)数据库：主要用于保存内镜图像样本对应的K维语义特征，同时为了能回溯到内镜图像，还需要保存能追朔到内镜图像的相关信息。为了实现快速检索，可以在数据库部分
引入前置的分类模块，用以判断输入的内镜图像所归属的部位、疾病类型、样本类型等详细
归类，并依据结果进行存储，在检索待检索内镜图像时可以进行快速检索。

[0167] C)匹配网络：如图9所示，图9为本发明实施例提供的匹配网络的结构示意图，匹配网络用于对比两个内镜图像的语义特征，匹配网络可以仅由全连接层构成，匹配网络的输
入为两个内镜图像的K维语义特征，K维语义特征的生成均来自于编码网络，匹配网络的输
出为两个语义特征之间的关系，这种关系可以是两者的相似度，也可以是两者之间的距离。

[0168] 在训练匹配网络的过程中，匹配网络可以同时输入两个不同内镜图像的K维语义特征，通过多个全连接层与激活函数的非线性变化，将K维语义特征至M维特征，并计算两个
M维特征之间的匹配度，D表示匹配度。这里的匹配度可以为多种形式，例如欧式距离，余弦
相似度等。损失函数用以规范两个输入内镜图像之间的关系，例如，将图9中的匹配度定义
为欧式距离，则损失函数可以定义为公式(1)，如公式(1)所示：

[0169]

[0170] 其中，当两个输入内镜图像正相关时，Y＝0；当两个输入内镜图像负相关时，Y＝1，D表示两个输入内镜图像之间的匹配度，τ表示平滑参数，用于抑制匹配度。

[0171] 将图9中的匹配度定义为余弦相似度，则损失函数可以定义为公式(2)，如公式(1)所示：

[0172]

[0173] 其中，当两个输入内镜图像正相关时，Y＝0；当两个输入内镜图像负相关时，Y＝1，D表示两个输入内镜图像之间的匹配度，τ表示平滑参数，用于抑制匹配度。

[0174] 检索系统中的两个网络训练完成后，首先按照图7中的入库流程，对数据库进行填充。当数据库中的内镜图像样本有一定数量后，就可以开始检索工作。整个检索流程按照如
下步骤进行：

[0175] (1)待检索内镜图像先通过编码网络得到K维语义特征，并判断数据库中是否已存在该待检索内镜图像，当确定数据库中不存在该待检索内镜图像时，则先将该待检索内镜
图像入库存档；

[0176] (2)通过一定筛选规则，对数据库进行初步过滤，得到待检出内镜图像，例如，通过待检索内镜图像的类别，对数据库进行过滤，得到待检出内镜图像。

[0177] (3)将待检出内镜图像的K维语义特征与待检索内镜图像的K维语义特征输入至匹配网络，通过匹配网络进行评估，若匹配度满足检出条件时，则确定待检出内镜图像需要被
检出。

[0178] (4)按照匹配度进行排序，输出前K个待检出内镜图像作为待检索内镜图像的检出结果。

[0179] 通过基于内容的检索方法，能快速过滤出相关的内镜图像以及相关信息，从而提供可供参考的治疗思路。

[0180] 其中，编码网络部分除了全卷积网络，还可以使用基于AutoEncoder方法，该基于AutoEncoder方法不需要额外的标注数据进行训练。匹配网络除了Siamese Network，同样
还可以使用其他的神经网络。为了实现快速检索，可以在数据库部分引入前置的分类模块，
用以判断输入的特征所归属的部位、疾病类型、样本类型等详细归类，并依据结果进行存
储，在检索内镜图像时可以进行快速检索。

[0181] 综上所述，本发明实施例根据针对内镜图像的检索请求，确定待检索内镜图像，并根据编码网络以及匹配网络，得到响应检索请求的检出内镜图像，具有以下有益效果：

[0182] 1、通过编码网络对待检索内镜图像进行编码，通过匹配网络对编码后的内镜图像与待检出内镜图像进行关联，得到待检索内镜图像与待检出内镜图像之间的匹配度，并基
于匹配度得到检出内镜图像，从而能够快捷地检索到有参考价值的内镜图像；

[0183] 2、基于待检索内镜图像，通过检索内镜图像本身对数据库中的待检出内镜图像进行检索，从而可以通过高维的特征，得到有效的检出内镜图像作为待检索内镜图像的参考
数据。

[0184] 以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之
内。