一种光盘库图像存储方法、系统及图像检索方法、系统

摘要

本发明涉及一种光盘库图像存储方法、系统及图像检索方法、系统，在对图像进行存储时，利用双支路特征提取模型对待存储图像进行特征提取，并将每一待存储图像的提取后特征和在光盘库中的物理存储位置存储到磁盘数据库中。通过采用此种图像存储方式，在光盘库中进行相似图像检索时，计算待检索图像的检索特征与磁盘数据库中每一提取后特征的余弦相似度，以确定待检索图像的相似图像，并可基于提取后特征和物理存储位置的对应关系快速从光盘库中调取相似图像，从而显著提高图像检索的效率。

权利要求

1.一种光盘库图像检索方法，其特征在于，所述图像检索方法包括：利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特征；

将每一所述待存储图像存入到光盘库中，并记录所述待存储图像在所述光盘库中的物理存储位置；

将每一所述待存储图像的所述提取后特征和所述物理存储位置存储到磁盘数据库中；

利用双支路特征提取模型对待检索图像进行特征提取，得到检索特征；

计算所述检索特征与磁盘数据库中每一提取后特征的余弦相似度，并选取余弦相似度最高的所述提取后特征作为相似特征；

根据所述相似特征对应的物理存储位置从所述光盘库中调取图像；所述图像即为所述待检索图像的相似图像；

所述双支路特征提取模型包括第一支路和第二支路；所述第一支路包括三个串联连接的transformer模块；所述第二支路包括三个串联连接的convolution模块；所述transformer模块与所述convolution模块一一对应连接；

所述transformer模块包括串联连接的第一embedding层，layerNorm层，self‑attention层，layerNorm层、MLP以及第二embedding层；所述convolution模块包括串联连接的第一residul子模块和第二residul子模块；所述第一residul子模块和所述第二residul子模块均包括串联连接的第一卷积层、batchnorm层、第二卷积层、batchnorm层、第一卷积层和batchnorm层；

所述convolution模块的第一residul子模块中的第二卷积层通过第一连接模块连接transformer模块中的第一个layerNorm层；第一个所述layerNorm层的输入为所述第一embedding层的输出和所述第二卷积层的输出的和；所述transformer模块中的MLP通过第二连接模块连接所述convolution模块的第二residul子模块中的第一个batchnorm层；第一个所述batchnorm层的输入为所述MLP的输出和所述第二residul子模块中的第一个第一卷积层的输出的和；

所述利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特征具体包括：利用所述第一支路对每一待存储图像进行特征提取，得到第一特征；利用所述第二支路对每一所述待存储图像进行特征提取，得到第二特征；以所述第一特征和所述第二特征的向量积作为每一所述待存储图像的提取后特征。

2.根据权利要求1所述的检索方法，其特征在于，所述第一连接模块包括依次连接的第一卷积层、下采样层和layerNorm层；所述第二连接模块包括依次连接的上采样层、第一卷积层和layerNorm层。

3.一种光盘库图像检索系统，其特征在于，所述图像检索系统包括：特征提取模块，用于利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特征；

存储模块，用于将每一所述待存储图像存入到光盘库中，并记录所述待存储图像在所述光盘库中的物理存储位置；

记录模块，用于将每一所述待存储图像的所述提取后特征和所述物理存储位置存储到磁盘数据库中；

提取模块，用于利用双支路特征提取模型对待检索图像进行特征提取，得到检索特征；

计算模块，用于计算所述检索特征与磁盘数据库中每一提取后特征的余弦相似度，并选取余弦相似度最高的所述提取后特征作为相似特征；

调取模块，用于根据所述相似特征对应的物理存储位置从所述光盘库中调取图像；所述图像即为所述待检索图像的相似图像；

所述双支路特征提取模型包括第一支路和第二支路；所述第一支路包括三个串联连接的transformer模块；所述第二支路包括三个串联连接的convolution模块；所述transformer模块与所述convolution模块一一对应连接；

所述transformer模块包括串联连接的第一embedding层，layerNorm层，self‑attention层，layerNorm层、MLP以及第二embedding层；所述convolution模块包括串联连接的第一residul子模块和第二residul子模块；所述第一residul子模块和所述第二residul子模块均包括串联连接的第一卷积层、batchnorm层、第二卷积层、batchnorm层、第一卷积层和batchnorm层；

所述convolution模块的第一residul子模块中的第二卷积层通过第一连接模块连接transformer模块中的第一个layerNorm层；第一个所述layerNorm层的输入为所述第一embedding层的输出和所述第二卷积层的输出的和；所述transformer模块中的MLP通过第二连接模块连接所述convolution模块的第二residul子模块中的第一个batchnorm层；第一个所述batchnorm层的输入为所述MLP的输出和所述第二residul子模块中的第一个第一卷积层的输出的和；

所述利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特征具体包括：利用所述第一支路对每一待存储图像进行特征提取，得到第一特征；利用所述第二支路对每一所述待存储图像进行特征提取，得到第二特征；以所述第一特征和所述第二特征的向量积作为每一所述待存储图像的提取后特征。

说明书

一种光盘库图像存储方法、系统及图像检索方法、系统

技术领域

[0001] 本发明涉及图像存储和检索技术领域，特别是涉及一种光盘库图像存储方法、系统及图像检索方法、系统。

背景技术

[0002] 目前常将海量图像存储在光盘库中，并将图像名称、id或md5值与图像在光盘库中的物理存储位置相绑定。由于光盘库对图像的存储是离线存储，这种存储方式将会导致在
光盘库中搜索相似图像时，只能先根据图像名称、id或md5值将光盘库中存储的多张图像调
取出来，再进行相似性判断，以得到相似图像，导致在光盘库中搜索相似图像存在检索效率
低的问题。

[0003] 基于此，亟需一种通过改进光盘库存储方式以高效地对相似图像进行检索的图像存储方法、系统及图像检索方法、系统。

发明内容

[0004] 本发明的目的是提供一种光盘库图像存储方法、系统及图像检索方法、系统，对待存储图像进行特征提取，并将提取后特征与待存储图像在光盘库中的物理存储位置相绑
定，以基于图像特征检索相似图像，显著提高在光盘库中检索相似图像的检索效率。

[0005] 为实现上述目的，本发明提供了如下方案：

[0006] 一种光盘库图像存储方法，所述图像存储方法包括：

[0007] 利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特征；

[0008] 将每一所述待存储图像存入到光盘库中，并记录所述待存储图像在所述光盘库中的物理存储位置；

[0009] 将每一所述待存储图像的所述提取后特征和所述物理存储位置存储到磁盘数据库中。

[0010] 一种光盘库图像存储系统，所述图像存储系统包括：

[0011] 特征提取模块，用于利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特征；

[0012] 存储模块，用于将每一所述待存储图像存入到光盘库中，并记录所述待存储图像在所述光盘库中的物理存储位置；

[0013] 记录模块，用于将每一所述待存储图像的所述提取后特征和所述物理存储位置存储到磁盘数据库中。

[0014] 一种光盘库图像检索方法，所述图像检索方法包括：

[0015] 利用双支路特征提取模型对待检索图像进行特征提取，得到检索特征；

[0016] 计算所述检索特征与磁盘数据库中每一提取后特征的余弦相似度，并选取余弦相似度最高的所述提取后特征作为相似特征；

[0017] 根据所述相似特征对应的物理存储位置从所述光盘库中调取图像；所述图像即为所述待检索图像的相似图像。

[0018] 一种光盘库图像检索系统，所述图像检索系统包括：

[0019] 提取模块，用于利用双支路特征提取模型对待检索图像进行特征提取，得到检索特征；

[0020] 计算模块，用于计算所述检索特征与磁盘数据库中每一提取后特征的余弦相似度，并选取余弦相似度最高的所述提取后特征作为相似特征；

[0021] 调取模块，用于根据所述相似特征对应的物理存储位置从所述光盘库中调取图像；所述图像即为所述待检索图像的相似图像。

[0022] 根据本发明提供的具体实施例，本发明公开了以下技术效果：

[0023] 本发明用于公开一种光盘库图像存储方法、系统及图像检索方法、系统，在对图像进行存储时，先利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特
征，再将每一待存储图像存入到光盘库中，并记录待存储图像在光盘库中的物理存储位置，
同时将每一待存储图像的提取后特征和物理存储位置存储到磁盘数据库中。通过采用此种
图像存储方式，在光盘库中进行相似图像检索时，先利用双支路特征提取模型对待检索图
像进行特征提取，得到检索特征，然后计算检索特征与磁盘数据库中每一提取后特征的余
弦相似度，并选取余弦相似度最高的提取后特征作为相似特征，即可根据相似特征对应的
物理存储位置从光盘库中调取图像，该图像即为待检索图像的相似图像，进而能够基于图
像特征快速确定待检索图像的相似图像，并能基于提取后特征与物理存储位置的对应关系
快速将相似图像从光盘库中提取出来，能够显著提高图像检索的效率。

附图说明

[0024] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获
得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本发明的主
旨。

[0025] 图1为本发明实施例1所提供的图像存储方法的方法流程图；

[0026] 图2为本发明实施例2所提供的图像存储系统的系统框图；

[0027] 图3为本发明实施例3所提供的图像检索方法的方法流程图；

[0028] 图4为本发明实施例4所提供的图像检索系统的系统框图。

具体实施方式

[0029] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其
他实施例，都属于本发明保护的范围。

[0030] 如本发明和权利要求书中所示，除非上下文明确提示例外情形，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方
法或者设备也可能包含其他的步骤或元素。

[0031] 虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性
的，并且所述系统和方法的不同方面可以使用不同模块。

[0032] 本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序
或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一
步或数步操作。

[0033] 本发明的目的是提供一种光盘库图像存储方法、系统及图像检索方法、系统，对待存储图像进行特征提取，并将提取后特征与待存储图像在光盘库中的物理存储位置相绑
定，以基于图像特征检索相似图像，显著提高在光盘库中检索相似图像的检索效率。

[0034] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0035] 实施例1：

[0036] 本实施例用于提供一种光盘库图像存储方法，如图1所示，所述图像存储方法包括：

[0037] S1：利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特征；

[0038] 具体的，本实施例所用的双支路特征提取模型包括第一支路和第二支路，第一支路为transformer支路，第二支路为convolution支路。第一支路包括三个串联连接的
transformer模块，第二支路包括三个串联连接的convolution模块，且transformer模块与
convolution模块一一对应连接。

[0039] S1可以包括：将待存储图像分别输入双支路特征提取模型的第一支路和第二支路，利用第一支路对每一待存储图像进行特征提取，得到第一特征Ti，利用第二支路对每一
待存储图像进行特征提取，得到第二特征Ci，以第一特征和第二特征的向量积作为每一待
存储图像的提取后特征。即计算第一特征和第二特征的向量积，将第一支路的第一特征和
第二支路的第二特征相融合，得到存储图像的提取后特征。提取后特征Mi=Ci Ti。

[0040] 更为具体的，每一transformer模块均包括串联连接的第一embedding层，layerNorm层，self‑attention层，layerNorm层、MLP（多层感知器）以及第二embedding层。
每一convolution模块均包括串联连接的第一residul子模块和第二residul子模块，第一
residul子模块和第二residul子模块均包括串联连接的第一卷积层、batchnorm层、第二卷
积层、batchnorm层、第一卷积层和batchnorm层。第一卷积层的卷积核尺寸为1 1，第二卷
积层的卷积核尺寸为3 3。

[0041] 进一步的，transformer模块与convolution模块一一对应连接具体指：convolution模块的第一residul子模块中的第二卷积层通过第一连接模块连接
transformer模块中的第一个layerNorm层，则第一个layerNorm层的输入为第一embedding
层的输出和第二卷积层的输出的和。transformer模块中的MLP通过第二连接模块连接
convolution模块的第二residul子模块中的第一个batchnorm层，则第一个batchnorm层的
输入为MLP的输出和第二residul子模块中的第一个第一卷积层的输出的和。其中，第一连
接模块包括依次连接的第一卷积层、下采样层和layerNorm层，第二连接模块包括依次连接
的上采样层、第一卷积层和layerNorm层。

[0042] 基于上述双支路特征提取模型的具体结构，对待存储图像进行特征提取的过程为：将待存储图像送入第一支路的第一个transformer模块，第一个transformer模块的输
出送入第二个transformer模块，第二个transformer模块的输出送入第三个transformer
模块，第三个transformer模块的输出即为第一特征。将待存储图像送入第二支路的第一个
convolution模块，第一个convolution模块的输出送入第二个convolution模块，第二个
convolution模块的输出送入第三个convolution模块，第三个convolution模块的输出即
为第二特征。

[0043] 其中，对应连接的transformer模块和convolution模块之间的交互过程为：待存储图像 依次经过convolution模块中的第一residul子模块中的第一卷积层、batchnorm
层、第二卷积层之后得到的特征图 经过1 1卷积核尺寸的卷积、下采样、layernorm处理
之后，与对应的transformer模块的第一embedding层的输出特征图 相加得到更新后的
；同时， 经过第一residul子模块的batchnorm层、第一卷积层和
batchnorm层后进入第二residul子模块的第一卷积层。 经过接下来的layerNorm层，
self‑attention层，layernorm层、MLP（多层感知器）之后，输出的 经过上采样、1 1卷积
核尺寸的卷积、layernorm处理之后，与对应的convolution模块中的第二个residul子模块
中的第一个第一卷积层的输出特征图 相加得到更新后的 ， 经过第二
residul子模块中的batchnorm层、第二卷积层、batchnorm层、第一卷积层和batchnorm层
后，输出第二特征。同时， 经过第二embedding层后，得到第一特征。

[0044] 利用上述双支路特征提取模型，能够更加充分的提取待存储图像的特征，在后续基于特征进行相似度计算时，所得到的相似图像更加准确。

[0045] S2：将每一所述待存储图像存入到光盘库中，并记录所述待存储图像在所述光盘库中的物理存储位置；

[0046] S3：将每一所述待存储图像的所述提取后特征和所述物理存储位置存储到磁盘数据库中。

[0047] 本实施例所提供的图像存储方法先对即将存储到光盘库中的每一待存储图像进行特征提取，然后将每一待存储图像存入到光盘库中，并记录待存储图像在光盘库中的物
理存储位置，同时将每一待存储图像的提取后特征和物理存储位置存储到磁盘数据库中，
利用此种存储方式，便能够基于图像特征在光盘库中进行相似图像检索，通过特征比对，可
快速确定待检索图像的相似图像，并基于提取后特征与物理存储位置的对应关系，能够快
速得知相似图像的物理存储位置，大大提高了海量图像在光盘库中的检索效率，能够提高
图像在光盘库中的检索与存储性能。

[0048] 实施例2：

[0049] 本实施例用于提供一种光盘库图像存储系统，如图2所示，所述图像存储系统包括：

[0050] 特征提取模块M1，用于利用双支路特征提取模型对每一待存储图像进行特征提取，得到提取后特征；

[0051] 存储模块M2，用于将每一所述待存储图像存入到光盘库中，并记录所述待存储图像在所述光盘库中的物理存储位置；

[0052] 记录模块M3，用于将每一所述待存储图像的所述提取后特征和所述物理存储位置存储到磁盘数据库中。

[0053] 实施例3：

[0054] 本实施例用于提供一种光盘库图像检索方法，如图3所示，所述图像检索方法包括：

[0055] T1：利用双支路特征提取模型对待检索图像进行特征提取，得到检索特征；

[0056] T1所用双支路特征提取模型的结构和特征提取方式均与实施例1相同。

[0057] T2：计算所述检索特征与磁盘数据库中每一提取后特征的余弦相似度，并选取余弦相似度最高的所述提取后特征作为相似特征；

[0058] T3：根据所述相似特征对应的物理存储位置从所述光盘库中调取图像；所述图像即为所述待检索图像的相似图像。

[0059] 本实施例在将图像存储到光盘库中之前，先对海量图像进行特征抽取，并将提取后特征与图像在光盘库中的物理存储位置相绑定，即将图像特征与图像的物理存储位置均
存于磁盘数据库中，在光盘库中进行相似图像检索时，基于图像特征进行相似图像检索，即
可快速确定相似图像并得知相似图像在光盘库中的物理存储位置，大大提高光盘库相似图
像的检索效率，提高了图像在光盘库中的检索与存储性能，且更加智能化地基于图像特征
在光盘库中进行检索，大大提高了图像查询的准确率与高效性。

[0060] 实施例4：

[0061] 本实施例用于提供一种光盘库图像检索系统，如图4所示，所述图像检索系统包括：

[0062] 提取模块M4，用于利用双支路特征提取模型对待检索图像进行特征提取，得到检索特征；

[0063] 计算模块M5，用于计算所述检索特征与磁盘数据库中每一提取后特征的余弦相似度，并选取余弦相似度最高的所述提取后特征作为相似特征；

[0064] 调取模块M6，用于根据所述相似特征对应的物理存储位置从所述光盘库中调取图像；所述图像即为所述待检索图像的相似图像。

[0065] 除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语
应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或
极度形式化的意义来解释，除非这里明确地这样定义。

[0066] 上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前
提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所
限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特
定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范
围内。本发明由权利要求书及其等效物限定。