图像处理装置和图像处理方法

摘要

图像精简装置包含：第1图像精简处理部(100)，其通过基于多个图像间的相似度的第1图像精简处理，取得第1精简图像列；第2图像精简处理部(200)，其通过针对多个图像中的各图像的、基于对象物体或场景的识别处理的第2图像精简处理，取得第2精简图像列；以及合并处理部(300)，其进行第1精简图像列和第2精简图像列的合并处理、或第1图像精简处理和第2图像精简处理的合并处理，来取得输出精简图像列。

权利要求

1.一种图像处理装置，其特征在于，该图像处理装置包含：

图像列取得部，其取得具有多个图像的图像列；以及

处理部，其基于第1可否删除判定处理和第2可否删除判定处理，进行取得精简图像列的图像精简处理，所述第1可否删除判定处理和第2可否删除判定处理删除所述图像列取得部所取得的所述图像列中的所述多个图像的一部分，所述处理部设定由所述多个图像所包含的1个或多个关注图像构成的关注图像列，从所设定的所述关注图像列中选择第1基准图像，并且从所述多个图像中选择第1判定对象图像，进行根据表示所述第1基准图像与所述第1判定对象图像之间的变形的第1变形信息，判定所述第1判定对象图像可否删除的处理，作为所述第1可否删除判定处理，所述处理部利用所述图像列，设定在所述第1可否删除判定处理中被判定为不可删除的所述图像连续多个而成的部分图像列，所述处理部从所述部分图像列中选择第2基准图像和第2判定对象图像，进行根据表示所述第2基准图像与所述第2判定对象图像之间的变形的第2变形信息，判定所述第2判定对象图像可否删除的处理，作为所述第2可否删除判定处理。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述处理部进行第1覆盖率判定处理和第1结构要素判定处理中的至少一方的处理，作为所述第1可否删除判定处理，所述处理部进行第2覆盖率判定处理和第2结构要素判定处理中的至少一方的处理，作为所述第2可否删除判定处理，所述第1覆盖率判定处理是如下处理：根据所述第1变形信息，求出所述第1基准图像对所述第1判定对象图像的覆盖率，并根据所求出的所述覆盖率，判定所述第1判定对象图像可否删除，所述第1结构要素判定处理是如下处理：根据使用了与关注区域对应的结构要素和所述第1变形信息的处理的结果，判定所述第1判定对象图像可否删除，所述第2覆盖率判定处理是如下处理：根据所述第2变形信息，求出所述第2基准图像对所述第2判定对象图像的所述覆盖率，并根据所求出的所述覆盖率，判定所述第2判定对象图像可否删除，所述第2结构要素判定处理是如下处理：根据使用了与所述关注区域对应的所述结构要素和所述第2变形信息的处理的结果，判定所述第2判定对象图像可否删除。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述处理部在进行所述第1覆盖率判定处理作为所述第1可否删除判定处理的情况下，进行所述第2覆盖率判定处理，作为所述第2可否删除判定处理，所述处理部在进行所述第1结构要素判定处理作为所述第1可否删除判定处理的情况下，进行所述第2结构要素判定处理，作为所述第2可否删除判定处理。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述处理部进行所述第1覆盖率判定处理和所述第1结构要素判定处理这两方的处理，作为所述第1可否删除判定处理。

5.根据权利要求2所述的图像处理装置，其特征在于，

所述处理部进行所述第2覆盖率判定处理和所述第2结构要素判定处理这两方的处理，作为所述第2可否删除判定处理。

6.根据权利要求2～5中的任意一项所述的图像处理装置，其特征在于，

所述第1覆盖率判定处理是基于表示所述第1基准图像对所述第1判定对象图像的所述覆盖率的值、与第1覆盖率阈值的比较结果的判定处理，所述第1结构要素判定处理设定第1尺寸的要素作为所述结构要素，是基于所设定的所述结构要素的收缩处理、或判定在所述第1判定对象图像未被所述第1基准图像覆盖的区域中是否包含所设定的所述结构要素的处理，所述第2覆盖率判定处理是基于表示所述第2基准图像对所述第2判定对象图像的所述覆盖率的值、与第2覆盖率阈值的比较结果的判定处理，所述第2结构要素判定处理设定第2尺寸的要素作为所述结构要素，是基于所设定的所述结构要素的收缩处理、或判定在所述第2判定对象图像未被所述第2基准图像覆盖的区域中是否包含所设定的所述结构要素的处理。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述处理部设定与所述第1覆盖率阈值不同的值，作为所述第2覆盖率阈值。

8.根据权利要求6所述的图像处理装置，其特征在于，

所述处理部设定与所述第1尺寸不同的尺寸，作为所述第2尺寸。

9.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，

在设定了第1～第N图像作为所述部分图像列的情况下，所述处理部选择前方基准图像和后方基准图像作为所述第2基准图像，其中所述前方基准图像为第p图像，所述后方基准图像为第q图像，并且选择第r图像作为所述第2判定对象图像，求出表示所述前方基准图像与所述第2判定对象图像之间的变形的前方变形信息、和表示所述后方基准图像与所述第2判定对象图像之间的变形的后方变形信息，作为所述第2变形信息，并根据所求出的所述前方变形信息和所述后方变形信息，进行所述第2判定对象图像可否删除的判定，其中，N为2以上的整数，p为满足1≦p≦N的整数，q为p+2以上的整数，r为满足p+1≦r≦q－1的整数。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述处理部从设定了与第p+2～第N图像对应的起点和终点的后方基准图像选择区间中，选择所述后方基准图像，进行根据所述前方基准图像和所述后方基准图像，所述第2判定对象图像可否删除的判定，所述处理部在第p+1～第q－1图像被判定为可删除的情况下，选择所述后方基准图像选择区间所包含的第x图像作为新的所述后方基准图像，并且将所述后方基准图像选择区间的所述起点更新为所述第q图像，其中，x是满足x＞q的整数。

11.根据权利要求10所述的图像处理装置，其特征在于，

所述处理部在所述第p+1～第q－1图像中的至少一个被判定为不可删除的情况下，选择所述后方基准图像选择区间所包含的第y图像作为新的所述后方基准图像，并且将所述后方基准图像选择区间的所述终点更新为所述第q图像，其中，y是满足y＜q的整数。

12.根据权利要求10所述的图像处理装置，其特征在于，

所述处理部在更新了所述后方基准图像选择区间的所述起点或所述终点的结果是所述起点与所述终点相邻的情况下，进行将作为所述前方基准图像而被选择的所述多个图像中的1个包含到所述精简图像列中的处理，并且将与所述起点对应的所述多个图像中的1个、和所述多个图像中的在所述部分图像列中和与所述起点对应的所述多个图像中的1个相比位于后方的所述图像，设定为新的所述部分图像列，并针对所设定的新的所述部分图像列，将所述p的值设定为1，再次进行处理。

13.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，所述处理部进行从所述多个图像中检测关注区域的处理，并将所述多个图像中的、检测到所述关注区域的所述图像设定为所述关注图像。

14.根据权利要求13所述的图像处理装置，其特征在于，

所述图像列取得部取得拍摄活体内而得的多个活体内图像，作为所述图像列，所述处理部进行从所述多个活体内图像中检测病变区域作为所述关注区域的处理，并将所述多个活体内图像中的、检测到所述病变区域的所述图像设定为所述关注图像。

15.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，所述处理部在设定了多个所述部分图像列的情况下，对多个所述部分图像列并列地进行所述第2可否删除判定处理。

16.一种图像处理方法，其特征在于，

取得具有多个图像的图像列，

设定由所述多个图像所包含的1个或多个关注图像构成的关注图像列，

从所设定的所述关注图像列中选择第1基准图像，并且从所述多个图像中选择第1判定对象图像，进行根据表示所述第1基准图像与所述第1判定对象图像之间的变形的第1变形信息，判定所述第1判定对象图像可否删除的处理，作为第1可否删除判定处理，利用所述图像列，设定在所述第1可否删除判定处理中被判定为不可删除的所述图像连续多个而成的部分图像列，从所述部分图像列中选择第2基准图像和第2判定对象图像，

进行根据表示所述第2基准图像与所述第2判定对象图像之间的变形的第2变形信息，判定所述第2判定对象图像可否删除的处理，作为第2可否删除判定处理，基于所述第1可否删除判定处理和所述第2可否删除判定处理，进行删除所述图像列的所述多个图像的一部分来取得精简图像列的图像精简处理。

说明书

图像处理装置和图像处理方法

[0001] 本申请是申请号为201380012984.9的发明专利申请(申请日：2013年03月07日，发明名称：图像处理装置和图像处理方法)的分案申请。

技术领域

[0002] 本发明涉及图像处理装置和图像处理方法等。

背景技术

[0003] 在根据给定时间间隔以时间序列的方式持续静态图像拍摄的情况下、在通过多个图像网罗具有空间范围的被摄体的情况下、或者在拍摄动态图像后取得构成该动态图像的各图像作为静态图像的情况下等，取得时间或空间上连续的非常大量的图像(以下也记载为图像列)。在这种情况下，图像列中接近(即时间或空间上接近)的图像彼此是相似图像的可能性较高，在掌握所拍摄的内容时，检查大量的全部图像的必要性不高。图像张数为几万张以上的情况本来就不稀奇，用户手动检查全部图像本身的负担很大。

[0004] 因此，需要通过从图像列中删除一部分图像，精简为张数比原来的图像列的张数少的图像列(以下将该处理记载为图像精简处理)。例如在专利文献1中公开了如下的图像精简处理方法：通过提取图像列中的场景变化的边界的图像或代表图像列的图像，保留容易掌握图像列的内容的图像。

[0005] 现有技术文献

[0006] 专利文献

[0007] 专利文献1：日本特开2009-5020号公报

[0008] 专利文献2：日本特开2011-24763号公报

发明内容

[0009] 发明所要解决的课题

[0010] 例如在医学领域中应用图像精简技术的情况下，从避免疾患的漏看的观点来看，需要抑制产生由于删除图像而无法观察的区域。特别是需要使得病变区域或异常区域那样的重要区域不包含在无法观察的区域中。

[0011] 但是，如专利文献1的方法那样，当仅保留场景变化的边界的图像、或以是否容易直观地观察精简后的图像列的观点进行图像精简时，可能产生由于删除图像而无法观察的区域，并不理想。并且，由于无法观察的区域的产生程度取决于图像的内容，所以，在现有的图像精简处理的方法中，难以控制疾患的漏看等的程度。

[0012] 根据本发明的若干个方式，能够提供如下的图像处理装置和图像处理方法等：在抑制由于图像删除而无法观察的区域产生的情况下，进行高效的图像精简处理。

[0013] 用于解决课题的手段

[0014] 本发明的一个方式涉及一种图像处理装置，其包含：第1图像精简处理部，其通过基于多个图像间的相似度的第1图像精简处理，取得第1精简图像列；第2图像精简处理部，其通过针对所述多个图像中的各图像的、基于对象物体或场景的识别处理的第2图像精简处理，取得第2精简图像列；以及合并处理部，其进行所述第1精简图像列和所述第2精简图像列的合并处理、或所述第1图像精简处理和所述第2图像精简处理的合并处理，来取得输出精简图像列。

[0015] 在本发明的一个方式中，在考虑了基于相似度的第1图像精简处理、和基于对象物体等的识别处理的第2图像精简处理的情况下，进行这些处理的合并处理，来取得输出精简图像列。由此，能够进行将使用了相似度时的优点、和使用了对象物体等的识别处理时的优点组合起来的图像精简处理，能够进行高效的图像精简和用户的便利性提高等。

[0016] 本发明的其他方式涉及一种图像处理装置，其包含：图像列取得部，其取得具有多个图像的图像列；以及处理部，其基于删除所述图像列取得部所取得的所述图像列的所述多个图像的一部分的第1可否删除判定处理和第2可否删除判定处理，进行取得精简图像列的图像精简处理，所述处理部设定由所述多个图像所包含的1个或多个关注图像构成的关注图像列，从所设定的所述关注图像列中选择第1基准图像，并且从所述多个图像中选择第1判定对象图像，根据表示所述第1基准图像与所述第1判定对象图像之间的变形的第1变形信息，进行判定所述第1判定对象图像可否删除的处理，作为所述第1可否删除判定处理，所述处理部利用所述图像列，设定在所述第1可否删除判定处理中被判定为不可删除的所述图像连续多个而成的部分图像列，所述处理部从所述部分图像列中选择第2基准图像和第2判定对象图像，根据表示所述第2基准图像与所述第2判定对象图像之间的变形的第2变形信息，进行判定所述第2判定对象图像可否删除的处理，作为所述第2可否删除判定处理。

[0017] 在本发明的其他方式中，设定关注图像列，根据所设定的关注图像列进行第1可否删除判定处理，并根据第1可否删除判定处理的结果，进行第2可否删除判定处理。将第1、第2可否删除判定处理设为基于图像间的变形信息的处理，因此能够进行考虑到了关注图像和变形信息两者的图像精简处理。此时，成为使用前段中的结果进行后段处理的多阶段处理，因此与分别独立进行的情况相比，能够进行有效的图像精简处理等。

[0018] 此外，本发明的其他方式涉及使计算机作为上述各部件发挥功能的程序。

[0019] 并且，本发明的其他方式涉及进行第1图像精简处理和第2图像精简处理的图像处理方法，所述第1图像精简处理根据多个图像间的相似度，取得第1精简图像列，所述第2图像精简处理基于针对所述多个图像中的各图像的、对象物体或场景的识别处理，取得第2精简图像列，在所述图像处理方法中，进行如下合并处理：通过进行所述第1精简图像列和所述第2精简图像列的合并处理、或所述第1图像精简处理和所述第2图像精简处理的合并处理，取得输出精简图像列。

[0020] 并且，本发明的其他方式涉及图像处理方法，其中，取得具有多个图像的图像列，设定由所述多个图像所包含的1个或多个关注图像构成的关注图像列，从所设定的所述关注图像列中选择第1基准图像，并且从所述多个图像中选择第1判定对象图像，进行根据表示所述第1基准图像与所述第1判定对象图像之间的变形的第1变形信息，判定所述第1判定对象图像可否删除的处理，作为第1可否删除判定处理，利用所述图像列，设定在所述第1可否删除判定处理中被判定为不可删除的所述图像连续多个而成的部分图像列，从所述部分图像列中选择第2基准图像和第2判定对象图像，进行根据表示所述第2基准图像与所述第2判定对象图像之间的变形的第2变形信息，判定所述第2判定对象图像可否删除的处理，作为第2可否删除判定处理，基于所述第1可否删除判定处理和所述第2可否删除判定处理，进行删除所述图像列的所述多个图像的一部分来取得精简图像列的图像精简处理。

附图说明

[0021] 图1是本实施方式的图像精简装置的系统结构例。

[0022] 图2是说明计算覆盖率的方法的图。

[0023] 图3(A)、图3(B)是说明第1图像精简处理的具体例的图。

[0024] 图4是说明第1图像精简处理的流程图。

[0025] 图5是说明第2图像精简处理的流程图。

[0026] 图6是说明第2图像精简处理的图。

[0027] 图7是说明第1实施方式的合并处理的流程图。

[0028] 图8(A)、图8(B)是说明第2精简图像列的更新处理的图。

[0029] 图9(A)、图9(B)是说明第2精简图像列的可否更新判定处理的图。

[0030] 图10是说明第2实施方式的合并处理的流程图。

[0031] 图11是本实施方式的图像精简装置的另一系统结构例。

[0032] 图12(A)～图12(C)是说明第3实施方式的方法的图。

[0033] 图13是说明第3实施方式的合并处理的流程图。

[0034] 图14(A)～图14(E)是说明第4实施方式的方法的图。

[0035] 图15是说明第4实施方式的合并处理的流程图。

[0036] 图16(A)～图16(D)是说明本实施方式的图像精简处理的图。

[0037] 图17是第5实施方式的图像处理装置的结构例。

[0038] 图18是说明第5实施方式的图像精简处理的流程图。

[0039] 图19(A)～图19(D)是说明基准图像和判定对象图像的选择方法的图。

[0040] 图20是第1可否删除判定部的结构例。

[0041] 图21是第2可否删除判定部的结构例。

[0042] 图22是第1可否删除判定部的另一结构例。

[0043] 图23(A)～图23(E)是说明对非覆盖区域的基于结构要素的收缩处理的图。

[0044] 图24(A)、图24(B)是说明对判定对象图像的基于结构要素的收缩处理的图。

[0045] 图25(A)、图25(B)是基准图像和要覆盖区域的包含判定的例子。

[0046] 图26(A)、图26(B)是说明使用了结构要素的另一处理的图。

[0047] 图27是第2基准图像选择部的结构例。

[0048] 图28(A)～图28(G)是说明后方基准图像的更新方法的图。

[0049] 图29是用于说明第7实施方式的图像精简处理的流程图。

[0050] 图30是图像处理装置的基本的系统结构例。

具体实施方式

[0051] 下面，对实施方式进行说明。另外，以下说明的本实施方式并不是不当限定权利要求范围所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必需结构要件。

[0052] 1.本实施方式的方法

[0053] 首先，对本实施方式的方法进行说明。在取得由时间或空间上连续的大量图像构成的图像列的情况下，在用户使用该图像列进行某些处理(例如如果是内窥镜图像列，则进行诊断等医疗行为)时，优选进行图像精简处理。之所以这样，是因为，图像列所包含的图像张数非常多，用户在观看全部图像后进行判断很费力。并且，在图像列所包含的图像中存在彼此相似的图像的可能性很高，即使检查全部这种相似的图像，可取得的信息量也有限，与劳动量不相称。

[0054] 作为具体例，考虑使用胶囊内窥镜拍摄而得到的图像列。胶囊内窥镜是内置有小型照相机的胶囊形状的内窥镜，按给定时间间隔(例如1秒两次等)拍摄图像。胶囊内窥镜从内服到排出需要几小时(根据情况而需要十几小时)，所以，在1个用户的1次检查中取得几万张拍摄图像。并且，胶囊内窥镜在活体内移动时，由于受到该活体的运动影响等而停留在相同场所或向相反方向返回。因此，在大量图像中，存在多个拍摄与其他图像相同的被摄体、在病变发现等中有用性不高的图像。

[0055] 在现有的图像精简处理中，提取出了场景变化的边界的图像、代表图像列的图像。但是，在这种方法中，删除图像时，没有特别考虑作为该删除对象的图像中所拍摄的被摄体、和保留图像中所拍摄的被摄体之间的关系。因此，可能产生如下情况：在精简后的图像列所包含的任意图像上，均未拍摄到在精简前的图像列所包含的图像上所拍摄的被摄体。

[0056] 该情况特别是在医疗领域的图像精简处理中并不理想。在医疗领域中，在其目的方面，必须极力抑制作为应关注区域的关注区域(例如病变部)的漏看。因此，优选拍摄活体内的尽可能宽的范围，在图像精简处理中，应该抑制产生由于删除给定图像而变得无法观察的被摄体范围。

[0057] 因此，本申请人从抑制由于图像删除而无法观察的区域产生的观点来看，提出了进行图像精简处理的方法。具体而言，使用基于作为图像精简处理对象的图像列所包含的多个图像间的相似度的图像精简处理。通过使用相似度，能够进行基于多个图像的关系的图像精简处理。

[0058] 考虑多种求出相似度的方法，但例如可以从图像列中选择基准图像(保留图像、根据基准图像的设定方法而成为保留候选的图像)和判定对象图像(判定是否删除的对象图像)，并进行基于基准图像和判定对象图像之间的变形信息的图像精简处理。具体而言，如图2所示，通过对基准图像进行变形，在判定对象图像上计算覆盖区域。在基准图像中所拍摄的被摄体与在判定对象图像的覆盖区域上所拍摄的被摄体对应。即，判定对象图像中的覆盖区域外的范围(以下记述为非覆盖区域)是在删除了该判定对象图像的情况下、即使保留基准图像也无法覆盖的区域。

[0059] 由此，作为一例，计算覆盖区域在判定对象图像中所占的比例等作为覆盖率，根据计算出的覆盖率判定是否删除判定对象图像，由此，对无法观察的被摄体范围的产生程度进行控制。例如，如果在覆盖率为阈值以上时删除判定对象图像、在覆盖率小于阈值时不删除判定对象图像，则能够根据阈值的设定，对无法覆盖的区域的产生程度进行控制。

[0060] 如图23(A)～图23(E)所示，作为使用了变形信息的图像精简处理的另一例，可以根据对非覆盖区域的基于结构要素(与关注区域对应)的收缩处理结果，对判定对象图像可否删除进行判定。详细将后述，但该情况下，即使删除了判定对象图像，也能够保证在该判定对象图像上所拍摄的结构要素的尺寸以上的区域的至少一部分被拍摄到基准图像上。因此，在判定对象图像中拍摄了关注区域整体的情况下，不论该关注区域在判定对象图像上的位置如何，都能够通过基准图像观察其至少一部分，因此能够抑制关注区域的漏看可能性。

[0061] 另外，使用变形信息的方法是计算相似度的方法的一例，也可以通过其他方法求出图像间的相似度。

[0062] 但是，在使用相似度的图像精简处理中，根据图像间的关系进行处理，因此有可能未考虑到作为处理对象的图像中所拍摄的被摄体和场景等。因此，如果想拍摄到图像上的对象(例如在胶囊内窥镜中是医生的观察对象，狭义地讲是病变部等区域)是明确的，则与基于相似度的图像精简处理分开地，另外执行基于在图像上是否拍摄有该对象这一观点而进行的图像精简处理也是有用的。

[0063] 因此，本申请人提出如下方法：进行基于相似度的第1图像精简处理、和基于对象物体或场景识别处理的第2图像精简处理两方，并且进行合并两个处理来取得输出精简图像列的合并处理。由此，能够进行兼有两个图像精简处理的优点的图像精简处理。具体而言，能够进行可在抑制无法观察的被摄体范围产生的同时、高效地观察作为观察对象的物体和场景的图像精简处理。

[0064] 以下，使用第1～第4实施方式针对该方法说明具体例。在第1实施方式中，通过第1图像精简处理取得第1精简图像列，并且通过第2图像精简处理取得第2精简图像列，作为合并处理，进行合并第1精简图像列和第2精简图像列的处理。在第2实施方式中，在取得了第1精简图像列和第2精简图像列后，根据第1精简图像列进行第2精简图像列的更新处理(狭义地讲，是削减第2精简图像列所包含的精简图像张数的处理)，对第1精简图像列、和更新处理后的第2精简图像列进行合并。

[0065] 第3、第4实施方式是如下的实施方式：与其说与精简图像列的合并处理相关，不如说与第1图像精简处理和第2图像精简处理这两个处理的合并处理相关。在第3实施方式中，将基于第2图像精简处理的结果(狭义地讲，是第2精简图像列)的第1图像精简处理的执行，作为所述合并处理来进行。具体而言，在第1、第2实施方式中，第1精简图像列所包含的精简图像根据相似度被确定，但在第3实施方式中，除了相似度以外，还是用第2图像精简处理的结果确定精简图像。

[0066] 在第4实施方式中，组合第3实施方式的方法、和第2实施方式中的第2精简图像列的更新处理，进行反馈处理。具体而言，进行基于第2图像精简处理的结果的第1图像精简处理，取得第1精简图像列。然后，根据所取得的第1精简图像列，执行第2精简图像列的更新处理。进而，再次进行基于更新处理后的第2精简图像列的第1图像精简处理，取得第1精简图像列，并将所取得的第1精简图像列设为输出精简图像列。在无法执行更新处理的情况下，将此时的第1精简图像列设为输出精简图像列即可，结果与第3实施方式相同。

[0067] 另外，在以下的说明中，将通过基于相似度的第1图像精简处理得到的图像列设为第1精简图像列，将第1精简图像列所包含的图像称作相似度精简图像。此外，将通过基于对象物体等的识别处理的第2图像精简处理得到的图像列设为第2精简图像列，将第2精简图像列所包含的图像称作物体精简图像。将根据到合并处理等为止所包含的处理而最终被输出的图像列设为输出精简图像列，将输出精简图像列所包含的图像称作输出精简图像。

[0068] 此外，在进行使用上述变形信息作为相似度的处理、并使用了关注区域的检测处理作为识别处理的情况下，还能够考虑第1～第4实施方式以外的方法。与仅使用了相似度的处理同样，仅以基于覆盖率的可否删除判定，没有特别考虑可否删除拍摄有关注区域的图像即关注图像。例如，如果关注图像以外的其他图像(可以是其他关注图像、也可以是不为关注图像的图像)的覆盖率高，则即使是关注图像也成为删除对象。因此，在极端的情况下，还有可能从图像列中删除所有关注图像，且无法从图像精简处理后的精简图像列中观察到关注区域。

[0069] 此外，在基于结构要素的可否删除判定中，存在删除拍摄有关注区域整体的图像、保留仅拍摄有该关注区域的小部分的图像的情形，从关注区域的观察这一观点来看，可能会不理想。

[0070] 当然，还充分考虑了如下情形：能够通过使用了变形信息的处理(使用了覆盖率、结构要素、或该两方的处理等)进行有效的图像精简处理。但是，如果像使用了胶囊内窥镜的情况下的病变部那样，存在应重点观察的关注区域，则基于是否拍摄有关注区域这一观点的处理的有用性高。具体而言，能够通过积极地(狭义地讲是必须)将关注图像保留到精简图像列，应对在使用了变形信息的处理中可能产生的问题。

[0071] 因此，本申请人提出了如下方法：将所取得的图像列中的、拍摄有关注区域的1个或多个图像设定为关注图像列，根据所设定的关注图像列，进行使用了变形信息的图像可否删除判定处理来取得精简图像列。但是，在如图16(A)所示那样求出关注图像列，并与其独立地求出了根据变形信息进行图像精简处理后的结果的图像列的情况下，在取单纯的并集时，可能如图16(B)的I1中示出的部位那样，存在图像密集的部分。在该部位处，未被其他图像充分覆盖的图像可能被保留在精简图像列中，从而图像精简处理对图像张数的削减效果可能降低。因此这里，进行基于关注图像列的第1可否删除判定处理、然后进行基于第1可否删除判定处理结果的第2可否删除判定处理这样的2阶段处理，由此提高图像精简处理对图像张数的削减效果。第1、第2可否删除判定处理是使用了变形信息的处理，其详细情况将后述。

[0072] 作为这里的图像处理装置的1个实施方式，如图30所示，考虑包含处理部100、和图像列取得部30的图像处理装置。图像列取得部30取得具有多个图像的图像列。并且，处理部100进行如下处理，作为第1可否删除判定处理：设定由多个图像所包含的1个或多个关注图像构成的关注图像列，从所设定的关注图像列中选择第1基准图像，并且从多个图像中选择第1判定对象图像，根据表示第1基准图像与第1判定对象图像之间的变形的第1变形信息，判定第1判定对象图像可否删除。此外，处理部100利用图像列，设定在第1可否删除判定处理中被判定为不可删除的图像连续多个而成的部分图像列。而且，处理部100进行如下处理，作为第2可否删除判定处理：从部分图像列中选择第2基准图像和第2判定对象图像，根据表示第2基准图像与第2判定对象图像之间的变形的第2变形信息，判定第2判定对象图像可否删除。

[0073] 以下，在第5实施方式中，对基本的方法进行说明。在第5实施方式中，说明作为第1、第2可否删除判定处理而使用了覆盖率的例子。其中，第1、第2可否删除判定处理可考虑各种变形例(例如使用结构要素的方法)。因此，利用第6实施方式说明这些变形例。此外，第
2可否删除判定处理中的基准图像(第2基准图像)和判定对象图像(第2判定对象图像)的选择方法也可考虑各种变形例，因此利用第7实施方式说明这些变形例。

[0074] 2.第1实施方式

[0075] 对第1实施方式的方法进行说明。首先说明图像精简装置的系统结构例，然后叙述第1图像精简处理和第2图像精简处理的具体例。最后说明合并处理的方法。

[0076] 2.1系统结构例

[0077] 图1示出本实施方式的图像精简装置的结构例。如图1所示，图像精简装置包含图像列取得部30、第1图像精简处理部100、第2图像精简处理部200、合并处理部300和输出部40。另外，图像精简装置不限于图1的结构，可以实施省略其中一部分结构要素(例如输出部
40等)或追加其他结构要素等各种变形。

[0078] 图像列取得部30取得作为图像精简处理的对象的图像列数据。要取得的图像列数据是时间或空间上连续的多个图像，从图像输入装置10或图像数据库20等被取得。对于图像输入装置10，可考虑数字照相机或胶囊内窥镜等、拍摄图像的摄像装置。图像数据库20是存储大量图像的数据库，蓄积由摄像装置等取得的图像数据。另外，图像数据库20可以设置于与图像精简装置远离的位置处，可以由经由网络与图像精简装置连接的服务器等构成。此外，假定图像输入装置10和图像数据库20与图像精简装置分开设置，但被包含在图像精简装置中也无妨。

[0079] 第1图像精简处理部100进行基于相似度的第1图像精简处理。第1图像精简处理部100可以包含相似度计算部110、精简处理部120和第1精简图像列生成部130。另外，第1图像精简处理部100不限于图1的结构，可以实施省略其中一部分结构要素或追加其他结构要素等各种变形。

[0080] 相似度计算部110计算由图像列取得部30取得的图像列所包含的图像间的相似度。精简处理部120根据计算出的相似度，进行精简处理(具体而言，是第1精简图像列所保留的相似度精简图像、和删除图像的确定处理)。第1精简图像列生成部130基于精简处理部120中的精简处理，生成作为第1图像精简处理部100的输出的第1精简图像列。另外，第1图像精简处理的详细情况将后述。

[0081] 第2图像精简处理部200进行基于对象物体或场景识别处理的第2图像精简处理。第2图像精简处理部200可以包含识别处理部210、精简处理部220和第2精简图像列生成部
230。另外，第2图像精简处理部200不限于图1的结构，可以实施省略其中一部分结构要素或追加其他结构要素等各种变形。

[0082] 识别处理部210进行由图像列取得部30取得的图像列所包含的图像是包含对象物体、还是拍摄了作为对象的场景的识别处理。识别处理的方法可考虑多种，但例如可以存储表示对象物体和场景的模板，进行使用了该模板的匹配处理。精简处理部220根据识别处理部210中的识别结果，进行精简处理(具体而言，是第2精简图像列所保留的物体精简图像、和删除图像的确定处理)。具体而言，进行如下处理：考虑同一对象物体或同一场景连续的区域而进行了分段处理后，从所生成的片段(连续图像列)中，选择至少1张图像作为物体精简图像。第2精简图像列生成部230基于精简处理部220中的精简处理，生成作为第2图像精简处理部200的输出的第2精简图像列。另外，第2图像精简处理的详细情况将后述。

[0083] 合并处理部300进行基于第1图像精简处理部100和第2图像精简处理部200中的处理的合并处理。在本实施方式中，进行第1精简图像列和第2精简图像列的合并处理。具体将后述。

[0084] 输出部40输出作为合并处理部300中的合并处理结果而被取得的输出精简图像列。输出部40例如可以是由液晶显示器或有机EL显示器等实现的显示部，该情况下，考虑对输出精简图像列所包含的输出精简图像进行显示等。另外，图像精简装置不需要具有作为与用户的接口的显示部等，可以与图像精简装置分开设置输出部40(显示部)。

[0085] 2.2第1图像精简处理

[0086] 接着对基于相似度的第1图像精简处理进行说明。作为这里使用的相似度，可考虑图像间的运动矢量、SSD或SAD、以及归一化互相等的相关值等。另外，通常只要是被计算为多个图像间的相似度那样的信息，则能够利用任意的信息作为相似度。

[0087] 作为基于相似度的图像精简处理的方法，可以考虑使用一直以来执行的如下方法：按相似度从小到大的顺序进行排序，通过从上位起选择至所设定的数量为止，进行场景变化的检测。

[0088] 此外，如图2所示，可以根据基准图像(第1精简图像列所保留的相似度精简图像、或相似度精简图像的候选图像)，将表示判定对象图像被怎样程度地覆盖的覆盖率用作相似度，并根据该覆盖率，进行判定对象图像可否删除的判定，从而进行图像精简。这里详细说明使用了覆盖率的方法。

[0089] 在使用覆盖率的方法中，使用基准图像与判定对象图像之间的变形信息，对基准图像进行变形并映射到判定对象图像上。这里，变形信息是与基准图像上所拍摄的被摄体被怎样地变形并拍摄到判定对象图像上对应的信息，可以利用变形估计或根据运动矢量等求出，也可以使用利用专利文献2所记载的方法估计的非刚体变形参数等。

[0090] 图2是设定了判定对象图像前方的第1基准图像、和判定对象图像后方的第2基准图像这两张作为基准图像的例子。判定对象图像上的A1是对第1基准图像进行变形而得到的区域，A2是对第2基准图像进行变形而得到的区域。例如考虑求出与A1和A2的并集对应的区域作为覆盖区域，并使用覆盖区域在判定对象图像整体中所占比例的值作为覆盖率。

[0091] 判定对象图像可否删除的判定通过覆盖率与事先设定的阈值(可以由系统设定，也可以根据来自用户的输入确定)的比较处理来进行即可。具体而言，如果覆盖率小于阈值，则将判定对象图像判定为不可删除，如果覆盖率在阈值以上，则将判定对象图像判定为可删除。覆盖率为阈值以上的情况使得判定对象图像中所拍摄的被摄体范围中的、由阈值表示的程度的部分被拍摄到第1基准图像和第2基准图像的至少一方中，因此只要保留第1、第2基准图像作为相似度精简图像，则即使删除了判定对象图像，也能够充分覆盖此处所拍摄的区域。

[0092] 图3(A)、图3(B)图示了第1、第2基准图像和判定对象图像的选择处理。另外，在该处理中，确定了第1基准图像被选择为相似度精简图像，而第2基准图像是相似度精简图像的候选，最终不确定是否被选择为相似度精简图像。

[0093] 如图3(A)所示，设为选择整个图像列的第k个图像作为第1基准图像(另外，与如下情况对应：关于第1～k－1个图像，是设为相似度精简图像还是设为删除图像的判定处理结束，第k～N个图像成为了处理对象)。该情况下，首先选择第k+2个图像作为第2基准图像。

[0094] 然后，从第1基准图像与第2基准图像之间的图像前方起依次选择判定对象图像，根据第1基准图像与判定对象图像之间的变形信息，对第1基准图像进行变形，并且根据第2基准图像与判定对象图像之间的变形信息，对第2基准图像进行变形，从而计算覆盖率。进而，根据计算出的覆盖率，进行判定对象图像可否删除的判定。

[0095] 如图3(A)所示，在将第1基准图像和第2基准图像之间的所有图像判定为可删除的情况(这里将阈值设为了70％)下，作为第2基准图像，由于存在可以选择与第1基准图像相比进一步远离的图像的可能性，因此如图3(B)所示那样，进行第2基准图像的重新选择。具体而言，将第k+2个第2基准图像更新为第k+3个即可。

[0096] 然后，再次针对第1基准图像与第2基准图像之间的图像，进行可否删除的判定。如图3(B)所示，在具有被判定为不可删除的判定对象图像的情况下，在第1基准图像和当前的第2基准图像这两张中，无法覆盖其间所包含的所有图像(具体而言，无法覆盖被判定为不可删除的判定对象图像)，因此认为过度增大了两个基准图像的间隔、即第2基准图像的更新(选择位置的增计数)是不恰当的。

[0097] 因此，保留当前时刻的第2基准图像的前一个图像(与图3(A)中的第2基准图像对应)作为相似度精简图像。具体而言，选择当前时刻的第2基准图像的前一个图像作为新的第1基准图像，与此同时，关于第2基准图像、判定对象图像，也重新选择来继续处理。

[0098] 图4是说明使用了覆盖率作为相似度的情况下的第1图像精简处理的流程图。在开始该处理后，设定作为图像精简处理的对象的图像列的第IS个图像，作为最初的相似度精简图像(S101)。这里，IS的值可以是1(即可以将图像列的起始的图像设为相似度精简图像)，也可以是1以外的值。

[0099] 接着，将第IS个图像设定为第1基准图像(S102)，并且将第IE个图像设定为第2基准图像(S103)。这里，将满足IE＝IS+2的值作为IE的初始值。

[0100] 并且，进行IE是否为超过处理对象图像列所包含的图像张数的值的判定(S104)，在“是”的情况下结束图像精简处理。在“否”的情况下，由于能够恰当设定第2基准图像，因此将第1基准图像和第2基准图像之间的图像依次设定为判定对象图像，并进行可否删除判定(S105～S108)。具体而言，将第1基准图像的下一图像设为最初的判定对象图像，利用图2示出的方法求出覆盖率，并进行与阈值的比较处理(S106、S107)。在覆盖率为阈值以上(S107中的“是”)的情况下，由于判定对象图像是可删除的，因此将当前的判定对象图像的后方1个图像设为新的判定对象图像(图4中与i的增计数对应)。在S107中未判定为“否”、且S105～S108的循环结束的情况下，如图3(A)所示，由于能够利用第1、第2基准图像覆盖其间的所有图像，因此对IE的值进行增计数来更新第2基准图像(S109)，并返回S104。

[0101] 在S107中判定为“否”的情况下，如图3(B)所示，由于第1、第2基准图像之间的至少1张图像无法被两个基准图像充分覆盖，因此需要将该时刻的第2基准图像的前一个图像保留在精简图像中。因此，将第IE－1个图像设定为下一相似度精简图像(S110)。与此同时，设为IS＝IE－1(S111)，返回到S102，由此将设定为相似度精简图像的图像设定为新的第1基准图像来继续处理。

[0102] 2.3第2图像精简处理

[0103] 接着，对基于对象物体或场景的识别处理的第2图像精简处理进行说明。关于这里的识别处理，能够利用基于与参照图像的相似度的检测处理、或由基于机械学习的图案识别得到的识别结果等各种图像识别或图像检测的处理结果。

[0104] 在第2图像精简处理中，对作为图像精简处理的对象的图像列的所有图像进行识别处理，对各图像进行是否拍摄了对象物体、或是否拍摄了作为对象的场景的判定。并且，将拍摄有对象物体的图像中的连续的图像、或拍摄有对象场景的图像中的连续的图像设定为连续图像列(片段)，关于各片段提取至少1张图像，并设定为第2精简图像列所保留的物体精简图像。

[0105] 图5是说明基于对象物体或场景的识别处理的第2图像精简处理的流程图。这里，特别说明将识别出的对象物体面积最大的图像选择为物体精简图像的例子，但从连续图像列中选择物体精简图像的方法不限于此。

[0106] 另外，设为进行识别处理作为图5的处理的预处理。作为其结果，从前方起对检测到对象物体等的图像依次分配ID，该ID进行了与编号的对应，编号表示作为图像精简处理的对象的图像列(输入图像列)中的图像位置。例如，如图6所示，在设为通过针对输入图像列的识别处理，在由斜线示出的图像中检测到对象物体等时，在由斜线示出的图像中，从起始起依次分配ID(这里，图像编号和ID从0开始，但是不限于此)。此外，进行了被分配ID的图像在输入图像列中是第几个这样的对应，因此保持了ID＝0的图像是输入图像列的第1个、ID＝4的图像是输入图像列的第7个这样的信息。图5说明在此之后的分段处理和代表图像(精简图像)的选择处理。

[0107] 在开始图5的处理后，首先将作为计数器值的count初始化(S201)。这里，count是与物体精简图像的张数对应的计数器值。另外，示出了从1个片段中选择1张精简图像的例子，因此count是与被设定为分段处理的结果的片段也对应的计数器值。接着，将表示对象物体面积的最大值的变量max初始化(S202)。

[0108] 在初始化后，反复S203～S208的循环，将作为预处理而被分配了ID的图像作为对象，从前方起依次进行处理。具体而言，将j＝0作为初始值，比较ID＝j的图像中的对象物体的面积和max，在面积大于max的情况下，用面积的值改写max的值，并且设定第count个精简图像作为当前ID的图像(S204)。但是，精简图像理想的是不用ID的值表现，而用是输入图像列的第几个图像来表现，因此根据输入图像列中的编号与ID的对应，保持输入图像列的第几个图像是第count个精简图像这样的信息。

[0109] 然后，进行ID＝j的图像与ID＝j+1的图像在输入图像列中是否相邻的判定(S205)。用图6来说的话，S205中的“否”的情况如ID＝2或ID＝4那样，是指将位于片段最后的图像设为处理对象。因此，结束当前片段中的处理，作为下一片段中的处理的预处理，对count的值进行增计数(S206)，并且将面积的最大值max初始化(S207)。

[0110] 此外，用图6来说的话，S205中的“是”的情况如ID＝1或ID＝3那样，是指将位于片段起始或中途的图像设为了处理对象，因此不进行S206、S207的处理。另外，在片段起始的图像是处理对象的情况下，max＝0，因此在S204中，选择当前的图像作为暂定的物体精简图像。另一方面，在片段中途的图像是处理对象的情况下，暂定选择当前片段所包含、且处于处理对象的前方的给定图像作为第count个物体精简图像，并且将此时的对象物体的面积保持为max。因此，在S204中，进行该暂定的物体精简图像中的对象物体面积、与ID＝j的图像中的对象物体面积的比较处理，如果ID＝j的图像中的对象物体面积较大，则利用ID＝j的图像进行第count个物体精简图像的重写处理。此外，如果暂定的物体精简图像中的对象物体面积较大，则一直保持该物体精简图像。

[0111] 结果在S203～S208中的循环中，进行分段处理，在各片段中进行将对象物体的面积最大的图像设为物体精简图像的处理，由此在对检测到了对象物体的所有图像进行了上述处理的情况下，结束处理。

[0112] 另外，这里叙述了选择对象物体的面积最大那样的图像作为物体精简图像的方法，但利用对象物体的图像内的位置、颜色信息、纹理信息、识别或检测的精度等图像识别、或图像检测结果的信息，同样也可以进行图像精简处理。

[0113] 2.4合并处理

[0114] 接着，说明本实施方式中的合并处理。这里，进行如下处理：选择通过第1图像精简处理得到的第1精简图像列、和通过第2图像精简处理得到的第2精简图像列中的至少一方所包含的图像，作为输出精简图像列的输出精简图像。

[0115] 图7是说明本实施方式的合并处理的流程图。如图7所示，合并处理成为S301～S306的循环，针对输入图像列的所有图像进行S302～S305的处理。

[0116] 具体而言，进行输入图像列的第i个图像是否包含在第1精简图像列中(是否为相似度精简图像)的判定(S302)。在“是”的情况下，选择第i个图像作为输出精简图像列的输出精简图像(S303)。在S302中的“否”的情况下，进行第i个图像是否包含在第2精简图像列中(是否为物体精简图像)的判定(S304)。在“是”的情况下，转移到S303，选择第i个图像作为输出精简图像。在S304中的“否”的情况下，将第i个图像设为删除图像(S305)。然后，将i＝0作为初始值，在将i增计数的同时，对输入图像列整体进行该处理。

[0117] 在以上的本实施方式中，如图1所示，图像精简装置包含：第1图像精简处理部100，其通过基于多个图像间的相似度的第1图像精简处理，取得第1精简图像列；第2图像精简处理部200，其通过针对多个图像中的各图像的、基于对象物体或场景的识别处理的第2图像精简处理，取得第2精简图像列；以及合并处理部300，其进行第1精简图像列和第2精简图像列的合并处理、或第1图像精简处理和第2图像精简处理的合并处理，取得输出精简图像列。

[0118] 这里，多个图像被假定与由图像列取得部30取得的图像列整体对应，但也可以是该图像列的一部分。

[0119] 由此，能够合并通过基于图像间的相似度判定、和对象物体或场景的识别处理这些不同观点进行的图像精简处理得到的精简图像列，取得输出精简图像列，因此能够进行兼具有两个图像精简处理的优点的图像精简处理。通过进行使用了对象物体等的识别处理的第2图像精简处理，能够生成保留了拍摄有重要的对象物体的图像中的恰当图像后的精简图像列，但即使利用图像识别、检测处理也难以检测所有重要的对象物体。在这点上，利用基于相似度这一不同观点的图像精简处理，抑制无法观察的区域产生，由此能够将无法检测的重要物体包含到经过第1图像精简处理的第1精简图像列中，能够通过合并处理生成互补的输出精简图像列。

[0120] 此外，第1图像精简处理部100可以进行如下处理，作为第1图像精简处理：从多个图像中选择基准图像和判定对象图像，根据基准图像与判定对象图像之间的变形信息，计算基准图像对判定对象图像的覆盖率作为相似度，根据覆盖率进行判定对象图像可否删除的判定。

[0121] 这里，覆盖率是表示判定对象图像上所拍摄的被摄体中的、怎样程度的被摄体被拍摄到了基准图像上的信息。例如，在取得纵横比为1：1的图像的情况下，判定对象图像中，在实际空间上纵横分别10m的正方形的被摄体被占满拍摄到图像中，基准图像中，上述被摄体所包含的纵横分别5m的正方形的区域被占满拍摄到图像中。该情况下，判定对象图像中拍摄有实际空间中的100m2的区域，基准图像中拍摄有实际空间中的25m2的区域(且是上述100m2的区域所包含的区域)。因此，基准图像覆盖了判定对象图像的25％，因此作为覆盖率，可考虑25％、25m2、或0.25等值。另外，与平面的被摄体正对地进行拍摄的情况很少见，因此通常即使是相同的被摄体，在基准图像和判定对象图像中，形状也不同。在本实施方式中，利用专利文献2等的方法取得与这样的变形对应的变形信息，并使用该变形信息计算覆盖率。另外，覆盖率只要是表示基准图像对判定对象图像的覆盖程度的信息即可，不限于比例/比率等。

[0122] 此外，可否删除的判定处理例如是与给定阈值的比较处理。如果增高阈值(例如，如果设定为接近100％的值)，则能够期待提高以下效果：抑制由于删除图像而无法观察的区域产生。另一方面，如果降低阈值，则能够减少精简处理后的精简图像列所包含的图像张数。上述抑制效果的提高和减少图像张数处于折衷的关系，能够通过阈值的设定进行控制，因此期望根据状况恰当地设定阈值。

[0123] 由此，通过第1图像精简处理删除图像后的结果是，能够抑制无法观察的被摄体区域产生，并且能够控制其抑制程度(强度)。这是因为，通过使用本实施方式的方法，如果使用与x％对应的值，作为上述用于可否删除判定处理的阈值，则即使删除了判定对象图像，也能够保证该判定对象图像上所拍摄的被摄体中的、x％被基准图像覆盖(x％的被摄体范围被拍摄到基准图像上)。另外，既然作为变形信息难以完全不产生误差地求出被摄体在图像上的变形，那么即使设定x作为阈值，判定对象图像中的、被基准图像覆盖的区域也有可能小于x％。

[0124] 此外，在输入了第1～第N(N为2以上的整数)图像作为输入图像列的情况下，第1图像精简处理部100选择第p图像作为第1基准图像，选择第q(q是满足p+2≦q≦N－1的整数)图像作为第2基准图像，并且选择第r(r是满足p+1≦r≦q－1的整数)图像作为判定对象图像。并且，根据第1基准图像与判定对象图像之间的变形信息、和第2基准图像与所述判定对象图像之间的所述变形信息，计算所述覆盖率，并根据覆盖率，进行判定对象图像可否删除的判定。该情况下，例如在将第p+1～第q－1图像判定为可删除的情况下，能够重新选择第q+1图像作为第2基准图像。

[0125] 由此，如图3(A)、图3(B)所示，能够在判定对象图像的前方和后方设定了基准图像后，进行基于覆盖率的图像精简处理。该情况下，由于使用两个基准图像，因此与设定1个基准图像的情况等相比，能够判定为可删除判定对象图像的可能性增高，能够减少精简处理后的图像张数。

[0126] 此外，第1图像精简处理部100在将第p+1～第q－1图像中的至少1个判定为不可删除的情况下，可以进行将被选择为第1基准图像的图像包含到第1精简图像列中的处理。而且，可以选择第q－1图像作为新的第1基准图像，再次进行处理。

[0127] 由此，能够将第1基准图像包含到第1精简图像列中。此外，第1基准图像和第2基准图像之间的判定对象图像中的至少1个是不可删除的情况，与过度增大了第1基准图像和第2基准图像的间隔的情形对应，因此应该将此时处于第2基准图像前方的(狭义地讲是处于前方且最近处的)图像保留在第1精简图像列中。因此，选择第q－1图像作为新的第1基准图像，反复同样的处理。

[0128] 但是，第1图像精简处理中的第2基准图像的重新选择(更新)处理不限于朝输入图像列的后方每次移动1个的方法。

[0129] 例如，考虑如下情况：从设定了与第p+2～第N图像对应的起点和终点的第2基准图像选择区间中，选择第2基准图像，根据第1基准图像和第2基准图像，进行判定对象图像可否删除的判定。此时，第1图像精简处理部100在将第p+1～第q－1图像判定为可删除的情况下，可以选择第2基准图像选择区间所包含的第x(x是满足x＞q的整数)图像作为新的第2基准图像，并且将第2基准图像选择区间的起点更新为第q图像。此外，在将第p+1～第q－1图像中的至少1个判定为不可删除的情况下，可以选择第2基准图像选择区间所包含的第y(y是满足y＜q的整数)图像作为新的第2基准图像，并且将第2基准图像选择区间的终点更新为所述第q图像。

[0130] 这里，第2基准图像选择区间具有表示第2基准图像的候选的性质，并且具有表示第1精简图像列所保留的相似度精简图像(狭义地讲，是已观察到的相似度精简图像的下一相似度精简图像)的候选的性质。因此，第2基准图像选择区间与相似度精简图像的搜索范围对应。

[0131] 由此，在更新第2基准图像时，能够灵活地决定新的第2基准图像的位置。将第2基准图像每次向后方移动1个的方法，说起来是从起始起逐个检查搜索范围、逐渐减小搜索范围的方法，因此根据正解的位置，计算量变得非常多。在这点上，通过使得可将不相邻的图像也选择为新的第2基准图像，能够利用一个单位的判定(一次第2基准图像选择处理和伴随于此的可否删除判定)大幅度减小搜索范围。因此，能够期待计算量的削减效果，能够减轻对系统的负荷，能够缩短处理时间。另外，既然向后方的搜索不限于选择相邻图像，那么在当前的第2基准图像的前方可能剩余未搜索范围，根据可否删除的判定结果，考虑在该未搜索范围内存在正解的情况。能够考虑该情况还进行向前方的搜索，此时的第2基准图像的选择与向后方的搜索同样，不限于相邻图像。

[0132] 此外，第1图像精简处理部100在第j(j为整数)图像与第2基准图像选择区间的终点对应的情况下，可以根据(q+j)/2的值设定x的值。或者，在第i(i为整数)图像与第2基准图像选择区间的起点对应的情况下，可以根据(i+q)/2的值设定y的值。

[0133] 由此，在选择新的第2基准图像时，能够使用二分搜索的方法。在向后方搜索的情况下，选择处于当前的第2基准图像与终点中间的图像，在向前方搜索的情况下，选择处于当前的第2基准图像与起点中间的图像。因此，能够使搜索范围(与第2基准图像选择区间的长度对应)减半，如果选择logN张图像作为第2基准图像，则可期待整个搜索范围的搜索结束。因此，能够将计算量级抑制为N×logN，在N非常大的情况下，与每次向后方移动1个的方法(计算量级为N2)相比，计算量的削减效果大。另外，(q+j)/2和(i+q)/2不限于为整数，因此有时不存在与各个值对应的图像。此时，例如可以考虑不超过(q+j)/2的最大整数、或比其大1的整数等。其中，第2基准图像的更新不限于基于二分搜索的方法，可以使用各种方法。例如，在一定程度地预测到搜索范围内的正解位置的情况等时，以能够重点搜索预测位置及其周边的方式选择第2基准图像，由此能够期待计算量的削减等。

[0134] 此外，第1图像精简处理部100可以根据基准图像与判定对象图像之间的变形信息，求出由基准图像覆盖判定对象图像的区域即覆盖区域，并计算覆盖区域在判定对象图像中所占的比例，作为覆盖率。

[0135] 由此，能够根据覆盖区域计算覆盖率。覆盖区域具体在图2中示出，表示在根据变形信息对基准图像进行了变形后、映射到判定对象图像上的区域。基准图像中所拍摄的被摄体区域、与所求出的覆盖区域中所拍摄的被摄体区域对应(如果是变形信息没有误差的理想状况，则一致)。因此，能够根据覆盖区域在判定对象图像中所占的比例(具体是各个区域的面积比)求出覆盖率。另外，对于覆盖区域，根据变形信息对基准图像进行变形而求出即可，所求出的覆盖区域不一定限于被映射到判定对象图像上。此外，覆盖区域不限于根据基准图像的整体求出，可以通过利用变形信息对基准图像的一部分进行变形而求出。

[0136] 此外，第2图像精简处理部200可以进行如下处理，作为第2图像精简处理：根据识别处理，将多个图像中的包含同一对象物体的连续图像、或多个图像中的被识别为同一场景的连续图像，设定为作为精简图像的提取对象的连续图像列，从所设定的连续图像列中提取至少1张图像作为精简图像。

[0137] 这里，从连续图像列中至少被提取1张的精简图像是指保留在第2精简图像列中的物体精简图像。

[0138] 由此，能够采用使用图5、图6说明的、设定连续图像列(片段)的方法，作为第2图像精简处理。连续图像列是指包含同一对象物体的连续图像、或被识别为同一场景的连续图像，因此通过从连续图像列中提取张数比该连续图像列所包含的图像张数少的图像，并设为物体精简图像，能够抑制对象物体或场景不被包含在精简图像列中的情况，同时降低图像的冗余性。另外，如果提高冗余性的降低效果，则可以减少从连续图像列中提取为精简图像的图像的张数，狭义地讲，可以提取1张图像。

[0139] 此外，第2图像精简处理部100可以根据对象物体的面积，从连续图像列中选择要提取的精简图像(物体精简图像)。

[0140] 由此，能够将对象物体在图像上被更大范围地拍摄的图像设为精简图像，因此能够使得用户观察等变得容易等。此外，还考虑以下状况：在即使面积较大但亮度值较小且变暗的情况、形状极端不宜观察的情况、由于位于图像周缘部而无法忽视畸变像差等畸变的情况下等，不可能用户一定容易观察到。因此，除了面积以外，也可以利用图像内的位置、颜色信息、纹理信息、识别的精度等图像识别或图像检测的信息。由此，能够进行考虑到对象物体的图像特征的图像精简，因此能够选择容易观察到所检测的对象物体的图像作为精简图像，能够更好地掌握对象物体。

[0141] 此外，合并处理部300可以进行如下处理，作为第1精简图像列和第2精简图像列的合并处理：选择第1精简图像列和第2精简图像列中的至少一方所包含的图像作为输出精简图像列的精简图像(输出精简图像)。

[0142] 由此，能够进行图7所示的合并处理。根据图7的流程图可知，本实施方式的合并处理能够通过简单的方法实现，因此有处理负荷轻的优点。

[0143] 此外，第1图像精简处理部100可以根据多个图像间的相似度，检测场景变化来进行第1图像精简处理。

[0144] 由此，通过进行基于场景变化的图像精简，删除连续的相似图像，因此能够删除基本相同的冗余场景，能够高效地削减图像数来生成图像精简列。另外，该处理使用多个图像间的相似度，因此只要检测到第1图像中所拍摄的第1场景、和第2图像中所拍摄的第2场景不同的情况就足够，不需要识别第1场景和第2场景具体与怎样的场景对应。与此相对，第2图像精简处理中的场景的识别处理在以下方面不同：需要判定作为处理对象的图像中所拍摄的场景是否与作为检测对象的场景一致，需要预先保持例如检测对象场景的特征量等。

[0145] 此外，多个图像可以是胶囊内窥镜图像。并且，第2图像精简处理部200将胶囊内窥镜图像中所拍摄的活体内的关注区域作为对象物体，进行识别处理。

[0146] 这里，关注区域是指对于用户而言，观察的优先顺序与其他区域相比、相对较高的区域，例如在用户是医生且希望治疗的情况下，是指拍摄有粘膜部和病变部的区域。另外，作为其他例，如果医生希望观察的对象是泡或便，则关注区域是拍摄有该泡部分或便部分的区域。即，用户要关注的对象根据其观察目的而不同，但无论怎样，在其观察时，对于用户而言观察的优先顺序与其他区域相比、相对较高的区域成为关注区域。

[0147] 由此，能够对使用胶囊内窥镜拍摄的图像应用本实施方式的图像精简处理。如上所述，在医疗领域中，必须极力抑制病变等的漏看。在第2图像精简处理中，通过将关注区域设为对象物体，能够将检测到关注区域的图像高效地保留到精简图像列中，但关注区域的检测未必成功。因此，即使拍摄到了关注区域，作为识别处理的结果，也有可能检测不到对象物体，产生不成为物体精简图像的候选而成为删除对象的图像。因此，一并采用使用了相似度(狭义地讲是覆盖率)的图像精简处理时的优点较大。特别在使用胶囊内窥镜的例子中，医生难以从外部操作处于活体内的胶囊内窥镜，无法高效地改变拍摄对象，因此可能取得多个相似的图像。而且，由于操作比较困难，因此假定不实时地逐一检查拍摄图像，而在大量蓄积拍摄图像后进行处理。因此，对胶囊内窥镜取得的图像列进行本实施方式的图像精简处理的优点较大。

[0148] 此外，第2图像精简处理部200可以根据通过特定波段的光的照射而取得的特殊光图像，进行活体内的关注区域的识别处理。

[0149] 由此，能够进行使用了特殊光图像的观察，因此能够提高第2图像精简处理中的对象物体的检测精度，能够抑制拍摄有重要物体(关注区域)的图像通过图像精简处理而被删除的情况。另外，即使能够期待对象物体的检测精度提高，也期望一并采用使用了相似度的第1图像精简处理，能够期待进一步的关注区域的漏看抑制效果。

[0150] 另外，特定的波段是比白色光的波段窄的频带。具体而言，特殊光图像是活体内图像，特定的波段可以是被血液中的血红蛋白吸收的波长的波段。更具体而言，可以是390nm～445nm或530nm～550nm的波段。该波段与被称作NBI(Narrow Band Imaging：窄带成像)的窄带光观察对应。

[0151] 由此，能够观察活体的表层部和位于深部的血管的结构。并且，通过将所得到的信号输入特定通道(R、G、B)，能够利用褐色等显示扁平上皮癌等难以用通常光视觉辨认的病变等，能够抑制病变部的漏看。另外，390nm～445nm或530nm～550nm是根据被血红蛋白吸收这样的特性和分别到达活体的表层部或深部这样的特性而得到的数字。

[0152] 此外，特定波段的光不限于与NBI对应，也可以与被称作AFI(Auto Fluorescence Imaging：自动荧光成像)的荧光观察或被称作IRI(Infra Red Imaging：红外成像)的红外光观察对应。

[0153] 此外，以上的本实施方式还可应用于程序，该程序使计算机作为以下部件发挥功能：第1图像精简处理部100，其通过基于多个图像间的相似度的第1图像精简处理，取得第1精简图像列；第2图像精简处理部200，其通过针对多个图像中的各图像的、基于对象物体或场景的识别处理的第2图像精简处理，取得第2精简图像列；以及合并处理部300，其进行第1精简图像列和第2精简图像列的合并处理、或第1图像精简处理和第2图像精简处理的合并处理，取得输出精简图像列。

[0154] 由此，能够实现进行上述图像精简处理的程序。例如，图像精简处理如果在PC等信息处理系统中进行，则该程序被PC的处理部(CPU或GPU等)读出并执行。并且，上述程序被记录在信息存储介质中。这里，作为信息记录介质，可以假设DVD或CD等光盘、磁光盘、硬盘(HDD)、非易失性存储器或RAM等存储器等、可由PC等信息处理系统读取的各种记录介质。

[0155] 3.第2实施方式

[0156] 接着说明第2实施方式。本实施方式的图像精简装置的系统结构例与第1实施方式中使用的图1相同，因此省略详细的说明。与第1实施方式相比，合并处理部300中的合并处理不同，因此详细叙述该点。

[0157] 取得基于第1图像精简处理的第1精简图像列、和基于第2图像精简处理的第2精简图像列的方面与第1实施方式相同。在本实施方式中，合并两个精简图像列之前，根据第1精简图像列进行第2精简图像列的更新处理。

[0158] 图8(A)、图8(B)是说明第2实施方式的合并处理的图。在图8(A)中，利用连续的横向直线表示输入图像列(输入图像列所包含的多个图像)。此外，纵向的线表示第2图像精简处理的结果、即所选择的物体精简图像。此外，图8(A)中的横向箭头表示对该范围内所包含的图像连续检测到对象物体等，1个个箭头与连续图像列(片段)对应。同样，图8(B)的横向直线表示输入图像列，纵向的线表示相似度精简图像。

[0159] 在本实施方式的合并处理中，将被设定为第2图像精简处理的结果的多个连续图像列汇总到1个结合连续图像列中，并从该结合连续图像列中提取至少1张精简图像，由此削减第2精简图像列所包含的物体精简图像的张数。

[0160] 说明具体例子。首先，选择第1精简图像列所包含的相似度精简图像中的相邻两个图像。然后，在这两个相似度精简图像之间，包含有多个在第2图像精简处理中设定的连续图像列的情况下，进行能否结合这多个连续图像列的判定。

[0161] 或者，可以不将相邻的相似度精简图像作为基准，而选择相邻的连续图像列，根据这两者是否处于相邻的相似度精简图像之间，进行是否能够结合连续图像列的判定。

[0162] 这里，连续图像列处于两个相似度精简图像之间是指，只要该连续图像列所包含的至少1张图像处于两个相似度精简图像之间即可，没必要使连续图像列的整个图像列都处于两个相似度精简图像之间。

[0163] 此外，提取连续图像列所包含的给定图像，在提取出的图像处于两个相似度精简图像之间的情况下，可以将作为提取方的连续图像列设为结合判定的对象。该情况下，被设为提取图像的图像典型的是被选择为物体精简图像的图像，但也可以是连续图像列所包含的其他图像。

[0164] 使用图8(A)、图8(B)示出例子。着眼于C1和C2作为图8(B)中的相邻的两个相似度精简图像的情况下，图8(A)中示出的连续图像列B1和连续图像列B2根据上述定义，均包含在C1与C2之间。因此，针对B1和B2进行是否能够结合的判定。

[0165] 图9(A)示出连续图像列的可否结合判定的具体例。使用相似度精简图像、和从作为处理对象的多个连续图像列中选择出的物体精简图像进行判定。具体而言，对相似度精简图像进行变形，并分别映射到多个物体精简图像(至少作为结合判定对象的连续图像列的数量的张数)，求出覆盖区域。该处理与使用了覆盖率的第1图像精简处理同样，可以根据图像间的变形信息进行。然后，对物体精简图像中的各图像，进行检测到的对象物体是否处于覆盖区域内的判定，如果在所有物体精简图像中，对象物体处于覆盖区域内，则判定为能够将作为对象的连续图像列结合到结合连续图像列。相似度精简图像、和各覆盖区域拍摄了同一被摄体范围，因此在针对所有图像，对象物体处于覆盖区域内的情况下，可以说该对象物体是同一物体的可能性高。即，关于该对象物体，不需要从多个连续图像列中提取至少连续图像列的数量的物体精简图像，只要在对该多个连续图像列进行结合后，从结合连续图像列中提取至少1张物体精简图像即可。

[0166] 另外，只要不变更作为选择基准的提取量，则从结合连续图像列(与图8(A)的B1和B2的并集对应)中提取的物体精简图像与从结合前的连续图像列中提取出的物体精简图像中的任意一个一致。即，如果用图8(A)的例子来说，从结合连续图像列中提取B3或B4中的任意一个作为物体精简图像，因此连续图像列的结合处理狭义地讲，与删除物体精简图像的一部分的处理对应。

[0167] 另外，相似度精简图像不仅处于前方，还处于后方，因此对后方，也如图9(B)那样进行相同的处理。并且，如果在图9(A)和图9(B)的任意一方的处理中判定为可结合，则进行连续图像列的结合处理即可。

[0168] 图10是说明本实施方式的合并处理的流程图。如图10所示，合并处理成为S401～S408的循环，针对输入图像列的所有图像进行S401～S407的处理。

[0169] 具体而言，进行输入图像列的第i个图像是否包含在第1精简图像列中的判定(S402)。在“是”的情况下，选择第i个图像作为输出精简图像(S403)。在S402中的“否”的情况下，进行第i个图像是否包含在第2精简图像列中的判定(S404)。在S404中的“否”的情况下，将第i个图像设为删除图像(S407)。在S404中的“是”的情况(即第i个图像是物体精简图像的情况)下，关于第i个图像、和前1个物体精简图像，进行基于与相似度精简图像之间的关系的判定(S405)。具体而言，如以上使用图8(A)、图8(B)叙述那样，在第i个图像和前1个物体精简图像处于相邻的相似度精简图像之间的情况下，成为“是”。在S405中的“否”的情况下，不进行连续图像列的结合，因此不存在第i个图像从第2精简图像列中被删除的情况。因此，转移到S403，选择第i个图像作为输出精简图像。

[0170] 此外，在S405中的“是”的情况下，存在能够结合连续图像列的可能性，因此进行图9(A)、图9(B)所示的判定(S406)。在S406中的“否”的情况下，不进行连续图像列的结合，因此不存在第i个图像从第2精简图像列中被删除的情况。因此，转移到S403，选择第i个图像作为输出精简图像。另一方面，在S406中的“是”的情况下，结合两个连续图像列，因此转移到S407，将第i个图像设为删除图像。然后，将i＝0作为初始值，在将i增计数的同时，对输入图像列整体进行该处理。

[0171] 另外，根据1次作为结合对象的连续图像列限定于两个的方面、在结合了连续图像列时删除与后方的连续图像列对应的物体精简图像的方面等可知，图10的流程图只不过示出本实施方式的处理的一例，当然也可以通过与图10不同的处理实现本实施方式的方法。

[0172] 在以上的本实施方式中，合并处理部300根据第1精简图像列，将在第2图像精简处理中设定的多个连续图像列结合成1个结合连续图像列，并从结合连续图像列中提取至少1张图像，作为精简图像(物体精简图像)，由此进行第2精简图像列的更新处理。

[0173] 由此，能够根据第1精简图像列，更新第2精简图像列。更新处理狭义地讲，是指删除物体精简图像的一部分，从而削减第2精简图像列所包含的图像张数的处理。另外，具体而言，连续图像列的结合处理可以进行图8(A)、图8(B)和图9所示的处理，也可以通过其他方法进行。

[0174] 此外，合并处理部300可以进行如下处理，作为第1精简图像列和第2精简图像列的合并处理：选择第1精简图像列、和更新处理后的第2精简图像列中的至少一方所包含的图像作为输出精简图像列的精简图像(输出精简图像)。

[0175] 由此，能够使用更新处理后的第2精简图像列，进行与第1精简图像列的合并处理。由此，保留使用了相似度的图像精简处理、和使用了对象物体等的识别处理的图像精简处理这两者的优点，与不进行更新处理的情况(第1实施方式等)相比，能够削减输出精简图像列所包含的图像的张数，能够提高利用输出精简图像列的用户的便利性等。

[0176] 4.第3实施方式

[0177] 接着说明第3实施方式。图11示出本实施方式的图像精简装置的系统结构例。如图11所示，基本的结构与第1实施方式相同，但在第1图像精简处理部100与合并处理部300的连接是双向的方面不同。

[0178] 在本实施方式中，合并处理部300首先取得第2图像精简处理的结果，并根据所取得的结果，使第1图像精简处理部100执行第1图像精简处理。

[0179] 图12(A)～图12(C)示出具体例。关于图12(A)～图12(C)的表现，与图8(A)、图8(B)相同。如图12(A)所示，与第1实施方式同样，根据对象物体或场景的识别处理，从例如连续图像列中提取至少1张精简图像，由此取得第2精简图像列。此外，对于第1图像精简处理，如果是第1实施方式等，则如图12(B)所示，在选择了S(i)作为相似度精简图像(第1基准图像)的情况下，在设定了第2基准图像后，进行基于覆盖率的判定，由此搜索作为下一相似度精简图像的S(i+1)。

[0180] 但是，即使是根据相似度(覆盖率)判定为可删除的图像，只要是拍摄有作为观察对象的对象物体、且代表连续图像列的图像，则应该将其选择为输出精简图像，在第1实施方式中也进行了那样的合并处理。基于该观点考虑的话，在第1图像精简处理中，不仅使用相似度，还使用第2图像精简处理的结果选择相似度精简图像(或第1基准图像)，由此可期待相同的效果。

[0181] 因此，在本实施方式中，在设定相似度精简图像(第1基准图像)后，搜索下一相似度精简图像时，与相似度无关地，将作为物体精简图像的图像选择为相似度精简图像。例如图12(B)所示，由E1表示的图像在相似度的判定中应该被设为删除图像，但如图12(A)的D1所示，选择了该图像作为物体精简图像。因此，如图12(C)所示，在本实施方式的第1图像精简处理中，将该图像设定为相似度精简图像S(i+1)。

[0182] 然后也同样地，在相似度满足了给定条件的情况、或找到了第2精简图像列的精简图像的情况下，接着设定精简图像即可。如果是图12(C)的例子，则S(i+2)是根据相似度而被选择的图像，且S(i+3)是根据物体精简图像而被选择的图像。狭义的相似度精简图像(第1实施方式的第1图像精简处理的结果)在图像列中的位置取决于其他相似度精简图像(狭义地讲，是前1个相似度精简图像)进行确定。因此，在加进第2图像精简处理的结果来选择了相似度精简图像的情况下，根据图12(B)、图12(C)可知，与不使用第2图像精简处理的结果的情况相比，通常被选择为相似度精简图像的图像的差异较大。

[0183] 另外，能够通过基于第2图像精简处理的结果的第1图像精简处理，取得考虑了对象物体等的识别处理和相似度两者的图像列，因此最终的输出精简图像列使用第1图像精简处理的结果即可。

[0184] 图13是说明本实施方式的合并处理的流程图。实际上是说明基于第2图像精简处理的结果的第1图像精简处理的流程图，与图4接近。

[0185] 关于图13的S501～S511，与图4的S101～S111相同，因此省略详细的说明。图13增加了S512～S514，作为图4的S505的接下来的步骤，在S512中，进行处理对象的第i个图像是否成为第2图像精简处理的结果、即物体精简图像的判定。在S512中的“是”的情况下，退出S505～S508的循环，将第i个图像设为下一相似度精简图像(S513)，并且设为IS＝i(S514)，返回S502，将在S514中设定的相似度精简图像设定为新的第1基准图像，继续处理。

[0186] 在以上的本实施方式中，合并处理部300进行如下处理，作为第1图像精简处理和第2图像精简处理的合并处理：使第1图像精简处理部根据第2图像精简处理的结果，执行第1图像精简处理。

[0187] 由此，能够合并基于图像间的相似度判定、和对象物体或场景的识别处理这些不同观点进行的图像精简处理，取得输出精简图像列，因此能够进行兼具有两个图像精简处理的优点的图像精简处理。

[0188] 此外，第1图像精简处理部100可以进行如下处理，作为第1图像精简处理：根据合并处理，从多个图像中选择第2精简图像列所包含的图像(物体精简图像)作为基准图像，并且从多个图像中选择判定对象图像，根据基准图像与判定对象图像之间的变形信息，计算基准图像对判定对象图像的覆盖率作为相似度，根据覆盖率进行判定对象图像可否删除的判定。

[0189] 由此，作为第1图像精简处理和第2图像精简处理的合并处理，具体而言，能够根据第2图像精简处理的结果，进行第1图像精简处理中的基准图像的选择处理。更具体而言，直接将第2精简图像列所包含的物体精简图像设为基准图像，并且在物体精简图像以外的图像中，如基本那样根据相似度进行处理即可。

[0190] 此外，合并处理部300可以通过合并处理，取得由第1图像精简处理部生成的第1精简图像列，作为输出精简图像列。

[0191] 由此，能够将基于第2图像精简处理的第1图像精简处理的结果直接设为输出精简图像列。如上所述，在本实施方式的方法中，选择作为第2图像精简处理的结果而被设为精简图像(物体精简图像)的图像，作为第1图像精简处理中的精简图像(相似度精简图像)。因此，在第1图像精简处理中，保留基于对象物体等的识别处理的图像，因此可以不考虑第1精简图像列和第2精简图像列的合并处理等。

[0192] 5.第4实施方式

[0193] 接着说明第4实施方式。本实施方式的图像精简装置的系统结构例与第3实施方式中使用的图11相同，因此省略详细的说明。在本实施方式中，使用组合第3实施方式的方法、和第2实施方式中的第2精简图像列的更新处理(连续图像列的结合处理)后的方法。具体而言，与第3实施方式同样，进行基于第2图像精简处理的结果的第1图像精简处理，并根据作为其结果而取得的第1精简图像列，进行是否能够更新第2精简图像列的判定。在进行了更新处理的情况下，基于更新处理后的第2图像精简处理的结果进行第1图像精简处理，并取得作为其结果而取得的新的第1精简图像列，作为输出精简图像列。

[0194] 图14(A)～图14(E)示出具体例。图14(A)表示最初取得的第2精简图像列，图14(B)表示不使用第2图像精简处理的结果的情况下的第1精简图像列。在本实施方式中，与第3实施方式同样，使用第2图像精简处理的结果进行第1图像精简处理，因此所取得的第1精简图像列成为图14(C)。

[0195] 在取得了图14(C)的第1精简图像列后，使用其进行能否执行图14(A)的第2精简图像列的更新处理的判定。具体而言，在第2实施方式中，如上所述，进行能否将多个连续图像列结合成结合连续图像列的判定。例如，图14(A)的连续图像列F1和F2均包含在相邻的相似度精简图像G1与G2之间，因此成为结合判定的对象。

[0196] 其结果，在如图14(D)那样更新了第2精简图像列的情况下，图14(A)的F3所示的物体精简图像被删除，因此可以不在输出精简图像中包含与F3对应的图像。即，不需要图14(C)的第1精简图像列的G1，因此对于第1精简图像列，也需要进行变更。具体而言，可以根据作为更新处理后的第2精简图像列的图14(D)，再次进行第1图像精简处理，其结果，取得图14(E)作为新的第1精简图像列。

[0197] 另外，在取得图14(E)时，可以对输入图像列整体进行处理。其中，通过更新了第2精简图像列，可知需要删除图14(C)的哪个图像，因此关于作为删除对象的G1的前1个相似度精简图像(G3)之前的图像，没有变化，还可知不进行新的第1图像精简处理。因此，可以针对可能发生变化的部分、即图14(C)的G3示出的图像之后进行处理。

[0198] 图15是说明本实施方式的合并处理的流程图。在开始该处理后，首先进行第2图像精简处理(S601)。S601的处理与图5的处理对应。接着，根据第2图像精简处理的结果(狭义地讲是第2精简图像列)，进行第1图像精简处理(S602)。S602的处理与图13的处理对应。

[0199] 然后，根据第1精简图像列，进行第2精简图像列的更新处理(S603)。S603的处理与图10的S404～S406等处理对应。然后，更新处理后进行第2精简图像列是否发生了变化(狭义地讲，是否删除了第2精简图像列的精简图像的一部分)的判定(S604)，在发生了变化的情况下，根据更新处理后的第2精简图像列，进行第1图像精简处理(S605)。在S605的处理后、或S604中的“否”的情况下，转移到S606，将对应的第1精简图像列设定为输出精简图像列，并结束处理。在S604中的“是”的情况下，将S605中的处理结果设定为输出精简图像列，在S604中的“否”的情况下，将S602中的处理结果设定为输出精简图像列。

[0200] 另外，在将基于第2图像精简处理的结果的第1图像精简处理设为步骤A、基于第1精简图像列的第2精简图像列的更新处理设为步骤B的情况下，在以上的说明中，设为执行最初的步骤A(与图15的S602对应)和使用了其结果的步骤B(S603)，并使用步骤B的结果进行第2次步骤A(S605)。其中，根据输入图像列，还可能使用第2次步骤A的结果，执行第2次步骤B(更新处理的结果是第2精简图像列发生变化)。

[0201] 因此，作为本实施方式的变形例，针对步骤A和步骤B，可以在加进前1个步骤的结果的同时，反复执行任意次数。该情况下，可以在进行第N次(N为2以上的整数)步骤A后的阶段结束处理，并将其结果设为输出精简图像列。或者，在检测到无法执行步骤B(或执行了但第2精简图像列不发生变化)的情况下，可以将紧接其之前的步骤A的结果设为输出精简图像列。

[0202] 在以上的本实施方式中，合并处理部300通过合并处理，根据由第1图像精简处理部生成的第1精简图像列，判定可否执行削减第2精简图像列所包含的图像张数的第2精简图像列的更新处理。

[0203] 由此，能够采用使用了第3实施方式的方法的情况下的第1精简图像列(第3实施方式中直接成为输出精简图像列)，判定可否进行在第2实施方式中使用的第2精简图像列的更新处理。在求出了第1精简图像列的时刻，如在第3实施方式中叙述那样，进行了第1图像精简处理和第2图像精简处理的合并处理，但结果未考虑所包含的图像的张数削减。通过减少输出精简图像列的图像张数，实现了用户的便利性提高，因此在尝试图像的张数削减方面存在优点，这里设为采用在第2实施方式中使用的第2精简图像列的更新处理(具体为连续图像列的结合处理等)。

[0204] 此外，合并处理部300可以在判定为可执行第2精简图像列的更新处理的情况下，进行第2精简图像列的更新处理。并且，进行如下处理，作为第1图像精简处理和第2图像精简处理的合并处理：使第1图像精简处理部根据更新处理后的第2图像精简处理的结果，执行第1图像精简处理。

[0205] 由此，能够进行基于更新处理后的第2图像精简处理结果(更新后的第2精简图像列)的第1图像精简处理。能够通过进行第2精简图像列的更新处理，削减第2精简图像列所包含的物体精简图像的张数(从图14(A)被削减为图14(D))，但在与输出精简图像列对应的第1精简图像列(图14(C))中未直接反映删除处理。此外，在通过更新处理删除了图14(A)中的F3的情况下，从第1精简图像列中单纯地删除对应的图像(图14(C)的G1)是不理想的。之所以这样，是因为根据图14(B)(不考虑第2图像精简处理的第1图像精简处理的结果)可知，作为H3的下一相似度精简图像，当不选择H2(或比H2更靠近H3的图像)时，基于相似度的观点，无法覆盖其间的图像。但是，在图14(C)中删除G1时，G3的下一精简图像成为G2，间隔过度增大，不能完全覆盖G3与G2间的图像。因此，在如图14(A)至图14(D)那样，进行了针对第2精简图像列的更新处理的情况下，理想的是，不从图14(C)中单纯地删除G1，而使用更新处理后的第2精简图像列，再次进行第1图像精简处理来取得图14(E)。

[0206] 此外，合并处理部300可以通过合并处理，取得由第1图像精简处理部生成的第1精简图像列，作为输出精简图像列。

[0207] 由此，能够将通过基于更新处理后的第2精简图像列的第1图像精简处理而取得的第1精简图像列设为输出精简图像列。在本实施方式中，也与第3实施方式同样，在第1图像精简处理中，保留基于对象物体等的识别处理的图像，因此可以不考虑第1精简图像列和第2精简图像列的合并处理等。另外，还考虑尝试第2精简图像列的更新处理后的结果是，在处理前后没有变化(无法削减物体精简图像)的情况。该情况下，即使进行了基于更新处理后的第2精简图像列的第1图像精简处理，输出结果与基于更新处理前的第2精简图像列的第1图像精简处理相比也未发生变化，因此如图15的流程图所示，理想的是跳过再次的第1图像精简处理。该情况下，作为输出精简图像列而被取得的第1精简图像列基于更新处理前的第
2精简图像列(图15中的S602的处理结果)。

[0208] 6.第5实施方式

[0209] 对第5实施方式进行说明。具体而言，在说明图像处理装置的系统结构例、并使用流程图说明了处理流程后，说明第1可否删除判定处理、第2可否删除判定处理的各处理的详细情况。

[0210] 6.1系统结构例

[0211] 图17示出本实施方式中的图像处理装置的系统结构例。图像处理装置包含处理部100、图像列取得部30、存储部50。

[0212] 处理部100通过针对图像列取得部30取得的图像列删除该图像列所包含的多个图像的一部分，进行图像精简处理。该处理部100的功能能够通过各种处理器(CPU等)、ASIC(门阵列等)等硬件，或者程序等实现。

[0213] 图像列取得部30取得作为图像精简处理对象的图像列。认为要取得的图像列是按照时间序列顺序排列的RGB三通道图像。或者，也可以是通过排列成横向一列的摄像设备拍摄的、如空间上排列的图像列那样在空间上连续的图像列。另外，构成图像列的图像不限于RGB三通道图像，也可以使用Gray单通道图像等、其他颜色空间。

[0214] 存储部50除了存储图像列取得部30取得的图像列以外，还作为处理部100等的工作区域，其功能能够通过RAM等存储器或HDD(硬盘驱动器)等实现。

[0215] 此外，如图17所示，处理部100可以包含关注图像列设定部1001、第1基准图像选择部1002、第1判定对象图像选择部1003、第1可否删除判定部1004、部分图像列设定部1005、第2基准图像选择部1006、第2判定对象图像选择部1007和第2可否删除判定部1008。另外，处理部100不限于图17的结构，可以实施省略其中一部分结构要素或追加其他结构要素等各种变形。并且上述各部件是在将由处理部100执行的图像精简处理分割为多个子例程时，为了说明各子例程而设定的，处理部100未必具有上述各部件作为结构要件。

[0216] 关注图像列设定部1001从构成图像列取得部30所取得的图像列(以下为了明确与关注图像列以及精简图像列等的区别，也记述为取得图像列)的多个图像中提取关注图像，并设定由提取出的1个或多个关注图像构成的关注图像列。这里，关注图像是指例如拍摄有关注区域(病变部等)的图像。关注区域的检测假定由处理部100进行，例如通过对取得图像列的各图像进行给定的图像处理，判定是否拍摄有关注区域，并将拍摄有关注区域的图像设为关注图像即可。关注区域的检测方法可考虑各种，例如可以从图像中提取边缘成分，也可以进行根据像素值判定颜色等的处理。

[0217] 但是，关注区域的检测不限于在图像处理装置中进行，例如图像列取得部30可以取得如下的图像列，该图像列对各图像赋予了表示是否为关注图像的元数据而成。该情况下，关注图像列设定部1001不需要进行关注区域的检测处理，而根据元数据的读出处理设定关注图像列。

[0218] 第1基准图像选择部1002从关注图像列的多个图像中选择第1基准图像。第1判定对象图像选择部1003选择取得图像列的多个图像中的、与第1基准图像不同的图像，作为第1判定对象图像。另外，狭义地讲，第1判定对象图像选择部1003从取得图像列的多个图像中的、不是关注图像的图像中，选择第1判定对象图像。

[0219] 第1可否删除判定部1004根据所选择的第1基准图像和第1判定对象图像，判定第1判定对象图像可否删除。详细情况将后述。

[0220] 部分图像列设定部1005根据第1可否删除判定部1004中的第1可否删除判定处理的结果，设定由取得图像列的部分图像构成的部分图像列。部分图像列的数不限于1个，也可以设定多个部分图像列。详细情况将后述。

[0221] 在设定有多个部分图像列的情况下，针对各部分图像列，独立地进行第2基准图像选择部1006、第2判定对象图像选择部1007、第2可否删除判定部1008中的处理。具体而言，从部分图像列的多个图像中，选择第2基准图像。第2判定对象图像选择部1007选择部分图像列的多个图像中的、与第2基准图像不同的图像，作为第2判定对象图像。第2可否删除判定部1008根据所选择的第2基准图像和第2判定对象图像，判定第2判定对象图像可否删除。关于各处理的详细情况将后述。

[0222] 6.2处理流程

[0223] 图18示出对本实施方式的图像精简处理进行说明的流程图。在开始该处理后，首先从取得图像列的多个图像中提取关注图像，设定关注图像列(S701)。然后，从关注图像列中选择第1基准图像(S702)。在初次进行S702的处理的情况下，将关注图像列所包含的图像中的起始图像设为第1基准图像即可。如果是图16(A)的例子，则由J1表示的关注图像成为最初的第1基准图像。此外，在S702的第2次之后的处理中，根据当前的第1基准图像在关注图像列中的位置，进行更新第1基准图像的处理。具体而言，在关注图像列中，将当前的第1基准图像后方的1个图像设为新的第1基准图像即可。在图16(A)的例子中，如果当前的第1基准图像是J1的图像，则选择J2的图像，作为新的第1基准图像。

[0224] 在选择了第1基准图像后，从取得图像列中选择第1判定对象图像。这里，在初次进行S702的处理的情况下，将包含在取得图像列内、且未包含在关注图像列内的图像中的处于取得图像列的最前方的图像设为第1判定对象图像。此外，在S703的第2次之后的处理中，根据当前的第1判定对象图像在取得图像列中的位置，进行更新第1判定对象图像的处理。具体而言，可以将包含在取得图像列内、且未包含在关注图像列内的图像中的在取得图像列中处于当前的第1判定对象图像的之后1个的图像设为新的第1判定对象图像。

[0225] 在选择了第1基准图像、和第1判定对象图像后，进行第1可否删除判定处理(S704)。这里，进行基于覆盖率的判定，具体的处理将后述。在S704的处理后，存储该时刻的第1判定对象图像是可删除还是不可删除的信息，并返回S703。通过反复S703、S704中的处理，依次选择包含在取得图像列内、且未包含在关注图像列内的图像，作为第1判定对象图像，并对所选择的各图像，求出可删除或不可删除那样的结果。

[0226] 针对包含在取得图像列内、且未包含在关注图像列内的图像中的处于取得图像列的最后的图像，进行S704的判定后，返回S703时不存在要选择为第1判定对象图像的图像，从而返回S702。在S702中，进行第1基准图像的更新处理，在更新后的情况下反复S703、S704的处理，由此使用新的第1基准图像，进行包含在取得图像列内、且未包含在关注图像列内的所有图像(在图16(A)的例子中，是J1～J3以外的所有图像)可否删除的判定。

[0227] 然后，将关注图像列的最后的图像(图16(A)的例子中为J3)设为第1基准图像，在基于使用了该第1基准图像的S703、S704的处理的可否删除判定结束并返回S702时，在S702中不存在要选择为第1基准图像的图像，结束第1可否删除判定处理并转移到S705。

[0228] 通过以上的处理，对包含在取得图像列内、且未包含在关注图像列内的各图像，进行可否删除的判定。另外，在具有多个关注图像的情况下，针对各图像多次进行可否删除判定，但这里，设为至少1次被判定为可删除的图像是可删除的。之所以这样，是因为在本实施方式中设为将关注图像全部保留在精简图像列中，只要是被该关注图像中的任何1个覆盖的图像，则即使不被其他关注图像覆盖，删除也不会有问题。

[0229] 其结果，将设为可删除的图像确定为不保留在精简图像列中。但是，关于被设为不可删除的图像，不能确定为保留在精简图像列中，进而进行第2可否删除判定处理。之所以这样，是因为被设为不可删除的图像只是未被关注图像覆盖，只要由被设为不可删除的图像中的给定图像覆盖其他图像，则即使删除该其他图像也不会有问题。

[0230] 这里，在第1可否删除判定处理中为不可删除的所有图像不一定连续。例如，在第1可否删除判定处理的结果是如图16(C)所示那样，根据关注图像求出可删除的区间的情况下，如I2～I4所示，将不可删除的图像分成3个部分。此时，对不可删除的图像整体进行可否删除判定处理是没有效率的。之所以这样，是因为多个部分中的、第1部分和第2部分在取得图像列中远离，因此假定作为拍摄对象的被摄体也发生了变化的可能性高、由于第1部分的图像而使得第2部分的图像成为可删除的可能性低。即，进行跨越多个部分的处理的必要性低，在各部分进行封闭的处理即足够。

[0231] 因此这里，在取得图像列中，检测在第1可否删除判定处理中被设为不可删除的图像连续的区间，设定由与该区间对应的图像构成的部分图像列(S705)。在图16(D)的例子中，设定I5～I7的3个部分图像列。另外，在第1可否删除判定处理中被设为不可删除的图像为1张，在不连续的情况下，不设定为部分图像列。之所以这样，是因为既然对各部分图像列进行封闭的处理，那么即使设定由1张图像构成的部分图像列，也不会发生由于部分图像列的给定图像而能够删除其他图像的状况。因此，对于在第1可否删除判定处理中被设为不可删除的不连续的1张图像，在不进行第2可否删除判定处理的情况下，将其确定为保留在精简图像列中的图像。

[0232] 在设定部分图像列后，选择该部分图像列的起始图像作为第2基准图像(S706)。然后，从部分图像列所包含的图像中的、第2基准图像以外的图像中，选择第2判定对象图像(S707)。这里，在第2基准图像的设定后初次进行S707的处理的情况下，将第2基准图像的后方1个图像(部分图像列的第2个图像)设为第2判定对象图像。此外，在S708后进行S707的处理的情况下，根据当前的第2判定对象图像在部分图像列中的位置，进行第2判定对象图像的更新处理。具体而言，在部分图像列中，将当前的第2判定对象图像的后方1个图像设为新的第2判定对象图像即可。

[0233] 在选择了第2基准图像、第2判定对象图像后，进行第2可否删除判定处理(S708)。在本实施方式中与第1可否删除判定处理同样，进行基于覆盖率的判定处理，详细将后述。

[0234] 在S708中判定为可删除的情况下，返回S707，更新第2判定对象图像。反复S707、S708的处理，在将部分图像列中的最后的图像设为第2判定对象图像时，在S708中设为可删除并返回S707的情况下，通过第2基准图像覆盖部分图像列的其他所有图像，因此设为将第2基准图像保留在精简图像列中、且删除其他所有图像，结束对该部分图像列的处理。具体而言，在S707中不存在要选择为第2判定对象图像的图像，返回S705。

[0235] 另一方面，在至少1个第2判定对象图像被设为不可删除的情况下，该时刻的第2判定对象图像无法由第2基准图像覆盖，因此需要保留在精简图像列中。因此，在S708中的不可删除的情况下，返回S705，将由该时刻的第2判定对象图像、和部分图像列中的其之后的图像构成的图像列设定为新的部分图像列。通过对该新的部分图像列进行S706～S708的处理，能够将新的部分图像列的起始的图像、即在上述处理中被设为不可删除的第2判定对象图像设定为第2基准图像(能够保留在精简图像列中)。

[0236] 在S705中，依次选择作为第1可否删除判定处理的结果而被设定的1个或多个部分图像列、和作为针对这些部分图像列的S706～S708的处理结果而重新设定的部分图像列。并且，在对所有部分图像列结束了处理后(如果在S705中不存在要选择的部分图像列)，结束本实施方式的图像精简处理。另外，在本实施方式中，将设定为第2基准图像的图像保留在精简图像列中，且删除其他图像。

[0237] 图19(A)～图19(D)图示了针对部分图像列中的1个图像列的处理流程，所述部分图像列是作为第1可否删除判定处理的结果而被设定的。如图19(A)所示，在将具有N张图像的图像列作为第1可否删除判定处理的结果设定为部分图像列的情况下，首先选择第1个图像作为第2基准图像、选择第2个图像作为第2判定对象图像。然后，判定第2判定对象图像可否删除。

[0238] 在将第2判定对象图像判定为可删除的情况下，重新选择第2判定对象图像。具体而言，成为使第2判定对象图像的位置向后方移位的处理，如图19(B)所示，选择第3个图像作为第2判定对象图像。进而，判定新的第2判定对象图像可否删除，在找到被判定为不可删除的第2判定对象图像之前，更新被选择为第2判定对象图像的图像。

[0239] 如图19(C)所示，在将第2个～第k－1个图像判定为可删除、第k个图像判定为不可删除的情况下，第2个～第k－1个图像被第2基准图像一定程度地覆盖，因此进行删除处理，而不将这些图像包含到精简图像列中。与此相对，第k个图像无法被第2基准图像充分覆盖，因此需要保留在精简图像列中。因此，这里将第k个图像和其之后的图像(第k～N个图像)设定为新的部分图像列。

[0240] 然后，对该新的部分图像列再次反复图19(A)～图19(C)的处理即可。具体而言，如图19(D)所示，对由N－x+1张图像构成的新的部分图像列，将起始(图19(C)等中为第k个)图像作为第2基准图像、第2个(图19(C)等中为第k+1个)图像作为第2判定对象图像，进行处理。之后的处理相同，如果将第2判定对象图像判定为可删除，则选择下一图像作为新的第2判定对象图像。此外，如果将第2判定对象图像判定为不可删除，则将第2基准图像保留在精简图像列中，删除被判定为可删除的图像，将该时刻的第2判定对象图像之后的图像设定为新的部分图像列。最终，在到部分图像列的最后图像为止全部被判定为可删除的情况、或者部分图像列所包含的图像仅为1张而无法设定第2判定对象图像的情况下，结束处理。

[0241] 另外，在图18的流程图中，在第1可否删除判定处理的结果是设定了多个部分图像列的情况下，逐个地依次处理该多个部分图像列，但不限于此。在处理部100的结构适于并列处理(例如使用具有多个内核的CPU作为处理部100)的情况下、通过多个计算机构成本实施方式的图像处理装置并在各计算机中进行分散处理的情况下等，也可以并列地对多个部分图像列进行第2可否删除判定处理。这样，能够缩短第2可否删除判定处理所需要的时间等。

[0242] 6.3第1可否删除判定处理

[0243] 接着，作为第1可否删除判定处理的具体例，对使用了覆盖率的处理进行说明。如图20所示，第1可否删除判定部1004可以包含变形信息取得部1009、覆盖区域计算部1010、覆盖率计算部1011和阈值判定部1012。但是，第1可否删除判定部1004不限于图20的结构，可以实施省略其中一部分结构要素或追加其他结构要素等各种变形。

[0244] 变形信息取得部1009取得两个图像间的变形信息。关于变形信息，如上所述，变形信息取得部1009取得由第1基准图像选择部1002选择的第1基准图像、与由第1判定对象图像选择部1003选择的第1判定对象图像之间的变形信息。

[0245] 覆盖区域计算部1010利用两个图像间的变形信息(变形参数)，将一个图像映射到另一个图像上，求出覆盖区域。覆盖率计算部1011根据覆盖区域计算覆盖率。阈值判定部1012进行计算出的覆盖率和给定阈值的比较处理。具体的处理内容与第1实施方式等相同，因此省略详细的说明。

[0246] 6.4第2可否删除判定处理

[0247] 接着说明第2可否删除判定处理。在本实施方式中，第2可否删除判定处理也根据覆盖率进行。如图21所示，第2可否删除判定部1008可以包含变形信息取得部1013、覆盖区域计算部1014、覆盖率计算部1015和阈值判定部1016。但是，第2可否删除判定部1008不限于图21的结构，可以实施省略其中一部分结构要素或追加其他结构要素等各种变形。

[0248] 变形信息取得部1013取得第2基准图像与第2判定对象图像之间的变形信息。覆盖区域计算部1014根据第2基准图像与第2判定对象图像之间的变形信息，对第2基准图像进行变形，将其映射到第2判定对象图像上，计算覆盖区域。覆盖率计算部1015根据相对于第2判定对象图像整体面积的覆盖区域面积等求出覆盖率。阈值判定部1016进行计算出的覆盖率和给定阈值的比较处理。另外，在第2可否删除判定处理中使用的阈值可以是与在第1可否删除判定处理中使用的阈值不同的值。

[0249] 在本实施方式中，第1可否删除判定处理与第2可否删除判定处理是相同的处理。即，变形信息取得部不需要设置有1009和1013这两个，也可以汇总成1个，其他各部件是相同的。因此，本实施方式的处理部100可以包含变形信息取得部、覆盖区域计算部、覆盖率计算部和阈值判定部，这各个部件进行第1可否删除判定处理和第2可否删除判定处理两方。

[0250] 在以上的本实施方式中，如图17所示，图像处理装置包含：图像列取得部30，其取得具有多个图像的图像列；以及处理部100，其基于将图像列取得部30所取得的图像列中多个图像的一部分删除的第1可否删除判定处理和第2可否删除判定处理，进行取得精简图像列的图像精简处理。处理部100设定由多个图像所包含的1个或多个关注图像构成的关注图像列。并且，进行如下处理，作为第1可否删除判定处理：从所设定的关注图像列中选择第1基准图像，并且从多个图像中选择第1判定对象图像，根据表示第1基准图像与第1判定对象图像之间的变形的第1变形信息，判定第1判定对象图像可否删除。此外，处理部100利用图像列，设定在第1可否删除判定处理中被判定为不可删除的图像连续多个而成的部分图像列。而且，处理部100进行如下处理，作为第2可否删除判定处理：从部分图像列中选择第2基准图像和第2判定对象图像，根据表示第2基准图像与第2判定对象图像之间的变形的第2变形信息，判定第2判定对象图像可否删除。

[0251] 这里，关注图像是指对于用户而言要关注的图像，例如可以是拍摄有特定的被摄体的图像，也可以是具有特定颜色的图像。此外，是否为关注图像不限于根据图像自身(例如通过图像处理等)确定，例如可以将来自设置于摄像装置的传感器的传感器信息作为元数据预先赋予到图像，并根据该元数据确定是否为关注图像。

[0252] 由此，能够进行使用了以下两个观点的图像精简处理，因此能够进行有效的图像精简处理：是否为关注图像的观点、和是否由根据多个图像间的变形信息而保留的图像覆盖了要删除的图像的观点。但是，在进行各观点的处理，并单纯地组合结果时，如图16(B)所示，图像张数的削减效果不充分。因此，这里进行以确定保留的关注图像为基准的第1可否删除判定处理、和对以关注图像基准无法删除的部分图像列的第2可否删除判定处理这两阶段处理，由此能够进行高效的图像精简处理。另外，第1可否删除判定处理中的第1判定对象图像可以从图像列的多个图像整体中选择，但如果考虑到处理效率，则狭义上，是从多个图像中的、未包含在关注图像列内的图像中选择的。

[0253] 此外，处理部100可以进行第1覆盖率判定处理、和第1结构要素判定处理中的至少一方的处理，作为第1可否删除判定处理。此外，处理部100可以进行第2覆盖率判定处理、和第2结构要素判定处理中的至少一方的处理，作为第2可否删除判定处理。这里，第1覆盖率判定处理是如下处理：根据第1变形信息，求出第1基准图像对第1判定对象图像的覆盖率，并根据所求出的覆盖率，判定第1判定对象图像可否删除。第1结构要素判定处理是如下处理：根据使用了与关注区域对应的结构要素和第1变形信息的处理结果，判定第1判定对象图像可否删除。同样，第2覆盖率判定处理是如下处理：根据第2变形信息，求出第2基准图像对第2判定对象图像的覆盖率，并根据所求出的覆盖率，判定第2判定对象图像可否删除。第2结构要素判定处理是如下处理：根据使用了与关注区域对应的结构要素和所述第2变形信息的处理结果，判定所述第2判定对象图像可否删除。

[0254] 这里，关注区域是指对于用户而言，观察的优先顺序与其他区域相比、相对较高的区域，例如在用户是医生且希望治疗的情况下，是指拍摄有粘膜部和病变部的区域。另外，作为其他例，如果医生希望观察的对象是泡或便，则关注区域是拍摄有该泡部分或便部分的区域。即，用户要关注的对象根据其观察目的而不同，但无论怎样，在其观察时，对于用户而言观察的优先顺序与其他区域相比、相对较高的区域成为关注区域。

[0255] 由此，作为使用了变形信息的处理，可以进行使用了覆盖率的处理、和在第2实施方式详细叙述的使用了结构要素的处理中的至少一方的处理。在使用了覆盖率的情况下，即使删除了给定图像，也能够保证该图像的一定程度比例(例如以面积为基准的比例)的区域被精简图像列所保留的精简图像覆盖，能够抑制由于图像精简处理而变得无法观察的区域产生。此外，使用了结构要素的情况下，即使删除了给定图像，也能够保证该图像中所拍摄的与结构要素对应的尺寸区域的至少一部分被拍摄到精简图像上。因此，能够通过设定与关注区域对应的结构要素，抑制由于图像精简处理而变得无法观察的关注区域产生。

[0256] 此外，处理部100可以进行从多个图像中检测关注区域的处理，并将多个图像中的、检测到关注区域的图像设定为关注图像。

[0257] 由此，能够根据关注区域设定关注图像。这里的关注区域被假定为与作为结构要素的设定基准的关注区域相同，但也可以设定不同的关注区域。例如，可以使用如下方法：对于关注图像，将边缘成分多的区域设定为关注区域(例如提取活体内的褶皱或血管结构等)，对于结构要素，将病变部设定为关注区域(例如抑制给定大小以上的病变漏看)。

[0258] 此外，图像列取得部30可以取得拍摄活体内而得的多个活体内图像，作为图像列。处理部100进行从多个活体内图像中检测病变区域作为关注区域的处理，并将多个活体内图像中的、检测到病变区域的图像设定为关注图像。

[0259] 由此，能够进行使用了病变区域作为关注区域的处理，因此例如能够用于使用了由胶囊内窥镜等取得的图像的诊断等。

[0260] 此外，以上的本实施方式可以适用于包含摄像部(例如设置于内窥镜镜体的前端部等)、和上述图像处理装置的内窥镜装置。

[0261] 此外，处理部100在设定了多个部分图像列的情况下，可以对多个部分图像列并列地进行第2可否删除判定处理。

[0262] 由此，能够通过并列处理进行第2可否删除判定处理的部分，因此能够实现处理的高速化。

[0263] 此外，本实施方式的图像处理装置等可以通过程序实现其处理的一部分或大部分。该情况下，通过由CPU等处理器执行程序，实现本实施方式的图像处理装置等。具体而言，读出信息存储介质所存储的程序，并由CPU等处理器执行所读出的程序。这里，信息存储介质(计算机可读取的介质)是存储程序和数据等的介质，其功能能够通过光盘(DVD、CD等)、HDD(硬盘驱动器)、或存储器(卡型存储器、ROM等)等实现。并且，CPU等处理器根据信息存储介质所存储的程序(数据)进行本实施方式的各种处理。即，在信息存储介质中，存储有用于使计算机(具有操作部、处理部、存储部、输出部的装置)作为本实施方式的各部件发挥功能的程序(用于使计算机执行各部件的处理的程序)。

[0264] 7.第6实施方式

[0265] 接着，对第1可否删除判定处理、和第2可否删除判定处理的其他方法进行说明。对于本实施方式的图像处理装置的结构例，虽然第1可否删除判定部1004、和第2可否删除判定部1008中的处理内容不同，但与图17相同，因此省略详细的说明。此外，关于处理流程，虽然S704和S708中的处理内容不同，但与图18的流程图相同，因此省略详细的说明。

[0266] 7.1使用了结构要素的可否删除判定

[0267] 首先，作为第1可否删除判定处理和第2可否删除判定处理，对进行使用了与关注区域对应的结构要素的处理的例子进行说明。这里的关注区域可以与在图17的关注图像列设定部1001中使用的关注图像的基准相同(例如，如果将拍摄有病变部的图像作为关注图像来设定了关注图像列，则此处的结构要素也根据病变部进行设定)，也可以不同。

[0268] 这里，在将关注图像列的设定中的关注区域、与第1可否删除判定处理中的关注区域设为同一关注区域的情况下，拍摄有关注区域的图像包含在关注图像列中，因此既然被假定保留在精简图像列中，那么还产生在第1可否删除判定中判定关注区域的漏看可能性是否有意义的疑问。但是，既然越是需要图像精简处理，越需要将大量的图像设为处理对象，那么关注区域的检测自然由系统自动进行。该情况下，难以利用100％的精度检测关注区域，可能产生无法在拍摄关注区域的同时检测到的(无法设为关注图像的)图像。如果要不漏看地观察那样的图像中的关注区域，则进行基于关注区域的漏看可能性的判定是有意义的，如以下将说明那样，可以说在以下方面也有优点：将与用于关注图像列的设定的关注区域相同的关注区域用于结构要素的设定。

[0269] 另外，第2可否删除判定处理与第1可否删除判定处理相同，因此省略详细的说明，对第1可否删除判定处理进行说明。

[0270] 如图22所示，第1可否删除判定部1004可以包含结构要素生成部1017、变形信息取得部1009、覆盖区域计算部1010和关注区域漏看可能性判定部1018。但是，第1可否删除判定部1004不限于图22的结构，可以实施省略其中一部分结构要素或追加其他结构要素等各种变形。

[0271] 结构要素生成部1017根据关注区域，生成关注区域漏看可能性判定部1018中的处理所使用的结构要素。这里，设定与在漏看方面不理想的关注区域相同形状、相同尺寸的区域，但是不限于此。

[0272] 覆盖区域计算部1010可以计算覆盖区域，并且将第2判定对象图像中的不是覆盖区域的区域设定为非覆盖区域。

[0273] 关注区域漏看可能性判定部1018进行针对以下可能性的判定处理：在删除了第1判定对象图像的情况下，第1判定对象图像上所拍摄的关注区域成为在第1基准图像中未被拍摄的状况(即成为漏看关注区域的状况)。

[0274] 对具体的处理流程进行说明。结构要素生成部1017根据关注区域生成结构要素。这里，考虑关注区域的典型大小等，将在在漏看方面不理想的尺寸、形状的区域设定为结构要素。例如，如果知晓关注区域是病变部，图像上的大于直径为30像素的圆的病变的严重性高且不应漏看，则对于结构要素，设定直径为30像素的圆。

[0275] 在选择了第1基准图像和第1判定对象图像后，变形信息取得部1009取得第1基准图像与第1判定对象图像之间的变形信息。覆盖区域计算部1010利用所取得的变形信息，将第1基准图像映射到第1判定对象图像上，求出覆盖区域。

[0276] 在计算出覆盖区域后，关注区域漏看可能性判定部1018判定关注区域的漏看可能性。具体而言，对第1判定对象图像中的覆盖区域以外的区域即非覆盖区域，进行使用了结构要素的收缩处理，进行是否存在残留区域的判定。

[0277] 使用图23(A)～图23(E)说明收缩处理的具体例。如图23(A)所示，非覆盖区域必定是封闭的区域，能够设定其边界。例如，在图23(A)中，设定作为外侧边界的BO1、和作为内侧边界的BO2。

[0278] 此时，基于结构要素的收缩处理是指如下处理：在非覆盖区域的边界上设定了该结构要素的基准点的情况下，删除非覆盖区域与结构要素的重复区域。例如，在设定了圆形区域作为结构要素、并将该基准点设为圆的中心的情况下，进行如下处理：描绘在非覆盖区域的边界上具有中心的圆，从非覆盖区域中排除该圆与非覆盖区域重叠的部分。具体而言，如图23(A)所示，描绘以非覆盖区域的外侧边界BO1上的点为中心的圆，排除与非覆盖区域的重复区域(这里，是用斜线示出的半圆形的区域)。

[0279] 外侧边界BO1如果考虑被离散地处理，则由多个点构成，因此对该多个点的各点进行上述处理即可。作为一例，如图23(A)所示，以边界上的一点为起点，在给定方向上依次描绘以边界BO1上的点为中心的圆，从非覆盖区域中排除与非覆盖区域的重复区域即可。

[0280] 在非覆盖区域的边界的一部分与判定对象图像的边界一致的情况下等，还考虑非覆盖区域的边界是1个的情况，此时对该1个边界进行上述处理即可。此外，如图23(A)所示，在考虑BO1和BO2这两个作为非覆盖区域的边界的情况下，对各个边界进行上述处理。具体而言，如图23(B)所示，对于内侧边界BO2，也进行描绘在BO2上具有中心的圆、并排除与非覆盖区域的重复区域的处理，对构成BO2的各点反复该处理即可。

[0281] 通过进行这样的收缩处理，非覆盖区域的面积减小。例如，在着眼于图23(A)的非覆盖区域的左部的情况下，通过图23(A)所示的BO1上的收缩处理、和图23(B)所示的BO2上的收缩处理，完全删除非覆盖区域，从而不存在要保留的区域。例如，在着眼于非覆盖区域的右下部分的情况下，如图23(C)所示，产生在BO1上的收缩处理和BO2上的收缩处理中都未成为排除对象而残留的残留区域RE。因此，此处的对非覆盖区域整体进行基于结构要素的收缩处理后的结果如图23(D)所示，产生残留区域RE。

[0282] 这里，考虑将半径r的圆设为结构要素的情况下的收缩处理所具有的意义。可以将作为封闭区域的非覆盖区域认作处于边界(可以如BO1和BO2那样是不同的边界，也可以是1个边界)的内侧的区域。通过对该边界进行上述收缩处理，非覆盖区域所包含的点中的、与上述边界上的点的距离为r以内的点成为删除的对象。即，在考虑到不作为删除对象的残留区域所包含的点的情况下，从该点到边界上的任意点为止的距离大于r。因此，在描绘了以残留区域上的任意点为中心的半径为r的圆的情况下，该圆的圆周与任何边界都不交叉。换言之，表示如下状况：由半径R(＝r)的圆表示的关注区域通过将残留区域中的点设为其中心，完全收敛在非覆盖区域中。另外，即使在使用了圆以外的形状(四边形等)作为结构要素的情况下，基本思路也相同。

[0283] 即，如图23(E)的右下所示，存在残留区域的情况是与结构要素对应的区域包含在非覆盖区域中的情况，在那样的位置处存在病变部等关注区域的情况下，如果删除第1判定对象图像，则即使保留第1基准图像，也有可能无法观察关注区域。反之，如图23(E)的左上所示，不存在残留区域的情况是指关注区域的至少一部分包含在覆盖区域中，即使删除了第1判定对象图像，也能够将关注区域的至少一部分保留在第1基准图像中。如上所述，在关注区域漏看可能性判定部1018中，对非覆盖区域进行基于结构要素的收缩处理，根据是否存在残留区域，进行第1判定对象图像可否删除的判定。

[0284] 7.2可否删除判定的变形例

[0285] 如上所述，作为第1、第2可否删除判定处理，考虑使用了覆盖率的处理或使用了结构要素的处理。但是，第1、第2可否删除判定处理不限于以单体形式使用这些要素的处理，也可以组合多个要素。

[0286] 例如，可以是，作为第1可否删除判定处理，进行使用了覆盖率的处理和使用了结构要素的处理两方，作为第2可否删除判定处理，也进行使用了覆盖率的处理和使用了结构要素的处理两方。该情况下，如果基于通过抑制无法观察的区域产生、且抑制关注区域的漏看可能性来提高精简图像列的有用性的观点考虑，在基于覆盖率的判定中设为可删除、且在基于结构要素的判定中设为可删除的情况下，设为可删除，在除此以外的情况下设为不可删除即可。另外，第1可否删除判定处理中的与覆盖率的比较处理所使用的阈值、与第2可否删除判定处理中的与覆盖率的比较处理所使用的阈值可以相同，也可以不同。同样，在第1可否删除判定处理中使用的结构要素(狭义地讲是其尺寸)、与在第2可否删除判定处理中使用的结构要素(狭义地讲是其尺寸)可以相同，也可以不同。

[0287] 此外，第1可否删除判定处理和第2可否删除判定处理不限于为同一处理。例如，也可以是，第1可否删除判定处理是基于覆盖率的处理，第2可否删除判定处理是基于覆盖率的处理和基于结构要素的处理这两方的处理。由此，使用了多个观点(上述例子中为覆盖率和结构要素)的处理在第1、第2可否删除判定处理的至少一方中进行，因此与单一观点的处理相比，能够期待判定精度的提高，且基于给定观点(上述例子中为结构要素)的处理在第1、第2可否删除判定处理的一方中可省略，因此与在第1、第2可否删除判定处理的两方中使用所有观点进行处理的情况相比，能够减轻处理负荷。

[0288] 其中，如果使用两个观点，则理想的是，在第1、第2可否删除判定处理的至少一方的处理中，采用基于两方的观点的处理。例如，可以避免如下情况：在第1可否删除判定处理中使用覆盖率，在第2可否删除判定处理中使用结构要素。之所以这样，是因为根据作为处理对象的图像，利用基于覆盖率单体、或结构要素单体的处理，可能无法发挥足够的精度。通过使用覆盖率和结构要素这两方而使得判定精度提高正是因为在基准图像和判定对象图像的组合中进行两方的处理而实现的。但是，如果依照上述选择方法，则第1可否删除判定处理中的第1基准图像和第1判定对象图像的组合、与第2可否删除判定处理中的第2基准图像和第2判定对象图像的组合不会重复。即，在第1可否删除判定处理中使用覆盖率、在第
2可否删除判定处理中使用结构要素那样的例子中，如果视作图像精简处理整体，则可以说使用覆盖率和结构要素两方进行了处理，只不过分别独立地被使用，判定精度的提高效果可能不充分。尽管如此，处理部100必须能够执行多个不同的可否删除判定处理，因此作为系统结构是没有效率的。

[0289] 另外，可以导入与覆盖率和结构要素均不同的观点，进行基于3个以上观点的可否删除判定处理。该情况下，理想的是在第1可否删除判定处理和第2可否删除判定处理的至少一方的处理中，进行使用了所有观点的处理。

[0290] 在以上的本实施方式中，处理部100在进行第1覆盖率判定处理作为第1可否删除判定处理的情况下，可以进行第2覆盖率判定处理，作为第2可否删除判定处理。此外，处理部100在进行第1结构要素判定处理作为第1可否删除判定处理的情况下，可以进行第2结构要素判定处理，作为第2可否删除判定处理。

[0291] 由此，能够进行基于覆盖率的判定处理，作为第1、第2可否删除判定处理。同样，能够进行基于结构要素的判定处理，作为第1、第2可否删除判定处理。该情况下，第1、第2可否删除判定处理能够通过基于单一观点的处理实现，因此与一并使用覆盖率和结构要素两方的情况相比，能够减轻处理负荷。

[0292] 此外，处理部100可以进行第1覆盖率判定处理、和第1结构要素判定处理两方的处理，作为第1可否删除判定处理。此外，处理部100可以进行第2覆盖率判定处理、和第2结构要素判定处理两方的处理，作为第2可否删除判定处理。

[0293] 由此，第1可否删除判定处理和第2可否删除判定处理中的至少一方进行覆盖率判定处理和结构要素判定处理两方的处理，与第1、第2可否删除判定处理均仅为覆盖率判定处理的情况、或第1、第2可否删除判定处理均仅为结构要素判定处理的情况相比，能够提高判定精度。另外，当然可以在第1可否删除判定处理和第2可否删除判定处理的两方中，进行覆盖率判定处理和结构要素判定处理两方的处理。其中，能够通过简化第1、第2可否删除判定处理中的任意一方的处理(例如省略结构要素判定处理)，减轻处理负荷。

[0294] 此外，第1覆盖率判定处理可以是基于表示第1基准图像对第1判定对象图像的覆盖率的值、与第1覆盖率阈值的比较结果的判定处理。第1结构要素判定处理设定第1尺寸的要素作为结构要素，其是基于所设定的结构要素的收缩处理、或判定在未通过第1基准图像覆盖第1判定对象图像的区域中是否包含所设定的结构要素的处理。

[0295] 同样，第2覆盖率判定处理可以是基于表示第2基准图像对第2判定对象图像的覆盖率的值、与第2覆盖率阈值的比较结果的判定处理。第2结构要素判定处理设定第2尺寸的要素作为结构要素，其是基于所设定的结构要素的收缩处理、或判定在未通过第2基准图像覆盖第2判定对象图像的区域中是否包含所设定的结构要素的处理。

[0296] 由此，作为基于覆盖率的判定处理，能够进行所求出的覆盖率与阈值的比较处理。如果像图2那样求出覆盖率，则判定处理自身进行与阈值的比较即可，因此处理比较容易。
此外，作为基于结构要素的判定处理，能够进行图23(A)～图23(E)所示那样的、使用了结构要素的收缩处理。其中，基于结构要素的收缩处理的对象不限于非覆盖区域。

[0297] 例如图24(A)所示，可以将判定对象图像作为对象来进行基于结构要素的收缩处理。该情况下，通过设定为关注区域完全未收敛在通过收缩处理删除的区域内(典型的是设定关注区域的2倍尺寸的要素作为结构要素)，如图24(B)所示，残留区域是要求被基准图像覆盖的要覆盖区域。即，该情况下，根据要覆盖区域整体是否被基准图像覆盖来进行可否删除判定即可，具体而言，如图25(A)、图25(B)所示，利用变形信息对基准图像和要覆盖区域中的一方进行变形，并进行使用了变形后的区域的包含判定即可。在要覆盖区域包含在基准图像中的情况下，判定对象图像是可删除的，如果存在不被包含的部分，则判定对象图像是不可删除的。

[0298] 此外，使用了结构要素的可否删除判定处理不限于使用收缩处理，只要是判定非覆盖区域中是否包含结构要素的处理即可。例如图26(A)和图26(B)所示，可以是如下那样的简单方法：根据从覆盖区域的边界上的点(p1～p6等)到判定对象图像的边界的距离(k1～k6等)、或从判定对象图像的边界上的点到覆盖区域的边界的距离，求出与非覆盖区域的最大直径对应的值，进行所求出的值与结构要素(该情况下是与关注区域相同的尺寸)的最小直径的比较处理。

[0299] 此外，处理部100可以设定与第1覆盖率阈值不同的值，作为第2覆盖率阈值。此外，处理部100可以设定与第1尺寸不同的尺寸，作为第2尺寸。

[0300] 由此，即使在第1可否删除判定处理和第2可否删除判定处理中进行同一观点的处理的情况下，也能够在各个处理中变更判定的基准值，从而能够实现灵活的两阶段判定处理。

[0301] 8.第7实施方式

[0302] 在第5实施方式中，作为第2可否删除判定处理中的第2基准图像和第2判定对象图像的选择方法，说明了图19(A)～图19(D)的方法。但是，第2基准图像和第2判定对象图像的选择方法不限于图19(A)～图19(D)的方法。在本实施方式中，说明如下方法：设定两张图像(前方基准图像和后方基准图像)作为第2基准图像，将它们之间的图像设为第2判定对象图像。

[0303] 基准图像有两张，但此时的覆盖区域如图2所示，将作为如下两个区域的并集的区域设为覆盖区域即可：根据前方基准图像与第2判定对象图像之间的变形信息对前方基准图像进行变形而求出的区域；以及基于后方基准图像与第2判定对象图像之间的变形信息对后方基准图像进行变形而求出的区域。之所以这样，是因为如果被前方基准图像和后方基准图像的至少一方覆盖，则即使删除第2判定对象图像也不会有问题。另外，覆盖区域计算后的处理在使用覆盖率的方法和使用结构要素的方法中均与上述处理相同。

[0304] 根据前方基准图像和后方基准图像将其间的图像全部判定为可删除的情况，是指不将前方基准图像和后方基准图像保留在精简图像列中，可以删除其间的所有图像。但是，如果提高图像精简处理后的图像张数的削减效果，则理想的是，满足其间的图像全部可删除这样的条件，同时将前方基准图像和后方基准图像设定在尽可能远离的位置处。因此这里，在前方基准图像固定、且使后方基准图像的位置变化的同时，搜索最佳的位置。具体而言，使用图3(A)、图3(B)所示的方法。

[0305] 以下，为了简化文章，将选择第q图像作为后方基准图像并进行可否删除判定的结果是判定为能够删除前方基准图像与后方基准图像之间的全部图像的状况记述为“第q图像OK”，将不可删除前方基准图像与后方基准图像之间的至少1张图像的状况记述为“第q图像NG”。

[0306] 这里，输入第1～第N图像作为部分图像列，选择第1图像作为前方基准图像、第q图像作为后方基准图像，在搜索最佳的后方基准图像的位置的情况下，依次选择第2～第q－1图像作为第2判定对象图像，并判定第q图像是OK还是NG。在第q图像为OK的情况下，存在可以进一步增大前方基准图像与后方基准图像的间隔的可能性，因此从第q+1图像及其后方的图像中选择新的后方基准图像。另一方面，在第q图像为NG的情况下，过度增大了前方基准图像与后方基准图像的间隔，因此基本上通过选择比第q图像更靠前方的图像作为新的后方基准图像，对前方的图像进行判定。

[0307] 即，在本实施方式中，在满足结束条件之前，在OK的情况下向后方更新后方基准图像，在NG的情况下向前方更新后方基准图像，由此，搜索前方基准图像的下一个精简图像。通过对新的后方基准图像的位置进行适当更新，能够减少在发现下一个精简图像之前作为后方基准图像而被选择的图像张数，还能够期待计算量的削减效果。以下，对本实施方式的方法进行详细说明。

[0308] 本实施方式中，如图27所示，第2基准图像选择部1006包含前方基准图像选择部1019和后方基准图像选择部1020。前方基准图像选择部1019选择前方基准图像，后方基准图像选择部1020选择后方基准图像。

[0309] 这里，如上所述，选择部分图像列的起始图像(第1图像)作为前方基准图像。另外，在部分图像列是通过第1可否删除判定处理取得的部分图像列的情况(进行了最初的前方基准图像选择处理的情况)下，可以选择起始以外的图像作为前方基准图像，下面，只要没有特别说明，则设前方基准图像为起始的图像进行说明。

[0310] 然后，选择后方基准图像。这里，设定与作为后方基准图像的选择对象的图像对应的后方基准图像选择区间(实际上与搜索前方基准图像的下一精简图像的范围对应)。设与第i图像～第j图像对应的半开区间[i、j)为后方基准图像选择区间，使i对应于前方基准图像的下一图像(狭义地讲为i＝2)，设j＝N+2。另外，设j＝N+2是因为，可以设定假想的第N+1图像作为后方基准图像。后方基准图像为第N+1图像的情况与如下情况对应：判定是否仅通过前方基准图像就能够覆盖其后方的全部图像而不需要后方基准图像。

[0311] 然后，从所设定的后方基准图像选择区间中选择后方基准图像。这里，为了高效进行处理，根据给定条件决定后方基准图像。首先，在前方基准图像设定后、初次选择后方基准图像的情况下，选择第i+1图像(狭义地讲为第3图像)作为后方基准图像。

[0312] 图28(A)图示了此前的处理。这里，考虑N＝12的图像列，前方基准图像为第1个图像，后方基准图像选择区间为第2个图像～第14个图像(i＝2、j＝14)，后方基准图像为第3个图像。

[0313] 关于选择后方基准图像后的第2判定对象图像选择处理、覆盖率计算处理、可否删除判定处理和这些处理的反复，省略详细的说明。在图28(A)的情况下，作为第2判定对象图像，仅选择第2个图像即可。

[0314] 在选择了给定图像(最初为第3图像)作为后方基准图像的情况下，如果该图像OK，则可以使后方基准图像的位置进一步地远离前方基准图像，所以，作为新的后方基准图像，选择比当前图像更靠后方的图像。

[0315] 作为一例，在当前的后方基准图像为从前方基准图像起数第a个图像的情况下，可以将从前方基准图像起数第2×a个图像设为新的后方基准图像。具体而言，如图28(B)所示，在选择第3个图像(从前方基准图像起数第2个)作为后方基准图像的情况下，如果该第3个图像OK，则下一后方基准图像选择第5个(从前方基准图像起数第4个)图像。

[0316] 但是，如果第q个图像OK，则不需要选择第q-1个以前的图像作为保留在精简图像列中的精简图像。因此，选择比当前位置(第q个)更靠前方的图像作为后方基准图像并没有优点，所以，对后方基准图像选择区间进行更新即可。具体而言，设选择区间的起点i为i＝q即可。在该变形例中，由于从后方基准图像选择区间中选择后方基准图像，所以，这样不会选择比当前位置更靠前方的图像。例如，如图28(B)所示，在第3个图像OK的情况下，第2个图像不是精简图像，所以从选择区间中排除即可，将选择区间的起点更新为第3个图像。

[0317] 同样，如果第5个图像OK(该情况下，选择第2～4个图像作为第2判定对象图像，进行第2可否删除判定处理)，则如图28(C)所示，选择第9个图像作为新的后方基准图像，并且将后方基准图像选择区间的起点更新为第5个图像。

[0318] 但是，考虑在图28(C)中假设第9个图像OK的情况可知，将第q个图像作为后方基准图像，在该第q图像OK的情况下，当q的值增大时，新的后方基准图像可能位于极后方。例如，比第N+1个更靠后方的图像成为候选，后方基准图像不能选择，并且即使不这样，更新前后的后方基准图像的间隔过宽，下一个精简图像的搜索也没有效率。

[0319] 因此，在选择比当前位置更靠后方的图像作为新的后方基准图像的情况下，也可以一并使用其他方法。作为一例，根据(q+j)/2的值决定新的后方基准图像。例如在第9个图像OK的情况下，后方基准图像选择区间的起点被更新为第9个图像，所以，成为[9、14)的半开区间。即，通过将其中央附近的图像设为新的后方基准图像，将搜索范围的中央设为处理对象。通过对搜索范围的中央进行判定而使搜索范围减半的方法就是广泛公知的二分搜索，并且，广泛公知二分搜索在计算量方面具有优点。本实施方式的后方基准图像选择区间具有如下性质：如果给定图像OK，则可以认为该给定图像的前方的图像全部OK，如果给定图像NG，则可以认为该给定图像的后方的图像全部NG，能够应用二分搜索的方法。即，通过从更新前的后方基准图像与后方基准图像选择区间的终点的中间附近选择新的后方基准图像，能够期待高效的处理。

[0320] 这里，一并使用使前方基准图像起点的距离成为2倍的方法和与二分搜索对应的方法。例如，在第q图像为更新前的后方基准图像的情况下，设满足下式(1)的第k图像为下一个后方基准图像即可。这里，min(a、b)表示a和b中的较小的一方。

[0321] 【式1】

[0322]

[0323] 另一方面，如上所述，在第q图像NG的情况下，与OK的情况相反，从比当前位置更靠前方选择新的后方基准图像。可以通过各种方法决定选择何种程度前方的图像，但是，例如，这里也可以使用与二分搜索对应的方法。该情况下，由于后方基准图像选择区间的起点为第i图像，所以，根据(i+q)/2的值决定新的后方基准图像。并且，既然第q图像为NG，那么不会选择第q图像及其后方的图像作为精简图像。因此，可以对后方基准图像选择区间的终点进行更新，设为j＝q即可。图28(D)示出第9个图像为NG的情况下的例子。选择第7个图像作为新的后方基准图像，并且，后方基准图像选择区间的终点j被更新为j＝9。

[0324] 另外，后方基准图像选择区间为半开区间是为了便于进行这里的说明。即，在第q图像OK的情况下，存在选择该第q图像作为精简图像的可能性，所以，在设后方基准图像选择区间的起点i为i＝q的情况下，i可以包含在后方基准图像选择区间中。另一方面，在第q图像NG的情况下，由于不会选择该第q图像作为精简图像，所以，在设后方基准图像选择区间的终点j为j＝q的情况下，j最好不包含在后方基准图像选择区间中。如上所述，只不过将后方基准图像选择区间设为[i、j)，在符号和式子的记述方面，通过开区间或闭区间表示后方基准图像选择区间都没有问题。

[0325] 通过以上的处理，缩小后方基准图像选择区间(狭义地讲为下一精简图像的搜索范围)。由于下一精简图像是第k图像OK且第k+1图像NG的情况下的第k图像，所以，如果发现了OK图像和NG图像相邻的部位，则结束处理。在上述例子中，假设在即将结束之前以二分搜索的方式进行处理，例如图28(E)所示。第i图像OK，其相邻的两个第j图像NG，其间的第q图像成为后方基准图像。该情况下，如果第q图像OK，则如图28(F)所示，如果NG，则如图28(G)所示，不管怎样，后方基准图像选择区间的起点和终点相邻，并且，与起点对应的图像OK，与终点对应的图像NG。因此，选择与起点对应的图像作为下一精简图像即可，所以，针对部分图像列的搜索处理结束。

[0326] 如果找到了下一精简图像，则将由该图像及其之后的图像构成的图像列设定为新的部分图像列即可。在设定了新的部分图像列之后，其之后的处理相同，因此省略详细的说明。

[0327] 图29示出对本实施方式的图像精简处理进行说明的流程图。关于S801～S805，与图18的S701～S705相同，因此省略详细的说明。在设定部分图像列后，选择作为处理对象的部分图像列的起始图像作为前方基准图像(S806)，并设定后方基准图像选择区间(S807)。作为紧接着S806之后进行的S807的处理，例如上述那样设定满足i＝2、j＝N+2的[i、j)的半开区间即可。并且，如后所述，在S810或S811之后进行S807的处理的情况下，成为已经设定的后方基准图像选择区间的更新处理。

[0328] 在S807中进行后方基准图像选择区间的设定(或更新)处理后，判定其起点和终点是否相邻(是否满足j＝i+1)(S808)。在S808中的“是”的情况下，如图28(F)所示，可知是第i图像为第1图像(前方基准图像)的下一精简图像的状况，因此返回S805，将第i图像及其之后的图像设定为部分图像列。

[0329] 在S808中的“否”的情况下，处于还未找到下一精简图像的状况，所以，从S807中设定的后方基准图像选择区间中选择后方基准图像(S809)。在S806的前方基准图像设定后、初次进行S809的处理的情况下，例如选择第i+1图像(前方基准图像后方两个的图像)即可。除此以外的情况下，根据紧前的后方基准图像的位置，进行选择新的后方基准图像的处理。

[0330] 在S809中选择出后方基准图像后，选择第2判定对象图像(S810)。在S809中的后方基准图像选择后、初次进行了S810的处理的情况下，选择前方基准图像与后方基准图像之间的图像中的起始的图像(图28(A)等中为第2个图像)。关于第2判定对象图像选择后的第2可否删除判定处理(例如覆盖区域计算处理、覆盖率计算处理、阈值判定处理等)，与图18的S708相同。在S811中判定为可删除的情况下，返回S809，将第2判定对象图像更新为后方1个的图像，进行相同的处理。通过反复S810、S811的处理，执行前方基准图像与后方基准图像之间的图像全部是可删除、还是至少1个是不可删除的判定。在全部可删除的情况下，在S810的判定中成为第2判定对象图像＝后方基准图像，返回S807。此外，在至少1张图像是不可删除的情况下，在S811的判定中成为不可删除，返回S807。另外，虽然在图29中未图示，但是，需要保持是从S810返回S807、还是从S811返回S807这样的信息，根据该信息对下一S807等中的处理进行变更。

[0331] 在从S810返回S807的情况下，处于可删除全部图像的状况，所以，进行更新后方基准图像选择区间的起点的处理，其结果，在S807中选择比前一个后方基准图像更靠后方的图像作为新的后方基准图像。另一方面，在从S811返回S807的情况下，处于至少1张图像不可删除的状况，所以，进行更新后方基准图像选择区间的终点的处理，其结果，在S807中选择比前一个后方基准图像更靠前方的图像作为新的后方基准图像。

[0332] 在以上的本实施方式中，在设定了第1～第N(N为2以上的整数)图像作为部分图像列的情况下，处理部100选择作为第p(p为满足1≦p≦N的整数)图像的前方基准图像、和作为第q(q为p+2以上的整数)图像的后方基准图像，作为第2基准图像。并且，选择第r(r为满足p+1≦r≦q－1的整数)图像，作为第2判定对象图像。而且，求出表示前方基准图像与第2判定对象图像之间的变形的前方变形信息、和表示后方基准图像与第2判定对象图像之间的变形的后方变形信息，作为第2变形信息，并根据所求出的前方变形信息和后方变形信息，进行第2判定对象图像可否删除的判定。

[0333] 由此，在第2可否删除判定处理中，能够在前方和后方设定两张基准图像。如上所述，保证由要保留的图像覆盖要删除的图像(如果是覆盖率，则表示面积等的比例高，如果是结构要素，则表示拍摄了关注区域的至少一部分)这一情况，是本实施方式中的使用了变形信息的处理的基本。因此，如果具有多个要保留的图像，即使是用其中的1张不能完全覆盖的图像也能通过组合多个保留图像而覆盖，则删除也没有问题。因此这里，通过使用两张基准图像，提高将判定对象图像判定为可删除的可能性，提高基于图像精简处理的图像张数的削减效果。

[0334] 此外，处理部100可以从设定了与第p+2～第N图像对应的起点和终点的后方基准图像选择区间中，选择后方基准图像，根据前方基准图像和后方基准图像，进行第2判定对象图像可否删除的判定。并且，在将第p+1～第q－1图像判定为可删除的情况下，选择后方基准图像选择区间所包含的第x(x是满足x＞q的整数)图像作为新的后方基准图像，并且将后方基准图像选择区间的起点更新为第q图像。

[0335] 这里，鉴于作为后方基准图像的候选的图像的性质，后方基准图像选择区间包含第p+2～第N图像。但是，如第N+1图像那样，也可以选择假想图像作为后方基准图像，所以，后方基准图像选择区间的终点可以大于N。并且，后方基准图像选择区间还具有下一精简图像(将前方基准图像确定为精简图像，是指其下一精简图像)的搜索范围这样的方面，所以，即使是未被选择为后方基准图像的图像，可能被选择为精简图像的图像也可以包含在该选择区间中。该情况下，可以设定前方基准图像的后方1个的图像(第p+1图像)作为后方基准图像选择区间的起点。

[0336] 由此，在更新后方基准图像时，能够灵活地决定新的后方基准图像的位置。可以使用如下方法：以将后方基准图像每次向后方更新1个的方式，从起始起逐个检查搜索范围，从而减小搜索范围。或者，可以通过使得将不相邻的图像也可选择为新的后方基准图像，利用一个单位的判定(第q图像是OK还是NG这一判定)大幅度减小搜索范围。怎样的更新方法是有效的还依据作为处理对象的部分图像列的性质等。例如，在能够一定程度地预测正解位置的状况中，应该重点搜索预测位置附近，因此可以使用使后方基准图像每次移动1个的方法，并且在无法预测正解位置的情况下等，考虑计算量的期望值削减等，使用上述二分搜索等即可。

[0337] 此外，处理部100在将第p+1～第q－1图像中的至少1个判定为不可删除的情况下，可以选择后方基准图像选择区间所包含的第y(y为满足y＜q的整数)图像作为新的后方基准图像。与此同时，将后方基准图像选择区间的终点更新为第q图像。

[0338] 由此，在更新后方基准图像时，能够选择比当前的后方基准图像更靠前方的图像作为新的后方基准图像。如上所述，既然向后方的搜索不限于选择相邻图像，那么在当前的后方基准图像的前方可能剩余未搜索范围，根据可否删除的判定结果，考虑在该未搜索范围内存在正解的情况。该情况下，能够通过进行向前方的搜索，进行恰当的处理。并且，与向后方的搜索同样，新的后方基准图像的选择不限于相邻图像。

[0339] 此外，处理部100在第j(j为整数)图像与后方基准图像选择区间的终点对应的情况下，可以根据(q+j)/2的值设定x的值。或者，在第i(i为整数)图像与后方基准图像选择区间的起点对应的情况下，可以根据(i+q)/2的值设定y的值。

[0340] 由此，在选择新的后方基准图像时，能够使用二分搜索的方法。在向后方搜索的情况下，选择处于当前的后方基准图像与终点中间的图像，在向前方搜索的情况下，选择处于当前的后方基准图像与起点中间的图像。因此，能够使搜索范围(与后方基准图像选择区间的长度对应)减半，如果选择logN张的图像作为后方基准图像，则可期待整个搜索范围的搜索结束。因此，能够将计算量级抑制为N×logN，在N非常大的情况下，与将后方基准图像从前方起每次向后方移动1个的方法(计算量级为N2)相比，计算量的削减效果大。另外，不限于(q+j)/2和(i+q)/2为整数，因此有时不存在与各个值对应的图像。此时，例如可以考虑不超过(q+j)/2的最大整数、或比其大1的整数等。

[0341] 此外，处理部100在更新了后方基准图像选择区间的起点或终点的结果为起点和终点相邻的情况下，可以进行将被选择为前方基准图像的多个图像中的1个包含到精简图像列中的处理。并且，也可以将与起点对应的多个图像中的1个、以及在部分图像列中和与起点对应的多个图像中的1个相比位于后方的图像，设定为新的部分图像列，并针对所设定的新的部分图像列，将上述p的值设定为1，再次进行处理。

[0342] 这里，起点和终点相邻是指，与起点对应的图像和与终点对应的图像在部分图像列中相邻。在给出N张图像作为部分图像列的情况下，假定了部分图像列是在时间序列或空间上连续的图像的集合，所以，能够根据其连续性定义图像列的前方、后方。例如时间序列中较早时刻取得的图像是比该时刻之后的时刻取得的图像更靠前方的图像。具体而言，将部分图像列的各图像表示为第1～第N图像，给出的数值越小的图像越位于前方。因此，图像列中的第i图像和第j(＞i)图像相邻是指满足j＝i+1的状况。

[0343] 由此，作为针对部分图像列的处理的结束条件，能够设定基于后方基准图像选择区间的起点、终点的条件。通过设定这样的结束条件，能够选择在被选择为后方基准图像的情况下判定为OK的图像组中的、预想与前方基准图像最远的图像，作为新的部分图像列的起始图像(与下一精简图像对应)。之所以这样，是因为，如图28(F)等所示，该结束条件等同于搜索OK图像和NG图像相邻的位置的条件。因此，能够减少最终输出的精简图像列所包含的精简图像的张数，能够减轻用户的负担等。

[0344] 以上对应用了本发明的7个实施方式1～7及其变形例进行了说明，但本发明不直接限定于各实施方式1～7及其变形例，在实施阶段，可以在不脱离发明主旨的范围内对结构要素进行变形而具体化。另外，通过适当组合上述各实施方式1～7和变形例所公开的多个结构要素，能形成各种发明。例如可以从各实施方式1～7及其变形例所记载的所有结构要素中删除掉某些结构要素。进而，还可以适当组合不同实施方式和变形例中所说明的结构要素。此外，在说明书或附图中，对于至少一次地与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置处，都可以将其置换为该不同的用语。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。

[0345] 标号说明

[0346] BO1：外侧边界；BO2：内侧边界；RE：残留区域；10：图像输入装置；20：图像数据库；30：图像列取得部；40：输出部；50：存储部；100：第1图像精简处理部；110：相似度计算部；
120：精简处理部；130：第1精简图像列生成部；200：第2图像精简处理部；210：识别处理部；
220：精简处理部；230：第2精简图像列生成部；300：合并处理部；1001：关注图像列设定部；
1002：第1基准图像选择部；1003：第1判定对象图像选择部；1004：第1可否删除判定部；
1005：部分图像列设定部；1006：第2基准图像选择部；1007：第2判定对象图像选择部；1008：
第2可否删除判定部；1009、1013：变形信息取得部；1010、1014：覆盖区域计算部；1011、
1015：覆盖率计算部；1012、1016：阈值判定部；1017：结构要素生成部；1018：关注区域漏看可能性判定部；1019：前方基准图像选择部；1020：后方基准图像选择部。