活动图像检索信息记录装置及活动图像检索装置

摘要

将由活动图像数据表示、用于检索由时间轴上的1以上的部分活动图像(140、142、144、146、160)构成的活动图像的检索信息记录于记录媒体的活动图像检索信息记录装置(40)，包括：基于活动图像数据，与1以上的部分活动图像分别对应生成检索信息的检索信息生成部件(102、103、104、105)；将检索信息和该检索信息与活动图像数据的对应信息一起记录于记录媒体的记录部件(106)。检索信息生成部件(102、103、104、105)包含用于生成通过将时间轴上的1以上的部分活动图像(140、142、144、146、160)分别空间分割所得到的1以上的空间部分活动图像的摘要信息(188)的第1检索信息生成单元(103)。

权利要求

1.一种活动图像检索信息生成装置(40)，生成用于检索由1以上场面(140、142、144、146、160)所组成的活动图像数据的检索信息，包含根据上述活动图像数据，与上述场面分别对应生成检索信息的检索信息生成部件(102、103、104、105)，其中

上述检索信息生成部件(102、103、104、105)，包含用于对上述各个场面(140、142、144、146、160)，通过空间分割该场面，构成在时间方向上具有该场面长度的多个空间分割块，生成此空间分割块单位的摘要信息(188)的第1检索信息生成单元(103)。

2.权利要求1记载的活动图像检索信息生成装置，其中

上述各个场面(140、142、144、146、160)，连续的活动图像数据在时间轴上被分割，还包含输出表示上述各个场面的上述活动图像数据中的位置的活动图像结构信息的活动图像结构信息输出用解析部件(101)，上述检索信息生成部件(102、103、104、105)根据上述活动图像结构信息和上述活动图像数据，生成上述各个场面(140、142、144、146、160)所对应的检索信息。

3.权利要求1记载的活动图像检索信息生成装置，其特征在于：

上述第1检索信息生成单元(103)，在空间分割上述场面(140、142、144、146、160)之际，在空间方向定义的2个方向上分割成预定的数。

4.权利要求1记载的活动图像检索信息生成装置，其特征在于：

上述第1检索信息生成单元(103)，在空间分割上述场面(140、142、144、146、160)之际，分割成预定的2的乘方数。

5.权利要求4记载的活动图像检索信息生成装置，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，通过时间分割该场面，构成在空间方向上具有该场面的图像尺度的多个时间分割块，生成此时间分割块单位的摘要信息的第2检索信息生成单元(102)。

6.权利要求5记载的活动图像检索信息生成装置，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，生成该场面所有的摘要信息的第3检索信息生成单元(104)。

7.权利要求3记载的活动图像检索信息生成装置，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，通过时间分割该场面，构成在空间方向上具有该场面的图像尺度的多个时间分割块，生成此时间分割块单位的摘要信息的第2检索信息生成单元(102)。

8.权利要求7记载的活动图像检索信息生成装置，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，生成该场面所有的摘要信息的第3检索信息生成单元(104)。

9.权利要求1记载的活动图像检索信息生成装置(40)，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，通过时间分割该场面，构成在空间方向上具有该场面的图像尺度的多个时间分割块，生成此时间分割块单位的摘要信息的第2检索信息生成单元(102)。

10.权利要求9记载的活动图像检索信息生成装置(40)，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，生成该场面所有的摘要信息的第3检索信息生成单元(104)。

11.权利要求4记载的活动图像检索信息生成装置(40)，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，生成该场面所有的摘要信息的第3检索信息生成单元(104)。

12.权利要求3记载的活动图像检索信息生成装置(40)，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，生成该场面所有的摘要信息的第3检索信息生成单元(104)。

13.权利要求1记载的活动图像检索信息生成装置(40)，其中

上述检索信息生成部件(102、103、104、105)，还包含用于对上述各个场面(140、142、144、146、160)，生成该场面所有的摘要信息的第3检索信息生成单元(104)。

14.一种活动图像检索装置(50)，是用于利用构成活动图像数据的1以上场面(140、142、144、146、160)各自对应的检索信息来检索希望的图像，上述检索信息对应着上述活动图像数据，

上述检索信息，包含对上述各个场面(140、142、144、146、160)，通过空间分割该场面所得到的、以在时间方向上具有该场面长度的多个空间分割块为单位的摘要信息(188)，其包含

用于读出并管理上述检索信息的检索信息管理单元(502)；

连接于上述信息管理单元，用于响应以外部给予的场面(140、142、144、146、160)为检索单位的第1检索请求，并采用上述检索信息所包含的上述空间分割块单位的摘要信息，来检索符合上述第1检索请求的场面(140、142、144、146、160)的第2检索实行单元(504)。

15.权利要求14记载的活动图像检索装置(50)，其中

上述检索信息，还包含对上述各个场面(140、142、144、146、160)，通过时间分割该场面所得到的、以在空间方向上具有该场面的图像尺度的多个时间分割块为单位的摘要信息，上述活动图像检索装置(50)，还包含连接于上述检索信息管理单元(502)，用于响应以外部给予的场面(140、142、144、146、160)为检索单位的第2检索请求，并采用上述检索信息所包含的上述时间分割块单位的摘要信息，来检索符合上述第2检索请求的场面(140、142、144、146、160)的第3检索实行单元(505)。

16.权利要求15记载的活动图像检索装置(50)，其中

上述检索信息还包含以上述各个场面(140、142、144、146、160)为单位的摘要信息，上述活动图像检索装置(50)，还包含连接于上述检索信息管理单元(502)，用于响应以外部给予的场面(140、142、144、146、160)为检索单位的第3检索请求，采用上述检索信息所包含的上述场面(140、142、144、146、160)为单位的摘要信息，来检索符合上述第3检索请求的场面(140、142、144、146、160)的第1检索实行单元(503)。

17.权利要求14记载的活动图像检索装置(50)，其中

上述检索信息还包含以上述各个场面(140、142、144、146、160)为单位的摘要信息，上述活动图像检索装置(50)，还包含连接于上述检索信息管理单元(502)，用于响应以外部给予的场面(140、142、144、146、160)为检索单位的第2检索请求，采用上述检索信息所包含的上述场面(140、142、144、146、160)为单位的摘要信息，来检索符合上述第2检索请求的场面(140、142、144、146、160)的第1检索实行单元(503).

18.一种活动图像检索信息管理装置，用于管理构成活动图像数据的1个或多个场面(140、142、144、146、160)中每一个所对应的检索信息，其中上述活动图像数据与上述检索信息有关，

上述检索信息，包含针对上述1个或多个场面中每一个的摘要信息(188)，该针对每一个场面的摘要信息以多个空间分割块为单位，其中，该针对上述1个或多个场面中每一个的分割块通过空间分割该所述每一个场面得到，该上述1个或多个场面中每一个的每一个分割块具有在时间轴(140、142、144、146、160)方向上的场面长度，并且，其中，上述活动图像检索信息管理装置包含

读出部件(501)，用于读出上述检索信息；以及

检索信息管理部件(502)，用于保持由上述读出部件(501)读出的检索信息，响应以外部提供的场面(140、142、144、146、160)为检索单位的第1检索请求，输出上述检索信息所包含的上述空间分割块单位的摘要信息。

19.权利要求18记载的活动图像检索信息管理装置，其中

上述检索信息，还包含通过时间分割上述场面(140、142、144、146、160)的每一个所得到的、以在空间上具有该场面的每一个的图像尺度的多个时间分割块为单位的摘要信息，上述检索信息管理部件(502)，还响应以外部给予的场面(140、142、144、146、160)为检索单位的第2检索请求，输出上述检索信息所包含的上述时间分割块单位的上述摘要信息。

20.权利要求19记载的活动图像检索信息管理装置，其中

上述检索信息，还包含以上述场面(140、142、144、146、160)为单位的摘要信息，上述检索信息管理部件(502)，还响应以外部给予的场面(140、142、144、146、160)为检索单位的第3检索请求，输出上述检索信息所包含的以场面(140、142、144、146、160)为单位的上述摘要信息。

21.权利要求18记载的活动图像检索信息管理装置，其中

上述检索信息，还包含以上述场面(140、142、144、146、160)的每一个为单位的摘要信息，上述检索信息管理部件(502)，还响应以外部给予的场面(140、142、144、146、160)为检索单位的第2检索请求，输出上述检索信息所包含的以场面(140、142、144、146、160)为单位的上述摘要信息。

说明书

技术领域

本发明涉及活动图像检索用信息记录装置(活动图像检索信息记录装置)及活动图像检索用装置(活动图像检索装置)，详细地说，涉及能够从构成活动图像的多个场面中，有效检索取出希望场面的活动图像检索信息记录装置及活动图像检索装置。

现有技术

由于计算机性能的提高、存储装置的大容量化、通信用基础设施的完备等，使大量的图像数据库化，需要时，将所需图像进行发信的服务等正在普及。由于图像数字化技术也在普及，个人也能够建立活动图像数据库。

这样，当使活动图像数据库化，怎样从其中检索需要的活动图像成为问题。本发明就是涉及这种活动图像检索技术的改良。

本说明书所用术语“活动图像”包含由RGB(Red、Green、Blue)信号构成，未加工的活动图像数据及象MPEG(Moving PictureExperts Group)等那样被数字化，按照规定动画压缩方式符号化的活动图像数据两者。

“场面”这一术语是由多个连续图像画面构成的活动图像构成单位，指从录像开始到停止一次摄影得到的活动图像或编辑完的活动图像中，以两个编辑点划分两端的一连串活动图像。也包含编辑处含有减弱、渐隐等特殊效果的场合。一个场面也可以包含多个场面。

所谓“场面变换点”指两个场面变换时间轴上的位置，刚场面变换后的场面的最开始的画面叫作“场面变换画面”。

所谓主画面，指用于检索等具有代表各场面或活动图像整体特征的画面。

活动图像数据是由沿时间轴变化的图像信息形成的内容。活动图像数据全部为检索对象。从而，检索所希望的活动图像最简单的方法是看整个活动图像来选择所希望的活动图像。但是，看整个活动图像需要一定时间。从而，当数据库中登记的活动图像数量增加，取出所希望的活动图像需要的时间极长。因此，这种方法不现实。

有效检索活动图像的一般方法是，对各活动图像预先准备代表各活动图像内容的种种检索用信息(检索信息)，据此，检索所希望的活动图像。

作为检索信息使用的信息包含附加于图像的信息(附加信息)、表示图像特性的信息(特性信息)及表示图像概要的信息(概要信息)。附加信息包含活动图像附带准备的标题或说明文。特性信息包含表示根据图像信号导出的辉度值频度或画面间移动信息等图像特性的信息。概要信息包含图像的特性信息或由外部输入决定的场面变换点或主画面等。

上述信息中，特性信息特别方便且重要。例如代表活动图像的主画面能够利用特性信息选择。特性信息数值化容易，如果以特性信息的形式使所希望的活动图像的特性数值化，能够容易抽出与所要求的特性信息特性一致的活动图像。以下说明所谓“检索信息”就是关于该特性信息的。

一般地，活动图像含有多个场面。检索者检索活动图像多数场合是为了从检索对象的一个或多个活动图像中，发现活动图像中所包含的希望的画面或希望的场面。使用检索信息从活动图像中发现希望的画面或场面的基本方法是，预先寻求关于各画面的检索信息或关于各场面的检索信息，记录下来，据此，选择画面或场面。

关于这一点，日本国特开平9-284702号公报公布了使用各画面移动向量的总和及构成画面的多个小范围的画面内及画面间的连续度，作为场面变换点检出用画面特征量的装置及方法。

另外，日本国特开平7-38842号公报公布了使用各场面内移动向量大小的平均值及图像的彩色矩形图作为场面特征量，将各场面代表图象作为图像索引显示时的控制方法。

参考这种以往技术，研制了下述活动图像检索用信息记录用装置(活动图像检索信息记录装置)及活动图像检索用装置(活动图像检索装置)。

参照图1，设想的以往活动图像检索信息记录装置包含，解析输入的活动图像数据，分割成场面、场面分割位置(场面变换)等活动图像结构表示信息(活动图像结构信息)输出用解析部件601；为接受解析部件601的输出和输入的活动图像数据，进行连接，根据解析部件601输出的活动图像结构信息及活动图像数据，作为检索信息生成场面内各画面对应的移动向量总和等图像摘要信息的输出画面单位检索信息生成部件602；为接受画面单位检索信息生成部件602的输出，进行连接，根据画面单位检索信息生成部件602输出画面单位的摘要信息，作为检索信息生成输出某场面整体的移动向量大小平均值等摘要信息用的场面单位检索信息生成部件603；通过将解析部件601输出的活动图像结构信息、画面单位检索信息生成部件602输出的各画面单位检索信息及场面单位检索信息生成部件603输出的整个场面的检索信息配置成规定的形式，生成输出活动图像对应检索信息用的活动图像检索信息生成部件604；将原来活动图像数据与活动图像检索信息生成部件604输出的活动图像对应检索信息对应存储于记录媒体606用的记录部件605。

另外，1画面可考虑为时间分割活动图像的单位。因此，画面可称为时间分割块的一例。

参照图2，设想的以往图像检索装置包含，从记录媒体606读出活动图像检索信息及活动图像数据用的读出部件701；保持读出部件701供给的各活动图像检索信息，接受对检索信息的请求，将场面单位检索信息或画面单位检索信息与活动图像结构信息一起输出用的检索信息管理部件702；接受场面单位检索请求，向检索信息管理部件702请求场面单位检索信息和活动图像结构信息，根据收到的场面单位检索信息和活动图像结构信息，检出符合检索请求的场面，输出检出的场面相关信息用的场面单位检索实行部件703；接受画面单位检索请求，向检索信息管理部件702请求场面内的画面单位检索信息及活动图像结构信息，根据收到的场面内的画面单位检索信息及活动图像信息，检出符合检索请求的场面或画面，输出检出的场面或画面相关信息用的画面单位检索实行部件704；根据场面单位检索实行部件703及画面单位检索实行部件704输出、检出的场面相关信息或检出的画面相关信息，通过读出部件701，取出输出那些检出的场面或画面对应的图像数据用的数据管理部件705；响应操作员给予的检索指示，将检索请求给予场面单位检索实行部件703或画面单位检索实行部件704，把数据管理部件705给予的活动图像数据作为检索结果反复进行显示处理，检索结束时，将检索结果输出用的检索控制部件706.

图1所示装置的动作设想如下。当输入活动图像数据，解析部件601将该活动图像数据分割为场面单位。解析部件601又输出活动图像结构信息。

画面单位检索信息生成部件602根据解析部件601输出的活动图像结构信息及活动图像数据，生成场面内的画面对应的摘要信息。画面单位检索信息生成部件602再将如此生成的摘要信息向场面单位检索信息生成部件603及活动图像检索信息生成部件604输出，作为检索信息。

场面单位检索信息生成部件603根据画面单位检索信息生成部件602给予的画面单位摘要信息，生成整个场面的摘要信息。场面单位检索信息生成部件603再把如此生成的摘要信息给予场面单位检索信息生成部件603，作为检索信息。

活动图像检索信息生成部件604分别从解析部件601接受活动图像结构信息，从画面单位检索信息生成部件602接受画面单位检索信息，从场面单位检索信息生成部件603接受整个场面用的检索信息，按规定形式配置、生成活动图像对应的检索信息。活动图像检索信息生成部件604将如此生成的活动图像对应的检索信息给予记录部件605。

记录部件605将原来的活动图像数据和活动图像检索信息生成部件604给予的检索信息记录于记录媒体606。这时，记录部件605把记录的活动图像数据与检索信息对应表示信息附加于活动图像数据或检索信息任一方或双方，或者分别记录活动图像数据及检索信息。

参照图2，以往的检索装置的动作设想如下。检索开始时，操作员将检索指示给予检索控制部件706。检索控制部件706响应该检索指示，选择场面单位检索或画面单位检索之一。

例如选择场面单位检索。于是，检索控制部件706将检索请求给予场面单位检索实行部件703。场面单位检索实行部件703响应该请求，向检索信息管理部件702请求场面单位检索信息和活动图像结构信息，接收检索信息管理部件702输出的场面单位检索信息和活动图像信息。

场面单位检索实行部件703根据该场面单位检索信息和活动图像结构信息，检出符合检索控制部件706给予的检索请求的场面。然后，场面单位检索实行部件703将检出的场面相关信息输出给数据管理部件705。

数据管理部件705根据场面单位检索实行部件703给予的场面相关信息，通过读出部件701从记录媒体606读出对应的图像数据，给予检索控制部件706。

检索控制部件706显示该图像数据。操作员看到显示的图像数据，决定下一次检索方针，将下一次检索指示给予检索控制部件706。以下重复进行同样处理。

这样，操作员取出要取出的图像，检索结束。检索结果由检索控制部件706输出。

按照以往的技术，涉及场面的检索信息，根据含于该场面的画面单位检索信息生成。这是基于场面构成的最小单位是画面的一般认识。

这样，当根据各个画面单位检索信息生成场面检索信息时，则能够利用将各画面分割为小范围得到的各画面内的空间特征(画面分割块单位检索信息)，作为检索信息。但是问题是这些以往的装置不能使用时间轴上的某长度场面整体图像的空间特征。本说明书把这种场面整体图像的空间特征称为“空间分割块单位检索信息”。

例如，要取出画面中央部有剧烈移动物体特征的场合。依据以往的技术，不能根据场面单位检索信息检索这样的场面，需要回到各场面所包含的各画面附加的检索信息检索。因此，以往的技术如此地检索，效率极低。

本发明的目的是鉴于上述以往的技术上的问题，提供使用的确表示场面特征的新指标，能够有效进行活动图像检索的活动图像检索信息记录装置及活动图像检索用装置。

本发明其它目的是通过不但把场面分割为时间块，抽出其特征，而且在时间轴上不分割，只在空间分割场面，抽出场面的其它特征，提供能够有效进行活动图像检索的活动图像检索信息记录装置及活动图像检索装置。

本发明的另一个其它目的是提供使用的确表示场面特征的新指标，能够有效进行活动图像检索且检索用信息量少的活动图像检索信息记录装置及活动图像检索装置。

发明内容

本发明相关的活动图像检索信息记录装置包含：检索信息生成部件，根据活动图像数据和将活动图像数据表示的活动图像，在时间轴上分割为时间轴上的1以上的部分活动图像的活动图像结构信息，分别对应1以上的部分活动图像，生成检索信息；记录部件，将检索信息和活动图像结构信息同对应的活动图像数据一起记录于记录媒体。检索信息生成部件包含，通过分别空间分割时间轴上的1以上的部分活动图像，生成所得到的1以上的空间部分活动图像的摘要信息用的第1摘要信息生成部件。
根据分别空间分割时间轴上的部分活动图像所得空间部分活动图像，生成摘要信息。该摘要信息，不是从时间轴上的部分活动图像中的时间的一部分得到的，是本发明新引进的。该摘要信息是从空间上只是图像的一部分但在时间轴上却是部分活动图像整体的空间部分活动图像得到的。因此，该摘要信息表示通过某部分活动图像时间整体的该部分活动图像的空间特征。使用这种新指标，能够有效地进行部分活动图像的非时间而是以空间特征为重点的检索。
本发明另一部分相关的活动图像检索装置是利用构成活动图像1以上的部分活动图像各自对应的检索信息，检索希望的图像用的活动图像检索装置。表示该活动图像的活动图像数据中，检索信息对应记入，检索信息包含分别空间分割时间轴上的1以上的部分活动图像所得到的1以上的空间部分活动图像的摘要信息。该发明相关的活动图像检索装置包含读出管理检索信息用的信息抽出部件；连接于该信息管理部件、响应外部给予的以时间轴上的部分活动图像为检索单位的第1检索请求，使用检索信息所包含的空间部分活动图像的摘要信息，检索符合第1检索请求的时间轴上的部分活动图像用的第1部分活动图像检索部件。
根据分别空间分割时间轴上的部分活动图像所得空间部分活动图像得到的摘要信息是本发明新引进的，是从空间上只是图像的一部分但在时间轴上是部分活动图像整体的空间部分活动图像得到的。从而，该摘要信息表示通过某部分活动图像整个时间的该部分活动图像的空间特征。因此，根据该发明相关的活动图像检索装置，能够使用该新指标，有效进行部分活动图像的非时间而是以空间特征为重点的检索。

附图说明

图1是设想的以往活动图像检索信息记录装置的原理框图。
图2是设想的以往活动图像检索装置的原理框图。
图3是本发明一实施方式相关的活动图像检索信息记录装置框图。
图4所示为本发明一实施方式相关的活动图像检索信息记录装置中，将活动图像分解为场面的过程图。
图5所示为本发明一实施方式相关的活动图像检索信息记录装置中，生成时间分割块单位检索信息的过程图。
图6所示为本发明一实施方式相关的活动图像检索信息记录装置中，生成空间分割块单位检索信息的过程图。
图7所示为本发明一实施方式相关的活动图像检索信息记录装置中场面单位检索信息概念说明图。
图8所示为本发明一实施方式相关的活动图像检索信息记录装置中空间分割块单位检索信息概念说明图。
图9所示为本发明一实施方式相关的活动图像检索信息记录装置中排成冗余性空间分割块单位检索信息概念说明图。
图10是本发明一实施方式相关的活动图像检索装置框图。
图11所示为场面单位检索信息的类似度检索中基准场面图。
图12所示为场面单位检索信息的类似度检索中一个场面图。
图13所示为场面单位检索信息的类似度检索中其它场面图。
图14所示为空间分割块单位检索信息的类似度检索中基准场面图。
图15所示为空间分割块单位检索信息的类似度检索中一个场面图。
图16所示为空间分割块单位检索信息的类似度检索中其它场面图。
图17是本发明一实施方式相关的活动图像检索信息记录装置中，场面单位检索信息记录和空间分割块单位检索信息选择记录的概念图。
图18是将分割指定数标志值的意义以表形式表示图。
图19所示为本发明一实施方式相关的活动图像检索信息记录装置中，场面单位检索信息记录与空间分割块单位检索信息分级记录概念图。
图20表示将画面分割成22个时的分割例图。
图21表示将画面分割成23个时的分割例图。
图22表示将画面分割成24个时的分割例图。
图23表示将画面分割成25个时的分割例图。
图24表示将画面分割成26个时的分割例图。
图25所示为活动图像数据分割成场面单位存储的活动图像数据库图。

具体实施方式

图3所示为本实施方式相关的活动图像检索信息记录装置40的框图.参照图3，该活动图像检索信息记录装置40包含：接受活动图像数据、解析活动图像结构、分割成场面、输出场面变换点等活动图像结构信息用的解析部件101；接受活动图像数据和解析部件101输出的活动图像结构信息，生成输出各场面所包含的各画面图像数据的摘要信息(以画面这一时间分割块为单位的摘要信息)用的第2检索信息生成部件102；接受解析部件101输出的活动图像结构信息及活动图像数据，生成输出场面内所有画面同一分割块位置图像数据构成的空间分割块摘要信息，作为各场面相关检索信息用的第1检索信息生成部件103；输入第2检索信息生成部件102输出的场面内各画面(时间分割块)的摘要信息及/或第1检索信息生成部件103输出的场面内各空间分割块的摘要信息，根据来自第2检索信息生成部件102的摘要信息及/或来自第1检索信息生成部件103的摘要信息一方或双方、生成输出整个场面的摘要信息用的第3检索信息生成部件104；通过把第2检索信息生成部件102输出的摘要信息、第1检索信息生成部件103输出的摘要信息、第3检索信息生成部件104输出的摘要信息及解析部件101输出的活动图像结构信息配置成规定形式，生成输出活动图像对应的检索信息用的第4检索信息生成部件105；接受第4检索信息生成部件105输出的活动图像的检索信息和原来的活动图像数据，将检索信息和活动图像数据的对应信息等附加于其中一方或双方或者作为其它数据，将检索信息及活动图像数据的对应信息等记录于记录媒体107用的记录部件106.
本发明装置使用的活动图像数据也可以是使用RGB信号等原图像信号、MPEG(Moving Picture Experts Group)等动画压缩方式、符号化的图像数据之一。在本实施方式中，为说明简便起见，活动图像数据假设为符号化的。
以下，对图3所示各块功能进一步详细说明。解析部件101将活动图像分割为时间小单位(场面)。为此，解析部件101进行图像数据中场面变换点的检出。解析部件101在该例中，使用符号化图像数据所包含的符号化块预测方式画面内的频度信息，检出场面变换点。
例如，参照图4，解析部件101检出活动图像120中的第1场面变换画面130、第2场面变换画面132、第3场面变换画面134、第4场面变换画面136。由此，解析部件101将活动图像120分割为由第1场面变换画面130与第2场面变换画面132间的图像数据含第1场面变换画面130)构成的第1场面140，由第2场面变换画面132与第3场面变换画面134间的图像数据含第2场面变换画面132)构成的第2场面142，由第3场面变换画面134与第4场面变换画面136间的图像数据含第3场面变换画面134)构成的第3场面144及由第4场面变换画面136到活动图像120最后的图像数据(含第4场面变换画面136)构成的第4场面146。即，解析部件101在该例中，将活动图像120分割为140、142、144、146四个场面。
解析部件101具有把第1场面变换画面130、第2场面变换画面132、第3场面变换画面134、第4场面变换画面136等场面变换画面的图像数据中的位置表示信息，输出作为活动图像结构信息的功能。
参照图5，第2检索信息生成部件102根据解析部件101输出的活动图像结构信息，对分割活动图像数据得到的某场面160进行下述处理，制作场面160所包含的各画面的摘要信息。另外，场面160含有画面162A至162N。
第2检索信息生成部件102分别对画面162A～162N，求移动向量画面内频度信息166A至166N。另外，第2检索信息生成部件102分别求画面162A～162N中移动向量平均值168A至168N。
这样求得的频度信息166和平均值信息168在该例中，构成各画面的摘要信息170.摘要信息作为画面号码的函数(即时间函数)给予.
该摘要信息是压缩场面160所包含的各画面空间内分布的信息得到的检索信息。各画面是图像时间上的分割单位，是时间分割块的一种。因此，摘要信息170可以称为时间分割块单位检索信息。
第1检索信息生成部件103接受解析部件101输出的活动图像结构信息(场面变换位置信息)和活动图像数据。第1检索信息生成部件103使用该活动图像结构信息和活动图像数据，象下面那样生成空间分割块的摘要信息。
另外这里的所谓空间分割块如下所述。把一个场面内所有画面，分别按相同方法，空间上分割为多个分割块。把所有这些画面的对应位置分割块整体称为该场面的空间分割块。因此，一个场面包含n个画面，各画面被分割为m个分割块时，该场面被分割为m个空间分割块，各空间分割块含有n个分割块。
具体参照图6，在第1检索信息生成部件103，对场面160进行如下处理。如上所述，设场面160含有多个画面162A～162N。这些画面162A～162N空间上分别分割为M个分割块。这里所谓分割块是指将图像面分割成多个时的各小范围。例如，图6所示画面162A被分割成180A1到180AM多个分割块。其它画面162B至162N也同样。
然后，由多个画面162A～162N各自相同位置的分割块形成场面160一个空间分割块。例如，由N个画面分别为第M号分割块的集合，(其元素数与N相等)形成空间分割块182-M。其它空间分割块的形成亦同。
对这样得到的M个空间分割块，分别压缩时间轴方向分布的信息，生成摘要信息188。这里所说的摘要信息188是各空间分割块的摘要信息，是对于各空间分割块所包含的分割块的画面内位置(座标)的函数值。
典型地，摘要信息188包含频度信息184和平均值信息186。作为频度信息184，可以使用各符号化块预测方式空间分割块内的频度信息或移动补偿预测符号化时的移动向量空间分割块内的频度信息。比如，无图示，从空间分割块182-1得到频度信息184A，从空间分割块182-2得到频度信息184B，以此类推，从空间分割块182-M得到频度信息184M。
另外，作为平均值信息186，可以使用空间分割块内移动向量总和或平均值。比如，无图示，从空间分割块182？1得到平均值信息186A，从空间分割块182？2得到平均值信息186B，以此类推，从空间分割块182M得到平均值信息186M。
此外，作为摘要信息，也可以使用空间分割块内移动向量的标准偏差等。
第3检索信息生成部件104接受第2检索信息生成部件102输出的摘要信息或第1检索信息生成部件103输出的摘要信息，根据其中一方或双方，生成输出整个场面的摘要信息。
这里，所谓整个场面的摘要信息是检索场面时使用的检索信息。作为整个场面的摘要信息，可以使用移动向量、辉度值或色差值等整个场面的频度信息、平均值、标准偏差等。
第4检索信息生成部件105通过将第2检索信息生成部件102输出的摘要信息、第1检索信息生成部件103输出的摘要信息、第3检索信息生成部件104输出的摘要信息、解析部件101输出的活动图像结构信息按规定形式配置，生成输出活动图像对应的检索信息，给予记录部件106。
记录部件106接受第4检索信息生成部件105输出的活动图像对应的检索信息和原来的活动图像数据，只把检索信息或把检索信息和活动图像数据记录于记录媒体107。这时，记录部件106把活动图像数据和检索信息对应表示的信息附加于活动图像数据或检索信息任一方或双方，或者活动图像数据及检索信息作为其它不同数据记录。
本实施方式相关活动图像检索信息记录装置40，以上说明过其结构和一般动作，作为其使用的检索信息，使用根据移动补偿预测符号化的活动图像数据所包含的移动向量，求得的移动大小信息。
更具体地说，时间分割块(画面)单位检索信息，对于场面内各画面，作为从附加于各符号化块的移动向量求得的整个画面中移动向量绝对值总和来求。另外，代替移动向量绝对值的总和，作为移动向量绝对值的平均值也相同。实际上，一画面所包含的符号化块数如果确定了，很容易根据移动向量绝对值总和及其平均值从一方求得另一方。
作为空间分割块单位检索信息，使用各空间分割块中移动向量绝对值的总和。这里也可以代替移动向量总和，将其平均作为检索信息使用。构成空间分割块的各分割块与符号化块一致时，各分割块对应的移动向量数为1。各分割块含有多个符号化块时，各分割块对应的移动向量数与该分割块所包含的符号化块数相等。
另外，空间分割块单位检索信息也可以是各空间分割块内的移动向量绝对值总和除以构成空间分割块的分割块数得到的值。这时的分割块数与构成场面的画面数相等。另外，空间分割块单位检索信息也可以是各空间分割块内的移动向量绝对值总和除以构成空间分割块的分割块所包含的符号化块数总和得到的值。
作为时间分割块或空间分割块检索信息，如果使用移动向量绝对值总和，则能够计算场面所包含的全部移动向量绝对值的总和。在本实施方式中，将这样得到的总和作为场面单位检索信息。
下面说明空间分割块单位检索信息生成所用分割块的具体例子。如图7所示，场面160是由画面162A～162N构成的。根据这些画面162A～162N的移动向量绝对值总和求场面160的场面单位检索信息I。
如图8所示，画面162A～162N是分别分割为2×2个分割块的。即画面162A～162N分别分割为4个分割块。比如，画面162A分割为4个分割块190A1至190A4。以下的画面图中未示，也同样。比如画面162B是分割为画面190B1至190B4等的。因此，从上述空间分割块说明可知，场面160分割为4个空间分割块，对这4个空间分割块，都作为实数值，从各空间分割块内移动向量绝对值总和分别求空间分割块单位的检索信息I1到I4。
因此，作为场面160用的场面检索信息，比如可以使用将这些检索信息I、I1、I2、I3、I4按顺序排列得到的{I、I1、I2、I3、I4}。也可以将该检索信息与原来的图像数据一起记录。
但是，上述的检索信息含有冗余性。这是由于在该例中，场面单位检索信息I等于空间分割块单位检索信息之和。比如，场面单位检索信息I可以根据空间分割块单位检索信息I1至I4求得。另外，可以根据空间分割块单位检索信息I1至I4中任意3个和场面单位检索信息I，计算空间分割块单位检索信息剩余的1个。
因此，在本实施方式的装置中，使I4不含于检索信息内.另外，在本实施方式的装置中，不是各空间分割块单位检索信息原样的值，而是用各空间分割块单位检索信息值对于场面单位检索信息的百分比表示.如果把第1至第3空间分割块检索信息对于场面单位检索信息I的比率设为P1、P2及P3，那么这时空间分割块单位检索信息象图9所示那样求。即根据第1空间分割块与场面单位检索信息计算第1空间分割块的检索信息P1。根据第2空间分割块和场面单位检索信息计算第2空间分割块检索信息P2。根据第3空间分割块和场面单位检索信息计算第3空间分割块检索信息P3。关于第4空间分割块，求检索信息时，变得冗长，因此不求。即场面160分割为4个空间分割块，可以求其中3个检索信息。一般地，Pk根据Pk＝100×Ik/I求。
这样，空间分割块检索信息，作为对于场面单位检索信息的百分比记录，有以下优点。第一，因为检索信息记录用信号的动态范围受限度，所以能够更有效地记录检索信息。即记录的信息量比非此种情况时少。第二，因为检索信息的值正规化，所以，可以使附加于各场面的检索信息互相比较。第三。如上所述，应记录的变数可以省略一个。
这样，活动图像检索信息由第4检索信息生成部件105生成，通过记录部件106记录于记录媒体107。
下面说明使用图3所示活动图像检索信息记录装置40记录于记录媒体107的活动图像数据及检索信息，进行活动图像检索的装置。参照图10，该实施方式相关活动图像检索装置50包含：读出记录媒体107记录的活动图像数据及其检索信息用的读出部件501；保持读出部件501读出的活动图像检索信息，按照检索请求，将场面单位检索信息、空间分割块单位检索信息或时间分割块单位检索信息同活动图像结构信息一起输出用的检索信息管理部件502；响应场面单位检索请求，对检索信息管理部件502发出请求，从检索信息管理部件502接受整个场面检索信息和活动图像结构信息，检出符合场面单位检索请求的场面，输出检出的场面相关信息用的第1检索实行部件503；响应空间分割块单位检索请求，对检索信息管理部件502发出请求，根据从检索信息管理部件502收到的场面内各空间分割块的摘要信息和活动图像结构信息，检出符合检索请求的场面，输出检出的场面相关信息用的第2检索实行部件504；响应时间分割块单位检索请求，对检索信息管理部件502发出请求，根据从检索信息管理部件502收到的场面内各画面的摘要信息和活动图像结构信息，检出符合检索请求的场面或画面，输出检出的场面或画面相关信息用的第3检索实行部件505；保持读出部件501读出的活动图像信息，根据第1检索实行部件503、第2检索实行部件504或第3检索实行部件505输出的检索结果，输出根据检索结果检出的场面或画面图像数据用的数据管理部件506；响应操作员输入的检索指示，分别向第1检索实行部件503输出场面单位检索请求，向第2检索实行部件504输出空间分割块单位检索请求，或者向第3检索实行部件505输出时间分割块单位检索请求，显示其结果即数据管理部件506输出的场面或画面的图像数据，检索完毕时，输出检索结果用的检索控制部件507。
该活动图像检索装置50如下所述进行动作。检索开始时，操作员将检索指示给予检索控制部件507。检索控制部件507按照该检索指示，选择场面单位检索、空间分割块单位检索或时间分割块单位检索之一，对第1检索实行部件503、第2检索实行部件504或第3检索实行部件505之一发出检索请求。
第1检索实行部件503、第2检索实行部件504、第3检索实行部件505中接到检索控制部件507的检索请求者，根据检索信息管理部件502给予的活动图像结构信息和场面单位、空间分割块单位或时间分割块(画面)单位的摘要信息，检出符合检索请求的场面或画面，将检出的场面或画面方面的信息给予数据管理部件506.
数据管理部件506将从第1检索实行部件503、第2检索实行部件504或第3检索实行部件505收到的场面或画面相关信息对应的场面或画面图像从活动图像数据中抽出，给予检索控制部件507。
检索控制部件507显示数据管理部件506给予的图像。操作员根据显示的图像，判断该图像是否是希望的场面，如果是希望的场面，指示检索控制部件507输出检索结果。检索控制部件507响应该指示，输出检索结果。
如果检索控制部件507显示的图像不是希望的场面时，操作员再将下一个检索指示给予检索控制部件507。以下，检索控制部件507的动作与上述相同，进行检索结果场面的显示。下面重复该动作，直到检索结束。
就活动图像检索具体例子进行说明。在该实施方式中，检索信息使用根据移动补偿预测符号化的活动图像数据所包含的移动向量所得移动大小相关的信息。
希望场面或场面内的画面如下所述进行检索。
利用场面单位检索信息时，例如可以选择整体移动大的场面和整体移动小的场面。
利用空间分割块单位检索信息时，例如，可以选择整个场面空间移动遍布的场面和空间移动比较均匀的场面。另外，能够指定移动遍布部分是图像的哪一部分。例如，能够选出图像中央部分有激烈移动部分(被照物)的场面或图像下半部有激烈移动部分的场面(含空白的图像)等。
在本实施方式中，将空间分割块这一以前未考虑过的概念为单位的检索信息用于场面检索。为此，得到如下效果。
参照图11至图13，关于图12(A)所示场面A和图13(A)所示场面B，考虑计算与图11(A)所示基准场面的类似度的场合。根据这种“类似度”计算，可以检出类似基准场面移动特征的场面。图12至图13表示只使用场面单位检索信息的场合。
图11至图13的(B)表示各图的(A)所示图像的场面单位检索信息。如图11至图13的(A)所示，场面A及场面B与基准场面，作为场面整体，具有相同的移动强度。因此，如图11至图13的(B)所示，对应的场面单位检索信息值也相同。即判断场面A、B都与基准场面类似。
接着，参照图14至图16，说明使用了空间分割块单位检索信息时的类似度检索的特征。图14至图16的(A)分别表示基准场面、场面A、B。如图示，各场面的各画面包含4个分割块。其中分别对第1至第3分割块构成的空间分割块计算空间分割块单位检索信息P1、P2及P3。另外，如图14至图16的(B)所示，基准场面、场面A及B的场面单位检索信息约为同值。
但是，如图14至图16的(C)所示，当以空间分割块单位检索信息比较各场面时，明白以下事实。即场面A具有与基准场面空间分割块单位检索信息的分布类似的分布。这是由于在场面B中，人物靠右方、空间移动可以偏的缘故。基准场面及场面A人物大致都在中央。因此，作为与基准场面类似的场面，检出场面A而不检出场面B。即，即使场面A、B都与基准场面类似，作为整个场面的移动也可以根据移动是否遍布来挑选场面。
进而，如果利用画面(时间分割块)单位检索信息，能够挑选场面内移动特别激烈的画面或者反之移动停止的画面.
通过对上述场面单位检索信息、空间分割块单位检索信息及时间分割块单位检索信息组合、能够更细致地进行希望场面的检索。
例如，能够按下述形式实行活动图像检索。即选择整体移动大的场面，凝缩成图像中央部分有移动特别激烈部分的场面，进一步将凝缩的各场面内移动特别激烈的画面作为主画面取出。
这样，通过本实施方式的装置，指定多方面条件，根据图像移动等图像特征，能够有效地检索希望场面的图像。也会缩短检索所需时间。
上述实施方式只不过是实施本发明的一例。此外，还可以对这些装置进行种种变形。
例如，在该实施方式的装置中，通过解析部件101对活动图像数据自动进行信号解析，找出场面变换点。但是本发明不限于此，例如，操作员看活动图像，靠操作员主观，解析活动图像结构，可以在场面分割位置附上标记。这种场合解析部件101同样在解析活动图像数据，但此时，是看着活动图像数据上附的标记，将活动图像分割为场面的。
在上述实施方式中，使用了移动补偿预测符号化时的移动向量画面内频度信息，作为画面摘要信息的频度信息166。但是，该发明不限于此，作为频度信息，也可以使用各符号化块预测方式画面内频度信息。
另外，作为摘要信息，除上述外，也可以采用使用画面内移动向量总和或标准偏差、原图像信号或復号图像信号计算的画面内平均辉度值或平均色差值等。
检索方法及顺序不限于这里所示组合。也可以改变所选候补的凝缩顺序。另外，还因生成的检索信息不同，检索方法及其顺序发生变化。
再如，在上述实施方式的装置中，作为空间分割块，使用了将1画面分割成2×2＝4个分割块的整个1场面集合。分割个数不限于4个。比如，如图17所示，也可以进行4×4、8×8或更多的分割。4×4分割时，以百分比表示的空间分割块单位检索信息为P1至P15。P16为100％减去其它空间分割块检索信息之和得到的。8×8分割时，以百分比表示的空间分割块单位检索信息为P1到P63。P64也是100％减去其它空间分割块检索信息之和得到的。
这样，可以选择使用多种分割方法的一种。这时，由按照所选个数(可以称为“析像度”)分割的分割块构成空间分割块，分别求其检索信息。进一步，在记录检索信息时，加于场面单位检索信息和取决于所选析像度的空间分割块单位检索信息，将图18表示该值与分割数的对应关系的分割数指定标志附加于检索信息。分割数指定标志如为“0”，记录{P1、P2、P3}；如为“1”，记录{P1、P2、......、P15}；如为“2”，记录{P1、P2、......、P63}；如为“3”，记录{P1、P2、......、P256}的空间分割块单位检索信息。
这样，由于能够指定多种空间分割块析像度，产生如下效果。
首先，在想知道图像中上下左右大略图像移动分布这种只要求比较简易检索的数据库中，使用2×2等小分割数。可以控制检索信息的记录量。
在想抽出图像持定部分或分离的两部分中移动大的场面这种请求频繁的数据库中，使用8×8等比较大的分割数。可以实现高功能检索。高析像度检索信息含有低析像度检索信息，因此，需要低析像度检索时，也无须重复持有低析像度检索信息。
在以上说明的实施方式中，象2×2、4×4及8×8那样，纵方向分割数与横方向分割数相等且都是2的乘方。当选用这样的分割数时，在记录分割析像度不同的空间分割块单位检索信息的数据库中也可以在检索信息之间对应记入。另外，还可以比较不同分割析像度间的检索信息。
再如图19所示，可以分级记录多种析象度的空间分割块单位检索信息。例如，场面检索信息包含场面单位检索信息200、2×2分割的空间分割块单位检索信息202、4×4分割的空间分割块单位检索信息204和8×8分割的空间分割块单位检索信息206。
在该分级结构中，某级空间分割块单位检索信息用高一级析像度的4个空间块单位检索信息表示。因此，各级中，即使4个空间分割块单位检索信息中有一个没记录，也能得到检索所需全部信息。
图19示例的检索信息包含的析像度检索信息与按图17所示8×8分割画面记录的以形成的空间分割块为单位的检索信息相同。另一方面，如果根据图19所示检索信息，有能够容易得到其它析像度检索信息的优点。
在以上说明的实施方式中，将场面内全画面分割成2×2、4×4、8×8等那样的n×n配置，形成空间分割块。但是，根据本发明，画面分割方法不限于此。例如，也可以按图20至图24所示形式分割画面，以得到的空间分割块为单位，生成检索信息。在图20至图24的示例中，将场面内全画面分割为2的乘方(2n)个(在图20，n＝2；在图21，n＝3；在图22，n＝4；在图23，n＝5；在图24，n＝6)。使用这样的分割方法，也能生成与上述实施方式的装置所得的实现检索功能的相同的检索信息。
按照图20～图24所示画面分割方法，与上述记载的实施方式一样，不同析像度的检索信息间的对应记入容易。另外，不同析像度的检索信息可容易互相比较。
另外，图5示例中，例如，将画面162N作为一个时间分割块164N，求摘要信息。但是，本发明不限于此实现例。比如，一个时间分割块可以包含2个以上的画面。还有，可以对各画面进行二次抽样，生成副画面，一时间分割块包含一个或多个副画面。另外，还可以适当间拨场面内的画面，使用间拨的各画面的摘要信息。
另外，图6示例或图8示例中，使用空间分割块所包含的全部分割块，求空间分割块的摘要信息。但是，本发明不限于此实现例。不一定需要使用空间分割块内所有分割块对应的图像数据，可以适当间拨分割块或分割块内的图像数据，生成空间分割块的摘要信息。
还有，参照图5及图6说明的时间分割块单位或空间分割块单位检索信息或者场面单位检索信息生成时，为了排除拍活动图像摄像机的移动对背景移动的影响，可以补偿相当于摄像机移动的移动向量份，生成检索信息。
另外，在上述实施方式中，活动图像检索信息记录装置40和活动图像检索装置50是分开的不同装置。而且，检索信息通过记录媒体107，由活动图像检索信息记录装置40给予活动图像检索装置50。代之，可以将图3所示第2检索信息生成部件102、第1检索信息生成部件103、第3检索信息生成部件104生成的各种检索信息，与解析部件101输出的活动图像结构信息一起，直接给予图10的检索信息管理部件502。这时的检索处理称为所谓实时检索。
在上述实施方式中，分割画面的分割块可以与符号化块一致.所谓符号化块可以重新定义其它适当大小的块.在上述实施方式中，分割块为对称形且分割块的配置也对称.但是，重新定义分割块时，块不必是对称形.另外，关于块的配置也不必对称.还有，也可以适当间拨图像面内.即，图像内可以有不含分割块的范围.另外，分割块一部分可以重复.即，图像内可以有多个分割块所包含的范围.
在上述实施方式中，图3所示第3检索信息生成部件104接受第2检索信息生成部件102输出的摘要信息及第1检索信息生成部件103输出的摘要信息，生成整个场面相关的摘要信息。但是，本发明不限于这样的实现例。比如，第3检索信息生成部件104可以根据输入的图像数据直接生成整个场面相关的摘要信息。
另外，在上述实施方式中，以物理定义的一场面为单位求各种摘要信息(检索信息)。但是，检索信息不一定需要以场面为单位求。比如，可以将一个场面多次分割的副场面为单位，求检索信息。即，“场面”一词还有“副场面”的意思。反之，也可以以多个场面构成的复合场面为单位，求检索信息。即“场面”一词还有“多个场面的集合”的意思。
另外，在上述实施方式中，对一个活动图像数据，生成记录检索信息，实行检索，但本发明不限于此实现例。即，还设想以多个活动图像数据为检索对象，生成记录检索信息，从多个活动图像数据中检索希望的场面或画面。
作为其一例，考虑一下图25所示，从作为多个场面各自独立的活动图像数据存储的图像数据库检索活动图像。用最近能拍摄活动图像的数字摄像机等拍摄活动图像时，表示所拍各活动图像即从1次录像开始到录像停止的1场面的活动图像数据作为各自独立的数据文件生成。因此，也很容易想起图25所示的图像数据库。
对这样的图像数据库，通过图3所示活动图像检索信息记录装置40生成检索信息。这时，输入的活动图像数据为数据库中存在的多个活动图像数据。因为格活动图像数据已经分解为场面(一个活动图像数据分别只含有一个场面)，所以不需要活动图像结构信息。从而，无须由解析部件101进行活动图像结构解析。第1、第2、第3检索信息生成部件103、102、104根据活动图像数据分别生成画面(时间分割块)、空间分割块、整个场面的摘要信息。第4检索信息生成部件105将这些摘要信息配置成规定形式，生成活动图像的检索信息。记录部件106接受各活动图像数据和各活动图像对应的检索信息，将各活动图像数据与检索信息的对应信息附加于某一方或双方，或者作为其它数据，将检索信息和对应信息记录于记录媒体107。也可以把记录媒体107设在原来的图像数据库内。另外，各检索信息可以分别独立记录，也可以作为图像数据库对应的检索信息统一记录。
另外，由图10所示活动图像检索装置根据这样的图像数据库及生成记录的检索信息实行检索。这时，读出部件501读出的、检索信息管理装置502管理的是数据库中存在的多个活动图像数据对应的检索信息，不需要各活动图像数据对应的活动图像结构信息。第1、第2、第3检索实行部件503、504、505分别使用对应的检索信息，检出符合检索请求的场面或画面，输出检出的场面或画面相关信息。数据管理部件506及检索控制部件507的动作与上述实施方式相同，得到检索结果。
应考虑到这次公布的实施方式在所有方面都是例示，是不受限制的。本发明的范围不是上述说明，打算通过权利要求表示，含有与权利要求同等意义及范围内的一切变更。
如上所述，本发明相关的活动图像检索信息记录装置及活动图像检索装置不是以时间而是以空间分割场面的空间分割块为单位，生成场面检索信息，根据该检索信息检索场面，因此，适用于根据在整个该场面观测到的空间特征、有效检索活动图像中希望场面的系统。