图像处理装置以及图像处理方法

摘要

本发明提供图像处理装置以及图像处理方法。图像映射单元(150)将基于由辅助输出部(160)取出的图像数据(T1)的图像纹理映射到CG图像的纹理映射目标的表面。CG图像数据(Vout)被取出到预备输入总线(174)上并被提供给混合器(177)。图像生成单元(140)求出纹理映射目标的位置信息，将该位置信息通过位置发送单元(180)发送给键处理器(图像加工部)(176)。键处理器(176)基于位置信息，进行要叠加(重叠)到CG图像上的文字串等前景图像的移动调整。混合器(177)使用CG图像的图像数据(Vout)、键填充信号和键源信号，将文字串等前景图像重叠到CG图像中与纹理映射目标对应的位置。

权利要求

1.一种图像处理装置，包括：

图像生成单元，其基于计算机图形描述数据来生成计算机图形图像；

图像映射单元，其将所述图像生成单元绘制的计算机图形图像的对象或者该对象的一部分作为纹理映射目标，并将纹理映射图像纹理映射到该纹理映射目标的表面上；以及叠加单元，其基于所述计算机图形图像中的所述纹理映射目标的位置信息，将叠加图像叠加到在所述图像映射单元中被纹理映射了的计算机图形图像的与所述纹理映射目标相对应的位置上。

2.如权利要求1所述的图像处理装置，其中，

还包括信息设定单元，其设定所述纹理映射图像中的一个或多个系列与所述叠加图像的一个或多个系列之间的对应关系，所述叠加单元基于由所述信息设定单元设定的所述对应关系，将与被纹理映射到所述纹理映射目标的表面上的所述纹理映射图像相对应的所述叠加图像叠加到与该纹理映射目标对应的位置上。

3.如权利要求2所述的图像处理装置，其中，

还包括表面指定单元，其通过所述计算机图形描述数据中的预定属性的值被选择来指定上述纹理映射目标，所述表面指定单元针对所述纹理映射图像的每个系列指定所述纹理映射目标。

4.如权利要求1所述的图像处理装置，其中，

还包括叠加图像生成单元，其生成所述叠加图像作为计算机图形对象。

5.如权利要求1所述的图像处理装置，其中，

还包括纹理映射图像数据选择单元，其从多个输入图像数据中选择一个图像数据，所述图像映射单元将基于由所述纹理映射图像数据选择单元选择的图像数据的纹理映射图像纹理映射到所述纹理映射目标的表面上。

6.如权利要求1所述的图像处理装置，其中，

还包括叠加图像数据选择单元，其从多个输入图像数据中选择一个图像数据，所述叠加单元叠加基于由所述叠加图像数据选择单元选择的图像数据的叠加图像。

7.如权利要求1所述的图像处理装置，其中，

还包括模式切换单元，其切换使用经所述纹理映射的计算机图形图像的第一模式、和使用与该计算机图形图像不同的其他图像的第二模式，所述叠加单元在被切换到所述第一模式时，基于所述计算机图形图像中的所述纹理映射目标的位置信息，将所述叠加图像叠加到在所述图像映射单元中被纹理映射了的计算机图形图像的与所述纹理映射目标相对应的图像位置上，所述叠加单元在被切换到所述第二模式时，将所述叠加图像叠加到所述其他图像的预定位置上。

8.一种图像处理方法，包括以下步骤：

图像生成步骤，用于基于计算机图形描述数据来生成计算机图形图像；

图像映射步骤，用于将在所述图像生成步骤中绘制的计算机图形图像的对象或该对象的一部分作为纹理映射目标，并将纹理映射图像纹理映射到该纹理映射目标的表面上；以及叠加步骤，用于基于所述计算机图形图像中的所述纹理映射目标的位置信息，将叠加图像叠加到在所述图像映射步骤中被纹理映射了的计算机图形图像的与所述纹理映射目标相对应的位置上。

说明书

图像处理装置以及图像处理方法

技术领域

[0001] 本发明涉及图像处理装置以及图像处理方法，尤其涉及通过将基于图像数据的图像纹理映射到计算机图形图像上来进行图像合成的图像处理装置等。

背景技术

[0002] 在三维图形系统中，将三维坐标分解为三角形等多边形(多角形)，并通过绘制该多边形来绘制整个图像。因此，在此情况下，可以说三维图像是用多边形的组合定义的。但是，身边大多物体的表面具有由复杂的模样重复构成的图案，而且模样或图案越是复杂、精细，越是难以用三角形等对各模样或图案建模。因此，作为解决上述问题的手段而使用纹理映射(Texture Mapping)。

[0003] 纹理映射是通过将使用扫描仪等获取的图像数据贴在物体表面上来用少的顶点数实现真实性高的图像，其定义从对象(Object)坐标系向纹理(Texture)坐标系的映射，并且求出从窗口(Window)坐标系向纹理坐标系的映射，从而求出与窗口坐标系中的各像素(Pixel，Picture Cell Element)对应的纹理的元素、即纹元(Texel，Texture Cell Element)。

[0004] 使用在纹理上的图像数据保存在被称为纹理存储器的存储器区域中。因此，当进行使用运动图像数据随时更新纹理存储器的处理时，可基于运动图像进行纹理映射处理。

[0005] 例如，专利文献1中记载了一种字幕产生装置，该字幕产生装置识别希望在立体视觉图像中提供字幕的立体视觉对象，并向字幕施加与该立体视觉对象相对应的视差，由此不妨碍整体的立体视觉。另外，例如在专利文献2中记载了能够进行与三维对象在时间上同步的文字编辑和/或显示的三维图像编辑显示装置。

[0006] 在先技术文献

[0007] 专利文献

[0008] 专利文献1：日本专利文献特开2006-325165号公报；

[0009] 专利文献2：日本专利文献特开2002-015339号公报。

发明内容

[0010] 发明要解决的问题

[0011] 以往的字幕/叠加(superimposition)在作为目标的图像中插入文字串的图像。当对被纹理映射到CG对象的表面上的图像通过叠加来插入文字串时，根据纹理映射面的状况，例如在纹理映射面发生了旋转、缩小、变形等的情况下，将难以辨认文字串。例如，图
28的(a)示出了纹理映射面旋转了的情况，另外图28的(b)示出了纹理映射面被缩小的情况。在这些情况下，难以辨认出文字串“コ一ヒ一カツプ”。

[0012] 在制作CG时，如果将文字串制作为CG对象并显示为虚拟三维空间的图像，则该文字能够容易辨认。但是，当在应用时切换要纹理映射的图像的时候，难以随着切换而显示与各个图像对应的文字串。另外，在直播等应用时，文字串的插入是通过操作被称为效果转换器(effect switcher)的键控功能的部分来进行的，并且希望能够可靠地操作。

[0013] 本发明的目的在于，在将制作的CG利用于直播等的情况下能够将与被纹理映射的图像相对应的文字串容易观看地插入到与该图像对应的位置处。

[0014] 解决问题的手段

[0015] 本发明的概念在于一种图像处理装置，包括：

[0016] 图像生成单元，其基于计算机图形描述数据来生成计算机图形图像；

[0017] 图像映射单元，其将所述图像生成单元绘制的计算机图形图像的对象或者该对象的一部分作为纹理映射目标，并将纹理映射图像纹理映射到该纹理映射目标的表面上；以及

[0018] 叠加单元，其基于所述计算机图形图像中的所述纹理映射目标的位置信息，将叠加图像叠加到在所述图像映射单元中被纹理映射了的计算机图形图像的与所述纹理映射目标相对应的位置上。

[0019] 在本发明中，图像生成单元基于计算机图形描述数据来生成计算机图形图像。在此情况下，通过将三维坐标分解为三角形等多边形(多角形)，并绘制该多边形来进行图像整体的绘制。另外，图像映射单元将由图像生成单元绘制的计算机图形的对象或者该对象的一部分作为纹理映射目标，并将纹理映射图像纹理映射到该纹理映射目标的表面上。

[0020] 例如，通过纹理映射图像数据选择单元从多个输入图像数据中选择一个图像数据。图像映射单元将基于由该纹理映射图像数据选择单元选择的图像数据的纹理映射图像纹理映射到纹理映射目标的表面上。在此情况下，操作者通过改变由纹理映射图像选择单元选择的图像数据，能够改变要被纹理映射的图像。

[0021] 另外，叠加单元将叠加图像叠加到在图像映射单元中被纹理映射了的计算机图形图像上。在此情况下，基于计算机图形图像中的所述纹理映射目标的位置信息，将叠加图像叠加到与纹理映射目标相对应的位置上。

[0022] 例如，通过叠加图像数据选择单元从多个输入图像数据中选择一个图像数据。叠加单元叠加基于由该叠加图像数据选择单元选择的图像数据的叠加图像。在此情况下，操作者通过改变由叠加图像选择单元选择的图像数据，能够改变要被叠加的图像(文字串等图像)。另外，例如通过叠加图像生成单元生成叠加图像作为计算机图形对象。

[0023] 如此，将纹理映射图像纹理映射到纹理映射目标的表面上。另外，基于纹理映射目标的位置信息，将叠加图像叠加到纹理映射了纹理映射图像的计算机图形图像中与纹理映射目标相对应的位置上。从而，能够将与被纹理映射的图像对应的文字串容易观看地插入到与该图像对应的位置上。

[0024] 另外，在本发明中例如还可以包括信息设定单元，其设定纹理映射图像中的一个或多个系列与叠加图像的一个或多个系列之间的对应关系，并且所述叠加单元基于由信息设定单元设定的对应关系，将与被纹理映射到纹理映射目标的表面上的纹理映射图像相对应的叠加图像叠加到与该纹理映射目标对应的位置上。在此情况下，当具有多个系列的纹理映射图像或叠加图像时，也能够将与纹理映射的图像对应的文字串容易观看地插入到与该图像对应的位置上。

[0025] 另外，在本发明中例如还可以包括表面指定单元，其通过计算机图形描述数据中的预定属性的值被选择来指定纹理映射目标，并且表面指定单元针对纹理映射图像的每个系列指定纹理映射目标。属性例如是材质定义、材质定义所带的表面信息等。

[0026] 另外，在本发明中例如还可以包括模式切换单元，其切换使用经纹理映射的计算机图形图像的第一模式、和使用与该计算机图形图像不同的其他图像的第二模式，并且所述叠加单元在被切换到所述第一模式时，基于计算机图形图像中的纹理映射目标的位置信息，将叠加图像叠加到在图像映射单元中被纹理映射了的计算机图形图像的与纹理映射目标相对应的图像位置上，而在被切换到第二模式时，则将叠加图像叠加到其他图像的预定位置上。

[0027] 发明效果

[0028] 根据本发明，基于纹理映射目标的位置信息，将叠加图像叠加到通过将纹理映射图像纹理映射在纹理映射目标的表面上而得到的计算机图形图像中的、与该纹理映射目标相对应的位置上，从而能够将与被纹理映射的图像相对应的文字串容易观看地插入到与该图像对应的位置上。

附图说明

[0029] 图1是示出作为第一实施方式的图像处理装置的构成例的框图；

[0030] 图2是示出材质所带的表面信息的例子的图；

[0031] 图3是示出构成合成切换操作输入部的控制面板的外观的一个示例的图；

[0032] 图4是示出图像生成单元和图像映射单元的具体构成例的框图；

[0033] 图5是示出图像生成单元和图像映射单元的功能框的构成例的图；

[0034] 图6的(a)和(b)是示出进行纹理映射时的纹理图像和UV图的一个例子的图；

[0035] 图7是示出对CG对象的每个面(多边形的部分集合)赋予不同属性的图；

[0036] 图8的(a)～(d)是示出位置信息的含义和本发明的动作示例的图；

[0037] 图9是用于说明图像生成单元中的位置信息的计算方法的一个示例的图；

[0038] 图10是用于说明图像生成单元中的位置信息的计算方法的另一个示例的图；

[0039] 图11是用于说明图像生成单元中的位置信息的计算方法的又一个示例的图；

[0040] 图12的(a)和(b)是示出在纹理映射了纹理映射图像的CG图像上叠加文字串的叠加图像的示例图；

[0041] 图13是示出作为第二实施方式的图像处理装置的构成例的图；

[0042] 图14是示出具有图像选择操作单元的控制面板的一个例子的外观的图；

[0043] 图15的(a)和(b)是示出在分配指定按钮行时显示的GUI显示例以及在选择输出总线时显示的GUI显示例的图；

[0044] 图16是示出输出总线的总线编号和映射输入T1～T4之间的对应关系的映射输入对应表的一个示例的图；

[0045] 图17的(a)和(b)是示出映射输入T1～T4和属性的值(名称)之间的对应关系的图像分配表的一个示例的图；

[0046] 图18的(a)～(f)是示出纹理映射图像和叠加图像之间的对应关系的图像对应表的一个示例的图；

[0047] 图19是示出图像映射单元的对应于一帧的处理步骤的流程图；

[0048] 图20是示出叠加单元的对应于一帧的处理步骤的流程图；

[0049] 图21是示出在与图像映射单元不同的部分(不同的微型计算机)中进行坐标的计算时的通信等的顺序图；

[0050] 图22是示出作为第三实施方式的图像处理装置的构成例的框图；

[0051] 图23是示出作为第四实施方式的图像处理装置的构成例的框图；

[0052] 图24的(a)～(e)是用于说明动画的嵌入合成的图；

[0053] 图25的(a)～(f)是用于说明CG图像的变化(运动)和嵌入合成的图；

[0054] 图26是示出图像处理装置的另一构成例的框图；

[0055] 图27是示出图像处理装置的又一构成例的框图；

[0056] 图28的(a)和(b)是示出对被纹理映射到CG对象的表面上的图像通过叠加而插入了文字串时的图像示例的图。

具体实施方式

[0057] 下面对用于实施发明的方式(下面称为“实施方式”)进行说明。说明按以下顺序进行。

[0058] 1.第一实施方式

[0059] 2.第二实施方式

[0060] 3.第三实施方式

[0061] 4.第四实施方式

[0062] 5.变形例

[0063] <1.第一实施方式>

[0064] [图像处理装置的构成]

[0065] 对本发明的第一实施方式进行说明。图1示出了作为第一实施方式的图像处理装置100的构成例。该图像处理装置100具有：CG(Computer Graphics：计算机图形)制作单元110、表面指定单元120、网络130、图像生成单元140以及图像映射单元150。另外，该图形处理装置100包括辅助输出部160、图像合成切换部170、位置发送单元180、合成切换控制部190、以及合成切换操作输入部195。CG制作单元110、表面指定单元120、图像生成单元140以及位置发送单元180分别与网络130连接。

[0066] CG制作单元110由带有CG制作软件的个人计算机(PC：Personal Computer)构成。该CG制作单元110输出预定格式的CG描述数据。CG描述数据的格式例如有Collada(注册商标)。Collada是用于在XML(Extensible Markup Language，可扩展标记语言)的基础上实现3D的CG数据交换的描述定义。在CG描述数据中例如描述有如下的信息。

[0067] (a)材质的定义

[0068] 该材质的定义是CG对象的表面性质(外貌)。该材质的定义中包含色彩、反射方式、发光、凹凸等信息。并且，该材质的定义中有时包含纹理映射的信息。纹理映射如上所述是将图像贴到CG对象上的方法，其能够减轻处理系统的负荷的同时表现出复杂的模样等。图2示出了材质所带的表面信息的例子。另外，代替色彩，有时也指定纹理映射。

[0069] (b)几何学信息Geometry的定义

[0070] 该几何学信息Geometry的定义中包含关于多边形网格的位置坐标、顶点坐标等的信息。

[0071] (c)摄像机的定义

[0072] 该摄像机的定义中包含摄像机的参数。

[0073] (d)动画的定义

[0074] 该动画的定义中包含动画的各关键帧中的各种值的信息。另外，该动画的定义中包含动画的各关键帧的时间信息。各种信息例如是对应的对象(节点)的关键帧点的时间、位置或顶点的坐标值、大小、切线向量、插值方法、各种信息在动画中的变化等的信息。

[0075] (e)场景中的节点(对象)的位置、方向、大小、对应的几何学信息定义、对应的材质定义

[0076] 这些信息并不零散，例如被如下对应起来。

[0077] ·节点…几何学信息

[0078] ·节点…材质(多个)

[0079] ·几何学信息…多边形集合(多个)

[0080] ·多边形集合…材质(与节点对应的材质中的一个)

[0081] ·动画…节点

[0082] 构成一个画面的描述被称为场景。各个定义被称为库，并且在场景中被参考。例如，在存在两个长方体的对象的情况下，每个对象分别被描述为一个节点，并且各节点可联想材质定义中的某一个。其结果是，每个长方体的对象可联想材质定义，从而可用依照各材质定义的色彩和反射特性来绘制。

[0083] 或者，在长方体的对象通过多个多边形集合来描述、并且多边形集合可联想材质定义的情况下，每个多边形集合可用不同的材质定义来绘制。例如，长方体具有6个面，但有时长方体的对象用三个多边形集合描述，例如，其中的三个面为一个多边形集合，一个面为一个多边形集合，两个面为一个多边形集合。由于各个多边形集合能够联想不同的材质定义，因此也可以用不同的色彩来绘制每个面。在后述的图像映射单元中，对象或对象的一部分(面或者多边形网格的分割单元等)被设为纹理映射的目标。

[0084] 下面示出了作为CG描述数据的Collada文件的实例(部分摘录例)。例如，在该实例中，定义了名称(值)为“01MatDefault”的材质。并且，该材质的实际内容描述了应参考“01MatDefault-fx”的效果。另外，在该实例的中，描述了对″#Box01-lib″的几何学信息定义结合“01MatDefault″的材质定义来进行绘制。

[0085] [Collada文件的实例]

[0086]

[0087] 材质定义

[0088] 参考效果

[0089]

[0090]

[0091]

[0092] 这是材质的内容[0093]

[0094]

[0095]

[0096]

[0097] 0.0000000.0000000.0000001.000000

[0099]

[0100] 在这里着色

[0101] 0.588235 0.952941 0.9215691.000000[0102]

[0103]

[0104] 0.588235 0.952941 0.9215691.000000[0105]

[0106]

[0107] 0.000000 0.000000 0.000000 1.000000[0108]

[0109]

[0110] 2.000000

[0111]

[0112]

[0113] 0.000000 0.000000 0.000000 1.000000[0114]

[0115]

[0116] 1.000000

[0117]

[0118]

[0119] 1.000000 1.000000 1.000000 1.000000

[0121]

[0122]

[0123] 0.000000

[0124]

[0125]

[0126]

[0127]

[0128]

[0129]

[0130]

[0131]

[0132]

[0133]

[0134] 位置信息的

[0135] 阵列

[0136] -4.673016 -8.585480 0.000000

[0137] 4.673016 -8.585480 0.000000

[0138] -4.673016 8.585480 0.000000

[0139] 4.673016 8.585480 0.000000

[0140] -4.673016 -8.585480 10.185543

[0141] 4.673016 -8.585480 10.185543

[0142] -4.673016 8.585480 10.185543

[0143] 4.673016 8.585480 10.185543

[0144]

[0145]

[0146]

[0147] 位置信息的阵列的排列说明[0148]

[0149]

[0150]

[0151]

[0152]

[0153]

[0154] UV坐标的阵列[0155] 0.0000000.000000由于是单纯的立方体，因此只有0和1

[0156] 1.0000000.000000

[0157] 0.0000001.000000

[0158] 1.0000001.000000

[0159] 0.0000000.000000

[0160] 1.0000000.000000

[0161] 0.0000001.000000

[0162] 1.0000001.000000

[0163] 0.0000000.000000

[0164] 1.0000000.000000

[0165] 0.0000001.000000

[0166] 1.0000001.000000

[0167]

[0168]

[0169] [0170] UV坐标的说明

[0171]

[0172]

[0173]

[0174]

[0175]

[0176]

[0177] [0178]

[0179]

[0180]

[0182]

[0184]

[0186]

00921113210

顶点信息

[0187]

3 3 10 1 4 8 0 5 9

[0188]

4 6 8 5 7 9 7 8 11

[0189]

7 9 11 6 10 10 4 11 8

[0190]

0 12 4 1 13 5 5 14 7

[0191]

5 15 7 4 16 6 0 17 4

[0192]

1 18 0 3 19 1 7 20 3

[0193]

7 21 3 5 22 2 1 23 0

[0194]

3 24 4 2 25 5 6 26 7

[0195]

6 27 7 72 8 6 32 9 4

[0196]

2 30 0 0 31 1 4 3 23

[0197]

4 33 3 6 34 2 2 35 0

[0198]

[0199]

[0200]

[0201]

[0202]

[0203]

[0204]

[0205]

[0206] [0207] 0.000000 1.000000 1.033333 1.333333动画中的X坐标值变化的时刻

[0208]

[0209]

[0210]

[0212]

[0213]

[0214]

[0215]

[0216]

[0217] [0218] -43.404125 -43.404125 -23.897228 13.150181动画中的X坐标值本身

[0219]

[0220]

[0221]

[0223]

[0224]

[0225]

[0226]

[0227]

[0228] [0229] 0.000000 0.000000 1.884578 -0.000000

[0230]

[0231]

[0232]

[0234]

[0235]

[0236]

[0237]

[0238]

[0239] [0240] 0.000000 0.000000 16.961202 0.000000

[0241]

[0242]

[0243]

[0245]

[0246]

[0247]

[0248]

[0249]

[0250]

[0252] BEZIER BEZIER BEZIER BEZIER

[0253]

[0254]

[0255]

[0257]

[0258]

[0259]

[0260]

[0261]

[0262]

[0264]

[0266]

[0268]

[0270]

[0272]

[0273] 这里确定(target)以上是什么动画信息

[0275]

[0276]

[0277]

[0278]

[0279] -43.404125 0.6970370.000000[0280] 0 0 1 0.000000

[0281] 0 1 0 0.000000

[0282] 1 0 0 0.000000

[0283] 1.000000 1.000000 1.000000

[0284] 参考几何学信息定义

[0285]

[0286]

[0287] 参考材质

[0289]

[0290]

[0291]

[0292]

[0293]

[0294]

[0295] 返回到图1，图像合成切换部170具有输入选择部171、键处理器(图像加工部)176、混合器177。输入选择部171选择输入进来的多个图像数据并与多个输出通道连接。即，输入选择部171将从外部输入多个图像数据的9条输入线选择性地连接到键源总线172a、键填充总线172b、背景A总线172c、背景B总线172d以及预备输入总线174上。输入选择部171的键源总线172a、键填充总线172b的部分构成了叠加图像数据选择单元。

[0296] 预备输入总线174具有与其他总线相同的功能，但无法从合成切换操作输入部195直接指定输入选择。该预备输入总线174是不让操作者直接看到存在的内部用途总线。
在该实施方式中，在将文字串等叠加图像叠加到CG图像上的CG输出模式下，预备输入总线
174与输入线“9”连接。

[0297] 9条输入线在图中沿一个方向排列，“1”～“8”的每条输入线被输入来自VTR、视频摄像机等的图像数据。“9”的输入线被输入从图像生成单元140输出的CG图像数据。键源总线172a、键填充总线172b、背景A总线172c、背景B总线172d以及预备输入总线174与输入线交叉地沿其他方向排列。

[0298] 交叉点开关组173a在9条输入线和键源总线172a交叉的各个交叉点处执行各自的连接。交叉点开关组173b在9条输入线和键填充总线172b交叉的各个交叉点处执行各自的连接。键源总线172a所提取的键源信号被发送给键处理器176。另外，键填充总线172b所提取的键填充信号被发送给键处理器176。键填充信号是重叠在背景图像上作为前景的信号，键源信号是指定重叠键填充信号的区域、切除背景图像而形成的形状、键填充信号相对于背景图像的浓度等的信号。

[0299] 交叉点开关组173c在9条输入线和背景A总线172c交叉的各个交叉点处执行各自的连接。交叉点开关组173d在9条输入线和背景B总线172d交叉的各个交叉点处执行各自的连接。并且，交叉点开关组175在9条输入线和预备输入总线174交叉的各个交叉点处执行各自的连接。被提取到背景A总线172c上的背景A数据和被提取到背景B总线172d上的背景B数据被发送给混合器177。另外，被提取到预备输入总线174上的CG图像数据被发送给混合器177。

[0300] 键处理器176基于用于进行键控的各种参数、即键调整值来调整、加工键源信号和键填充信号以使其适于键控。这里，键调整值例如是用于调整键填充信号相对于背景图像的浓度的值、用于调整应辨别为键源信号的图像的信号电平的阈值的值、与背景图像的边界线有关的调整值等。经键处理器176调整、加工了的键填充信号和键源信号被发送给混合器177。

[0301] 混合器177基于来自键处理器176的键填充信号和键源信号，通过键控将前景图像叠加到背景图像或者CG图像上。在该混合器177中得到的图像数据通过输出线178被输出到外部。混合器177和上述键处理器176构成了叠加单元。

[0302] 辅助输出部160进行辅助输出的选择。辅助输出部160将从外部输入多个图像数据的9条输入线选择性地连接到辅助输出总线161上。交叉点开关组162在9条输入线和辅助输出选择总线161交叉的各个交叉点处执行各自的连接。提取到该辅助输出选择总线161上的图像数据作为纹理映射图像数据T1而被发送到图像映射单元150。该辅助输出部
160构成了纹理映射图像数据选择单元。

[0303] 合成切换控制部190基于来自合成切换操作输入部195的控制信号来控制混合器177、输入选择部171以及辅助输出部160的处理动作。来自操作输入部195的控制信号例如包括指定混合器177中的处理模式的图案指定信息、对各交叉点开关组中的输入图像的选择切换动作进行指示的选择指示信息等。

[0304] 另外，合成切换控制部190具有CG模式切换单元191。该CG模式切换单元191基于来自合成切换操作输入部195的控制信号对CG输出模式和全画面输出模式进行切换。这里，CG输出模式是使用在图像映射单元150被纹理映射了纹理映射图像的CG图像的模式。另外，全画面输出模式是使用与CG图像不同的其他图像的模式。

[0305] 合成切换操作输入部195具有用于指示混合器177中的处理模式和前进比率键控合成动作、以及输入选择部171和辅助输出部160中的输入图像的选择动作等的开关类。合成切换操作输入部195依据操作者的操作输入来生成用于控制混合器177、输入选择部171和辅助输出部160的处理动作的控制信号，并将该控制信号发送给合成切换控制部190。

[0306] 例如，通过数字键或按钮开关等来指定混合器177中的处理模式的编号。另外，例如通过数字键或按钮开关等来指定在输入选择部171、辅助输入部160中使各总线连接的输入线的编号。另外，例如通过推轨(fader switch)的移动来指定混合器177中的前进比率(progression ratio)。另外，例如通过开关类的操作来设定混合器177中的处理模式的内容。

[0307] 该合成切换操作输入部195具有由按钮开关等构成的开启操作单元196。该开启操作单元196被用于供操作者在上述CG输出模式下开启或关闭通过混合器177将作为前景图像的叠加图像叠加(重叠)在作为背景图像的CG图像上的处理。

[0308] 图3示出了构成合成切换操作输入部195的控制面板的外观的一个例子。

[0309] 在控制面板上大致设置有按钮配置部21和运行状态操作部24。在按钮配置部21上设置有用于选择提取到键源总线、键填充总线上的图像信号的键选择部21a、用于选择提取到背景A总线上的图像信号的背景A选择部21b、以及用于选择提取到背景B总线上的图像信号的背景B选择部21c。另外，在按钮配置部21上设置有用于选择提出到辅助输出选择总线161上的图像信号的辅助输出选择部21d。

[0310] 各选择部由用于对9条输入线的每一个和对应的输出总线的连接进行选择的择一式按钮构成，选中的按钮被点亮。例如，在图3的例子中，通过键选择部21a选择输入线“8”，通过背景A选择部21b选择输入线“3”、通过背景B选择部21c选择输入线“5”，通过辅助输出选择部21d选择输入线“5”。另外，在设置于各按钮开关的上部的文字显示部21e中显示用于识别向各输入线输入的输入图像的名称。

[0311] 在键选择部21a中，通过按下一个按钮开关，键源总线、键填充总线两者的连接被切换。假定预先设定了此时针对各总线是选择输入线中相同的线还是选择不同的线。例如进行如下的设定：当选择按钮开关“1”时，键源总线被连接到输入线“1”，而键填充总线则被连接到相邻的输入线“2”。

[0312] 在前进状态操作部24中设置有推杆24a。通过从滑动范围的一端向另一端滑动该推杆24a，可改变混合器177中的处理的前进状态。另外，在前进状态操作部24的上部设置有转换目标选择部24b，该转换目标选择部24b通过按钮开关来选择将通过滑杆24a的操作而转变的目标作为键信号还是作为背景图像信号。另外，在前进状态操作部24的上部还设置有方向设定部24c，该方向设定部24c通过按钮开关来设定转变的方向。

[0313] 图像生成单元140基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。该图像生成单元140不进行耗费时间的渲染处理，而是按照动画帧的实际时间生成图像。图像生成单元140在读入CG描述数据后，将各种定义等信息保存在存储器中，并且这些信息之间的对应关系也作为数据结构而被保存。

[0314] 另外，图像生成单元140还将用于执行动画的关键帧中的各种值保存在存储器中。例如，当绘制存在于某个节点的几何学信息中的多边形集合时，参考该几何学信息和对应起来的材质定义并依照其色彩等的指定来绘制该多边形集合。在动画的情况下，使当前时刻逐个帧地前进，并通过对当前时刻前后的关键帧中的各值进行内插来确定各值，由此进行绘制。

[0315] 从表面指定单元120向该图像生成单元140发送作为要纹理映射输入图像的目标的CG的对象或者对象的一部分(面或者多边形网格的分割单元等)的指定信息。图像生成单元140控制图像映射单元150，以便将输入图像纹理映射到该指定信息所示的预定的多边形(多边形集合)的表面上。

[0316] 图像映射单元150将输入图像纹理映射到图像生成单元140所绘制的CG中由表面指定单元120指定的纹理映射目标的表面上。该图像映射单元150与上述的图像生成单元140被安装成一体。该图像映射单元150可通过CPU(Central Processing Unit，中央处理器)上的基于软件的控制、以及GPU(Graphics Processing Unit，图形处理器)等的基于硬件的动作来实现。控制软件指定进行纹理映射的多边形集合并将其指示给硬件。

[0317] [图像生成单元以及图像映射单元的构成例]

[0318] 图4示出了图像生成单元140和图像映射单元150的具体构成例。图像生成单元140和图像映射单元150包括图像输入输出部141、GPU 142、本地存储器143、CPU 144以及主存储器145。另外，图像生成单元140和图像映射单元150包括外围设备控制部146、硬盘驱动器(HDD)147、以太网电路148a以及网络端子148b。另外，图像生成单元
140和图像映射单元150包括USB(Universal Serial Bus，通用串行总线)端子149以及SDRAM(SynchronousDRAM，同步动态随机存储器)151。“以太网”是注册商标。

[0319] 图像输入输出部141输入用于进行纹理映射的图像数据，并且输出被适当地纹理映射了基于图像数据的图像的CG图像的图像数据。该图像输入输出部141最大能够输入四个系列的图像数据，并且最大能够输出四个系列的图像数据。这里被处理的图像数据例如是由SMPTE 292M规定的HD-SDI(High Definition television-Serial Digital Interface，高清串行信号接口)规格的图像数据。GPU 142和主存储器145能够同等地对图像输入输出部141进行存取。

[0320] 主存储器145起到CPU 144的工作区域的功能，并且暂时存储从图像输入输出部141输入的图像数据。CPU 144控制图像生成单元140和图像映射单元150的整体。该CPU
144与外围设备控制部146连接。该外围设备控制部146进行CPU 144和外围设备之间的接口处理。

[0321] CPU 144经由外围设备控制部146与内置的硬盘驱动器147连接。另外，CPU 144经由外围设备控制部146、以太网电路148a与网络端子148b连接。另外，CPU 144经由外围设备控制部146与USB端子149连接。并且，CPU 144经由外围设备控制部146与SDRAM151连接。

[0322] CPU 144进行纹理坐标的控制。即，该CPU 144针对输入图像数据进行用于将基于该输入图像数据的图像纹理映射到GPU 142所绘制的多边形的表面上的处理。GPU 142基于保存在硬盘驱动器147等中的CG描述数据生成来CG图像，并且根据需要将输入图像纹理映射到被指定的纹理映射目标的表面上。本地存储器143在起到GPU 142的工作区域的功能的同时，暂时存储由GPU 142制作的CG图像的图像数据。

[0323] CPU 144除了能够对主存储器145进行存取之外，也能够对本地存储器143进行存取。同样，GPU 142能够对本地存储器143进行存取，并且也能够对主存储器145进行存取。由GPU 142生成并起初存储在本地存储器143中的CG图像数据从该本地存储器143中依次被读出，并从图像输入输出部141输出。

[0324] 图5示出了上述图像生成单元140和图像映射单元150的功能框的构成例。该图像生成单元140和图像映射单元150包括图像输入部152、纹理图像存储部153、CG控制部154、CG绘制部155、纹理坐标控制部156、帧缓冲器157以及图像输出部158的功能框。

[0325] 图像输入部152和图像输出部158由图像输入输出部141构成。另外，纹理图像存储部153由主存储器145构成。另外，CG控制部154和纹理坐标控制部156由CPU 144构成。另外，CG绘制部155由GPU 142构成。另外，帧缓冲器157由本地存储器143构成。

[0326] 通过成对地增加图像输入部152和纹理图像存储部153，能够增加图像输入的系列。另外，通过成对地增加帧缓冲器157和图像输出部158，能够增加图像输出的系列。

[0327] 图6的(a)和(b)示出了进行纹理映射时的纹理图像和UV图的一个示例。图6的(a)表示纹理图像，图6的(b)表示UV图。这里，UV图是表示当将某个对象(节点)的表面考虑为纸面时由在该纸面上的坐标表示的地图。当平面地扩展该地图时，该平面上的点(x，y)与对象的表面上的点(u，v)相对应。因此，通过进行将纹理图像贴在UV图上的处理，能够进行将纹理图像贴到对象的表面上的纹理映射。图6的(b)示出了将纹理图像贴在UV图上的状态。

[0328] 返回到图1，如上所述，表面指定单元120指定输入图像被纹理映射的纹理映射目标。并且，表面指定单元120经由网络130向图像生成单元140发送该指定信息。该表面指定单元120例如由GUI(Graphical User Int erface，图形用户界面)实现。

[0329] 表面指定单元120显示CG描述数据中的被赋予给对象或对象的一部分的属性的值(名称)作为选择项以供操作者从中选择，由此选择作为纹理映射目标的对象或对象的一部分。表面指定单元120将CG描述数据中被赋予给纹理映射目标的属性的值作为纹理映射目标的指定信息而发送给图像生成单元140。

[0330] 在本实施方式中，在CG描述数据中，纹理映射目标通过与材质定义对应起来而被赋予材质定义所带的表面信息等的属性。例如，在将材质定义对应到CG对象上的情况下，CG对象的所有面具有相同的表面属性(色彩等)。例如在石头或汤匙形状的金属制品的情况下，能够通过这样的对应关系来制成CG。

[0331] 另一方面，多数物品针对其每个面而具有不同的表面属性，例如即使是铅笔，针对其周围、芯、被削的木纹等也分别具有不同的表面属性。在用CG制作这样的物品的情况下，也可以将各个部分制成不同的CG对象并将它们进行组合。但是，在在此情况下，如图7所示，将物品作为一个CG对象并对每个面(多边形的部分集合)赋予不同的属性来制作CG的作业也是较容易的。

[0332] 一般来说，在CG对象的制成作业中进行如下的操作：将构成表面的多边形集合分割为若干个部分，将材质定义对应到每一个部分上，并为目标多边形的每个定点决定用于纹理映射的UV坐标值。生成与上述操作对应的CG描述数据。通过在这样的CG描述数据中应用本发明，能够将输入图像纹理映射到CG对象的表面的一部分上。

[0333] 位置发送单元180将从图像生成单元140经由网络130发来的纹理映射目标的位置信息发送给上述图像合成切换部170的键处理器176。键处理器176调整键填充信号和键源信号，以使要叠加的文字串等叠加图像被叠加到作为背景图像的CG图像数据中与纹理映射目标相对应的位置。当随着动画的前进而纹理映射目标发生了移动时，位置信息按照发生了移动的每一帧(通常逐帧或逐场地)从图像生成单元140被发送给位置发送单元180，进而被发送给键处理器176。

[0334] [位置信息的说明]

[0335] 进一步对位置信息进行说明。图8的(a)～(d)示出了位置信息的含义和该发明的动作示例。

[0336] 图8的(a)是说明画面上的位置坐标的图。横向x和纵向y同时被设置为以-100至+100占据画面的大小的值。由于是相对的坐标，因此在x和y上即使坐标差相同，实际画面上的长度也不同。图8的(b)是前景图像(要进行叠加的叠加图像)的例子。

[0337] 图8的(c)是示出根据位置信息(50、20)叠加(重叠)了图8的(b)所示的前景信息的结果的图。不过，叠加(重叠)了的图像的虚线框实际上不被绘出。为了进行说明，用虚线示出了框。背景中的长方体是CG生成图的例子。

[0338] 图8的(d)是示出根据位置信息(50、20)叠加了图8的(b)所示的前景图像的图。在该例子中，将前景图像缩小到50％并移动后进行了叠加。这样的缩小处理与位置信息没有关系，而是从合成切换操作输入部195等另外单独设定，并且由合成切换控制部190控制键处理器176来执行。

[0339] 对图像生成单元140中的位置信息的计算例子进行说明。

[0340] 在该实施方式中，确定属性值一致的CG对象的面作为纹理映射的目标面。位置发送单元180向键处理器176发送该面的坐标值作为位置信息。作为一个例子，坐标值的计算如下进行。

[0341] 目标面通常不是上述如图8的(c)、(d)所示的简单的矩形，而是更复杂的由多边形集合形成的虚拟空间立体，构成该立体的各个顶点分别被投影到画面上并被显示在某个坐标上。尽管作为顶点的集合，存在很多坐标值，但通过这些x、y各自的最大值和最小值能够得到图9所示的所谓的边界框。图像生成单元140求出该边界框的中心(最大值和最小值的正中央的坐标值)作为位置信息。

[0342] 对位置信息的计算方法的另一例子进行说明。目标面的多边形集合的各个顶点被赋予进行纹理映射时的纹理坐标。纹理坐标如图10所示也被称为UV坐标等，与x坐标相当的U、与y坐标相当的V也具有从0到1的范围内的值。从而被纹理映射的图像的正中央被绘制在(U，V)坐标值为(0.5，0.5)的位置。图像生成单元140计算与UV正好为(0.5，0.5)的顶点相当的坐标值，作为位置信息。在没有UV正好为(0.5，0.5)的点的情况下，通过对顶点间进行线性插值来求出与(0.5，0.5)相当的坐标值。

[0343] 在上述图10中，连接纹理坐标值为(0，1)的顶点和(1，0)的顶点的线段的中央是纹理坐标为(0.5，0.5)的点。在图11的情况下，连接纹理坐标值(0，1)的顶点和(0.8，0)的顶点的线段的中央是纹理坐标为(0.4，0.5)的点，从该点向U方向移动了0.1(到0.8的1/4)的位置是纹理坐标为(0.5，0.5)的点。多边形中UV坐标值为(0.5，0.5)的位置并不限于一处，因此在该方式中，如果有多个这样的位置，则将其中一个作为位置信息。

[0344] 也可以构成为：在如上述各例那样算出的位置信息上加以一定值后用于叠加。例如，能够将在画面上向下方或上方偏移了一定值的位置作为重叠位置。或者在第一例子中，也可以将对边界框的高度(y方向的长度)乘以固定值而得的值(例如一半)加在位置信息y上。对于x方向或倾斜方向也一样。

[0345] 另外，当位置信息所示的值超出了画面的范围(-100到+100)、或者例如超出了-80到+80的范围时，也可以进行修正，以使其落入所述范围内(例如，超过100时设为100等)。由于目的是用于叠加，因此即使在为了恰当地叠加到画面上而实施这些简单的修正(变换)的情况下，从图像生成单元140得到位置信息的优点也不变。

[0346] [图像处理装置的动作例]

[0347] 对图1所示的图像处理装置100的动作例进行说明。

[0348] 在CG制作单元110中，通过CG制作软件而生成用于生成预定的CG图像的CG描述数据。如此在CG制作单元110中生成的CG描述数据经由网络130被发送给图像生成单元140和表面指定单元120。

[0349] 在表面指定单元(GUI)120中，将CG描述数据中的对象或被赋予给对象的属性的值(名称)作为选择项，并通过操作者的操作来指定要纹理映射输入图像的纹理映射目标。该指定信息(属性的值)从表面指定单元120发送给图像生成单元140。

[0350] 这里，对处于CG输出模式、并且对CG图像的前景图像的叠加被设定为开启的情况进行说明。

[0351] 图像生成单元140基于由CG制作单元110制作的CG描述数据生成三维空间图像、即CG图像。另外，如上所述，从表面指定单元120向该图像生成单元140发送作为纹理映射目标的对象或对象的一部分的指定信息。该图像生成单元140控制图像映射单元150，以便将从辅助输出部160提供而来的输入图像(基于图像数据T1的图像)纹理映射到纹理映射目标的表面上。

[0352] 图像映射单元150在图像生成单元140的控制下，将基于由辅助输出部160得到的图像数据T1的图像纹理映射在纹理映射目标的表面上。并且，在纹理映射目标的表面上纹理映射了基于图像数据T1的图像的CG图像的图像数据Vout被输出到从图像生成单元140引出的输出端子140a上。

[0353] 该图像数据Vout被输入到输入线“9”上。如上所述，图像合成切换部170的输入选择部171的预备输入总线174通过交叉点开关组175而与输入线“9”连接。因此，上述CG图像的图像数据Vout被提取到该预备输入总线174上，从而该图像数据Vout作为背景数据被送给混合器177。

[0354] 另外，图像生成单元140求出纹理映射目标的位置信息，该位置信息从位置发送单元180被发送给图像合成切换部170的键处理器176。该键处理器176基于位置信息进行被叠加至CG图像的文字串等叠加图像的移动调整。即，调整键填充信号、键源信号，以使得叠加图像被叠加在与纹理映射目标对应的位置上。

[0355] 如此经键处理器176调整的键填充信号、键源信号被发送给混合器177。混合器177使用CG图像的图像数据Vout、以及键填充信号、键源信号，将文字串等叠加图像叠加到作为背景图像的CG图像上。此时，叠加图像被叠加在与CG图像的纹理映射目标相对应的位置上。

[0356] 通过来自操作者的合成切换操作输入部195的操作，被提取到其他背景A总线172c、背景B总线172d上的图像数据也根据需要而被用于混合器177的合成处理中。在该混合器177得到的图像数据作为最终输出通过输出线178被输出到外部。

[0357] 接着，对处于整体画面模式下的情况进行说明。在此情况下，在混合器177中不使用从预备输入总线174传来的图像数据、即从图像生成单元140输出的CG图像数据。另外，在键处理器176中不使用从位置发送单元180传来的位置信息。即，在键处理器176中不进行叠加图像的移动调整。或者，在键处理器176中根据从合成切换操作输入部195等进行指示的其他的移动指示来进行叠加图像的移动调整。

[0358] 混合器177使用背景A数据、背景B数据、以及键填充信号、键源信号，将文字串等叠加图像叠加到背景图像上。由该混合器177得到的图像数据作为最终输出通过输出线178被输出到外部。

[0359] 对整体画面模式下的另一动作例进行说明。在处于整体画面模式的情况下，与上述动作例不同，混合器177可使用从预备输入总线174传来的图像数据。但是，与预备输入总线174连接的输入线不是从图像生成单元140输入CG图像数据的输入线“9”，而是通过操作者的操作被设置为其他的输入线。在此情况下，从图像生成单元140输出的CG图像数据也不被使用。

[0360] 如上所述，在CG输出模式和整体画面模式的任一模式下都叠加相同的前景图像。但是，仅根据CG模式切换单元191的操作来判断是否将该叠加位置匹配到与纹理映射目标对应的位置上，并且自动地与是否使用CG图像是否被使用联动，由此提高了操作性。

[0361] 在图1所示的图像处理装置100中，将纹理映射图像纹理映射在纹理映射目标的表面上。另外，基于纹理映射目标的位置信息，将文字串等叠加图像叠加在纹理映射了纹理映射图像的CG图像的与该纹理映射目标相对应的位置上。因此，在该图像处理装置100中，能够将与被纹理映射的图像相对应的文字串等容易观看地插入到与该图像对应的位置。

[0362] 图12的(a)和(b)示出了在纹理映射了纹理映射图像的CG图像上叠加了叠加图像的例子。图12的(a)示出了纹理映射面旋转了的情况，但文字串却以直立的状态被插入在与纹理映射图像对应的位置上。另外，图12的(b)示出了纹理映射面被缩小了的情况，但文字串却以未被缩小且直立的状态被插入在与纹理映射图像相对应的位置上。

[0363] 另外，在图1所示的图像处理装置100中，通过辅助输出部160，选择性地提取被输入到9条输入线的图像数据中的某一个而得的图像数据作为纹理映射图像数据T1被提供给图像映射单元150。因此，操作者通过利用合成切换操作输入部195进行的操作来改变由辅助输出部160提取的图像数据，由此能够在任意的定时将纹理映射图像改变为期望的图像。

[0364] 另外，在图1所示的图像处理装置100中，通过图像合成切换部170的输入选择部171来选择性地提取被输入到9条输入线的图像数据中的某一个，并将其作为叠加图像数据(键填充信号、键源信号)。因此，操作者通过利用合成切换操作输入部195进行的操作来改变由输入选择部171提取的图像数据，由此能够在任意的定时将叠加图像改变为期望的图像。

[0365] 关于切换CG模式和整体画面模式时的动作，除如上述仅在CG输出模式下使用位置信息之外，也可以根据另外设定的缩小值来进行缩小处理。即，在CG输出模式下，在按照设定值缩小要叠加的前景图像后，再根据位置信息移动该前景图像来进行叠加。

[0366] <2.第二实施方式>

[0367] [图像处理装置的构成]

[0368] 对本发明的第二实施方式进行说明。图13示出了作为第二实施方式的图像处理装置100A的构成例。在该图13中，对于与图1对应的部分标注相同标号并适当地省略其说明。

[0369] 该图像处理装置100A具有：CG制作单元110、表面指定单元120A、网络130、图像生成单元140A以及图像映射单元150a。另外，该图形处理装置100A包括矩阵开关210、图像选择操作单元230以及叠加单元240。CG制作单元110、表面指定单元120A、图像生成单元140A以及图像选择操作单元230分别与网络130连接。

[0370] CG制作单元110由带有CG制作软件的个人计算机(PC：Personal Co mputer)构成。该CG制作单元110输出预定格式的CG描述数据。该CG制作单元110是与上述图1所示的图像处理装置100的CG制作单元110同样的。

[0371] 矩阵开关210构成了图像选择单元，该图像选择单元从多个输入图像数据中选择性地提取一个图像数据。该矩阵开关210包括：9条输入线、8条输出总线211～218、以及交叉点开关组221～228。输出总线211～214是用于向图像映射单元150A提供纹理映射图像数据T1～T4的总线。另外，输出总线215～218是用于向叠加单元240提供叠加图像数据S1～S4的总线。

[0372] 9条输入线在图中沿一个方向排列，“1”～“9”的每条输入线被输入来自VTR、视频摄像机等的图像数据。8条输出总线211～218与输入线交叉地沿其他方向排列。交叉点开关组221～224在9条输入线和输出总线211～214交叉的各个交叉点处执行各自的连接。基于用户的图像选择操作，该交叉点开关组221～224的连接被控制，从而输入到9条输入线上的图像数据中的某一个被选择性地输出到输出总线211～214上。该输出总线211～214构成纹理映射图像数据(映射输入)T1～T4的输出线。

[0373] 另外，交叉点开关组225～228在9条输入线和输出总线215～218交叉的各个交叉点处执行各自的连接。基于用户的图像选择操作，该交叉点开关组225～228的连接被控制，从而输入到9条输入线上的图像数据中的某一个被选择性地输出到输出总线215～218上。该输出总线215～218构成叠加图像数据S1～S4的输出线。交叉点开关组221～228的各个交叉点开关的接通/断开动作由于对由连续的帧数据结构的图像数据进行切换，因此在作为帧的断开处的垂直消隐区间内进行。

[0374] 图像选择操作单元230接受发给上述矩阵开关210的指示的操作输入。该图像选择操作单元230具有控制面板260，所述控制面板260具有对矩阵开关210的各交叉点开关组的开关的接通/断开进行操作的按钮行。

[0375] 图14示出了控制面板260的一个例子的外观。该控制面板260被设置成沿左右方向延伸的两行按钮行271、272在上下方向上排列。按钮行272被用于对矩阵开关210的各交叉点开关组的开关的接通/断开进行操作。该按钮行272由对输入线的每一个和对应的输出总线的连接进行选择的择一式按钮构成，选中的按钮被点亮。

[0376] 在控制面板260上与按钮行272相对应设置有文字显示部273。在该文字显示部273上显示用于识别向各个输入线输入的输入图像的文字。该文字显示部273例如由LCD(Liquid Crystal Display，液晶显示器)等显示元件构成。

[0377] 按钮行271是指定按钮行，用于指定将按钮行272用于那个输出总线的图像数据的选择操作。该按钮行271通过择一式按钮构成，选中的按钮被点亮。在控制面板260上与按钮行271相对应设置有文字显示部274。在该文字显示部274上显示表示按钮行271的各按钮被用于哪个输出总线的图像数据的选择操作的文字。该文字显示部274例如由LCD等显示元件构成。

[0378] 例如可通过GUI(Graphical User Interface)来实现将按钮行271的各按钮使用于哪个输出总线的图像数据的选择操作上。图15的(a)示出了在分配按钮行(指定按钮行)271时显示的GUI显示例。在该GUI显示中，按钮行271的8个按钮用“1”～“8”表示。操作者通过操作与该“1”～“8”相对应的“选择按钮”来显示输出总线的选择项，并从该选择项中选择期望的输出总线，由此能够将期望的输出总线分配给各个按钮。

[0379] 图15的(b)示出了在选择该输出总线时显示的GUI显示例。在该GUI显示中，构成叠加图像数据S1～S4的输出线的输出总线215～218通过“S1”～“S4”显示为选择项。另外，在该GUI显示中，为了向构成纹理映射图像数据(映射输入)T1～T4的输出线的输出总线211～214分配按钮，显示预定属性的值(名称)作为选择项。作为属性，通过操作者的操作，例如从材质定义、材质定义所带的表面信息等中设定任意的属性。这里，操作者设定用于指定纹理映射目标(对象或者对象的一部分)的属性。或者，也可以预先在系统中设定一个属性。

[0380] 图像选择操作单元230从由CG制作单元110生成的CG描述数据中提取出所设定的属性的值(名称)，并将该值显示到GUI显示中作为选择项。在图15的(b)的GUI显示例中，示出了设定材质定义作为属性的情况，材质定义的名称被显示为选择项。在该GUI显示例中，“Metal-1”、“Metal-2”、“Material-Def1”、“Material-Def2”、“Material-Def3”是材质定义的名称。

[0381] 在图15的(a)的GUI显示例中，针对“1”～“4”选择了“S1”～“S4”。另外，针对“5”、“6”选择了“Metal-1”、“Material-Def3”。针对“7”、“8”没有进行任何选择。

[0382] 如上所述，矩阵开关210具有8条输出总线，各个输出总线用总线编号“1”～“8”指定。另外，如上所述，矩阵开关210的第一个到第四个输出总线向图像映射单元150A输入映射输入(纹理映射图像数据)T1～T4。图像选择操作单元230或者其外围的微型计算机具有存储了该连线状态的如图16所示的映射输入对应表。该映射输入对应表被存储为与连线对应的设定，只要连线没有改变就不改变。

[0383] 当如图15的(a)的“5”、“6”那样对某个按钮选择了预定属性的值(名称)时，图像选择操作单元230将该按钮分配给总线编号1～4中尚未被分配的输出总线。在此情况下，该输出总线成为用于输出下述图像的图像数据的输出总线，所述图像是要被纹理映射到被赋予了选中的预定属性的值(名称)的对象或者对象的一部分的表面上的图像。并且，图像选择操作单元230将选中的预定属性的值(名称)的信息、以及表示基于分配目标的输出总线的映射输入是映射输入T1～T4中的哪一个的信息经由网络130发送给表面指定单元120A。

[0384] 如图15的(a)所示，以对“5”选择“Metal-1”、之后对“6”选择“Material-Def3”的情况为例，进一步进行说明。

[0385] 首先，当对“5”选择了“Metal-1”时，图像选择操作单元230将“5”的按钮分配给输出总线211。输出总线211成为用于输出下述图像的图像数据的数据总线，所述图像是与材质定义“Metal-1”对应起来的对象或者对象的一部分被作为纹理映射目标、从而要被纹理映射到该对象或者对象的一部分的表面上的图像。并且，图像选择操作单元230将材质定义“Metal-1”和映射输入T1的信息经由网络130发送给表面指定单元120A。

[0386] 接着，当对“6”选择了“Material-Def3”时，图像选择操作单元230将“6”的按钮分配给输出总线212。输出总线212成为用于输出下述图像的图像数据的输出总线，所述图像是与材质定义“Material-Def3”对应起来的对象或者对象的一部分被作为纹理映射目标、从而要被纹理映射到对象或者对象的一部分的表面上的图像。并且，图像选择操作单元230将材质定义“Material-Def3”和映射输入T2的信息经由网络130发送给表面指定单元
120A。

[0387] 在上述的说明中，说明了对于按钮行271的某个按钮，仅能够选择一个预定属性的值(名称)。但是也可以考虑对某个按钮允许选择多个预定属性的值(名称)的构成。在此情况下，与选中的多个属性值对应起来的对象或者对象的一部分被作为纹理映射目标，并在其表面上纹理映射基于被分配某个按钮的输出总线的输出图像数据的图像。在此情况下，在与某个按钮对应的文字显示部274上显示多个属性值(名称)。但是，如果难以显示多个属性值(名称)，则显示一个或可显示的个数的属性值。

[0388] 表面指定单元120A如上所述基于从图像选择操作单元230传来的、选中的属性的值(名称)和映射输入的对应信息来制作表示属性的值(名称)和映射输入之间的对应关系的图像分配表。并且，表面指定单元120A经由网络130将该图像分配表设定在图像生成单元140A中。

[0389] 表面指定单元120A如此设定图像分配表，由此针对输出映射输入T1～T4的每个输出总线，指定被纹理映射基于其映射输入的图像的纹理映射目标。在此情况下，被纹理映射基于其映射输入的图像的纹理映射目标(对象或者对象的一部分)通过属性的值(名称)来指定。

[0390] 图17的(a)示出了图像分配表的一个例子。该例子是如上述在图像选择操作单元230中如图15的(a)所示那样对“5”选择“Metal-1”并对“6”选择了“Material-Def3”时的例子。另外，图17的(b)示出了图像分配表的另一例子。该例子是如上述在图像选择操作单元230中对“5”选择“Metal-1”和“Material-Def3”、并对“6”选择了“Material-Def3”时的例子。在该图像分配表中，T1～T4构成图像标识符。

[0391] 在图13的图像处理装置100A中，从矩阵开关210的输出总线211～214向图像映射单元150A发送四个系列的图像数据T1～T4。另外，在图13的图像处理装置100A中，从矩阵开关210的输出总线215～218向叠加单元240发送四个系列的图像数据S1～S4。表面指定单元120A制作纹理映射图像和叠加图像的对应关系，并将表示该对应关系的图像对应表经由网络130设定在图像生成单元140A中。表面指定单元120A例如使操作者从叠加图像数据S1～S4中选择要与纹理映射图像数据T1～T4的每一个对应起来的叠加图像数据，并生成对应关系。

[0392] 图18的(a)～(f)示出了图像对应表的一个例子。在图18的(a)中，图像数据S1被对应到图像数据T1。在该对应关系下，当基于图像数据T1的图像被纹理映射到与其对应的纹理映射目标的表面上时，基于图像数据S1的图像被叠加到与该图像相对应的位置上。

[0393] 在图18的(b)中，图像数据S1、S2被对应到图像数据T1。在该对应关系下，当基于图像数据T1的图像被纹理映射到与其对应的纹理映射目标的表面上时，基于图像数据S1、S2的图像被叠加到与该图像相对应的位置上。

[0394] 在图18的(c)中，图像数据S1被对应到图像数据T1，图像数据S2被对应到图像数据T4。在该对应关系下，当基于图像数据T1的图像被纹理映射到与其对应的纹理映射目标的表面上时，基于图像数据S1的图像被叠加到与该图像对应的位置上。另外，当基于图像数据T4的图像被纹理映射到与其对应的纹理映射目标的表面上时，基于图像数据S2的图像被叠加到与该图像对应的位置上。

[0395] 在图18的(d)中，图像数据S1被对应到图像数据T1～T4。该对应关系下，当基于图像数据T1～T4的图像被纹理映射到与其对应的纹理映射目标的表面上时，基于图像数据S1的图像被叠加到与该图像对应的位置上。

[0396] 在图18的(e)中，图像数据S1、S2被对应到图像数据T1，图像数据S2被对应到图像数据T3。在该对应关系下，当基于图像数据T1的图像被纹理映射到与其对应的纹理映射目标的表面上时，基于图像数据S1、S2的图像被叠加到与该图像对应的位置上。另外，当基于图像数据T3的图像被纹理映射到与其对应的纹理映射目标的表面上时，基于图像数据S2的图像被叠加到与该图像相对应的位置上。

[0397] 在图18的(f)中，图像数据S1～S4被对应到图像数据T3。在该对应关系下，当基于图像数据T3的图像被纹理映射到与其对应的纹理映射目标的表面上时，基于图像数据S1～S4的图像被叠加到与该图像对应的位置上。

[0398] 图像生成单元140A基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。图像生成单元140A在读入CG描述数据后，将各个定义等信息保存在存储器中，并且这些信息之间的对应关系也作为数据结构而被保存。另外，图像生成单元140A将用于执行动画的关键帧中的各种值也保存在存储器上。

[0399] 例如，当绘制某个节点的几何学信息中的多边形集合时，参考该几何学信息和对应起来的材质定义，并根据其色彩等的指定来绘制该多边形集合。在动画的情况下，使当前时刻逐个帧地前进，并通过对当前时刻前后的关键帧中的各值进行内插来确定各值，由此进行绘制。

[0400] 在该图像生成单元140A中，如上所述，通过表面指定单元120A来设定图像分配表(参考图17的(a)、(b))。图像生成单元140A基于该图像分配表来控制图像映射单元150A。在此情况下，图像生成单元140A进行控制，使得在被赋予了表中存在的各属性的值的纹理映射目标的表面上纹理映射基于与该属性的值(名称)成对的映射输入的图像。

[0401] 另外，在该图像生成单元140A中，如上所述，通过表面指定单元120A来设定图像对应表(参考图18的(a)～(f))。图像生成单元140A基于该图像对应表来控制叠加单元240。在此情况下，图像生成单元140A进行控制，使得当映射了基于表中存在的纹理映射图像数据的图像时，叠加基于与该图像数据成对的叠加图像数据的图像。

[0402] 图像映射单元150A对图像生成单元140A所绘制的多边形中由表面指定单元120A指定的多边形的表面进行纹理映射。在此情况下，图像映射单元150A在被赋予了图像分配表中存在的各属性的值的纹理映射目标的表面上，纹理映射基于与该属性的值(名称)成对的映射输入的图像。该图像映射单元150A与上述图像生成单元140A被安装成一体，并且可通过CPU上的基于软件的控制和GPU等的基于硬件的动作来实现。控制软件指定进行纹理映射的多边形集合并将其指示给硬件。

[0403] 叠加单元240将叠加图像叠加到在图像映射单元150A中进行了纹理映射的CG图像上。此时，在基于图像对应表中存在的纹理映射图像数据的图像被纹理映射了的情况下，叠加单元240叠加基于与该纹理映射图像数据成对的叠加图像数据的图像。

[0404] 与上述图1所示的图像处理装置100的图像生成部140同样地，图像生成单元140A计算在图像映射单元150A中被纹理映射基于各图像数据T1～T4的图像的目标的位置信息(参考图9～图11)。叠加单元240基于纹理映射目标的位置信息，将基于叠加图像数据的图像叠加到与该纹理映射目标对应的位置上。该叠加单元240与上述图像生成单元
140A被安装成一体。

[0405] 另外，也可以设置操作输入单元，以能够针对每个叠加图像数据，操作叠加的开启和关闭。在进行对应的纹理映射的情况下，也能够通过手动操作来指示是否进行叠加。

[0406] [图像处理装置的动作例]

[0407] 对图13所示的图像处理装置100A的动作例进行说明。在CG制作单元110中，通过CG制作软件而生成用于生成预定的CG图像的CG描述数据。如此在CG制作单元110中生成的CG描述数据经由网络130被发送给图像生成单元140A和表面指定单元230A。

[0408] 图像选择操作单元230通过操作者的操作来向构成图像数据(映射输入)T1～T4的输出线的输出总线211～214分配控制面板260的按钮行(指定按钮行)271的按钮。在此情况下，通过选择预定属性的值(名称)来从输出总线211起依次进行分配。

[0409] 该图像选择操作单元230通过操作者的操作来设定用于指定纹理映射目标(对象或者对象的一部分)的属性。这里，属性是材质定义、材质定义所带的表面信息等。上述的预定属性即是如此通过操作者的操作来设定的属性，选中的属性的值(名称)是从由CG制作单元110生成的CG描述数据中提取的。

[0410] 关于矩阵开关210的输出总线211～214中被分配了控制面板260的按钮行271的按钮的输出总线，通过按钮行272的操作，能够改变该输出总线的输出图像数据(映射输入)。在此情况下，作为输出图像数据，选择性地输出被输入到9条输入线的图像数据中的某一个。

[0411] 当通过图像选择操作单元230向输出总线211～214的某一个分配了控制面板260的按钮行271的按钮时，从图像选择操作单元230向表面指定单元120A经由网络130发送信息。该信息包括被选中的预定属性的值(名称)的信息、以及表示基于分配目标的输出总线的映射输入是映射输入T1～T4中的哪一个的信息。

[0412] 表面指定单元120A基于从图像选择操作单元230传来的、选中的属性的值(名称)和映射输入的对应信息，设定表示属性的值(名称)和映射输入之间的对应关系的图像分配表(参考图17的(a)和(b))。该图像分配表经由网络130被设定在图像生成单元140A中。表面指定单元120A根据该图像分配表的设定，来使用属性的值(名称)指定要纹理映射基于各映射输入的图像的目标(对象或者对象的一部分)。

[0413] 另外，表面指定单元120A制作纹理映射图像和叠加图像之间的对应关系，并将表示该对应关系的图像对应表经由网络130设定在图像生成单元140A中。在此情况下，表面指定单元120A例如使操作者从叠加图像数据S1～S4中选择要与纹理映射图像数据T1～T4的每一个对应起来的叠加图像数据，并生成对应关系。

[0414] 图像生成单元140A基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。在该图像生成单元140A中，如上所述，通过表面指定单元120A来设定图像分配表。图像映射单元150A在图像生成单元140A的控制下进行纹理映射。即，图像映射单元150A在被赋予了图像分配表中存在的各属性的值(名称)的纹理映射目标的表面上，纹理映射基于与该属性的值(名称)成对的映射输入的图像。

[0415] 另外，在该图像生成单元140A中，如上所述，通过表面指定单元120A来设定图像对应表。叠加单元240在图像生成单元140A的控制下，将叠加图像叠加到在图像映射单元150A被纹理映射了的CG图像上。即，当映射了基于图像对应表中存在的纹理映射图像数据的图像时，叠加单元240叠加基于与该纹理映射图像数据成对的叠加图像数据的图像。

[0416] 图像生成单元140A计算CG图像中的纹理映射目标的位置信息。叠加单元240基于纹理映射目标的位置信息，将基于叠加图像数据的图像叠加到与该纹理映射目标相对应的位置上。并且，纹理映射了纹理映射图像并且在与该图像对应的位置上叠加了对应的叠加图像的CG图像数据Vout被输出到从图像生成单元140A引出的输出端子140a上。

[0417] 图19的流程图示出了图像映射单元150A的对应于一帧的处理步骤。

[0418] 图像映射单元150A在步骤ST1中开始处理，之后转移到步骤ST2的处理。在该步骤ST2中，图像映射单元150A从图像生成单元140A接收针对每个图像输入所选择的属性值的信息。该信息如上所述存在于被设定在图像生成单元140A中的图像分配表中。

[0419] 接着，图像映射单元150A在步骤ST3中将图像输入编号i设定为1。并且，图像映射单元150A在步骤ST4中将第i个图像输入Ti纹理映射到属性值一致的CG对象或CG对象的一部分(纹理映射目标)的表面上。

[0420] 并且，图像映射单元150A在步骤ST5中将被纹理映射的面的画面上的坐标Pi作为位置信息发送给叠加单元240。当对第i个图像输入Ti没有选择属性值时，图像映射单元150A对该第i个图像输入Ti不进行上述的步骤ST4和步骤ST5的处理。

[0421] 接着，图像映射单元150A在步骤ST6中判断输入编号i是否小于输入数目。当输入编号i小于输入数目时，由于对所有纹理映射图像输入的处理尚未完成，因此图像映射单元150A在步骤ST7中使输入编号i递增，之后返回到步骤ST4的处理。另一方面，当输入编号i大于或等于输入数目时，由于已完成了对所有纹理映射图像输入的处理，因此图像映射单元150A在步骤ST8中结束处理。

[0422] 图20的流程图示出了叠加单元240的对应于一帧的处理步骤。

[0423] 叠加单元240在步骤ST11中开始处理，之后转移到步骤ST12的处理。在步骤ST12中，叠加单元240从图像映射单元150A接收坐标Pi(i＝1、…、(输入数目))。

[0424] 接着，叠加单元240在步骤ST13中将输入编号i设定为1。并且，叠加单元240在步骤ST14中根据坐标Pi来决定叠加位置(重叠位置)。并且，叠加单元240在步骤ST15中将基于与图像输入Ti相对应的叠加图像输入的图像重叠到在步骤ST14中决定的重叠位置上。

[0425] 接着，叠加单元240在步骤ST16中判断输入编号i是否小于输入数目。当输入编号i小于输入数目时，由于对于所有纹理映射图像输入的处理尚未完成，因此叠加单元240在步骤ST17中使输入编号i递增，之后返回到步骤ST14的处理。另一方面，当输入编号i大于或等于输入数目时，由于已完成了对所有纹理映射图像输入的处理，因此叠加单元240在步骤ST18中结束处理。

[0426] 在上述图19、图20所示的例子中，坐标Pi的计算在图像生成单元140中与绘制(纹理映射)同时进行。但也可以采用与此不同的安装方法。

[0427] 图21示出了表示在与图像映射单元150A不同的部分(不同的微型计算机)中进行坐标的计算时的通信等的顺序。由CG制作单元110制作的CG描述数据被发送给表面指定单元120A，同时被发送给叠加单元240。

[0428] 在表面指定单元120A中例如将图像标识符和材质定义对应起来，生成图像分配表。该图像分配表被发送给图像生成单元140A，从而与CG描述数据一起被利用于图像生成单元的动作中。在该例子中，图像分配表同时被发送给叠加单元240。

[0429] 叠加单元240得到CG描述数据和图像分配表，并通过进行与图像生成单元140A及其中的图像映射单元150A中的处理相同的处理，而得到与材质定义对应的CG对象的面的坐标值。

[0430] 在叠加单元240中，除此之外的面的位置计算处理由于不需要因此不进行。叠加单元240根据得到的坐标值来与图20的处理步骤同样地执行叠加。即，在哪个微型计算机中计算位置(坐标)在本发明的实施中是能够适当变更的。

[0431] 当图像生成单元140A的绘制处理等根据动画动作的时间等而发生变化时，将同样的信息还发送给叠加单元240，使得根据相同的参数来进行动作。其原因如下：如果不这样，则在动画动作中，针对不同时间的处理被执行，从而导致错位。

[0432] 在图13所示的图像形成装置100A中，将纹理映射图像纹理映射到纹理映射目标的表面上。另外，基于纹理映射对像的位置信息，将文字串等叠加图像叠加在纹理映射了纹理映射图像的CG图像的与该纹理映射目标相对应的位置上。因此，在该图像处理装置100A中，能够与上述图1所示的图像处理装置100同样地，将与被纹理映射的图像相对应的文字串等容易观看地插入到与该图像对应的位置。

[0433] 另外，在图13所示的图像处理装置100A中，通过表面指定单元120A，将表示纹理映射图像和叠加图像的对应关系的图像对应表设定在图像生成单元140A中。并且，叠加单元240基于该对应关系来决定要叠加到与纹理映射图像相对应的位置上的图像。因此，当存在多个系列的纹理映射图像或叠加图像时，也能够将与被纹理映射的图像相对应的文字串等叠加图像容易观看地插入到与该纹理映射图像相对应的位置上。

[0434] 另外，在图13所示的图像处理装置100A中，通过矩阵开关210选择性地提取的图像数据作为纹理映射图像数据T1～T4被提供给图像映射单元150A。因此，操作者通过利用图像选择操作单元230进行的操作来改变由矩阵开关210提取的图像数据T1～T4，由此能够在任意的定时将纹理映射图像改变为期望的图像。

[0435] 另外，在图13所示的图像处理装置100A中，通过矩阵开关210选择性地获取被输入到9条输入线的图像数据中的某一个以作为叠加图像数据S1～S4。因此，操作者通过利用图像选择操作单元230进行的操作来改变由矩阵开关210提取的图像数据S1～S4，由此能够在任意的定时将叠加图像改变为期望的图像。

[0436] <3.第三实施方式>

[0437] [图像处理装置的构成]

[0438] 对本发明的第三实施方式进行说明，图22示出了作为第三实施方式的图像处理装置100B的构成例。在该图22中，对于与图1对应的部分标注相同符号，并适当地省略其说明。

[0439] 该图像处理装置100B具有：CG制作单元110、表面指定单元120、网络130、图像生成单元140B以及图像映射单元150B。另外，该图形处理装置100B包括辅助输出部160B、图像合成切换部170B、位置发送单元180B、合成切换控制部190、以及合成切换操作输入部195。CG制作单元110、表面指定单元120B、图像生成单元140B以及位置发送单元180B分别与网络130连接。

[0440] 图像合成切换部170B具有输入选择部171B、键处理器176a～176b、以及混合器177B。上述图1的图像处理装置100的图像合成切换部170仅具有一个叠加功能部(keyer，键控器)。即，具有一个键处理器176，并且该键处理器176与键源总线172a、键填充总线
172b连接。

[0441] 图像合成切换部170B具有四个叠加功能部(键控器)。即，具有四个键处理器176a、176b、176c、176d。并且，键处理器176a与键源总线172a1、键填充总线172b1连接，键处理器176b与键源总线172a2、键填充总线172b2连接。并且，键处理器176c与键源总线172a3、键填充总线172b3连接，键处理器176d与键源总线172a4、键填充总线172b4连接。在输入选择部171B中，与各键源总线、各键填充总线相对应地设置有交叉点开关组
173a1～173a4、173b1～173b4。

[0442] 混合器177B使用来自各键处理器的键填充信号和键源信号，通过键控将前景图像叠加到背景图像或者CG图像上。这里，将与键处理器176a、176b、176c、176d相关的叠加图像数据(前景图像数据)分别设为S1、S2、S3、S4。由该混合器177B得到的图像数据通过输出线178被输出到外部。混合器177B和上述键处理器176a～176d构成了叠加单元。

[0443] 图像合成切换部170B的其他部分与上述图1的图像处理装置100的图像合成切换部170同样地构成。

[0444] 辅助输出部160B进行辅助输出的选择。辅助输出部160B将从外部输入多个图像数据的9条输入线选择性地连接到4条辅助输出总线161a、161b、161c、161d上。交叉点开关组162a、162b、162c、162d在9条输入线和辅助输出选择总线161a、161b、161c、161d交叉的各个交叉点处执行各自的连接。被提取到该辅助输出选择总线161a、161b、161c、161d上的图像数据作为纹理映射图像数据T1、T2、T3、T4被发送给图像映射单元150B。该辅助输出部160B构成了纹理映射图像数据选择单元。

[0445] 表面指定单元120B例如根据操作者的操作来生成表示属性的值(名称)和映射输入的对应关系的图像分配表(参考图17的(a)、(b))，并经由网络130将该图像分配表设定在图像生成单元140B中。表面指定单元120B如此设定图像分配表，由此针对输出映射输入T1～T4的每个输出总线，指定被纹理映射基于其映射输入的图像的纹理映射目标。在此情况下，被纹理映射基于该映射输入的图像的纹理映射目标(对象或者对象的一部分)通过属性的值(名称)来指定。

[0446] 另外，表面指定单元120B制作纹理映射图像和叠加图像的对应关系，并将表示该对应关系的图像对应表(参考图18)经由网络130设定在图像生成单元140B中。表面指定单元120B例如使操作者从叠加图像数据S1～S4中选择要与纹理映射图像数据T1～T4的每一个对应起来的叠加图像数据，并生成对应关系。叠加图像数据S1～S4如上述那样分别是与键处理器176a～176d相关的叠加图像数据。

[0447] 图像生成单元140B基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。该图像生成单元140B在读入CG描述数据后，将各个定义等信息保存在存储器中，并且这些信息之间的对应关系也作为数据结构而被保存。另外，图像生成单元140B还将用于执行动画的关键帧中的各种值保存在存储器中。该图像生成单元140B中的生成CG图像的功能与上述图1所示的图像处理装置100的图像生成单元140或者上述图13所示的图像处理装置100A的图像生成单元140A中的生成CG图像的功能相同。

[0448] 在该图像生成单元140B中，如上所述，通过表面指定单元120B来设定图像分配表。图像生成单元140B基于该图像分配表来控制图像映射单元150B。在此情况下，图像生成单元140B进行控制，使得在被赋予了表中存在的各属性的值的纹理映射目标的表面上纹理映射基于与该属性的值(名称)成对的映射输入的图像。

[0449] 另外，在该图像生成单元140B中，如上所述，通过表面指定单元120B来设定图像对应表(参考图18的(a)～(f))。图像生成单元140B基于该图像对应表，通过位置发送单元180B向合成切换控制部190发送叠加控制信号。该控制信号是用于在纹理映射基于图像对应表中存在的纹理映射图像数据的图像的情况下使基于与该图像数据成对的叠加图像数据的图像被叠加的控制信号。

[0450] 另外，该图像生成单元140B计算在图像映射单元150B中被纹理映射基于各图像数据T1～T4的图像的目标(对象或者对象的一部分)的位置信息(参考图9～图11)。这与上述图1所示的图像处理装置100的图像生成单元140、或者上述图13所示的图像处理装置100A的图像生成单元140A一样。图像生成单元140B通过位置发送单元180B将该位置信息发送给合成切换控制部190。

[0451] 合成切换控制部190基于该纹理映射目标的位置信息来控制键处理器176a～176d，调整各叠加图像的重叠位置。合成切换控制部190进行调整，使得当纹理映射图像被映射到预定的纹理映射目标时，将与图像对应表中示出的与该图像对应的叠加图像叠加到与该图像相对应的位置上。

[0452] 位置发送单元180B如上述那样将从图像生成单元140B输出的叠加控制信号发送给合成切换控制部190。另外，该位置发送单元180B如上述那样将由图像生成单元140B算出的位置信息发送给合成切换控制部190。与这些分开，还可以在合成切换控制部195中设置用于与S1～S4的每一个相对应地操作输入开启和关闭的指示的按钮等操作输入单元，并使得可手动控制叠加的开启和关闭。另外，也可以根据装置的应用来设定是优先这些手动控制还是优先根据有无纹理映射(上述的控制信号)而进行的控制。

[0453] 该图22的图像处理装置100B的其他部分与图1所示的图像处理装置100同样地构成。

[0454] [图像处理装置的动作例]

[0455] 对图22所示的图像处理装置100B的动作例进行说明。这里，对处于CG输出模式、并且对CG图像的前景图像的叠加被设定为开启的情况进行说明。

[0456] 在CG制作单元110中，通过CG制作软件而生成用于生成预定的CG图像的CG描述数据。如此在CG制作单元110中生成的CG描述数据经由网络130被发送给图像生成单元140B和表面指定单元120B。

[0457] 在表面指定单元120B中设定表示指定纹理映射目标的属性的值(名称)和映射输入的对应关系的图像分配表(参考图17的(a)、(b))。该图像分配表经由网络130被设定在图像生成单元140B中。另外，在表面指定单元120B中，制作纹理映射图像和叠加图像的对应关系，并将表示该对应关系的图像对应表经由网络130设定在图像生成单元140B中。

[0458] 图像生成单元140B基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。在该图像生成单元140B中，如上所述通过表面指定单元120B来设定图像分配表。图像映射单元150B在图像生成单元140B的控制下进行纹理映射。即，图像映射单元150B在被赋予了图像分配表中存在的各属性的值(名称)的纹理映射目标的表面上纹理映射基于与该属性的值(名称)成对的映射输入的图像。

[0459] 基于图像数据T1～T4的图像被纹理映射在纹理映射目标的表面上的CG图像的图像数据Vout被输出到从图像生成单元140B引出的输出端子140a上。该图像数据Vout被输入到输入线“9”上。图像合成切换部170B的输入选择部171B的预备输入总线174通过交叉点开关组175与输入线“9”连接。因此，上述CG图像的图像数据Vout被提取到该预备输入总线174上，从而该图像数据Vout作为背景数据被发送给混合器177B。

[0460] 混合器177B基于来自各键处理器176a～176d的键填充信号、键源信号，通过键控将基于叠加图像数据S1、S2、S3、S4的叠加图像叠加到CG图像上。在该混合器177B中得到的图像数据作为最终输出通过输出线178被输出到外部。

[0461] 在此情况下，从图像生成单元140B基于图像对应表而向合成切换控制部190发送叠加控制信号。因此，当在CG图像上纹理映射了基于图像对应表中存在的纹理映射图像数据的图像时，基于与该图像数据成对的叠加图像数据的图像被叠加。

[0462] 另外，该图像生成单元140B计算在图像映射单元150B中被纹理映射了基于各图像数据T1～T4的图像的目标(对象或者对象的一部分)的位置信息。该位置信息从图像生成单元140B通过位置发送单元180被发送给合成切换控制部190。并且，合成切换控制部190基于该纹理映射目标的位置信息来控制键处理器176a～176d，以调整各叠加图像的重叠位置。因此，当纹理映射图像被映射在预定的纹理映射目标上时，图像对应表所示的与该图像对应的叠加图像被叠加到与该图像相对应的位置上。

[0463] 在图22所示的图像处理装置100B中，将纹理映射图像纹理映射到纹理映射目标的表面上。另外，图像合成切换部170B基于纹理映射目标的位置信息，将叠加图像叠加到纹理映射了纹理映射图像的CG图像的与该纹理映射目标相对应的位置上。因此，该图像处理装置100B能够与上述图1所示的图像处理装置100和图13所示的图像处理装置100A同样地，将与被纹理映射的图像相对应的文字串等容易观看地插入到与该图像对应的位置上。

[0464] 另外，在图22所示的图像处理装置100B中，通过表面指定单元120B将表示纹理映射图像和叠加图像的对应关系的图像对应表设定在图像生成单元140B中。并且，混合器177B基于该对应关系，决定被叠加到与纹理映射图像相对应的位置处的图像。因此，当存在多个系列的纹理映射图像或叠加图像时，也能够将与被纹理映射的图像相对应的叠加图像容易观看地插入到与该纹理应映射图像对应的位置上。

[0465] 另外，在图22所示的图像处理装置100B中，除此之外，具有与图1所示的图像处理装置100和图13所示的图像处理装置100A相同的构成，因此能够获得相同的效果。

[0466] 通过键处理器176a～176d以及混合器177B实现的叠加功能不限于随着纹理映射而进行的动作，在图像合成切换部170B完全不使用Vout、即CG图像的情况下，也能够用于通过手动在背景图像上重叠字幕等的用途上。

[0467] <4.第四实施方式>

[0468] [图像处理装置的构成]

[0469] 对本发明的第四实施方式进行说明。图23示出了作为第四实施方式的图像处理装置100C的构成例。在该图23中，对于与图1对应的部分标注相同标号，并适当地省略其说明。

[0470] 该图像处理装置100C具有：CG制作单元110、表面指定单元120、网络130、图像生成单元140C以及图像映射单元150。另外，该图形处理装置100C包括辅助输出部160、图像选择操作单元330、开启操作单元310、文字生成操作单元320。CG制作单元110、表面指定单元120、图像生成单元140C、开启操作单元310以及文字生成操作单元320分别与网络130连接。

[0471] 辅助输出部160将从外部输入多个图像数据的9条输入线选择性地连接到辅助输出总线161上。交叉点开关组162在9条输入线和辅助输出选择总线161交叉的各个交叉点处执行各自的连接。被提取到该辅助输出选择总线161上的图像数据作为纹理映射图像数据T1被发送给图像映射单元150。该辅助输出部160构成了纹理映射图像数据选择单元。

[0472] 图像选择操作单元330接受发给上述辅助输出部160的指示的操作输入。该图像选择操作单元330具有控制面板(图中没有示出)，该控制面板具有对辅助输出部160的各交叉点开关组162的开关的接通/断开进行操作的按钮行。

[0473] 表面指定单元120指定要纹理映射输入图像的纹理映射目标。并且，表面指定单元120将该指定信息经由网络130发送给图像生成单元140C。表面指定单元120将CG描述数据中的被赋予给对象或者对象的一部分的属性的值显示为选择项，并通过使操作者从中进行选择，来选择作为纹理映射目标的对象或者对象的一部分。表面指定单元120将CG描述数据中的被赋予给纹理映射目标的属性的值作为纹理映射目标的指定信息发送给图像生成单元140C。

[0474] 图像生成单元140C基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。该图像生成单元140C还将用于执行动画的关键帧中的各种值保存在存储器上。例如，当绘制某个节点的几何学信息中的多边形集合时，参考该几何学信息和对应起来的材质定义，并按照其色彩等的指定来绘制该多边形集合。在动画的情况下，使当前时刻逐个帧地前进，并通过对当前时刻前后的关键帧中的各值进行内插来确定各值，由此进行绘制。

[0475] 如上所述，从表面指定单元120向该图像生成单元140C发送作为要纹理映射输入图像的目标的CG的对象或者对象的一部分(面或者多边形网格的分割单元等)的指定信息。图像生成单元140C控制图像映射单元150，以便将输入图像纹理映射到该指定信息所示的预定的多边形(多边形集合)的表面上。

[0476] 图像映射单元150将输入图像纹理映射到图像生成单元140C所绘制的CG中由表面指定单元120指定的纹理映射目标的表面上。该图像映射单元150与上述的图像生成单元140C被安装成一体。该图像映射单元150可通过CPU上的基于软件的控制、以及GPU等的基于硬件的动作来实现。控制软件指定进行纹理映射的多边形集合并将其指示给硬件。

[0477] 文字生成操作单元320对图像生成单元140C进行有关文字图像的生成内容的指示操作。该生成内容包含文字串(文字代码的排列)、要使用的字体、大小及其他属性(粗体、下划线等)信息。开启操作单元310进行有关文字图像的叠加(重叠)的开启和关闭的指示操作。当文字图像的叠加被开启时，图像生成单元140C通过文字图像绘制功能而在CG图像上绘制由文字生成操作单元320指定的内容的文字图像。

[0478] 图像生成单元140C计算在图像映射单元150中纹理映射了基于图像数据T1的图像的目标(对象或者对象的一部分)的位置信息(参考图9～图11)。这与上述图1所示的图像处理装置100的图像生成部140相同。图像生成单元140C在如上述那样在CG图像上绘制由文字生成操作单元320指定的内容的文字图像时，基于算出的位置信息，在与纹理映射目标对应的位置上绘制文字图像。

[0479] 该图23所示的图像处理装置100C的其他部分与图1所示的图像处理装置100同样地构成。

[0480] [图像处理装置的动作例]

[0481] 对图23所示的图像处理装置100C的动作例进行说明。在CG制作单元110中，通过CG制作软件而生成用于生成预定的CG图像的CG描述数据。如此在CG制作单元110中生成的CG描述数据经由网络130被发送给图像生成单元140C和表面指定单元120。

[0482] 在表面指定单元(GUI)120中，将CG描述数据中的对象或被赋予给对象的属性的值(名称)作为选择项，并通过操作者的操作来指定要纹理映射输入图像的纹理映射目标。该指定信息(属性的值)从表面指定单元120发送给图像生成单元140C。

[0483] 图像生成单元140C基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。另外，如上所述，从表面指定单元120向该图像生成单元140C发送作为纹理映射目标的对象或者对象的一部分的指定信息。图像映射单元150在图像生成单元140C的控制下，将基于由辅助输出部160得到的图像数据T1的图像纹理映射到纹理映射目标的表面上。

[0484] 当通过开启操作单元310开启了文字图像的叠加时，图像生成单元140C还绘制由文字生成操作单元320指示的内容的文字图像。这里，图像生成单元140C计算在图像映射单元150中纹理映射了基于图像数据T1的图像的目标(对象或者对象的一部分)的位置信息。当如上述绘制文字图像时，图像生成单元140C基于该位置信息，将文字图像绘制到与纹理映射目标对应的位置上。

[0485] 并且，在纹理映射目标的表面上纹理映射了基于图像数据T 1的图像、并根据需要还绘制了文字图像的CG图像的图像数据Vout被输出到从图像生成单元140C引出的输出端子140a输出。

[0486] 在图23所示的图像处理装置100C中，将纹理映射图像纹理映射到纹理映射目标的表面上。并且，基于纹理映射目标的位置信息，将文字图像绘制(叠加)到纹理映射了纹理映射图像的CG图像的与该纹理映射目标相对应的位置上。因此，该图像处理装置100C能够将与被纹理映射的图像对应的文字图像容易观看地插入到与该图像对应的位置上。

[0487] 另外，在图23所示的图像处理装置100C中，基于纹理映射目标的位置信息，通过图像生成单元140C将文字图像绘制(叠加)到与纹理映射目标相对应的位置上。因此，能够在不需要其他设备的情况下叠加可通过图像生成单元140C的功能生成的文字图像等。

[0488] 另外，在图23所示的图像处理装置100C中，通过辅助输出部160，选择性地提取被输入到9条输入线的图像数据中的某一个而得的图像数据作为纹理映射图像数据T1被提供给图像映射单元150。因此，操作者通过利用图像选择操作单元330进行的操作来改变由辅助输出部160提取的图像数据，由此能够在任意的定时将纹理映射图像改变为期望的图像。

[0489] <5.变形例>

[0490] 下面，说明将经数字特效装置缩小变形后的图像(运动图像)合成(嵌入)到CG图像上的技术。作为在CG图像中嵌入缩小图像的方法，有基于上述纹理映射的方法。该方法虽具有能够制作复杂图像的优点，但相应地也具有运动图像的延迟变大等的缺点。

[0491] 当切换或合成多个图像来使用时，同时播放的声音优选以固定的延迟连续播出。如果声音的延迟在中途发生变化，就会发生音乐等中的所谓的“跳跃”，并变成刺耳的噪音。
因此，声音的延迟最好固定不变。

[0492] 在纹理映射等中延迟帧数变大的图像与不进行复杂处理的时候相比延迟数增加，与声音不同步，会话中的嘴的动作等和声音变得不一致。因此，对于通过摄像机或类似设备获取的图像，优选在尽可能减少延迟的情况下完成包括输出在内的处理。

[0493] 因此，不使用纹理映射而是通过以往的数字特效装置进行缩小变形后与CG图像合成的方法的延迟少，更优选。下面，对组合了通过数字特效装置的缩小等变形和CG图像生成单元的控制进行说明。

[0494] 数字特效装置是如下的装置：其与同步信号同步地，将图像的各像素写入存储器中或从存储器中读出并输出，并且通过与像素写入的时候相比改变像素的读出顺序(通过地址变换)来对图像实施放大缩小及其他图像变形。该数字特效装置被简称为DME/DVP等。另外，该数字特效装置除了扩大缩小及其他图像变形之外，大多还具有其它特效(色调变换)等的功能。

[0495] 图24的(a)～(e)是说明这种嵌入合成图的图。图24的(a)示出了CG图像，图24的(b)示出了在其中嵌入图像(例如通过摄影室的摄影机拍摄的图像)的框。根据图
24的(b)的画面中的四边形的几何学信息(四个顶点的坐标值)，通过数字特效装置将图
24的(c)所示的图像如图24的(d)所示那样缩小变形，然后将其与CG图像合成，由此可得到24的(e)所示的输出图像。

[0496] 图25的(a)～(f)对CG图像的变化(运动)和嵌入合成进行说明的图。假定通过CG的动画动作或手动操作，CG图像从图25的(a)变成图25的(b)的状态。在此情况下，如果与其相对应地嵌入的通过数字特效装置得到的图像从图25的(c)变成图25的(d)所示，则能够得到图25的(e)、图25的(f)那样的合成图像，可得到正好纹理映射到CG图像中的面上时相同的结果。

[0497] 用于得到该图25所示的结果的系统中的控制通信可考虑两种方式。其中一个方式如下：将CG图像生成单元侧设为主体，并且向数字特效装置发送基于动画随着时间轴(时间线)的动作而变化或者被手动操作的参数(例如上述四个顶点的坐标值)(参考下述1、2)。另一个方式如下：将数字特效装置侧(效果转换器侧)设为主体，操作嵌入图像并将其参数发送给CG图像生成单元，并与其相配地移动CG对象(参考下述3)。

[0498] 1.与CG动画的联动

[0499] 在上述图1所示的图像处理装置100的构成中，在键处理器(图像加工部)176中内置有用于移动和缩小图像等的数字特效功能。作为使用在该控制中的信息，从图像生成单元(图像映射单元)140不是发送单纯的位置，而是发送要嵌入图像的画面上的几何学信息(在上述的图24的(b)中为四个顶点的坐标值)。键处理器(图像加工部)176接收该几何学信息进行动作。

[0500] 作为嵌入部分的几何学信息(二维图形信息)除此之外还能够使用圆的中心和半径、椭圆的长径(/长半径)和短径(/短半径)、或其他在x、y坐标上定义封闭图形的函数、顶点信息的顺序等。

[0501] 当CG图像通过动画动作而在时间轴上的前进中发生变化时，随之，从图像生成单元(图像映射单元)140向键处理器(图像加工部)176发送的几何学信息也发生变化。每当变化时，根据情况从图像生成单元140经由位置发送单元180向键处理器176逐场或逐帧地发送几何学信息。

[0502] 几何学信息(参数)的发送和键处理器176的数字特效的定时、即图像生成单元140和键处理器176中的处理定时被如下设定。即设定该处理定时，使得键处理器176正好在来自图像生成单元140的CG图像的相应的帧进入效果转换器侧(图像合成切换部170)的定时(帧)，进行对应的动作。

[0503] 2.自CG侧的手动操作

[0504] 图26所示的图像处理装置100D具有与上述图1所示的图像处理装置100相近的构成，但该构成中，关于CG图像生成的手动操作单元被设置在图像生成单元140侧并接受操作输入。在该图26中，作为手动操作单元示出了操作杆350。在该图26中，对于与图1对应的部分标注了相同符号。

[0505] 在上述例子中，几何学信息(参数)随着动画的前进而发生变化，但在该图像处理装置100D中通过手动操作(操作杆操作、或者光标操作、推杆操作、鼠标操作等)而被改变。例如，操作者能够在x、y、z方向(z是画面向里的方向)上自由移动图25的(a)～(f)所示的虚拟立体。图像生成单元140经由嵌入几何学信息发送单元180D向键处理器(图像加工部)176逐场或逐帧地发送发生了变化的几何学信息。其他的动作与上述例子相同。

[0506] 3.自效果转换器侧的手动操作

[0507] 在图27中，图像处理装置100E具有与上述图1所示的图像处理装置100相近的构成，但该构成中，关于数字特效的手动操作单元被设置在效果转换器侧(图像合成切换部170)并接受操作输入。

[0508] 在该图像处理装置100E中，数字特效装置360不是设置在键处理器(图像加工部)176中，而是被设置在其外部。并且，通过合成切换操作输入部195被操作，使得通过连接切换部370控制键处理器176的输出是经过还是不经过数字特效装置360。

[0509] 在上述图26所示的图像处理装置100D等中，仅通信嵌入图像所需的信息。但是，在该图像处理装置100E的情况下，为了使通过数字特效装置360操作的图像与CG描述数据中的哪个CG对象的面相对应，需要添加对应关系。

[0510] 设定对应的CG对象的方法例如与由图1的图像处理装置100的表面指定单元120指定的纹理映射目标的设定方法相同。即，作为一个例子，通过多边形实体(实例)的标识符来指定要嵌入图像的CG对象的表面(多边形集合)。该CG对象成为控制目标。

[0511] 作为另一个例子，指定材质(表面属性)，将应用了该材质的多边形的面设为嵌入目标，并将具有该面的CG对象设为控制目标。作为又一个例子，在制作CG描述数据时将被指定(应用材质)要纹理映射静止图像文件的多边形的面设为目标，并将具有该面的CG对象设为控制目标。通过这样的方法，可决定作为控制目标的CG对象。

[0512] 接着，对控制的流程图进行说明。来自操纵杆3509的控制从合成切换操作输入部(计算机内置)195经由通信路径被发送给数字特效装置360，从而能够操作要嵌入的图像(子画面)。同时从合成切换操作输入部195向图像生成单元140发送正控制数字特效装置360的信息(几何学信息)，图像生成单元140基于此而在画面(CG的虚拟三维空间)中移动对应的CG对象。

[0513] 数字特效装置360的控制在原理上与CG对象的虚拟三维空间中的控制相同。即，将要嵌入的图像放置在三维空间中，并由操作者通过操作杆350或光标等对在三维空间中的移动、旋转等三维变换(3D变换)进行操作。因此，在该图像处理装置100E中，与通过操纵杆350等控制数字特效装置360的三维变换并行地，根据相同的控制信息而在虚拟三维空间中控制CG对象。

[0514] 使得数字特效装置360正好在来自图像生成单元140的CG图像的相应帧进入到效果转换侧(图像合成切换部170)的定时(帧)进行对应的动作。为此，对数字特效装置360的控制、控制信息的通信、以及图像生成单元140的CG对象控制的处理定时进行设定。
在此情况下，对控制需要延迟的部分施加延迟。例如，在从受到控制后直到反应到输出图像为止的延迟在图像生成单元140中为3帧、在数字特效装置360中为2帧的情况下，先对图像生成单元140施加控制，而对于数字特效装置360延迟1帧后施加控制。

[0515] 在混合器177中由于两个图像被合成，因此作为结果可得到从输入线选择出的图像以延迟帧数较少的状态被嵌入到期望的CG对象的面上的输出图像。

[0516] 对于本发明以上的各个例子，也能够应用以下的技术。

[0517] 在通过手动操作进行叠加的开启和关闭时，不是简单地瞬时开启/关闭停止(切断)，而是能够使其逐渐地淡入和淡出，或者使用擦除信号(wi pe signal)从画面的一侧逐渐地进行显示或者抹去等。

[0518] 各控制定时考虑在被反映到被合成的图像为止的延迟，向延迟少的一侧施加适当的控制延迟，使得在合成时应同步的控制在同一帧起作用。

[0519] 另外，图像由帧的序列构成，但被输入到图像映射单元150等中的图像例如需要3帧等的时间才被反映到图像生成单元140等的输出中。从而，在作为输入源的对T1等图像进行切换的交叉点开关组162等进行动作起直到图像被合成为止会发生延迟，因此根据需要进行考虑了这种延迟的控制。例如，当要向画面施加图像T1等的切换和另一个叠加开启等的控制时，先指示交叉点开关组162等的控制，然后例如在施加三帧的延迟后进行另一个叠加开启等控制。

[0520] 另外，本发明不仅适用于通过动画的动作，而且也同样能够适用于通过操纵杆等手动操作的场合。

[0521] [产业上的可用性]

[0522] 本发明是在将制作的CG利用于直播等的情况下能够将与被纹理映射的图像相对应的文字串容易观看地插入到与该图像对应的位置上的发明，其能够应用于播放系统中的特效装置等。