图像处理装置以及方法

摘要

即使在输入照明条件不同的多个图像的情况下，也会生成位置误差较小的对应点和运动向量。图像处理装置(100、120)具备：算出多组跨越多个图像的对应点并输出的初始对应点算出部(113)；使用光学约束方程和几何约束方程，从多组初始对应点之中选择由误差较小的多组初始对应点构成的基准对应点，并且算出与该基准对应点对应的新的对应点即注目对应点，并将基准对应点和注目对应点作为对应点输出的对应点再算出部(104)。

权利要求

1.一种图像处理装置，具备：

初始对应点算出部，根据N张图像的图像数据，算出n组跨越所述N张图像的对应点即n组初始对应点；

基准候补生成部，从所述n组初始对应点中选择将s组的初始对应点的集合作为1组的基准对应点的候补，生成M组的基准对应点的候补；

系数算出部，对于所述M组的基准对应点的候补的各组，按照满足光学约束方程的方式，算出所述光学约束方程的系数即光学系数，其中，所述光学约束方程是将各图像上的点P的亮度值以其他的N-1张图像上的所述点P的对应点的像素值的线性组合来表示的方程；

新候补生成部，按照满足依照所述M组的基准对应点的候补的各组而确定的图像间的几何约束方程的方式，生成多组将图像间相互关联对应的新的对应点的集合作为1组的关注对应点的候补，其中，所述几何约束方程是将各图像上的任意一点以相同图像上的所述M组的基准对应点的候补的坐标值的线性组合来表示的方程；

第1选择部，对于所述多组的关注对应点的候补的各组，根据各图像上的点的亮度值和算出的所述光学系数，评价满足所述光学约束方程的程度，根据评价结果，选择1组的关注对应点的候补作为关注对应点输出；和第2选择部，根据所述第1选择部的评价结果，对所述M组的基准对应点的候补的各组进行评价，根据评价结果，从所述M组的基准对应点的候补中选择1组的基准对应点的候补，将选择的所述1组的基准对应点的候补和与选择的所述候补对应的关注对应点作为跨越所述N张图像的对应点而输出；

其中，N、n为4以上的整数，s为4以上n以下的整数，M为2以上的整数。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述基准候补生成部对由所选择的s组的初始对应点的所述N张图像的亮度值组成的N×s亮度矩阵的独立性进行评价，根据评价结果，选择所述M组的基准对应点的各个候补。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述基准候补生成部利用所述N×s亮度矩阵的多个固有值中的最大的第1固有值以及第3大的第3固有值，将所述第3固有值与所述第1固有值的比作为评价值，从得到更大评价值的N×s亮度矩阵所对应的s组的初始对应点的集合开始依次选择基准对应点的候补。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述基准候补生成部利用所述N×s亮度矩阵的多个固有值中的最大的第1固有值以及第3大的第3固有值，在所述第3固有值与所述第1固有值的比小于预先决定的阈值的情况下，将与所述N×s亮度矩阵相对应的s组的初始对应点的集合从基准对应点的候补中排除。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述基准候补生成部对于选择的s组的初始对应点，对各图像上的点附近的亮度值的空间梯度的大小进行评价，从得到更大空间梯度的s组的初始对应点的集合开始优先选择基准对应点的候补。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述N张图像是彩色图像，所述基准候补生成部对于选择的s组的初始对应点，对各图像上的点附近的各色图像间的相关进行评价，从得到更低相关的s组的初始对应点的集合开始优先选择基准对应点的候补。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述系数算出部，将按照各图像上的各点的点间距离和各图像上的被摄体的倍率中的一方确定了截止频率的空间方向的低通滤波器应用于所述图像数据，将得到的亮度值作为所述各图像上相互关联对应的点的亮度值而使用。

8.根据权利要求1所述的图像处理装置，其特征在于，

作为所述各基准对应点的候补的各图像上的点的亮度值，所述系数算出部使用位于该点附近的至少1个点的亮度值，算出所述光学系数。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述系数算出部使用接近该点周围、且与该点亮度值的差在规定范围内的至少1个点的亮度值，算出所述光学系数。

10.根据权利要求8所述的图像处理装置，其特征在于，

在该点亮度值与该点周围的邻近点亮度值的差大于规定范围时，所述系数算出部使用位于该点附近的至少1个点的亮度值，算出所述光学系数。

11.根据权利要求1所述的图像处理装置，其特征在于，

还具备：

坐标转换部，按照规定的放大率放大N张图像中的至少1张图像，生成按照所述规定的放大率来映射所述N张图像中的至少k张图像的各像素值后的多个坐标转换图像的组，作为放大后的图像的像素值；和图像生成部，选择所述多个坐标转换图像中的k张坐标转换图像，按照使所述k张坐标转换图像之间的相互对应的各坐标转换图像上的点的亮度值满足所述光学约束方程的方式，算出作为所述光学约束方程的系数即转换系数，通过用转换系数对所述N张坐标转换图像进行线性组合来生成合成图像；

其中k为3以上N以下的整数。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述图像生成部按照由包含在转换前的各图像中的被摄体的面积与包含在所述坐标转换图像中的被摄体的面积所决定的被摄体面积的比的大小，选择所述k张坐标转换图像。

13.一种图像处理方法，包括以下步骤：

根据N张图像的图像数据，算出n组的跨越所述N张图像的对应点即n组初始对应点的步骤；

从所述n组初始对应点中选择s组的初始对应点的步骤；

生成M组将s组的初始对应点的集合作为1组的基准对应点的候补的步骤；

对于所述M组的基准对应点的候补的各组，按照满足光学约束方程的方式，算出所述光学约束方程系数即光学系数的步骤，其中，所述光学约束方程是将各图像上的点P的亮度值以其他的N-1张图像上的所述点P的对应点的像素值的线性组合来表示的方程；

按照满足依照所述M组的基准对应点的候补的各组而确定的图像间的几何约束方程的方式，生成多组将图像间相互关联对应的新的对应点的集合作为1组的关注对应点的候补的步骤，其中，所述几何约束方程是将各图像上的任意一点以相同图像上的所述M组的基准对应点的候补的坐标值的线性组合来表示的方程；

对于所述多组的关注对应点的候补的各组，根据各图像上的点的亮度值和算出的所述光学系数，评价满足所述光学约束方程的程度的步骤；

根据评价结果，选择1组的关注对应点的候补，作为关注对应点输出的步骤；

根据所述评价结果，对所述M组的基准对应点的候补的各组进行评价，根据评价结果，从所述M组的基准对应点的候补中选择1组的基准对应点的候补的步骤；和将选择的所述1组的基准对应点的候补和与选择的所述候补对应的关注对应点作为跨越所述N张图像的对应点而输出的步骤；

其中，N、n为4以上的整数，s为4以上n以下的整数，M为2以上的整数。

14.一种图像处理装置，具备：

初始对应点算出部，根据N张图像的图像数据，算出n组的跨越所述N张图像的对应点即n组的初始对应点；和对应点再算出部，从所述n组的初始对应点中选择满足几何约束方程和光学约束方程的s组的初始对应点作为基准对应点输出，并且，算出满足基于所述基准对应点的几何约束方程和光学约束方程的关注对应点并进行输出，所述几何约束方程是以相同图像上的所述n组的基准对应点的候补的坐标值的线性组合来表示的方程，所述光学约束方程是将各图像上的点P的亮度值以其他的N-1张图像上的所述点P的对应点的像素值的线性组合来表示的方程；

其中，N、n为4以上的整数，s为4以上n以下的整数。

说明书

图像处理装置以及方法

技术领域

[0001] 本发明涉及算出多个图像间对应点的图像处理技术，特别涉及在多个图像间被摄体与光源相对位置不同的情况下也能算出位置误差小的对应点的图像处理技术。

背景技术

[0002] 目前，正在广泛研发算出多个图像间的对应点和动态图像运动矢量的技术。该技术是一种在数码视频照相机和数码视频照相机的图像手抖动补偿等画质改善处理、动态图
像编码处理、汽车安全驾驶支持系统、和用于机器人的形态识别处理等中通用的基础技术。

[0003] 这里所说的“多个图像”包含两种：视点位置不同、用多个照相机拍摄的多视点图像；和用一个照相机以一定时间间隔(例如1/30秒)连续拍摄的由多张图像组成的动态图
像。另外，由于计算多视点图像对应点的技术与计算动态图像运动矢量的技术有很多共通
部分，所以本申请说明书中，对二者不加区别。

[0004] 在计算多个图像间对应点和运动矢量的技术中，具有代表性的技术在例如专利文献1、非专利文献1和2中有述。具体而言就是：块匹配法，将图像间的矩形区域的亮度差
和相关值作为评价值，求出该值为最佳时的位置；梯度法，使用图像亮度的空间梯度和图像
间的亮度差，求出位移量；和相位相关法，利用傅里叶变换，根据相位相关函数的峰值，求出
位移量。但是，在这些现有技术中，已知存在以下课题：在多个图像间，在照明条件不同的情
况下(光源与被摄体与照相机的相对位置不同的情况和光源强度不同的情况等)，算出的
对应点的位置误差就会变大。

[0005] 另一方面，例如在专利文献2和3中公开了一种在照明条件不同的图像间降低对应点位置误差的技术。

[0006] 专利文献2所述的技术通过抽出输入图像的指定的亮度范围的像素来 降低图像中镜面反射区的影响并由此算出位置误差小的运动矢量。根据该技术，虽然可以期待缩小
镜面反射区域的运动矢量的误差。但无法减少非镜面反射区的运动矢量误差。

[0007] 另一方面，专利文献3所述的技术着眼于亮度的空间梯度和其变化较大的边缘或角落等区域，算出该区域的运动矢量。根据该技术，可以缩小亮度梯度较大的边缘区域的运
动矢量的位置误差。

[0008] 专利文献1：日本专利特许第2676978号说明书

[0009] 专利文献2：日本专利特开2000-36051号公报

[0010] 专利文献3：日本专利特开平7-66989号公报

[0011] 非 专 利 文 献 1：Bruce D.Lucas and Takeo Kanade.“An IterativeImageRegistration Technique with an Application to Stereo Vision.”，
InternationalJoint Conference on Artificial Intelligence，pages 674-679，1981.

[0012] 非专利文献2：Carlo Tomasi and Takeo Kanade.“Detection and TrackingofPoint Features.”，Carnegie Mellon University Technical ReportCMU-CS-91-132，
April 1991.

[0013] 然而，像专利文献3所述技术那样的算出边缘区域的运动矢量的方法减少不了非边缘区域运动矢量的位置误差。因此，如果例如被摄体为立体形状、被摄体的运动使边缘区
域和非边缘区域的运动矢量不同，就会带来以下课题：非边缘区域运动矢量的位置误差变
大。

发明内容

[0014] 本发明的目的在于，在照明条件不同的多个图像被输入的情况下，生成位置误差小的对应点和运动矢量。

[0015] 本发明的图像处理装置具备：初始对应点算出部，根据N张图像的图像数据，算出n组跨越所述N张图像的对应点即n组初始对应点；基准候补生成部，从所述n组初始对应
点中选择将s组的初始对应点的集合作为1组的基准对应点的候补，生成M组的基准对应
点的候补；系数算出部，对于所述M组的基准对应点的候补的各组，按照使各图像上的点的
亮度值满足光学约束方程的方式，算出所述光学约束方程的系数即光学系数；新候补生成
部，对于所述M组的基准对应点的候补的各组，按照满足依 照所述各组而确定的图像间的
几何约束方程的方式，生成多组将图像间相互关联对应的新的对应点的集合作为1组的关
注对应点的候补；第1选择部，对于所述多组的关注对应点的候补的各组，根据各图像上的
点的亮度值和算出的所述光学系数，评价满足光学约束方程的程度，根据评价结果，选择1
组的关注对应点的候补作为关注对应点输出；和第2选择部，根据所述第1选择部的评价结
果，对所述M组的基准对应点的候补的各组进行评价，根据评价结果，从所述M组的基准对
应点的候补中选择1组的基准对应点的候补，将选择的所述1组的基准对应点的候补和与
选择的所述候补对应的关注对应点作为跨越所述N张图像的对应点而输出；其中，N、n为4
以上的整数，s为4以上n以下的整数，M为2以上的整数。

[0016] 也可以所述基准候补生成部对由所选择的s组的初始对应点的所述N张图像的亮度值组成的N×s亮度矩阵的独立性进行评价，根据评价结果，选择所述M组的基准对应点
的各个候补。

[0017] 也可以所述基准候补生成部将所述N×s亮度矩阵的第3固有值与第1固有值的比作为评价值，从得到更大评价值的N×s亮度矩阵所对应的s组的初始对应点的集合开始
依次选择基准对应点的候补。

[0018] 也可以所述基准候补生成部在所述N×s亮度矩阵的第3固有值与第1固有值的比小于预先决定的阈值的情况下，将与所述N×s亮度矩阵相对应的s组的初始对应点的集
合从基准对应点的候补中排除。

[0019] 也可以所述基准候补生成部对于选择的s组的初始对应点，对各图像上的点附近的亮度值的空间梯度的大小进行评价，从得到更大空间梯度的s组的初始对应点的集合开
始优先选择基准对应点的候补。

[0020] 也可以所述N张图像是彩色图像，所述基准候补生成部对于选择的s组的初始对应点，对各图像上的点附近的各色图像间的相关进行评价，从得到更低相关的s组的初始
对应点的集合开始优先选择基准对应点的候补。

[0021] 也可以所述系数算出部，将按照各图像上的各点的点间距离和各图像上的被摄体的倍率中的一方确定了截止频率的空间方向的低通滤波器应用于所述图像数据，将得到的
亮度值作为所述各图像上相互关联对应的点的亮度值而使用。

[0022] 作为所述各基准对应点候补的各图像上的点的亮度值，所述系数算出部也可以使用位于该点附近的至少1个点的亮度值，算出所述光学系数。

[0023] 所述系数算出部也可以使用接近该点周围、与该点亮度值的差是在规定范围内的至少1个点的亮度值，算出所述光学系数。

[0024] 在该点亮度值与该点周围邻近点亮度值的差大于规定范围时，所述系数算出部也可以使用位于该点附近的至少1个点的亮度值，算出所述光学系数。

[0025] 所述的图像处理装置也可以还具备：还具备：

[0026] 坐标转换部，按照规定的放大率放大N张图像中的至少1张图像，生成按照所述规定的放大率来映射所述N张图像中的至少k张图像的各像素值后的多个坐标转换图像的
组，作为放大后的图像的像素值；和图像生成部，选择所述多个坐标转换图像中的k张坐标
转换图像，按照使所述k张坐标转换图像之间的相互对应的各坐标转换图像上的点的亮度
值满足光学约束方程的方式，算出作为所述光学约束方程的系数即转换系数，通过用转换
系数对所述N张坐标转换图像进行线性组合来生成合成图像；其中k为3以上N以下的整
数。

[0027] 也可以所述图像生成部按照由包含在转换前的各图像中的被摄体的面积与包含在所述坐标转换图像中的被摄体的面积所决定的被摄体面积的比的大小，选择所述k张坐
标转换图像。

[0028] 本发明的图像处理方法包含以下步骤：根据N张图像的图像数据，算出n组的跨越所述N张图像的对应点即n组初始对应点的步骤；从所述n组初始对应点中选择s组的初始
对应点的步骤；生成M组将s组的初始对应点的集合作为1组的基准对应点的候补的步骤；
对于所述M组的基准对应点的候补的各组，按照使各图像上的点的亮度值满足光学约束方
程的方式，算出所述光学约束方程系数即光学系数的步骤；对于所述M组的基准对应点的
候补的各组，按照满足依照所述各组确定的图像间的几何约束方程的方式，生成多组将图
像间相互关联对应的新的对应点的集合作为1组的关注对应点的候补的步骤；对于所述多
组的关注对应点的候补的各组，根据各图像上的点的亮度值和算出的所述光学系数，评价
满足光学约束方程的程度的步骤；根据评价结果，选择1组的关注对应点的候补，作 为关
注对应点输出的步骤；根据所述评价结果，对所述M组的基准对应点的候补的各组进行评
价，根据评价结果，从所述M组的基准对应点的候补中选择1组的基准对应点的候补的步
骤；和将选择的所述1组的基准对应点的候补和与选择的所述候补对应的关注对应点作为
跨越所述N张图像的对应点而输出的步骤；其中，N、n为4以上的整数，s为4以上n以下
的整数，M为2以上的整数。

[0029] 本发明的记录媒体记录计算机程序。所述计算机程序在计算机上执行以下步骤：根据N张图像的图像数据，算出n组的跨越所述N张图像的对应点即n组的初始对应点的
步骤；生成M组将跨越所述N张图像的s组的初始对应点的集合作为1组的基准对应点的
候补的步骤；对于所述M组的基准对应点的候补的各组，按照使各图像上的点的亮度值满
足光学约束方程的方式，算出所述光学约束方程系数即光学系数的步骤；对于所述M组的
基准对应点的候补的各组，按照满足依照所述各组确定的图像间的几何约束方程的方式，
生成多组将图像间相互关联对应的新的对应点的集合作为1组的关注对应点的候补的步
骤；对于所述多组的关注对应点的候补的各组，根据各图像上的点的亮度值和算出的所述
光学系数，评价满足光学约束方程的程度的步骤；根据评价结果，选择1组关注对应点的候
补，作为关注对应点输出的步骤；根据所述评价结果，对所述M组的基准对应点的候补的各
组进行评价，根据评价结果，从所述M组的基准对应点的候补中选择1组的基准对应点的候
补的步骤；和将选择的所述1组的基准对应点的候补和与选择的所述候补对应的关注对应
点作为跨越所述N张图像的对应点输出的步骤；其中，N、n为4以上的整数，s为4以上n
以下的整数，M为2以上的整数。

[0030] 本发明的处理器可以执行计算机程序。所述处理器通过执行图像处理程序，执行以下步骤：根据N张图像的图像数据，算出n组的跨越所述N张图像的对应点即n组的初始
对应点的步骤；生成M组将跨越所述N张图像的s组的初始对应点的集合作为1组的基准
对应点的候补的步骤；对于所述M组的基准对应点的候补的各组，按照使图像间相互关联
对应的各图像上的点的亮度值满足光学约束方程的方式，算出所述光学约束方程的系数即
光学系数的步骤；对于所述M组的基准对应点的候补的各组， 按照满足依照所述各组确定
的图像间的几何约束方程的方式，生成多组将图像间相互关联对应的新的对应点的集合作
为1组的关注对应点的候补的步骤；对于所述多组关注对应点的候补的各组，根据图像间
相互关联对应的各图像上的点的亮度值和算出的所述光学系数，评价满足光学约束方程的
程度的步骤；根据评价结果，选择1组的关注对应点的候补，作为关注对应点输出的步骤；
根据所述评价结果，对所述M组的基准对应点的候补的各组进行评价，根据评价结果，从所
述M组的基准对应点的候补中选择1组的基准对应点的候补的步骤；和将选择的所述1组
的基准对应点的候补和与选择的所述候补对应的关注对应点作为跨越所述N张图像的对
应点输出的步骤；其中，N、n为4以上的整数，M为2以上的整数。

[0031] 本发明的图像处理装置具备：初始对应点算出部，根据N张图像的图像数据，算出n组的跨越所述N张图像的对应点即n组的初始对应点；和对应点再算出部，从所述n组的
初始对应点中选择满足几何约束方程和光学约束方程的s组的初始对应点作为基准对应
点输出，并且，算出满足基于所述基准对应点的几何约束方程和光学约束方程的关注对应
点并进行输出；其中，N、n为4以上的整数，s为4以上n以下的整数。

[0032] 根据本发明，同时满足光学约束方程和几何约束方程的点就会作为跨越多个图像的相对应的对应点被指定。这里，光学约束方程是亮度变化依赖于被摄体与光源的相对位
置变化的约束方程，几何约束方程是对应点位置依赖于被摄体与光源的相对位置变化的约
束方程。这样，即使多个图像间被摄体与光源的相对位置不同，也可以算出位置误差减低的
对应点。此外，对动态图像使用高分辨率化处理，可以得到运动矢量位置误差减少的高画质
(分辨率)的影像数据。

附图说明

[0033] 图1是表示根据实施方式1的图像处理装置100的功能模块构成的图。

[0034] 图2的(a)是表示使用图像处理装置100的图像的拍摄环境的图，(b)是表示所拍图像的例子的图。

[0035] 图3是表示用照相机101拍摄的、被存储在图像存储部102中的动态图像的一连串图像的例子的图。

[0036] 图4是表示基准对应点候补的例子的图。

[0037] 图5(a)～(d)是表示各图像的关注对应点的候补的例子的图。

[0038] 图6是图像处理装置100的动作步骤的流程图。

[0039] 图7是是表示根据实施方式2的图像处理装置120的功能模块构成的图。

[0040] 图8是表示实施方式2中的多张输入图像的例子的图。

[0041] 图9是构图与图8(c)的一个输入图像I3(k＝3)相同的多个坐标转换图像I3，j的例子。

[0042] 图10是表示实施方式2的图像处理装置120所生成的合成图像的例子的图。

[0043] 图11的(a)表示图10(c)的合成图像的放大图，(b)是图8(c)的输入图像的放大图。

[0044] 图12的(a)是用根据现有技术的对应点算出方法得到的对应点与用根据本发明的对应点算出方法得到的对应点的比较例的示意图，(b)是表示从位置误差较多的对应点
生成的合成图像的例子的图，(c)是表示从位置误差较少的对应点生成的合成图像的例子
的图。

[0045] 图13是表示由计算机构成的图像处理装置的硬件构成图

[0046] 符号的说明

[0047] 100、120…图像处理装置

[0048] 101…照相机

[0049] 102…图像存储部

[0050] 113…初始对应点算出部

[0051] 103…基准候补生成部

[0052] 104…对应点再算出部

[0053] 105…光学系数算出部

[0054] 106…新候补生成部

[0055] 107…新候补选择部

[0056] 108…基准候补选择部

[0057] 109…输出部

[0058] 110…图像合成部

[0059] 111…坐标转换部

[0060] 112…图像生成部

具体实施方式

[0061] 下面，参照附图，对本发明的图像处理装置的实施方式进行说明。

[0062] 本申请的说明书对拍摄在实际空间空间中所存在的被摄体而得到的一张或多张图像相关联来对“对应点”这一用语进行定义。

[0063] 所谓“对应点”(a corresponding point)是指与实际空间中的任意1点对应的1个图像上的点。

[0064] 所谓“跨越多个图像(N张)的对应点”(corresponding points acrossN numberofimages)是指与实际空间中的任意1点对应的在多个图像(N张)中的每一个被定义的1
组对应点。它是与实际空间中的同一点相对应、各图像上确定的对应点的集合，具体而言就
是，综合多个图像(N张)的各图像上的对应点的图像坐标值，将其表现为1组图像坐标值。
希望注意的是，就跨越多个图像的对应点而言，相对于特定的一个图像上的1个点，在其它
图像上并不限定是1个点而被确定。

[0065] 所谓“跨越多个图像(N张)的多组(n组)的对应点”是指在实际空间中分别对n个点定义的跨越多个图像(N张)的对应点的集合。它聚集了n组不同的“跨越多个图像
(N张)的对应点”。这时，在各图像上就会存在n个属于不同组的对应点。

[0066] 在本申请的说明书中，规定了“初始对应点”、“基准对应点”等各种“对应点”，与上述同样的定义适用于任何一种对应点。

[0067] (实施方式1)

[0068] 图1表示本实施方式的图像处理装置100的功能模块的构成。图像处理装置100包括：照相机101、图像存储部102、初始对应点算出部112、对应点再算出部104、和输出部
109。

[0069] 照相机101拍摄被摄体并输出图像数据。照相机101可以输出动态图像和静态图像的任意一种图像数据。如果是动态图像数据，就输出按规定频率(例如30Hz)切换的由
多张图像构成的图像数据；如果是静态图像 数据，就输出一张图像的图像数据。

[0070] 图像存储部102是将照相机101拍摄的图像数据进行存储的记录媒体，例如是帧存储器或硬盘驱动器。图像存储部102所记录的图像数据被输入后述的初始对应点算出部
113和对应点再算出部104。

[0071] 初始对应点算出部113接收图像存储部102存储的图像数据，根据该图像数据，生成多组跨越多个图像的对应点(以下将该对应点称为“初始对应点”)。

[0072] 对应点再算出部104接受初始对应点算出部113生成的多组初始对应点和图像数据，抽出将全部初始对应点组作为整个集合时的多个部分集合。通过后述处理，“基准对应
点组”从构成各部分集合的初始对应点组中被确定。所以，以下将构成各部分集合的初始对
应点组称为“基准对应点候补”。对应点再算出部104从多个基准对应点候补中选择最佳的
基准对应点组。此外，输出选择的最佳的基准对应点组，并且输出与该基准对应点对应的新
求出的对应点(也称为“关注对应点”)组。

[0073] 对应点再算出部104包括：基准候补生成部103、光学系数算出部105、新候补生成部106、新候补选择部107、和基准候补选择部108。

[0074] 基准候补生成部103接受初始对应点算出部113生成的跨越多个图像的多组初始对应点，从所有的初始对应点组中选择一部分的初始对应点的部分集合，生成多组将它们
作为1组基准对应点候补。

[0075] 光学系数算出部105接受图像数据和多组基准对应点候补，对多组基准对应点候补的各组算出作为光学约束方程系数的光学系数，使图像间相互关联对应的各图像上的点
的亮度值满足该光学约束方程，

[0076] 新候补生成部106接受多个基准对应点候补，重新算出满足与各基准对应点候补对应的几何约束方程的多个对应点，将其作为关注对应点候补输出。

[0077] 新候补选择部107接受图像数据、基于各基准对应点候补的光学系数和关注对应点候补，根据关注对应点候补，评价满足光学约束方程的程度，根据评价结果，选择1组关
注对应点的候补，将其作为基于各基准对应点候补的关注对应点输出。

[0078] 基准候补选择部108接受多个基准对应点候补和与基准对应点候补相 对应的关注对应点，根据新候补选择部107的评价结果，对当初做成的多个基准对应点候补进行评
价，根据评价结果，从多个基准对应点候补中选择1组基准对应点候补。然后，将选择的基
准对应点和与选择的基准对应点对应的关注对应点作为图像数据的跨越多个图像的对应
点输出。

[0079] 输出部109成组输出图像存储部102中存储的多个图像和由对应点再算出部104算出的对应点。

[0080] 在本实施方式中，图像处理装置100不仅具备用来算出多个图像的对应点的初始对应点算出部113和对应点再算出部104，还具备拍摄图像并进行记录的照相机101、图像
存储部102、和输出所拍图像和对应点的组的输出部109。由此，图像处理装置100可以算
出并输出照相机拍摄的图像的对应点。

[0081] 为了便于理解发明内容，首先用具体例说明图像处理装置100的动作概要，其后再说明图像处理装置100的动作原理和具体动作。

[0082] (图像处理装置100的动作概要说明)

[0083] 图2(a)表示使用图像处理装置100的图像拍摄环境，图2(b)表示所拍图像的实例。如图2(a)所示，在本实施方式中，照相机、被摄体(雕像)、光源位置分别任意变化，与
图像处理装置100的动作无关。图2(a)环境中拍摄的一连串的多个(N张)图像被作为输
入图像处理。设图2中三维坐标系(X，Y，Z)是固定在被摄体上的坐标系。

[0084] 现在，设例如像图4所示的那样，已得到4张对相同被摄体拍摄的图像(N＝4)。如果假定被摄体上有8个点(n＝8)，那么可以在各图像上设定与这8个点分别对应的、表
示被摄体上相同位置的点(例如图4的“○”和“×”)。这些点的每一个为对应点，表示被
摄体上相同位置的点的组为跨越多个图像而存在的对应点。进而，假定从8组跨越多个图
像而存在的对应点中选择出坐标位置被正确求出的4组，则汇集这4组(s＝4)，称为1组
基准对应点(例如图4的“○”)。

[0085] 同一被摄体上任意1点的跨越4张图像的对应点的坐标值(位置矢量)用跨越4张相同图像的4个基准对应点的坐标值(位置矢量)的线性组合记述。这时成立的式子称
为几何约束方程。与各基准对应点的坐标值相乘的系数在本申请的说明书中用“A”表示。

[0086] 此外，在得到新图像(例如第5张图像)的情况下，可以在该图像上也设定与被摄体上的8个点分别对应的点(对应点)。这种新图像上的对应点的坐标(位置矢量)用跨
越之前的4张图像的各对应点的坐标值(位置矢量)的线性组合记述。这时成立的式子也
称为几何约束方程。与各对应点的坐标值相乘的系数在本申请的说明书中用“B”表示。该
几何约束方程的系数“B”可以从与跨越之前的4张图像的4个基准对应点相对应的新图像
上的点的坐标中求出。

[0087] 某个图像上的任意的点的像素值(例如亮度值)可以用该点的其它3张图像上的对应点的像素值的线性组合来记述。这时成立的式子称为光学约束方程。与各对应点的像
素值相乘的系数在本申请的说明书中用“C”表示。

[0088] 当给出4个基准对应点时，根据给出的基准对应点，得到光学约束方程系数。

[0089] 当给出4个基准对应点、希望求出跨越4张图像的基准对应点以外的新的对应点(关注对应点)组时，这些新对应点的组就必需分别满足几何约束方程和使用上述系数的
光学约束方程。

[0090] 就像以后详细说明的那样，当给出相对于设定在最初图像上的点(关注点)的可以认为是第2图像上的对应点的候补时，几何约束方程的系数A就会被算出，另外，第3和
第4图像上的对应点的坐标也会被算出。在第2图像上的对应点被正确给出的情况下，所
求出的新的对应点的组应该满足光学约束方程。

[0091] 因此，在本实施方式中，通过在规定范围内改变第2图像上的对应点给出方，陆续求出第3和第4图像上的对应点候补。另外，将第1～第3图像上的对应点候补的图像值
代入光学约束方程，如果得到的值与第4图像上的对应点候补的像素值一致，就可以认为
对应点被正确求出。如果不一致，就将误差最小的对应点候补当作正确的对应点输出。

[0092] 通过上述处理，根据基准对应点算出光学系数，并且，根据几何约束方程算出给出的关注点的对应点的候补，用光学约束方程进行评价。所得到的对应点一定满足几何约束
方程，而且同时最为满足光学约束方程。由此，即便在多个图像间被摄体与光源的相对位置
不同，也可以算出位置误 差降低的对应点。

[0093] 另外，在上述说明中，前提是跨4张图像来规定的各基准对应点的组分别作为对应点正确地被指定。然而，例如在最初给出图像数据时，有可能没有正确给出基准对应点。
因此，本实施方式对从8组(n＝8)对应点中选出4组(s＝4)而获得的基准对应点也设
定多个候补。然后，对基准对应点的各个候补，执行上述处理，将误差较小的基准对应点候
补指定为正确的基准对应点。这样，就可以在各图像上更正确地求出基准对应点和基准对
应点以外的新的对应点(关注对应点)。

[0094] (图像处理装置100的动作原理说明)

[0095] 下面，参照图2，详细说明本实施方式的图像处理装置100所利用的三个动作原理。具体而言就是，跨越多个图像的多个对应点都被正确给出时的对应点的坐标值应该满
足的两个几何约束方程和对应点的亮度值应该满足的光学约束方程。在推导约束方程时，
设定了以下的前提条件：(1)作为拍摄对象的被摄体是刚体；(2)光平行射入被摄体；(3)
在被摄体表面，光被完全扩散反射；(4)用仿射照相机拍摄被摄体。另外，即便实际为多个
物体，相对位置不变的多个物体也可以看作是同一刚体，也就是同一被摄体。

[0096] 首先，说明作为多个图像上的对应点的约束方程的几何约束方程。在作为刚体的同一被摄体上，如果设n个点Pi的三维坐标值是(Xi，Yi，Zi)(i＝1...n)，设仿射投影照相
机对其进行观察得到的N张图像上的点是pi，j(i＝1...n，j＝1...N)，设点pi，j的图像坐
标值是(xi，j，yi，j)(i＝1...n，j＝1...N)，那么上述几何约束方程就可以通过使用2×4矩
阵的(数式1)关系式表示。

[0097] [数式1]

[0098]

[0099]

[0100] (数式1)中的系数aj，bj意为：与被摄体坐标系中的照相机位置(也包含方向)和仿射照相机的投影相乘后的系数。

[0101] 在本实施方式中，照相机101可以用(数式1)表示的仿射照相机模式来近似表现。另外，与(数式1)的仿射照相机模式相比，透视投影模式往往更近似于一般照相机模
式。但是，相对而言，在例如照相机焦距较长、被摄体进深方向厚度较小、被摄体运动较少的
情况下，仿射照相机的近似精度就会变好。

[0102] 如果一边改变照相机位置，一边对同一被摄体上的n个点拍摄N张图像，那么图像上点的坐标值就会像(数式2)那样。

[0103] [数式2]

[0104]

[0105] 这里，假定：右边的左侧的仿射投影矩阵aj，bj是独立的，且右边右侧的对应点的三维坐标值Pi是独立的。这时，由于右边会分别展开四维空间，所以左边也会是阶为4的
高阶矩阵，并且下列关系式成立。

[0106] 设对应点pi，j中，N张图像(N为4以上的整数)中的任意4组(s＝4)对应点pi，j(i＝1...4，j＝1...N)是已知的。这时，N张图像(j＝1...N)中的其它的对应点pi’，
j’(i’＝5...n)可以用(数式3)的关系式表示。

[0107] [数式3]

[0108]

[0109]

[0110] 此外，第5张以后(j’＝5...N)的图像上的n个对应点坐标值可以使用第1～4张图像的n组的对应点的坐标值，通过(数式4)的关系式表示。

[0111] [数式4]

[0112]

[0113]

[0114]

[0115] 在上述的多个对应点的坐标值间成立的两个算式称作几何约束方程。由于这些关系式已在A.Shashua，“Trilinear Tensor：The FundamentalConstruct of Multiple-view
Geometry and its Applications”，APAC 1997等中公开，所以，本说明书就援用这些文献，
省略详细说明。

[0116] 接下来，对在多个对应点的亮度值之间成立的光学约束方程进行说明。光学约束方程是一种在被摄体为完全扩散反射的物体、且照明是并列光源的情况下、被摄体与照明
相对位置不同的多个图像的亮度值之间成立的约束方程。

[0117] 这里，图像可以认为是灰度(单色)图像，在N张图像Ij(j＝1...N)中，设对应点pi，j的像素的亮度值是Ij(pi，j)。这时，第4张以后的图像上的对应点亮度值Ij’(Pi，j’)
(j’＝4...N)可以使用第1～3张图像的对应点的亮度值Ij(pi，j)(j＝1...3)，通过(数
式5)的关系式表示。

[0118] [数式5]

[0119]

[0120]

[0121] 对于光学约束方程的详细内容，由于已在A.Shashua、“Geometry andPhotometryin 3D Visual Recognition”，Ph.D thesis，pages 79-91，Dept.Brainand Cognitive
Science，MIT(1992).等中公开，本说明书就援用这些文献，省略详细说明。

[0122] (图像处理装置100的具体动作说明)

[0123] 下面，对使用了上述的动作原理的图像处理装置100的具体动作进行说明。

[0124] 本实施方式设使用者操作照相机101，在图2(a)的拍摄环境下拍摄一连串动态图像。图像处理装置100将拍摄的动态图像的数据暂时存储在图像存储部102，对该数据算出
对应点，进行图像处理。

[0125] 照相机101通过使用者的操作，在图2的拍摄环境下，拍摄动态图像，将图像数据送到图像存储部102。图像存储部102对该图像数据进行存储。图3表示由照相机101拍摄
的存储在图像存储部102中的动态图像的一连 串图像的实例。它们按照上层左、上层右、
中层左、中层右、下层的顺序，在照相机与被摄体相对于照明一点一点移动的拍摄状况下被
拍摄。

[0126] 图像处理装置100利用例如图3所示的保存在图像存储部102中的第4张以上的图像数据，算出图像间的对应点并输出。设多个图像拍摄的是共用的一个被摄体，该被摄体
是刚体。

[0127] 初始对应点算出部113接受图3所示的图像数据，以连续的4张(N＝4)图像为单位，算出预先决定的数量(n组)的跨越4张图像对应点的初始对应点。

[0128] 在本实施方式中，作为算出跨越多个图像的初始对应点的方法，可以使用块匹配法，将小的矩形区域间的归一化的相互相关作为评价值，算出相关最高的位置。就像例如在
“数码图像处理/奥富正敏编，202-204页，财团法人图像情报教育振兴协会发行”等中公开
的那样，基于使用归一化相互相关性的块匹配法的对应点搜索方法是众所周知的，所以，省
略详细说明。

[0129] 另外，在初始对应点算出部113中，利用现有的对应点算出法算出的初始对应点存在以下问题：就像上述课题栏中说明的那样，尤其是在多个图像间照明条件变动的情况
下，对应点的位置误差就会变大。因此，初始对应点算出部113生成的n组初始对应点就会
包含位置误差较大的对应点组，概率大到无法忽略。

[0130] 因此，对应点再算出部104从初始对应点算出部113生成的、包含位置误差较大的对应点的组的n组初始对应点中，选择由位置误差最小的4组(s＝4)初始对应点构成的
基准对应点，将其与以选择的基准对应点为基础新生成的关注对应点一起作为新的对应点
输出。

[0131] 下面，进一步详细说明对应点再算出部104的动作。

[0132] 基准候补生成部103接受n组由初始对应点算出部113算出的跨越4张图像的初始对应点，以4组为单位进行例如随机选择，将得到的4组初始对应点的集合作为1组基准
对应点候补来生成。然后，生成M组(M：2以上的整数)的该基准对应点候补并进行输出。

[0133] 图4表示基准对应点候补的实例。在图4中，对于用“○”标记表示的由4组初始对应点的集合构成的基准对应点候补，对应点几乎都被正确 算出，而对于用“×”标记表示
的由4组初始对应点的集合构成的基准对应点候补，一部分的对应点的组(例如鼻子的位
置的对应点的组)中包含了较大的位置误差。

[0134] 光学系数算出部105接受4张输入图像和基准候补生成部103生成的M组基准对应点候补，对于基准对应点候补的各组，根据构成基准对应点候补的4组对应点中的亮度
值关系式(数式5)，算出光学系数Cj’并输出。

[0135] 更加具体地讲就是，设4张图像中第1～3张图像是I1、I2、I3，设第4张图像是Ij。这时，由于构成各基准对应点候补的4组对应点的亮度值Ij(pi，j)满足(数式5)的关系式，
所以可以算出(数式5)中的3个系数Cj’1、Cj’2和Cj’3。这3个光学系数以M组基准对应
点候补的各组为单位算出并输出。

[0136] 新候补生成部106接受M组基准对应点候补，以构成各基准对应点候补的初始对应点的组为单位，算出满足几何约束方程的多个对应点，将它们作为关注对应点候补输出。
关注对应点候补是与基准对应点候补不同的对应点的组。以下，参照图5，说明算出与某1
组基准对应点候补对应的关注对应点候补的方法。

[0137] 图5(a)～(d)表示各图像中的关注对应点候补的实例。在图5(a)～(d)中，“○”标记表示M组基准对应点候补中的1组。例如，图5(a)～(d)所示的位于被摄体雕像的额
部的基准对应点候补(“○”标记)作为被摄体雕像的额部有关的对应点在图像间关联对
应。在以下的说明中，假定图像间相互关联对应的基准对应点候补几乎没有位置误差来进
行说明。这时，新候补生成部106对于第1张图像上的所有像素，在将各像素的图像坐标值
(xi，1，yi，1)作为1个关注点的情况下，算出多个第2～4张图像上的对应的点的候补的图像
坐标值。

[0138] 下面，对算出与某一关注点(xi，1，yi，1)对应的第2～4张图像上的对应点的候补(关注对应点候补)的步骤进行说明。

[0139] 使用以点(xi，1，yi，1)为中心的预定的矩形搜索范围宽度±wsx、±wsy，给出与关注点(xi，1，yi，1)对应的第2张图像上的对应点候补的坐标(xi，2，dx，yi，2，dy)(数式6)。

[0140] [数式6]

[0141] xi，2，dx＝xi，1+dx，(dx＝-wsx...wsx)

[0142] yi，2，dy＝yi，1+dy，(dy＝-wsy...wsy)

[0143] 如果已经预先给出相对于第1张的关注点(xi，1，yi，1)的第2张的对应点候补(xi，2，dx，yi，2，dy)，那么第3、4张图像上的对应点候补的坐标(xi，3，dx，yi，3，dy)、(xi，4，dx，yi，4，dy)就可以通过(数式7)算出，该算式使用了(数式3)变形后得到的函数F。

[0144] [数式7]

[0145] (xi，3，dx，yi，3，dy，xi，4，dx，i，4，dy)＝F(xi，1，yi，1，xi，2，dx，i，2，dy) [0146] 也就是说，数式7意味着一旦决定第1张图像上的关注点和第2张图像上的对应点候补，就可以算出第3、4张图像上的对应点候补。

[0147] 现在，若设图5(a)中的“+”标记是第1张图像上的关注点，那么图5(b)中的矩形区域内的多个点成为第2张图像上的对应点候补。第3、4张图像上的对应点候补的区域存
在于图5(c)(d)中的被四边形包围的区域中。

[0148] 像以上那样，对于第1张的某一个关注点(xi，1，yi，1)，可以算出W种(W：(2*wsx+1)×(2*wsy+1))相对于关注点的对应点的候补(xi，2，dx，yi，2，dy)、(xi，3，dx，yi，3，dy)、(xi，
4，dx，yi，4，dy)，将它们作为1组关注对应点候补。

[0149] 新候补生成部106以第1张图像的所有像素(S像素)为关注点，重复上述处理，对基准对应点候补的一组生成多组(S组)关注对应点候补。

[0150] 新候补生成部106对M组基准对应点候补的各组进一步进行上述处理，生成M×S组关注对应点候补的组。像以上那样，新候补生成部106所生成的M×S×W种的关注对应
点候补成为相对于对应的基准对应点候补，满足任意一个几何约束方程(数式3)的对应点
的组。

[0151] 新候补选择部107接受输入图像、光学系数算出部算105出的光学系数、新候补生成部106生成的关注对应点候补，选择并输出最满足光学约束方程(数式5)的关注对应点
候补。新候补选择部107的动作原理如下。

[0152] 也就是说，在与某1组的基准对应点候补对应的多组关注对应点候补的各组中，与某一个关注点对应的多种(W种)对应点的候补中的正确对应的对应点的候补(关注对
应点)应该满足该1组基准对应点候补所满足 的光学约束方程(数式5)。

[0153] 换言之，1组(W种)关注对应点候补中的正确的关注对应点，其表示光学系数Cj’、第1张的关注点(xi，1，yi，1)及其对应点的候补(xi，2，dx，yi，2，dy)、(xi，3，dx，yi，3，dy)、(xi，4，dx，yi，4，dy)关系的误差评价式err(xi，1，yi，1，xi，2，dx，yi，2，dy)理想中应该成为0。

[0154] [数式8]

[0155] err(xi，1，yi，1，xi，2，dx，yi，2，dy)

[0156] ＝I4(xi，4，dx，yi，4，dy)-{C41I1(xi，1，yi，1)+C42I2(xi，2，dx，yi，2，dy)+C43I3(xi，3，dx，yi，3，dy)}[0157] 因此，新候补选择部107就通过计算，从1组(W种)关注对应点候补中指定并选择(数式8)为最小的(xi，2，yi，2)、(xi，3，yi，3)、(xi，4，yi，4)(数式9)。

[0158] [数式9]

[0159]

[0160] (xi，3，yi，3，xi，4，yi，4)＝F(xi，1，yi，1，xi，2，yi，2)

[0161] 设上述关注点(xi，1，yi，1)和选择的(xi，2，yi，2)、(xi，3，yi，3)、(xi，4，yi，4)的组为关注对应点。意思是：该选择的1组关注对应点是与某1组基准对应点候补对应的1组(W种)关注对应点候补中最为满足相同基准对应点候补的光学约束方程(数式5)的对应点。

[0162] 新候补选择部107对与1组基准对应点候补对应的S组关注对应点候补重复上述处理，对1组基准对应点候补算出S组关注对应点。新候补选择部107还对M组基准对应
点候补重复同样处理，对基准对应点候补的各组分别算出S组关注对应点。

[0163] 在上述的新候补选择部107的说明中，为了便于理解，认为以第1张的关注点(xi，1，yi，1)为基准的矩形搜索范围(±wsx，±wsy)内的点是第2张图像上的对应点候补。

[0164] 但是，也可以不限定为设定作为基准的关注点的图像和设定搜索范围的图像，怎么组合都可以。例如，可以以第1张的关注点(xi，1，yi，1)为基准，对第2张的x坐标xi，2，dx
和第3张的x坐标xi，3，dx分别设定搜索范 围±wsx2、±wsx3。这时，将(数式3)的算式变
形，就可以算出第2张的y坐标、第3张的y坐标和第4张的x、y坐标(yi，2，dy，yi，3，dy，xi，4，dx，yi，4，dy)。即便使用这种关注对应点候补，新候补选择部107同样也可以选择最为满足光
学约束方程(数式5)的关注对应点候补。

[0165] 在基准候补选择部108中，对于新候补生成部106生成的M组基准对应点候补和与新候补选择部107所选择的基准对应点候补的各组，将S组关注对应点作为输入，选择1
组基准对应点候补，将所选择的基准对应点候补(基准对应点)和与其对应的关注对应点
作为与输入图像对应的最佳对应点输出。

[0166] 对从基准候补选择部108的M组基准对应点候补中选择1组的步骤进行说明。用(数式10)算出对于某1组基准对应点候补的评价值Em。然后，对M组基准对应点候补分
别算出评价值，选择该评价值为最小的基准对应点候补的组来作为最佳基准对应点。

[0167] [数式10]

[0168]

[0169] 然后，基准候补选择部108将选择的1组基准对应点和与其对应的1组关注对应点作为与相对于4张输入图像新的对应点输出。

[0170] 根据上述的各处理要素的动作步骤，就可以算出多个跨越4个图像的新的对应点。在动态图像所包含的图像大于4张的情况下，可以以连续的4张图像为单位，依次重复
上述步骤。这样，就可以对所有的输入图像算出对应点。

[0171] 上述的(数式10)的评价值Em表示相对于从某1组基准对应点候补得到的S组关注对应点的光学约束方程(数式5)的误差的总和。另外，关注对应点的各组也同时满足
几何约束方程(数式3)。这样，(数式10)的评价值Em成为表示某1组基准对应点候补和
与其对应的S组关注对应点满足光学约束方程和几何约束方程的程度的值。因此，在基准
候补选择部108中选择的1组基准对应点和与其对应的S组关注对应点组成的新对应点成
为M组基准对应点候补和与其对应的关注对应点中最满足光学约 束方程和几何约束方程
的组。

[0172] 另外，虽然上述基准候补选择部108从M组基准对应点候补和对应的关注对应点中选择最满足光学约束方程和几何约束方程的组，但也无需一定是最满足的组。例如，也可
以在存在多个光学约束方程和几何约束方程的满足程度在预先决定的基准值以内的组的
情况下，在M组基准对应点候补和与它们对应的关注对应点中，选择满足光学约束方程和
几何约束方程的任何1组。

[0173] 根据以上内容，本发明的实施方式1所算出的对应点即便在输入图像为照明条件变化的图像、初始对应点算出部113生成的初始对应点以某一概率包含位置误差的情况
下，也可以从根据初始对应点生成的多个基准对应点候补中，选择最为满足光学约束方程
和几何约束方程的基准对应点。该光学约束方程是即使对照明条件变化的图像，该图像间
的对应点的亮度值也应该满足的约束方程。其结果，即便是对于照明条件变化的图像，也可
以算出合适的基准对应点候补和位置误差较小的对应点。

[0174] 图6是表示图像处理装置100的动作步骤的流程图。上述处理按照图6所示的一般化步骤执行。

[0175] 在步骤S61中，基准候补生成部103从图像存储部102读出由N张(N：4以上的整数)图像构成的图像数据。

[0176] 在步骤S62中，初始对应点算出部113将跨越N张图像的对应点作为初始对应点，算出n组(n：4以上的整数)并输出。在步骤S63中，基准候补生成部103从n组初始对
应点中选择s组(s：4以上、n以下的整数)初始对应点的集合来作为1组基准对应点的候
补，生成总共M组的不同的基准对应点不同的候补。

[0177] 在步骤S64中，光学系数算出部105以M组的候补的组为单位，算出光学系数，使各图像上的对应点的亮度值满足光学约束方程。

[0178] 在接下来的步骤S65中，按照满足以M组的候补的组为单位而定出的几何约束方程的方式，新候补生成部106生成S组与M组的候补的各组对应，在图像间关联对应的新的
对应点(关注对应点)的组的候补。

[0179] 在步骤S66中，新候补选择部107根据各图像上的对应的关注对应点的亮度值和算出的光学系数，对关注对应点的各个候补来评价满足光学约 束方程的程度(误差)。然
后，在步骤S67中，新候补选择部107根据各评价结果，选择1组关注对应点候补，作为关注
对应点输出。

[0180] 最后，在步骤S68中，基准候补选择部108以每一个基准对应点的候补组为单位，对上述评价结果进行评价，根据评价结果选择1组基准对应点的候补。然后，将该候补作为
基准对应点而输出。

[0181] 通过以上处理，图像处理装置100可以算出最为符合多个图像间的变化取决于被摄体的相对运动和照明条件的变化这一假定的对应点的组。其结果，即使输入照明条件不
同的多个图像，也可以算出降低位置误差的对应点。

[0182] 虽然在本实施方式中，基准候补生成部103从初始对应点的多个组中进行随机选择，然后生成基准对应点候补。但是也可以在从多个初始对应点中进行随机选择之后，根据
4个图像的4组初始对应点的亮度值生成4行4列的亮度矩阵，选择并输出独立性高的亮度
矩阵。

[0183] 上述4行4列的亮度矩阵在被摄体为完全扩散反射物体、照明为并行光源的条件下，在4张图像中光源方向相对于被摄体为独立、并且4个对应点的法线为独立的情况下，
就会变为3阶矩阵。但是，在图像间光源方向接近或对应点间法线方向接近的情况下，有时
它们的独立性就会降低，阶数变为2以下。

[0184] 上述亮度矩阵的独立性可以通过算出亮度矩阵的固有值，用其最大的固有值(第1固有值)与第3大的固有值(第3固有值)的比(条件数)进行评价，该比较大时，独立
性较高。上述亮度矩阵的独立性较高的基准对应点候补相对于独立性较低的基准对应点候
补，在计算(数式5)的光学约束方程的情况下的精度提高。因此，在使用亮度矩阵独立性
较高的基准对应点候补的情况下，能够算出位置误差小的对应点可能性提高。

[0185] 另外，在本实施方式中，基准候补生成部103从多个初始对应点中进行随机选择，然后生成由4组初始对应点组成的基准对应点候补。

[0186] 但是，在生成基准对应点候补时，也可以在从多个初始对应点中进行随机选择后，根据跨越4个帧的4个对应点的亮度值生成4行4列亮度矩阵，将该亮度矩阵的第3固有
值对于第1固有值的比小于预定值的初始对应点的组排除出基准对应点的候补。如上所
述，在亮度矩阵的第3固有值 对于第1固有值的比较小的情况下，在计算(数式5)的光
学约束方程时，精度会下降。因此，排除这种基准对应点的候补，会提高算出位置误差小的
对应点的可能性。作为预定值的具体例可以是，例如在第3固有值与第1固有值的比小于
0.01的情况下，从基准对应点的候补中排除。如上所述，在图像间光源方向接近或对应点间
法线方向接近的情况下，有时它们的独立性就会降低，阶数变为2以下。但是，由于实际测
量的亮度值中包含微小误差，所以第3固有值与第1固有值的比完全成为0的情况极为罕
见。所以，通过比预定值小时就从基准对应点的候补中排除，实质上可以除去阶数为2以下
的基准对应点的候补。其结果，能够生成独立性较高的基准对应点候补，可以算出位置误差
小的对应点的可能性提高。

[0187] 此外，也可以代替对多个初始对应点的候补进行随机选择，而是优先选择对应点附近的各色图像间的相关较低的初始对应点，生成基准对应点的候补。例如，设输入图像是
由红(R)绿(G)蓝(B)三原色构成的彩色图像。然后，对各对应点附近的小区域图像，算出
G图像和R图像或者G图像和B图像的亮度值的相关值。然后，优先选择包含彩色图像间相
关值低的对应点的对应点。这里所说的“彩色图像间的相关值”例如可以利用图像亮度的
空间梯度来进行评价。

[0188] 图像亮度的空间梯度的变化源于两大原因：被摄体表面的纹理；和被摄体表面的凹凸所带来的亮度变化。当光源方向发生变化时，被摄体表面的纹理亮度就会在小区域内
以相同比率变化，与此相对，被摄体表面因凹凸带来的亮度变化是在局部发生。因此，在以
某一像素为中心的包含其附近(例如5像素以内)的像素群的小区域中，在亮度空间梯度
相同的情况下，其要因是纹理的情况比其要因是取决于被摄体表面凹凸的情况，更可期待
对应点位置误差变小。另外，在因被摄体方面的凹凸而导致亮度变化的情况下，由于各色亮
度均等变化，所以在小区域中，RGB各色图像间的相关就会变高。这样，即使是用现有的对
应点算出方法计算，各色图像间相关性较低的对应点也可以期待其位置误差较小。因此，从
多个初始对应点中优先选择这样的初始对应点，生成基准对应点候补，作为结果，有能够算
出位置误差较小的对应点的可能性提高的效果。

[0189] 另外，在小区域中的亮度值的空间梯度较大就意味着亮度的差较大。 因此，可以说在被摄体的角度随图像变化而变化的情况下，容易指定该小区域。因此，当将空间梯度较
大的小区域中的像素作为基准对应点候补来优先选择时，算出位置误差较小的对应点的可
能性就会提高。

[0190] 在本实施方式中，构成对应点算出部104的各处理要素是对多个输入图像中的4张图像重复进行上述处理，关于第5张以后的处理，也可以在新候补生成部106中，使
用(数式4)的算式来算出关注对应点候补。另外，在上述4张图像的对应点为已知的情
况下，算出第5张以后的对应点的处理是众所周知的，所以省略详细说明。例如可以使用
“A.Shashua、‘Geometry and Photometry in 3D Visual Recognition’，Ph.D thesis，
pages107-124.Dept.Brain and Cognitive Science，MIT(1992).”等中公开的处理。

[0191] 虽然在本实施方式中，基准对应点候补是由4个(s＝4)初始对应点的组构成，但也不限于4个。即使是例如5个以上的(s＞＝5)的初始对应点组，由于使用最小2乘法，
就可以分别算出(数式3)(数式4)的系数，所以可以进行与上述处理相同的处理。利用最
小2乘法，从5个以上的初始对应点的组中算出系数，有不易受噪声影响的效果。

[0192] 虽然光学系数算出部105利用基准对应点候补的各对应点的坐标值的输入图像的亮度值来计算光学系数，但也可以根据基准对应点的各图像的每一个的点间距离，使用
在输入图像上设定了空间方向的低通滤波器的亮度值算出光学系数。对于上述多个输入图
像，由于被摄体与照相机的距离因图像而异，所以，与基准对应点候补的对应点的一个像素
对应的被摄体表面上的面积也会因图像而异。因此，光学约束方程(数式5)作为被摄体表
面同一点的亮度值的约束方程本来就含有误差。

[0193] 为了降低误差，最好尽可能使与对应点的一个像素对应的被摄体表面上的面积在多个输入图像间尽可能恒定。例如，对于多个输入图像中与一个像素相对应的被摄体表面
面积更小的图像，将进行过频率低于截止频率的低通滤波器处理的像素值作为对应点像素
值使用，这样，可以降低光学约束方程的误差。但是，无法直接取得与一个像素相对应的被
摄体表面的面积。而另一方面可以说，基准对应点的点间距离越大，在与一个像素对应的被
摄体表面上的面积越小。

[0194] 因此，对每个输入图像算出基准对应点候补的对应点间距的平均值， 对输入图像进行具有依照上述比的截止频率低通滤波器处理，由此就会等价地使与一个像素对应的被
摄体表面上的面积在多个输入图像间更加平均，这样，光学约束方程的误差就会减少，对应
点的精度就会提高。

[0195] 也可以代替上述的点间距离，使用其它方法来降低光学约束方程的误差。例如，也可以像Exif规格等那样，在到被摄体为止距离或焦距等倍率的信息被附加到图像数据的
情况下，根据该倍率信息，算出与一个像素对应的被摄体表面的面积的信息，设定设有截止
频率的低通滤波器。如果利用该倍率信息，即便图像上被摄体的倍率不同，也可以使与一个
像素对应的被摄体表面上的面积在多个输入图像间接近平均，因此，可以降低光学约束方
程上产生的误差。

[0196] (实施方式2)

[0197] 图7表示本实施方式的图像处理装置120的功能模块构成。本实施方式的图像处理装置120与实施方式1的图像处理装置100的不同之处在于，设置了图像合成部110，来
取代图像处理装置100的输出部109。图像合成部110接受多张图像和跨越多个图像而被
指定的对应点，输出分辨率比输入图像分辨率还高的合成图像。这里，所谓“分辨率高”是
指，在映出被摄体同一区域的图像中存在高空间频率成分。

[0198] 以下，对图像合成部110进行详细说明。另外，在图7所示的图像处理装置120的构成要素中，对与图像处理装置100(图1)的构成要素相同的构成要素附加相同的参照符
号，省略其说明。

[0199] 图像合成部110包括：坐标转换部111和图像生成部112。

[0200] 坐标转换部111接受多个图像及其对应点，根据这些图像，生成进行过坐标转换的图像(坐标转换图像)。所谓坐标转换图像是指在接收的多张图像中，与某个图像的相对
坐标位置(构图)相同、且图像尺寸放大的图像。坐标转换部111生成与各图像对应的多
个坐标转换图像，将它们作为1组输出。

[0201] 图像生成部112接受多组坐标转换图像，在各组中，根据多个坐标转换图像，算出转换系数这一相同位置的像素亮度值所满足的光学约束方程的系数，通过基于多个坐标转
换图像的转换系数的线性组合生成合成图像并输出。

[0202] 下面，对图像处理装置120的动作进行说明。由于以下的直至对应点再算出部104为止的处理与实施方式1相同，所以省略说明，从对应点再算出部104的输出处理开始进行
说明。此外，设对应点再输出部104输出的N张输入图像为Ij，(j＝1...N)，设跨越所输入
的多张图像的n组的对应点为pi，j，(i＝1...n，j＝1...N)，将其图像坐标表示为(xi，j，yi，
j)，(i＝1...n，j＝1...N)。

[0203] 图8表示本实施方式的多张输入图像的实例。设被输入的图像为6张(N＝6)，设各输入图像的尺寸为640像素×480像素。设对应点pi，j，存在于被摄体(雕像)的区域来
进行说明。

[0204] 坐标转换部111接受由多张图像构成的图像数据及其对应点，通过对各图像进行坐标转换，来生成构图与输入图像相同的多个坐标转换图像。这里，所谓构图相同是指，在
图像中，被摄体的相对坐标位置是相同的。

[0205] 此外，构图与某一个输入图像Ik相同的坐标转换图像的坐标位置通过以放大倍数r来放大输入图像Ik的坐标位置而算出。该放大倍数r是长度的比率，预先由使用者的指
示给出。

[0206] 下面，对坐标转换部111的动作进行详细说明。以下，对使用多个输入图像Ij(j＝1...N)和对应点pi，j(i＝1...n，j＝1...N)，生成构图与某一个输入图像Ik相同的多个
坐标转换图像Ik，j的动作进行说明。

[0207] 坐标转换部111通过将某一输入图像Ik的对应点pi，k(i＝1...n)的图像坐标(xi，j，yi，j)(i＝1...n)与放大倍数r相乘来算出坐标值，设它为多个坐标转换图像Ik，j(j＝
1...N)的通用的对应点qi，k＝(r·xi，k，r·yi，k)(i＝1...n)。

[0208] 另外，坐标转换部111使用坐标转换图像的对应点qi，k(i＝1...n)、各对应点pi，j(i＝1...n，j＝1...N)和各输入图像Ij(j＝1...N)来进行纹理映射(mapping)，由此生
成多个坐标转换图像Ik，j(j＝1...N)。

[0209] 对使用纹理映射来生成坐标转换图像Ik，j的实例进行说明。首先，利用狄洛尼(Delaunay)三角形分割法，根据输入图像Ik的n个对应点pi，k(i＝1...n)，构造出多个三
角形集合。然后，假定通过仿射转换，坐标转换图像上的三角形内的像素的坐标值与对应的
输入图像上的三角形内的像素的坐标值建立关系。这样，就会得到坐标转换图像上的任意
像素的坐 标值与输入图像上的像素的坐标值的对应关系。由此，作为坐标转换图像上的某
个像素的像素值，通过使用对应的输入图像的像素值，就可以生成坐标转换图像。另外，作
为计算机图像处理的方法，使用图像和对应点、通过纹理映射来生成合成图像的上述手法
已众所周知，所以在此省略详细说明。

[0210] 另外，坐标转换部111将坐标转换图像Ik，j(j＝1...N)中的被摄体面积与各输入图像Ij(j＝1...N)中的被摄体面积的比作为面积比sk，j(j＝1...N)而算出并输出。另
外，被摄体面积的比也可以作为坐标转换图像中的被摄体面积/输入图像中的被摄体面积
求出。

[0211] 按照以上步骤生成的多个坐标转换图像Ik，j(j＝1...N)相对于输入图像Ik，被摄体的相对的二维坐标位置(构图)相同。但是，由于坐标转换图像Ik，j(j＝1...N)的像素
值是使用多个输入图像Ij(j＝1...N)的像素值而生成，所以转换前后的照明条件是不同
的。另外，坐标转换图像Ik，j(j＝1...N)相对于输入图像Ik具有以下特征：变成为该坐标
值为r倍的图像，也就是图像尺寸较大的图像。

[0212] 坐标转换部111通过上述动作，生成构图与某一个输入图像Ik相同的由多个坐标转换图像Ik，j(j＝1...N)组成的组。另外，进行重复处理上述动作，生成并输出由多个组
组成的输入图像Ik(k＝1...N)和坐标转换图像Ik，j(k＝1...N)、(j＝1...N)。

[0213] 图8是表示6张图像Ij的实例。各图像的照明条件不同。设像素数都是640像素×480像素。

[0214] 图9是构图与图8(c)的1个输入图像I3(k＝3)相同的多个坐标转换图像I3，j的实例。在本实施方式中，设放大率r为2。生成的坐标转换图像的图像尺寸是1280像
素×960像素。

[0215] 由图9(a)～(f)可知：相对于图8(c)的输入图像I3，图9的6张坐标转换图像I3，j是构图相同，照明条件不同，且图像尺寸大。

[0216] 坐标转换部111对各输入图像Ik(k＝1...N)生成多组图9所示的坐标转换图像Ij，k(k＝1...N)，并且算出并输出面积比rk，j。

[0217] 图像生成部112接受多个坐标转换图像的组Ij，k和面积比rk，j，以各组为单位，根据多个坐标转换图像，算出相同坐标位置的像素的亮度值所满 足的光学约束方程的系数
(转换系数)。

[0218] 下面，在图像生成部112中算出转换系数的方法进行说明。

[0219] 图像生成部112接受坐标转换图像Ik，j和面积比rk，j，在各组k中，选择面积比rk，j(j＝1...N)之中值较小的3个坐标转换图像。这里，设选择的3个坐标转换图像为Ik，a、
Ik，b、Ik，c，设任意点pi的像素值为Ik，a(pi)、Ik,b(pi)、Ik，c(pi)。这时，对于相当于输入图像Ik的放大图像的坐标转换图像Ik，k的像素值Ik，k(pi)和像素值Ik，a(pi)、Ik，b(pi)、Ik，c(pi)，(数式11)的光学约束方程成立。

[0220] [数式11]

[0221] Ik，k(pi)＝Dk，aIk，a(pi)+Dk，bIk，b(pi)+Dk，cIk，c(pi)

[0222] 在(数式11)中，Dk，a、Dk，b、Dk，c(将它们记为Dk)是转换系数。

[0223] 该转换系数Dk可以根据多个坐标转换图像上的3点以上的pi的像素值算出。原理上，(数式11)的算式在坐标转换图像Ik，k、Ik，a、Ik，b、Ik，c的分辨率相同的情况下成立。
但实际上，多个坐标转换图像的分辨率不一定相同，所以(数式11)的关系式有可能包含误
差。因此，本实施方式采用最小二乘法，从大大多于3个点的点pi的像素值中生成转换系
数Dk。

[0224] 在图9的例子中，在6个坐标转换图像I3，j中，被摄体面积是相同的。在图8的6个输入图像中，其被摄体面积由大到小的顺序是I6、I5、I4、I3、I2、I1。所以，面积比s3，k由小到大的顺序就会变为s3，6、s3，5、s3，4、s3，3、s3，2、s3，1。因此，使用坐标转换图像I3，3和坐标转换图像I3，4、I3，5、I3，6，算出转换系数D3。

[0225] 然后，图像生成部112将转换系数Dk、坐标转换图像Ik，j代入(数式12)，生成线性图像I’k。

[0226] [数式12]

[0227] I’k(pi)＝Dk，aIk，a(pi)+Dk，bIk，b(pi)+Dk，cIk，c(pi)

[0228] 通过(数式12)的线性组合而生成的线性图像I’k与相当于扩大输入图像Ik的坐标转换图像Ik，k相比，有时会构图和照明条件相同，且分辨率高。

[0229] 例如，就图8的6个输入图像中的被摄体面积而言，由于输入图像I4、I5、I6比输入图像I3大，输入图像I4、I5、I6的分辨率就比输入图像I3高。 另一方面，对于图9的6个坐
标转换图像I3，j，被摄体面积是相同的。因此，比起从输入图像I3(k＝3)生成的坐标转换
图像I3，3(图9(c))，分别从输入图像I4、I5、I6生成的坐标转换图像I3，4、I3，5、I3，6(图9(d)(e)(f))的分辨率就会较高。因此，通过坐标转换图像I3，4、I3，5、I3，6的线性组合(数式12)
而生成的线性图像I’3的分辨率就会比坐标转换图像I3，3高。

[0230] 相反，可以认为，从构图与图8(f)所示的输入图像I6(k＝6)相同的多个坐标转换图像I6，j(j＝1...N)生成的线性图像I’6的分辨率比坐标转换图像I6，6低。这是由于
在多个输入图像Ij中，不存在分辨率高于输入图像I6的图像。

[0231] 因此，图像生成部112对线性图像I’k和坐标转换图像Ik，k的空间频率成分进行解析，选择高频成分更多的一方，将其作为合成图像I”k存储到图像存储部102中。对于通
过上述动作得到的合成图像I”k而言，构图和照明条件与输入图像Ik相同，分辨率高或相
同。

[0232] 图10表示本实施方式的图像处理装置120所生成的合成图像的例子。另外，图11(a)是图10(c)的合成图像的放大图，图11(b)是图8(c)的输入图像的放大图。可以认
为，图11(a)合成图像的分辨率比图11(b)的输入图像高。

[0233] 如上所述，将被摄体、照相机、光源位置关系不同的多个图像(图8)作为输入，就会生成分辨率高的合成图像(图11)。可以说，尤其是利用被摄体与照相机距离不同的多个
图像中的分辨率较高的被摄体图像(例如图8(f))的信息，就可以生成分辨率高的合成图
像。

[0234] 在上述处理中，由于合成前图像与合成中所利用的被摄体分辨率较高的图像之间，被摄体与光源的位置关系不同，所以如何算出位置误差较小的对应点是很重要的。

[0235] 图12(a)表示通过现有技术的对应点算出方法得到的对应点与通过本发明的对应点算出方法得到的对应点的比较例。

[0236] 在图12(a)的2个输入图像中，“×”表示用现有对应点算出方法求出的对应点。在将图像间的矩形区域的亮度差和相关值作为评价值算出对应点的现有方法中，正确求出
被摄体表面亮度变化的图像间的对应点是 困难的。

[0237] 使用含有很多位置误差的对应点，即使用图像合成部110生成合成图像，也会发生以下问题：被摄体的分辨率不提高，或合成图像的一部分亮度包含误差。

[0238] 图12(b)表示根据位置误差较多的对应点生成的合成图像的例子。在该图中，在被摄体左眼附近，由于对应点位置偏移，所以合成图像模糊。此外，在下颌右侧附近，由于位
置偏移，图像的亮度误差较大(黑暗)。

[0239] 本发明的对应点算出方法可以大大减少这种问题的发生。理由就像在实施方式1的图像处理装置100的说明中所详述的那样，利用满足光学约束方程和几何约束方程的基
准对应点的选择方法，即使被摄体与光源的相对位置不同，也就是照明条件不同，也可以算
出位置误差降低的对应点。

[0240] 图12(a)用标记“○”表示本实施方式的图像处理装置120算出的对应点。可以认为，即使被摄体表面的亮度发生变化，也可以正确求出图像间的对应点。

[0241] 图像处理装置120的图像合成部110在对合成图像进行过几何变形之后，用相同的光学约束方程生成合成图像。图12(c)表示根据位置误差较少的对应点生成的合成图像
的例子。通过使用按照满足光学约束方程和几何约束方程的方式而算出的对应点，可以生
成像图12(c)那样的亮度误差和位置误差较小、分辨率更高的合成图像。

[0242] 以上，说明了本发明的实施方式1和2。在上述实施方式的说明中，在推导几何约束方程和光学约束方程时，设定了各种前提条件((1)作为拍摄对象的被摄体是刚体；
(2)光平行射入被摄体；(3)在被摄体表面，光被完全扩散反射；(4)用仿射照相机拍摄被摄
体)。但是，这些是对各约束方程进行数学推导所用的条件，在实施本申请发明的图像处理
装置和方法等时，无需严格满足这些条件。

[0243] 例如，虽然假定被摄体是刚体，但也可以不是严格的刚体。在被摄体于多个图像间发生局部变形的情况下，如果被摄体的局部变形相对于图像间的被摄体与照相机位置的相
对位置变动足够小，可以认为被摄体近似刚体，因此，可以进行上述处理。或者，射入被摄体
的光也可以不那么严格地平行，光在被摄体表面也可以不是被完全扩散反射。

[0244] 另外，在本发明的实施方式1和2中，说明了图像数据中存在1个被摄体，同一被摄体中存在多个对应点(包含初始对应点、基准对应点、关注对应点)。即使图像数据中存
在多个物体，在物体间相对位置不变的情况下，也可以看作是同一刚体。因此，在图像数据
中存在多个被摄体、被摄体间相对位置不变的情况下，可以看作是同一被摄体，可以同样处
理。

[0245] 另外，在图像数据中存在多个被摄体、多个被摄体间相对位置变化的情况下，由对应点再算出部104算出的对应点就会只输出任意一个被摄体中存在的对应点。原因是，在
存在多个对应点相对位置变化的多个刚体(被摄体)的情况下，这些多个对应点不满足几
何约束方程(数式3)。由此，在图像数据中存在多个被摄体、多个被摄体间相对位置变化的
情况下，如果执行一次实施方式1和2所说明的一连串动作，就可以对多个被摄体中的某一
个被摄体生成对应点或提高图像分辨率。另外，除了执行一次一连串动作后生成的对应点
所在的图像区域以外，重复同样处理，也可以对多个被摄体中的其它的任意一个被摄体生
成对应点或提高图像分辨率。由此，即便图像数据中存在多个被摄体，就可以执行与本发明
的实施方式1和2同样的处理。

[0246] 在上述实施方式中，使用图1和图7所示的功能模块，对图像处理装置进行了说明。这些功能模块既可以通过硬件方式，用像数字信号处理器(DSP)那样的一个半导体芯
片或IC实现，也可以用例如计算机和软件(计算机程序)实现。

[0247] 例如，图13表示由计算机构成的图像处理装置的硬件构成。

[0248] 图1和图7所示的功能模块与图13所示的硬件的对应关系如下。也就是说，图1和图7的照相机101与图13所示的照相机1001和A/D转换器1002对应。此外，图1和图
7的图像存储部102与图13所示的帧存储器1003或硬盘驱动器(HDD)1010对应。另外，图
1和图7的初始对应点算出部113和对应点再算出部104通过执行计算机程序的图13的
CPU1004实现。此外，图7的图像合成部110也通过执行计算机程序的图13的CPU1004实
现。可以认为图1的输出部109有多种多样。例如在输出数据被传递到其它程序(例如，
手抖动补偿程序和编码程序)的情况下，输出部109就会成为图13的RAM1006。

[0249] 使图13的计算机工作的计算机程序被保持在例如ROM1005中。计算机程序被作为处理器的CPU1004从RAM1006读出并展开。CPU1004执行作为计算机程序实态的被代码
化的各个命令。

[0250] 另外，计算机程序被按照例如图6所示的流程图的步骤记述。计算机程序不一定保存在作为半导体的ROM1005中，也可以保存在例如光盘、磁盘中。此外，它也可以通过有
线或无线网络、广播来传送，取入计算机的RAM1006中。

[0251] 产业上的利用可能性

[0252] 本发明的图像处理装置作为改善照相机拍摄的图像的画质、对动态图像进行编码、以及识别图像中被摄体的形状的图像处理装置十分有用。其利用形态既可以是独立的
图像处理装置，也可以被内置在照相机和显示器中。