图像处理装置、图像处理方法、图像处理程序、记录了图像处理程序的记录介质、及图像处理用处理器转让专利
申请号 : CN200880024433.3
文献号 : CN101689294A
文献日 : 2010-03-31
发明人 : 木村雅之
申请人 : 松下电器产业株式会社
摘要 :
在修正摄像图像的倾斜时，并非以可佩戴式终端等直立状态下的拍摄为前提的摄像装置拍摄到的图像，不能预测拍摄了什么样的图像，所以导致根据不适合于推测图像的倾斜角的区域来推测倾斜角，并使用错误推测的倾斜角来修正图像，反而导致画质恶化。本发明将摄像图像划分为多个区域，判定被划分后的每个区域中的纹理表示的方向性，只把纹理具有单一方向性的区域作为对象来推测图像的倾斜角，并使用所推测的倾斜角来修正摄像图像。
权利要求 :
1.一种图像处理装置，使用构成摄像图像的多个像素块的亮度信息来 进行摄像图像的修正，其特征在于，各个像素块是预先确定了纵向和横向的像素数的像素的集合，
所述图像处理装置具有：
判定单元，对于每个像素块，将像素块内的像素的位置信息和亮度信 息代入预定的运算式进行运算，并判定是否适合于推测该像素块内图像的 倾斜角；
选择单元，选择由所述判定单元判定为适合于推测像素块内图像的倾 斜角的像素块；和修正单元，根据所选择的像素块，求出摄像图像相对基准轴的倾斜角， 并进行修正。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述预定的运算式用于计算亮度斜度的方向分布，
在将图像中的任意位置P(x，y)的像素的亮度设为I(P)的情况下，使用位 置P(x，y)的x方向的亮度变化和位置P(x，y)的y方向的亮度 变化将所述亮度斜度θ表示为θ＝tan-1(Δy/Δx)，所述亮度斜度的方向分布P(θ)是亮度斜度的函数，是将亮度斜度在允 许Δθ的范围下为θ的像素的数量累积而得到的。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述判定单元在计算所述亮度斜度时，进行对周围的像素赋予加权并 取差分的滤波处理，将在所述加权中使用的系数矩阵的成分设为a_i，j和b_i，j时，用索引(n， m)表示的位置的亮度变化Δx和Δy如(式1)和(式2)所示，[式1] ...(式1)[式2] ...(式2)
4.根据权利要求3所述的图像处理装置，其特征在于，
由所述判定单元判定为适合于推测像素块内图像的倾斜的像素块，是 所述亮度斜度的方向分布的方差小于预定值的像素块。
5.根据权利要求3所述的图像处理装置，其特征在于，
由所述判定单元判定为适合于推测像素块内图像的倾斜的像素块，是 在所述亮度斜度的方向分布中、处于以众数为中心的预定的角度范围内的 比例大于预定值的像素块。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述图像处理装置连续检测多个摄像图像的倾斜角，
所述预定的角度范围是根据所述修正单元过去采用的倾斜角而确定 的。
7.根据权利要求5所述的图像处理装置，其特征在于，
所述图像处理装置连续检测多个摄像图像的倾斜角，
所述预定的角度范围是根据所述修正单元此前刚刚采用过的倾斜角而 确定的。
8.根据权利要求1所述的图像处理装置，其特征在于，
所述预定的运算式用于计算亮度频谱强度的方向分布，
所述亮度频谱是对于图像的亮度实施二维离散傅立叶变换而得到的， 其中该图像的亮度是用对离散的二维坐标(x，y)取某个值I的离散函数来表 示的图像的亮度I(x，y)，在将所述图像的宽度设为W、高度设为H时，相对所述图像的亮度I(x， y)的亮度频谱FI(u，v)如(式3)所示，[式3]
...(式3)通过沿矢径方向对利用极坐标(r，θ)表示所述亮度频谱FI(u，v)时的亮度 频谱FI(r，θ)取平方和，所述亮度频谱强度的方向分布P(θ)如(式4)所示，[式4]
...(式4)
9.根据权利要求8所述的图像处理装置，其特征在于，
由所述判定单元判定为适合于推测像素块内图像的倾斜的像素块，是 所述亮度频谱强度的方向分布的方差小于预定值的像素块。
10.根据权利要求1所述的图像处理装置，其特征在于，
所述修正单元根据由所述选择单元选择的像素块，计算亮度斜度的方 向分布，并根据所述亮度斜度的方向分布中的众数求出摄像图像的倾斜角。
11.根据权利要求1所述的图像处理装置，其特征在于，
所述修正单元根据由所述选择单元选择的像素块来检测线段，并根据 检测到的线段的倾斜角求出摄像图像的倾斜角。
12.根据权利要求11所述的图像处理装置，其特征在于，
所述线段的检测是以由所述选择单元选择的像素块全体为对象来进行 的，所述摄像图像的倾斜角是检测到的线段的倾斜角的众数。
13.根据权利要求11所述的图像处理装置，其特征在于，
所述线段的检测是以由所述选择单元选择的各个像素块为对象来进行 的，所述像素块内图像的倾斜角是检测到的线段的倾斜角的众数，
所述摄像图像的倾斜角是所述像素块内图像的倾斜角的众数。
14.根据权利要求13所述的图像处理装置，其特征在于，
在所述像素块内图像的倾斜角的众数有多个的情况下，所述图像的倾 斜角优先采用在各个像素块中沿像素块的倾斜角的方向倾斜的线段的长度 较长者的众数。
15.根据权利要求13所述的图像处理装置，其特征在于，
所述图像处理装置连续修正多个摄像图像的倾斜角，
在所述像素块内图像的倾斜角的众数有多个的情况下，
所述图像的倾斜角优先采用与根据所述图像修正单元过去采用的倾斜 角而预测的倾斜角接近的众数。
16.根据权利要求13所述的图像处理装置，其特征在于，
所述图像处理装置连续修正多个摄像图像的倾斜角，
在所述像素块内图像的倾斜角的众数有多个的情况下，所述图像的倾 斜角优先采用与根据所述图像修正单元此前刚刚采用过的倾斜角而预测的 倾斜角接近的众数。
17.根据权利要求11所述的图像处理装置，其特征在于，
所述选择单元将所述像素块中、亮度变化大于预定的亮度变化的像素 的数量相对于像素块的全部像素数量的比例大于预定的阈值的像素块，从 选择对象中去除。
18.根据权利要求17所述的图像处理装置，其特征在于，
所述图像处理装置连续修正多个摄像图像的倾斜角，
在由所述选择单元选择的像素块全体占图像的比例小于预定的阈值的 情况下，所述修正单元根据所述修正单元过去采用的倾斜角来推测图像的倾斜 角。
19.根据权利要求17所述的图像处理装置，其特征在于，
所述图像处理装置连续修正多个摄像图像的倾斜，
在由所述选择单元选择的像素块全体占图像的比例小于预定的阈值的 情况下，所述修正单元根据所述图像修正单元此前刚刚采用过的倾斜角来推测 图像的倾斜角。
20.根据权利要求17所述的图像处理装置，其特征在于，
所述图像处理装置被内置于摄像装置中，该摄像装置具有检测摄像时 相对水平面的倾斜的传感器，在由所述选择单元选择的像素块全体占图像的比例小于预定的阈值的 情况下，如果所述传感器输出的倾斜角的变化量在预定时间内的合计值为预定 时间以下，则所述图像修正单元使用所述传感器输出的倾斜角来修正摄像 图像。
21.根据权利要求17所述的图像处理装置，其特征在于，
在由所述选择单元选择的像素块全体占图像的比例小于预定的阈值的 情况下，所述修正单元不进行修正。
22.根据权利要求17所述的图像处理装置，其特征在于，
所述图像处理装置连续修正多个摄像图像的倾斜角，
当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预 定的阈值的情况下，所述修正单元根据所述修正单元过去采用的倾斜角来推测摄像图像的 倾斜角。
23.根据权利要求17所述的图像处理装置，其特征在于，
所述图像处理装置连续修正多个摄像图像的倾斜角，
当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预 定的阈值的情况下，所述修正单元根据所述修正单元此前刚刚采用过的倾斜角来推测摄像 图像的倾斜角。
24.根据权利要求17所述的图像处理装置，其特征在于，
所述图像处理装置被内置于摄像装置中，该摄像装置具有检测摄像时 相对水平面的倾斜的传感器，当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预 定的阈值的情况下，如果所述传感器输出的倾斜角的变化量在预定时间内的合计值为预定 时间以下，则所述修正单元使用所述传感器输出的倾斜角来修正摄像图像。
25.根据权利要求17所述的图像处理装置，其特征在于，
当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预 定的阈值的情况下，所述修正单元不进行修正。
26.根据权利要求20或24所述的图像处理装置，其特征在于，所述传感器是加速度传感器。
27.根据权利要求20或24所述的图像处理装置，其特征在于，所述传感器是角速度传感器。
28.根据权利要求20或24所述的图像处理装置，其特征在于，如果所述传感器输出的倾斜角的变化量在预定时间内的合计值为预定 时间以上，则不进行修正。
29.一种图像处理方法，使用构成摄像图像的多个像素块的亮度信息来 进行摄像图像的修正，其特征在于，各个像素块是预先确定了纵向和横向的像素数的像素的集合，
所述图像处理方法具有：
判定步骤，对于每个像素块，将像素块内的像素的位置信息和亮度信 息代入预定的运算式进行运算，并判定是否适合于推测该像素块内图像的 倾斜角；
选择步骤，选择由所述判定单元判定为适合于推测像素块内图像的倾 斜角的像素块；和修正步骤，根据所选择的像素块，求出摄像图像相对基准轴的倾斜角， 并进行修正。
30.一种图像处理程序，用于使计算机执行图像处理，该图像处理使用 构成摄像图像的多个像素块的亮度信息来进行摄像图像的修正，其特征在 于，各个像素块是预先确定了纵向和横向的像素数的像素的集合，
所述图像处理程序使计算机执行以下步骤：
判定步骤，对于每个像素块，将像素块内的像素的位置信息和亮度信 息代入预定的运算式进行运算，并判定是否适合于推测该像素块内图像的 倾斜角；
选择步骤，选择由所述判定单元判定为适合于推测像素块内图像的倾 斜角的像素块；和修正步骤，根据所选择的像素块，求出摄像图像相对基准轴的倾斜角， 并进行修正。
31.一种记录了图像处理程序的记录介质，该图像处理程序用于使计算 机执行图像处理，该图像处理使用构成摄像图像的多个像素块的亮度信息 来进行摄像图像的修正，其特征在于，各个像素块是预先确定了纵向和横向的像素数的像素的集合，
所述图像处理程序使计算机执行以下步骤：
判定步骤，对于每个像素块，将像素块内的像素的位置信息和亮度信 息代入预定的运算式进行运算，并判定是否适合于推测该像素块内图像的 倾斜角；
选择步骤，选择由所述判定单元判定为适合于推测像素块内图像的倾 斜角的像素块；和修正步骤，根据所选择的像素块，求出摄像图像相对基准轴的倾斜角， 并进行修正。
32.一种图像处理用处理器，使用构成摄像图像的多个像素块的亮度信 息来进行摄像图像的修正，其特征在于，各个像素块是预先确定了纵向和横向的像素数的像素的集合，
所述图像处理用处理器具有：
判定单元，对于每个像素块，将像素块内的像素的位置信息和亮度信 息代入预定的运算式进行运算，并判定是否适合于推测该像素块内图像的 倾斜角；
选择单元，选择由所述判定单元判定为适合于推测像素块内图像的倾 斜角的像素块；和修正单元，根据所选择的像素块，求出摄像图像相对基准轴的倾斜角， 并进行修正。
说明书 :
技术领域
本发明涉及利用可佩戴式终端拍摄的图像的修正技术。
背景技术
近年来，能够把日常生活持续记录为生活日志(life log)的可佩戴式终端 已经问世。所说可佩戴式终端，指利用者始终佩戴使用的终端装置，该终 端装置具有摄像机或麦克风，在利用者不进行操作时也始终进行记录。
专利文献1公开了一种可佩戴式终端，根据每个事件对由摄像机或麦 克风获取到的信息定义重要等级并记录，由此辅助利用者的记忆和回忆。 但是，可佩戴式终端由于始终佩戴并始终进行拍摄的使用形式，存在摄像 图像的画质伴随利用者的运动而明显下降的问题。尤其在可佩戴式终端相 对水平面倾斜的状态下进行拍摄时，存在摄像图像倾斜的问题。
另一方面，专利文献2公开了一种方法，检测存在于摄像图像的上部 的线段，根据这些线段的倾斜角来推测图像整体的倾斜角，并修正摄像图 像的倾斜。专利文献2公开的图像修正方法以摄影者在基本直立的状态下 进行拍摄为前提，当在这种状态下进行拍摄时，可以预期图像下部受到地 面或影子的影响，成为不容易根据线段来推测水平方向的区域，而图像上 部成为容易检测构造物等的水平方向的区域。主动利用摄像图像的这种特 征来修正图像是专利文献2的方法的特征。
专利文献1：日本特开2003-304486号公报
专利文献2：日本专利第3676360号公报
但是，在把专利文献2公开的图像修正适用于利用可佩戴式终端拍摄 的摄像图像的情况下，不一定能够获得预期的修正效果。在可佩戴式终端 中，由于利用者始终佩戴着并始终进行拍摄，所以摄像图像不限于能够只 划分为上部和下部来进行分析的简单构图，专利文献2的方法还不够。另 外，在专利文献2的方法中，没有考虑到不能获得检测图像的倾斜所需的 充足特征的情况，由于在这种情况下也使用推测到的倾斜角来机械地进行 图像修正，所以也存在图像的倾斜反而恶化的情况。
上述问题回归到如何从图像中选择适合于倾斜检测的区域的问题。即， 在根据存在于图像中的线段的倾斜来推测图像的倾斜的情况下，如何判别 线段的朝向一致的区域和线段的朝向不一致的区域成为问题。专利文献2 的方法只是根据经验单纯地把区域划分为上下的区域，所以导致适用范围 受到限制。
专利文献1公开了一种可佩戴式终端，根据每个事件对由摄像机或麦 克风获取到的信息定义重要等级并记录，由此辅助利用者的记忆和回忆。 但是，可佩戴式终端由于始终佩戴并始终进行拍摄的使用形式，存在摄像 图像的画质伴随利用者的运动而明显下降的问题。尤其在可佩戴式终端相 对水平面倾斜的状态下进行拍摄时，存在摄像图像倾斜的问题。
另一方面，专利文献2公开了一种方法，检测存在于摄像图像的上部 的线段，根据这些线段的倾斜角来推测图像整体的倾斜角，并修正摄像图 像的倾斜。专利文献2公开的图像修正方法以摄影者在基本直立的状态下 进行拍摄为前提，当在这种状态下进行拍摄时，可以预期图像下部受到地 面或影子的影响，成为不容易根据线段来推测水平方向的区域，而图像上 部成为容易检测构造物等的水平方向的区域。主动利用摄像图像的这种特 征来修正图像是专利文献2的方法的特征。
专利文献1：日本特开2003-304486号公报
专利文献2：日本专利第3676360号公报
但是，在把专利文献2公开的图像修正适用于利用可佩戴式终端拍摄 的摄像图像的情况下，不一定能够获得预期的修正效果。在可佩戴式终端 中，由于利用者始终佩戴着并始终进行拍摄，所以摄像图像不限于能够只 划分为上部和下部来进行分析的简单构图，专利文献2的方法还不够。另 外，在专利文献2的方法中，没有考虑到不能获得检测图像的倾斜所需的 充足特征的情况，由于在这种情况下也使用推测到的倾斜角来机械地进行 图像修正，所以也存在图像的倾斜反而恶化的情况。
上述问题回归到如何从图像中选择适合于倾斜检测的区域的问题。即， 在根据存在于图像中的线段的倾斜来推测图像的倾斜的情况下，如何判别 线段的朝向一致的区域和线段的朝向不一致的区域成为问题。专利文献2 的方法只是根据经验单纯地把区域划分为上下的区域，所以导致适用范围 受到限制。
发明内容
本发明提供一种图像处理装置，对于任意的摄像图像，尤其对于像利 用可佩戴式终端拍摄的图像那样未必被直立拍摄的摄像图像，通过分析图 像来推测倾斜角，并修正图像的倾斜。
其中，所说图像中的区域，指由构成图像的像素中的一部分构成的像 素块。
为了解决上述问题，本发明的图像处理装置，使用构成摄像图像的多 个像素块的亮度信息来进行摄像图像的修正，其特征在于，各个像素块是 预先确定了纵向和横向的像素数的像素的集合，所述图像处理装置具有： 判定单元，对于每个像素块，将像素块内的像素的位置信息和亮度信息代 入预定的运算式进行运算，并判定是否适合于推测该像素块内图像的倾斜 角；选择单元，选择由所述判定单元判定为适合于推测像素块内图像的倾 斜角的像素块；和修正单元，根据所选择的像素块，求出摄像图像相对基 准轴的倾斜角，并进行修正。
发明效果
根据上述结构的图像处理装置，把所输入的图像划分为多个区域，在 划分后的区域中，判定纹理(亮度变化)具有什么样的方向性，根据该判 定只选择纹理具有单一方向性的区域，将所选择的区域作为对象来推测图 像的倾斜角。
其中，所说纹理指作为图像中的边缘强度较大的像素的集合而形成的 图案，所说纹理具有单一方向性，指通过将邻接的边缘强度较大的像素连 接而形成的线段中、大部分朝向某个特定的方向的周围。纹理能够通过对 图像中包含的像素的位置信息和亮度信息进行运算而获得。在纹理具有单 一方向性的情况下，可以认为在区域内包含建筑物等构造物的边缘，其方 向是水平方向或垂直方向的可能性比较大，所以在这些区域中分析像亮度 那样的像素信息，由此推测图像的倾斜角。
因此，即使线段的方向一致的区域不在图像的上部，只要被划分的多 个区域中的哪个区域中存在线段的方向一致的区域，就能够把这些区域作 为对象来进行倾斜角的推测。摄像图像中，不限于上部，只选择存在于任 何部分的线段方向一致的区域，预先将线段的方向有偏差的区域去除，所 以即使是混合存在适合于推测倾斜角的区域和不适合于推测倾斜角的区域 的图像，也能够准确推测倾斜角并修正图像的倾斜。
其中，也可以是，所述判定单元计算亮度斜度的方向分布。
由于能够将图像中的线段识别为亮度的变化，并将线段的方向识别为 亮度变化的方向、即亮度斜度，所以能够根据亮度斜度的方向分布判定区 域中的线段的一致程度。
其中，也可以是，所述判定单元计算亮度频谱强度的方向分布。
亮度频谱反映原始图像的亮度分布的频率特性，所以通过分析亮度频 谱，能够观察原始图像中的线段的分布。
其中，也可以是，所述选择单元将所述多个区域中、亮度变化大于预 定的亮度变化的像素的数量相对于区域的全部像素数量的比例大于预定的 阈值的区域，从选择对象中去除。
虽然可以认为图像中的线段位于亮度变化较大的位置附近，但在亮度 变化较大的位置多时，将导致线段密集，很难确定线段的方向。通过预先 将亮度变化大的像素较多的区域从选择对象中去除，无需进行从线段密集 的区域中确定线段的方向的无用处理。
其中，也可以是，所述判定单元将所述亮度斜度的方向分布的方差小 于预定值的区域，判定为适合于推测区域的倾斜角的区域。
亮度斜度的方向分布的方差反映区域中包含的线段的偏差的大小，所 以通过将方差小的区域判定为适合于推测区域的倾斜角的区域，能够选择 线段一致的区域。
其中，也可以是，所述判定单元将在所述亮度斜度的方向分布中、处 于以亮度斜度的方向的众数为中心的预定的角度范围内的比例大于预定值 的区域，判定为所述适合于推测区域的倾斜角的区域。
在亮度斜度的方向分布的度数集中于众数的周围的情况下，获取大部 分的线段的倾斜角接近的值，所以通过判定为适合于推测区域的倾斜角的 区域，能够选择线段一致的区域。
其中，也可以是，所述图像处理装置连续检测多个摄像图像的倾斜， 所述预定的角度范围是根据所述修正单元过去采用的倾斜角确定的。
由于连续拍摄的图像被预想为是以相同的倾斜角倾斜，所以根据过去 采用的倾斜角对该图像的倾斜角进行某种程度的估计，并以此为基础来确 定角度范围，所以能够提高倾斜角推测的精度。
其中，也可以是，所述预定的角度范围是根据所述修正单元此前刚刚 采用过的倾斜角确定的。
即使是过去采用过的倾斜角，但在时间上相距较远的情况下，将不认 为是在相同状况下拍摄的，所以只根据此前刚刚(immediately previously)采 用过的倾斜角来确定角度范围，由此能够提高倾斜角推测的精度。
其中，也可以是，所述判定单元将所述亮度频谱的强度的方向分布的 方差小于预定值的区域，判定为所述适合于推测区域的倾斜角的区域。
亮度频谱的强度的方向分布的方差小的区域，对应于原始图像的线段 的偏差小的区域，所以被选择为适合于推测倾斜角的区域。
其中，也可以是，所述推测单元从由所述选择单元选择的区域全体中 检测线段，将检测到的线段的倾斜角的众数作为图像的倾斜角。
由于从所选择的区域全体中检测线段并进行倾斜角的推测，所以通过 将线段检测处理和倾斜推测处理各进行1次，能够结束图像的倾斜角的推 测。
其中，也可以是，所述推测单元对由所述选择单元选择的每个区域检 测线段，将在各个区域中检测到的线段的倾斜角的众数作为区域的倾斜角， 并根据区域的倾斜角确定图像的倾斜角。
对所选择的区域分别单独地进行线段的检测和倾斜角的推测，并根据 每个区域的倾斜角推测图像的倾斜角，通过进行这样两个阶段的推测，能 够提高推测的精度。
其中，也可以是，所述图像的倾斜角是所述区域的倾斜角的众数。
通过将在每个区域中推测到的倾斜角中的众数作为图像的倾斜角，能 够推测最准确的倾斜角。
其中，也可以是，在所述区域的倾斜角的众数有多个的情况下，所述 图像的倾斜角优先采用在各个区域中沿区域的倾斜角的方向倾斜的线段的 长度较长者的众数。
在众数有多个的情况下，优先采用基于长线段的倾斜角，由此能够推 测准确的倾斜角的可能性增大。
其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜， 在所述区域的倾斜角的众数有多个的情况下，所述图像的倾斜角优先采用 与根据所述修正单元过去采用的倾斜角而预测的倾斜角接近的众数。
在众数有多个的情况下，优先采用与过去采用过的倾斜角接近的倾斜 角，由此能够推测准确的倾斜角的可能性增大。
其中，也可以是，根据所述推测单元过去检测到的图像的倾斜角而预 测的倾斜角，是所述推测单元此前刚刚检测到的倾斜角。
在众数有多个的情况下，优先采用与此前刚刚采用过的倾斜角接近的 倾斜角，由此能够推测准确的倾斜角的可能性增大。
其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜， 在由所述选择单元选择的区域全体占图像的比例小于预定的阈值的情况 下，所述推测单元根据所述修正单元过去采用的倾斜角来推测图像的倾斜 角。
在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低， 所以采用根据过去采用过的倾斜角所推测的倾斜角。由此，在所选择的区 域较少的情况下，也能够进行图像的修正。
其中，也可以是，所述推测单元推测的图像的倾斜角是所述修正单元 此前刚刚采用过的倾斜角。
在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低， 所以采用此前刚刚采用过的倾斜角。由此，在所选择的区域较少的情况下， 也能够进行图像的修正。
其中，也可以是，所述图像处理装置被内置于摄像装置中，所述摄像 装置具有检测摄像时相对水平面的倾斜的传感器，在由所述选择单元选择 的区域全体占图像的比例小于预定的阈值的情况下，所述修正单元使用所 述传感器输出的倾斜角来修正摄像图像。
在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低， 所以采用由传感器测定到的摄影时的倾斜角。由此，在所选择的区域较少 的情况下，也能够进行图像的修正。
其中，也可以是，在由所述选择单元选择的区域全体占图像的比例小 于预定的阈值的情况下，所述修正单元不进行修正。
在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低， 所以不进行修正。由此，能够防止因利用错误的倾斜角进行修正而导致的 画质恶化。
其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜， 当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预定的 阈值的情况下，所述推测单元根据所述修正单元过去采用的倾斜角来推测 摄像图像的倾斜角。
在图像较暗的情况下，根据图像推测倾斜角比较困难，所以根据过去 采用的倾斜角来推测图像的倾斜角。由此，在图像较暗的情况下，也能够 进行图像的修正。
其中，也可以是，所述倾斜角是所述修正单元此前刚刚采用过的倾斜 角。
在图像较暗的情况下，根据图像推测倾斜角比较困难，所以推测此前 刚刚采用过的倾斜角。由此，在图像较暗的情况下，也能够进行图像的修 正。
其中，也可以是，所述图像处理装置被内置于摄像装置中，所述摄像 装置具有检测摄像时相对水平面的倾斜的传感器，当在所述摄像图像中亮 度小于预定值的像素占全部像素的比例大于预定的阈值的情况下，所述修 正单元使用所述传感器输出的倾斜角来修正摄像图像。
在图像较暗的情况下，根据图像推测倾斜角比较困难，所以采用由传 感器测定到的摄影时的倾斜角。由此，在图像较暗的情况下，也能够进行 图像的修正。
其中，也可以是，当在所述摄像图像中亮度小于预定值的像素占全部 像素的比例大于预定的阈值的情况下，所述修正单元不进行修正。
在图像较暗的情况下，根据图像推测倾斜角比较困难，所以不进行修 正。由此，能够防止因利用错误的倾斜角进行修正而导致的画质恶化。
其中，也可以是，所述传感器是加速度传感器。
作为传感器采用加速度传感器，由此能够检测重力加速度，并测定摄 影时的倾斜角。
其中，也可以是，所述传感器是角速度传感器。
作为传感器采用角速度传感器，由此能够检测摄像装置的旋转角，并 测定摄影时的倾斜角。
其中，所说图像中的区域，指由构成图像的像素中的一部分构成的像 素块。
为了解决上述问题，本发明的图像处理装置，使用构成摄像图像的多 个像素块的亮度信息来进行摄像图像的修正，其特征在于，各个像素块是 预先确定了纵向和横向的像素数的像素的集合，所述图像处理装置具有： 判定单元，对于每个像素块，将像素块内的像素的位置信息和亮度信息代 入预定的运算式进行运算，并判定是否适合于推测该像素块内图像的倾斜 角；选择单元，选择由所述判定单元判定为适合于推测像素块内图像的倾 斜角的像素块；和修正单元，根据所选择的像素块，求出摄像图像相对基 准轴的倾斜角，并进行修正。
发明效果
根据上述结构的图像处理装置，把所输入的图像划分为多个区域，在 划分后的区域中，判定纹理(亮度变化)具有什么样的方向性，根据该判 定只选择纹理具有单一方向性的区域，将所选择的区域作为对象来推测图 像的倾斜角。
其中，所说纹理指作为图像中的边缘强度较大的像素的集合而形成的 图案，所说纹理具有单一方向性，指通过将邻接的边缘强度较大的像素连 接而形成的线段中、大部分朝向某个特定的方向的周围。纹理能够通过对 图像中包含的像素的位置信息和亮度信息进行运算而获得。在纹理具有单 一方向性的情况下，可以认为在区域内包含建筑物等构造物的边缘，其方 向是水平方向或垂直方向的可能性比较大，所以在这些区域中分析像亮度 那样的像素信息，由此推测图像的倾斜角。
因此，即使线段的方向一致的区域不在图像的上部，只要被划分的多 个区域中的哪个区域中存在线段的方向一致的区域，就能够把这些区域作 为对象来进行倾斜角的推测。摄像图像中，不限于上部，只选择存在于任 何部分的线段方向一致的区域，预先将线段的方向有偏差的区域去除，所 以即使是混合存在适合于推测倾斜角的区域和不适合于推测倾斜角的区域 的图像，也能够准确推测倾斜角并修正图像的倾斜。
其中，也可以是，所述判定单元计算亮度斜度的方向分布。
由于能够将图像中的线段识别为亮度的变化，并将线段的方向识别为 亮度变化的方向、即亮度斜度，所以能够根据亮度斜度的方向分布判定区 域中的线段的一致程度。
其中，也可以是，所述判定单元计算亮度频谱强度的方向分布。
亮度频谱反映原始图像的亮度分布的频率特性，所以通过分析亮度频 谱，能够观察原始图像中的线段的分布。
其中，也可以是，所述选择单元将所述多个区域中、亮度变化大于预 定的亮度变化的像素的数量相对于区域的全部像素数量的比例大于预定的 阈值的区域，从选择对象中去除。
虽然可以认为图像中的线段位于亮度变化较大的位置附近，但在亮度 变化较大的位置多时，将导致线段密集，很难确定线段的方向。通过预先 将亮度变化大的像素较多的区域从选择对象中去除，无需进行从线段密集 的区域中确定线段的方向的无用处理。
其中，也可以是，所述判定单元将所述亮度斜度的方向分布的方差小 于预定值的区域，判定为适合于推测区域的倾斜角的区域。
亮度斜度的方向分布的方差反映区域中包含的线段的偏差的大小，所 以通过将方差小的区域判定为适合于推测区域的倾斜角的区域，能够选择 线段一致的区域。
其中，也可以是，所述判定单元将在所述亮度斜度的方向分布中、处 于以亮度斜度的方向的众数为中心的预定的角度范围内的比例大于预定值 的区域，判定为所述适合于推测区域的倾斜角的区域。
在亮度斜度的方向分布的度数集中于众数的周围的情况下，获取大部 分的线段的倾斜角接近的值，所以通过判定为适合于推测区域的倾斜角的 区域，能够选择线段一致的区域。
其中，也可以是，所述图像处理装置连续检测多个摄像图像的倾斜， 所述预定的角度范围是根据所述修正单元过去采用的倾斜角确定的。
由于连续拍摄的图像被预想为是以相同的倾斜角倾斜，所以根据过去 采用的倾斜角对该图像的倾斜角进行某种程度的估计，并以此为基础来确 定角度范围，所以能够提高倾斜角推测的精度。
其中，也可以是，所述预定的角度范围是根据所述修正单元此前刚刚 采用过的倾斜角确定的。
即使是过去采用过的倾斜角，但在时间上相距较远的情况下，将不认 为是在相同状况下拍摄的，所以只根据此前刚刚(immediately previously)采 用过的倾斜角来确定角度范围，由此能够提高倾斜角推测的精度。
其中，也可以是，所述判定单元将所述亮度频谱的强度的方向分布的 方差小于预定值的区域，判定为所述适合于推测区域的倾斜角的区域。
亮度频谱的强度的方向分布的方差小的区域，对应于原始图像的线段 的偏差小的区域，所以被选择为适合于推测倾斜角的区域。
其中，也可以是，所述推测单元从由所述选择单元选择的区域全体中 检测线段，将检测到的线段的倾斜角的众数作为图像的倾斜角。
由于从所选择的区域全体中检测线段并进行倾斜角的推测，所以通过 将线段检测处理和倾斜推测处理各进行1次，能够结束图像的倾斜角的推 测。
其中，也可以是，所述推测单元对由所述选择单元选择的每个区域检 测线段，将在各个区域中检测到的线段的倾斜角的众数作为区域的倾斜角， 并根据区域的倾斜角确定图像的倾斜角。
对所选择的区域分别单独地进行线段的检测和倾斜角的推测，并根据 每个区域的倾斜角推测图像的倾斜角，通过进行这样两个阶段的推测，能 够提高推测的精度。
其中，也可以是，所述图像的倾斜角是所述区域的倾斜角的众数。
通过将在每个区域中推测到的倾斜角中的众数作为图像的倾斜角，能 够推测最准确的倾斜角。
其中，也可以是，在所述区域的倾斜角的众数有多个的情况下，所述 图像的倾斜角优先采用在各个区域中沿区域的倾斜角的方向倾斜的线段的 长度较长者的众数。
在众数有多个的情况下，优先采用基于长线段的倾斜角，由此能够推 测准确的倾斜角的可能性增大。
其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜， 在所述区域的倾斜角的众数有多个的情况下，所述图像的倾斜角优先采用 与根据所述修正单元过去采用的倾斜角而预测的倾斜角接近的众数。
在众数有多个的情况下，优先采用与过去采用过的倾斜角接近的倾斜 角，由此能够推测准确的倾斜角的可能性增大。
其中，也可以是，根据所述推测单元过去检测到的图像的倾斜角而预 测的倾斜角，是所述推测单元此前刚刚检测到的倾斜角。
在众数有多个的情况下，优先采用与此前刚刚采用过的倾斜角接近的 倾斜角，由此能够推测准确的倾斜角的可能性增大。
其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜， 在由所述选择单元选择的区域全体占图像的比例小于预定的阈值的情况 下，所述推测单元根据所述修正单元过去采用的倾斜角来推测图像的倾斜 角。
在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低， 所以采用根据过去采用过的倾斜角所推测的倾斜角。由此，在所选择的区 域较少的情况下，也能够进行图像的修正。
其中，也可以是，所述推测单元推测的图像的倾斜角是所述修正单元 此前刚刚采用过的倾斜角。
在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低， 所以采用此前刚刚采用过的倾斜角。由此，在所选择的区域较少的情况下， 也能够进行图像的修正。
其中，也可以是，所述图像处理装置被内置于摄像装置中，所述摄像 装置具有检测摄像时相对水平面的倾斜的传感器，在由所述选择单元选择 的区域全体占图像的比例小于预定的阈值的情况下，所述修正单元使用所 述传感器输出的倾斜角来修正摄像图像。
在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低， 所以采用由传感器测定到的摄影时的倾斜角。由此，在所选择的区域较少 的情况下，也能够进行图像的修正。
其中，也可以是，在由所述选择单元选择的区域全体占图像的比例小 于预定的阈值的情况下，所述修正单元不进行修正。
在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低， 所以不进行修正。由此，能够防止因利用错误的倾斜角进行修正而导致的 画质恶化。
其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜， 当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预定的 阈值的情况下，所述推测单元根据所述修正单元过去采用的倾斜角来推测 摄像图像的倾斜角。
在图像较暗的情况下，根据图像推测倾斜角比较困难，所以根据过去 采用的倾斜角来推测图像的倾斜角。由此，在图像较暗的情况下，也能够 进行图像的修正。
其中，也可以是，所述倾斜角是所述修正单元此前刚刚采用过的倾斜 角。
在图像较暗的情况下，根据图像推测倾斜角比较困难，所以推测此前 刚刚采用过的倾斜角。由此，在图像较暗的情况下，也能够进行图像的修 正。
其中，也可以是，所述图像处理装置被内置于摄像装置中，所述摄像 装置具有检测摄像时相对水平面的倾斜的传感器，当在所述摄像图像中亮 度小于预定值的像素占全部像素的比例大于预定的阈值的情况下，所述修 正单元使用所述传感器输出的倾斜角来修正摄像图像。
在图像较暗的情况下，根据图像推测倾斜角比较困难，所以采用由传 感器测定到的摄影时的倾斜角。由此，在图像较暗的情况下，也能够进行 图像的修正。
其中，也可以是，当在所述摄像图像中亮度小于预定值的像素占全部 像素的比例大于预定的阈值的情况下，所述修正单元不进行修正。
在图像较暗的情况下，根据图像推测倾斜角比较困难，所以不进行修 正。由此，能够防止因利用错误的倾斜角进行修正而导致的画质恶化。
其中，也可以是，所述传感器是加速度传感器。
作为传感器采用加速度传感器，由此能够检测重力加速度，并测定摄 影时的倾斜角。
其中，也可以是，所述传感器是角速度传感器。
作为传感器采用角速度传感器，由此能够检测摄像装置的旋转角，并 测定摄影时的倾斜角。
附图说明
图1是内置作为本发明一例的图像处理装置的可佩戴式终端的佩戴示 例。
图2是表示作为本发明一例的图像处理装置进行的图像修正处理示例 的图。
图3是作为本发明一例的图像处理装置的结构图。
图4是说明作为本发明一例的图像处理装置进行的图像划分和区域选 择的图。
图5是说明线段上的点的亮度斜度的图。
图6是表示在Sobel滤波器中使用的系数矩阵的图。
图7是表示作为本发明一例的图像处理装置生成的亮度斜度直方图的 图。
图8是表示对应于几个图像的亮度频谱的图。
图9是表示作为本发明一例的图像处理装置的区域选择部的动作的流 程图。
图10是表示作为本发明一例的图像处理装置的方向性判定部的亮度斜 度直方图生成处理的流程图。
图11是说明基于Hough变换法的线段检测的原理的图。
图12是说明在Hough变换法中对线段赋予特征的参数的图。
图13是表示作为本发明一例的图像处理装置的倾斜推测部生成的角度 直方图的图。
图14是表示作为本发明一例的图像处理装置的倾斜推测部的动作的流 程图。
图15是表示作为本发明一例的图像处理装置的倾斜推测部的线段检测 处理的动作的流程图。
图16是表示作为本发明一例的图像处理装置的倾斜推测部的角度直方 图生成处理的动作的流程图。
图17是表示图8所示的亮度频谱的断面的图。
图18是说明作为本发明一例的图像处理装置的传感器进行的倾斜角检 测方法的图。
图19是表示作为本发明一例的图像处理装置的动作的流程图。
标号说明
100图像处理装置；110图像输入部；120图像划分部；125方向性判 定部；130区域选择部；140倾斜推测部；150图像修正部；160传感器。
图2是表示作为本发明一例的图像处理装置进行的图像修正处理示例 的图。
图3是作为本发明一例的图像处理装置的结构图。
图4是说明作为本发明一例的图像处理装置进行的图像划分和区域选 择的图。
图5是说明线段上的点的亮度斜度的图。
图6是表示在Sobel滤波器中使用的系数矩阵的图。
图7是表示作为本发明一例的图像处理装置生成的亮度斜度直方图的 图。
图8是表示对应于几个图像的亮度频谱的图。
图9是表示作为本发明一例的图像处理装置的区域选择部的动作的流 程图。
图10是表示作为本发明一例的图像处理装置的方向性判定部的亮度斜 度直方图生成处理的流程图。
图11是说明基于Hough变换法的线段检测的原理的图。
图12是说明在Hough变换法中对线段赋予特征的参数的图。
图13是表示作为本发明一例的图像处理装置的倾斜推测部生成的角度 直方图的图。
图14是表示作为本发明一例的图像处理装置的倾斜推测部的动作的流 程图。
图15是表示作为本发明一例的图像处理装置的倾斜推测部的线段检测 处理的动作的流程图。
图16是表示作为本发明一例的图像处理装置的倾斜推测部的角度直方 图生成处理的动作的流程图。
图17是表示图8所示的亮度频谱的断面的图。
图18是说明作为本发明一例的图像处理装置的传感器进行的倾斜角检 测方法的图。
图19是表示作为本发明一例的图像处理装置的动作的流程图。
标号说明
100图像处理装置；110图像输入部；120图像划分部；125方向性判 定部；130区域选择部；140倾斜推测部；150图像修正部；160传感器。
具体实施方式
在本实施方式中，说明作为本发明的一例的图像处理装置被内置于可 佩戴式终端中，并修正由摄像机拍摄到的图像的倾斜的示例。
所说可佩戴式终端指如图1所示利用者悬挂在脖子上等始终佩戴在身 上来使用的终端，具有用于记录利用者的日常的事件的例如摄像机，摄像 机进行的拍摄不需要利用者的操作即可进行。因此，有可能在利用者意料 不到的定时进行拍摄，例如，当在摄像机相对水平面倾斜的状态下进行拍 摄时，如图2(a)所示，将导致拍摄到的图像倾斜。这样倾斜的图像不好 看，因此通常，需要由人按照图2(b)所示使图像倾斜将被摄体的方向恢 复为正确方向。本发明提供一种图像处理装置，即使不由人来修正倾斜， 也能够通过分析摄像图像来推测正确的方向，并修正图像的倾斜。
其中，所说图像的倾斜指根据被摄体能够判定的图像的水平方向或垂 直方向、与由图像自身的帧确定的横方向或纵方向分别不平行。在如图2 (a)所示拍摄了墙壁的图像的情况下，能够容易根据墙壁的图案来推测水 平方向，并观察到图像稍微绕逆时针方向倾斜，所以容易按照图2(b)所 示对其进行修正。但是，在如图2(c)所示拍摄了生长在地面上的杂草的 图像的情况下，很难根据被摄体推测水平方向。这是因为图像中包含的线 段朝向分散的方向，不存在能够提示水平方向或垂直方向的线段。本发明 通过对图像中的某个区域是能按照上面所述容易推测水平方向、还是很难 推测水平方向这样的特征进行分析，以较高的概率推测图像的正确的水平 方向或垂直方向。
《结构》
图3是作为本发明一例的图像处理装置的结构图。作为本发明一例的 图像处理装置100包括图像输入部110、图像划分部120、方向性判定部125、 区域选择部130、倾斜推测部140、图像修正部150和传感器160。在本实 施方式中，作为本发明一例的图像处理装置100构成为被内置于具有摄像 部和存储部的可佩戴式终端中，修正由摄像部拍摄到的图像的倾斜，并存 储在存储部中。
摄像部是具有CCD或CMOS传感器等摄像元件的摄像机，拍摄影像并 作为电信号输出。
存储部是SD卡或闪存(flash memory)等存储介质，保存作为本发明一 例的图像处理装置100输出的图像。
<图像输入部110>
图像输入部110进行要在图像处理装置100中修正的图像的输入。作 为本发明一例的图像处理装置100，与进行修正的图像是何时拍摄无关。在 本实施方式中，采取将作为本发明一例的图像处理装置100内置于可佩戴 式终端中并随时修正摄像图像的结构，但也可以构成为准备与摄像装置分 开的作为本发明一例的图像处理装置100，并输入摄像图像的结构。其中， 为了进行图像的修正，以所输入的图像例如是像利用普通摄像机拍摄的长 方形状照片那样、明确规定了图像的纵向和横向的图像为前提。
<图像划分部120>
图像划分部120将所输入的图像划分为多个区域。该划分可以按照纵 1/4、横1/5这样的纵横方向上相对输入图像的比例来划分输入图像，或者 也可以按照纵横32像素这样的固定的大小来划分输入图像。例如，图像划 分部120对于图4(a)所示的输入图像，生成按照图4(b)所示划分为20 个的区域。
在本实施方式中，说明被划分后的区域具有相同面积的情况，但只要 在倾斜推测部140中能够进行考虑了被划分后的区域的面积的推测，则不 一定划分为相同面积的区域，也不一定划分为长方形的区域。
<方向性判定部125>
方向性判定部125对于被划分后的每个区域，判定该区域是否适合于 推测图像的倾斜角。关于是否适合于推测图像的倾斜角，根据图像中包含 的线段的方向的一致程度来判定。即，线段沿一个方向对齐的区域适合于 推测图像的倾斜角，相反，线段的方向分散的区域不适合于推测图像的倾 斜角。
图像中的线段在进行微观观察时，能够作为像素单位的亮度的变化被 定量地检测到。这是因为亮度具有差异，由此能够进行图像中的某个区域 与其他区域之间的区分，其边界被识别为线段。因此，判定区域内的线段 的方向的一致程度的问题，归结为判定区域内的像素的亮度变化的方向是 否分散的问题。
这种能够根据像素的亮度差异识别到的作为线段的集合而形成的图案 被称为纹理(texture)，方向性判定部125对于划分后的每个区域，判定该区 域的纹理是否具有单一方向性。其中，所说单一方向性不一定是线段的方 向完全沿某一个方向对齐，而是指允许某种程度的范围、大多数线段的方 向朝向接近的方向。该范围确定图像的倾斜角的推测精度，使用在设计阶 段确定的阈值。并且，边缘强度不限于只根据亮度求出，也可以根据色差 等像素信息求出。
(亮度斜度)
下面，说明求出亮度的变化的方向、即亮度斜度的方法。
图5是说明线段上的点的亮度斜度的图。图5(a)中的左上部分的区 域是亮度I＝I_1，右下部分的区域是亮度I＝I_2，求出为I_1-1(Δy/Δx)。在 线段上亮度是固定的，所以根据δI＝0，线段的倾斜是-Δx＝Δy。即，亮度斜 度是与线段正交的方向。其中，在Δx＝0而且Δy＞0时θ＝90°，在Δx＝0而 且Δy＜0时θ＝-90°，在Δx＝0而且Δy＝0时把像素设为无效。
在根据利用离散的二次函数表示的亮度I(P)求出亮度变化Δx、Δy时， 如果单纯地取差分，则由于图像中包含的噪声等的影响，将导致误差增大， 作为避免这种情况的方法，例如有使用Sobel滤波器的方法。该方法在进行 某个像素中的亮度斜度的计算时，对周围的像素赋予加权并取差分，以便。 图6是在Sobel滤波器中用于加权的系数矩阵。在计算x成分时使用图6(a) 的矩阵，在计算y成分时使用图6(b)的矩阵。在将具有图6(a)和图6 (b)的元素的矩阵分别设为a和b时，位置(n，m)的亮度变化Δx和Δy表示 为下面的(式5)和(式6)。
[式5] ...(式5)
[式6] ...(式6)
另外，其中系数矩阵是3×3矩阵，但也可以使用更大的矩阵。系数矩 阵一般是把k设为2以上的整数的、(2k-1)×(2k-1)的正方形矩阵。
区域选择部130对于以上所述的区域中包含的全部像素计算亮度斜度， 并判定区域中的线段的方向是否一致。该处理通过生成图7所示的对每个 亮度斜度的值取像素数的累计而形成的亮度斜度直方图来进行。图7是把 亮度斜度θ设为横轴，把在一定的宽度Δθ范围内具有亮度斜度的像素的数量 P设为纵轴的直方图。
方向性判定部125生成如上所述的亮度斜度直方图，例如在亮度斜度 直方图的方差(variance)小于预先确定的阈值的情况下，判定为纹理具有单 一方向性。该判定的基准不限于根据方差来进行，例如，在亮度斜度直方 图中，在赋予具有一定以上的度数的亮度斜度的像素数大于预先确定的阈 值的情况下，判定为线段的方向一致。
当在区域内亮度完全没有变化的情况下，在亮度斜度的计算中全部像 素被视为无效，不能生成亮度斜度直方图，但方向性判定部125将这种区 域与纹理不具有单一方向性的区域同等对待。
(亮度频谱)
另一方面，关于判定图像中包含的线段的方向性的方法，除了如上所 述按照像素单位计算亮度斜度之外，还有利用图像的频率特性的方法。
即，图像的亮度I(x，y)是对离散的二维坐标(x，y)取某个值I(x，y)的离散 函数，根据对其进行二维离散傅立叶变换后的亮度频谱来判定方向性。在 把图像的宽度设为W、把高度设为H时，图像的亮度I(x，y)的亮度频谱FI(u， v)如(式7)所示，
[式7] ...(式7)
以图8所示的图像为例，说明如何根据这样计算的亮度频谱来判定线 段的方向性。图8是分别拍摄了(a)杂草、(b)墙壁、(c)道路的图像。 把上述的傅立叶变换适用于这些图像，则分别获得图8中的(d)、(e)、(f) 所示的亮度频谱。其中，亮度频谱被实施平行移动以使直流成分位于中央。
如图8(a)所示，在是不存在确定图像的朝向的线段的图像的情况下， 亮度频谱中没有表现出图8(d)所示的较强的峰。在图8(d)中表示亮度 频谱好像是平坦的，但这是附图的情况，实际上亮度频谱是具有缓慢的起 伏的。对于这种图像，很难推测图像的倾斜角。
如图8(b)所示，在是能够根据墙壁的图案明确判定水平方向的图像 的情况下，亮度频谱显示出图8(e)中利用纵向的线示出的较强的峰。在 图8(e)中，根据附图的情况，利用线的粗细来表示峰的强度。一般，原 始图像中的线段与亮度频谱中的峰值存在正交的关系，所以如果亮度频谱 在纵方向上显示出较强的峰，则能够推测为原始图像包含横向的线段的倾 向性较强。
如图8(c)所示，在是拍摄了道路和建筑物和人的图像的情况下，亮 度频谱如图8(f)所示，除了纵向的较强的峰之外，还在多个方向显示出 了峰。这是因为在原始图像中存在建筑物的窗户及墙壁等朝向各个方向的 线段。
如上所述，能够根据亮度频谱的图案(pattern)判定原始图像中的线段的 方向性。
方向性判定部125为了定量地进行方向判定，计算各个方向的亮度频 谱的强度P(θ)。即，在利用极坐标(γ，θ)表示坐标(u，v)时，在某个方向θ的亮 度频谱强度P(θ)作为与强度FI(γ，θ)的矢径方向相关的平方和，被表示为下 面的(式8)。
[式8] ...(式8)
该亮度频谱强度P(θ)从与方向θ相关的强度分布的意义上讲，与上述的 亮度斜度直方图同等。因此，方向性判定部125与使用亮度斜度直方图时 相同，能够根据亮度频谱强度P(θ)的方差等信息进行方向性的判定。
<区域选择部130>
区域选择部130从由图像划分部120划分后的区域中，只选择由方向 性判定部125判定为具有单一方向性的区域。例如，在图4的示例中，如 图4(c)所示，选择清楚地表现出墙壁的水平线的区域，整面被壁面覆盖 而没有表现出纹理的区域、或植物占据了大部分而且纹理不具有单一方向 性的区域被去除。
(区域选择部130的动作)
图9是区域选择部130根据方向性判定部125对纹理的方向性判定而 进行的区域选择的动作的流程图。区域选择部130首先把由图像划分部120 划分后的区域的数量设为N，把表示区域的索引初始化为i＝1(步骤 S1001)。然后，区域选择部130指示方向性判定部125生成区域i的亮度斜 度直方图，方向性判定部125接收到来自区域选择部130的指示，生成区 域i的亮度斜度直方图(步骤S1002)。如果方向性判定部125生成的亮度 斜度直方图的方差小于预先确定的阈值(步骤S1003：是)，区域选择部130 设定区域i的选择标志(步骤S1004)，并转入步骤S1005。如果方向性判定 部125生成的亮度斜度直方图的方差不小于预先确定的阈值(步骤S1003： 否)，则转入步骤S1005。如果表示区域的索引i为划分后的区域的数量N 以上(步骤S1006：是)，则结束区域选择。如果表示区域的索引i不在划 分后的区域的数量N以上(步骤S1006：否)，将i增加1(步骤S1007)， 并返回步骤S1002。
(亮度斜度直方图的生成)
图10是表示在上述步骤S1002，方向性判定部125进行的亮度斜度直 方图生成处理的流程图。
方向性判定部125首先把区域中包含的像素数设为K，把表示像素的 索引设为i＝1，把亮度斜度直方图初始化为P(θ)＝0(步骤S1101)。然后， 计算像素i中的亮度斜度θ_i(步骤S1102)。
然后，将计算的亮度斜度登记在亮度斜度直方图中。首先，把扫描开 始角设为θ＝θ_1(步骤S1103)。如果像素i的亮度斜度θ_i进入到θ到θ+Δθ 的范围(步骤S1104：是)，将亮度斜度直方图的θ的值P(θ)增加1(步骤 S1105)，并转入步骤S1106。如果像素i的亮度斜度θ_i没有进入θ到θ+Δθ 的范围(步骤S1104：否)，则转入步骤S1106。如果角度θ为扫描结束角θ_2 以上(步骤S1106：是)，则转入步骤S1108。如果角度θ不在扫描结束角θ_2 以上(步骤S1106：否)，将θ增加Δθ(步骤S1107)，并返回步骤S1104。 通过以上处理，像素i在亮度斜度直方图中的登记结束。
如果表示像素的索引i为区域的像素数K以上(步骤S1108：是)，则 结束亮度斜度直方图生成处理。如果表示像素的索引i不在区域的像素数K 以上(步骤S1108：否)，将i增加1(步骤S1109)，并返回步骤S1102。通 过以上处理，完成亮度斜度直方图。
另外，以上是对区域中的全部像素进行扫描并生成亮度斜度直方图， 但在使用Sobel滤波器的情况下，由于需要周围的像素信息，所以需要考虑 将区域的端部的像素从处理对象中去除等。
并且，亮度斜度直方图P(θ)指允许一定的角度幅度Δθ的范围，并取亮 度斜度的累积而得到的数据结构，实际上不需要在显示器等上描画曲线图。
<倾斜推测部140>
倾斜推测部140对于由区域选择部130选择的区域，根据像素信息进 行区域的倾斜角的推测。倾斜推测部140首先从区域中检测线段，然后把 线段的倾斜角的众数推测为区域的倾斜角。倾斜角的推测也可以从由区域 选择部130选择的区域整体中检测线段，并推测图像的倾斜角，还可以对 由区域选择部130选择的每个区域单独地推测区域的倾斜角，再以这些倾 斜角为基础进一步推测图像的倾斜角。
(线段检测)
倾斜推测部140使用Hough变换法来检测图像中包含的线段。该Hough 变换法是利用了如下情况的检测方法，即：在图像中存在线段的可能性较 大的部位设定特征点，若假设在通过各个特征点的所有方向上直线以固定 的概率存在，则由于从多个特征点延伸的直线的重合，实际存在的线段的 存在概率提高。例如，如图11(a)所示，在具有3个特征点时，如图11 (b)所示，假设直线从各个特征点向所有方向延伸，则如图11(c)所示， 通过在连接3点的直线上重合，直线的存在概率提高，所以视为实际存在 线段。特征点是通过将上述的Sobel滤波器等的边缘检测滤波器适用于图像 而提取的。
现在，把第i个特征点的坐标设为(x_i，y_i)，通过该点的任意直线可以 利用(式9)表述。
[式9]
x cosθ+y sinθ＝ρ(ρ＝xi coSθ+yi sinθ)...(式9)
其中，参数θ和ρ如图12(a)所示分别具有从原点到直线的垂线与x轴 所形成的夹角、以及直线与原点之间的距离这样的几何学意义。由于通过 特征点(x_i，y_i)这一限制，参数θ和ρ不是独立的，例如在θ＝θ_1时ρ＝ρ_1， 并确定线line1，在θ＝θ_2时ρ＝ρ_2，并确定线line2。如果将其图示表示， 则成为图12(b)所示。图12(b)是横轴为θ、纵轴为ρ，对于3个特征点 (x_i，y_i)(i＝1、2、3)绘制ρ与θ的关系得到的图。在图12中，不同的两 个曲线相交的点表示通过不同的两个特征点的相同直线，即表示将两个特 征点连接得到的直线。同样，不同的3个曲线在1点相交的点，表示不同 的3个特征点位于同一直线上。
在Hough变换法中，对于全部特征点，取给出通过特征点的直线的参 数的组(θ，ρ)的累积，把度数超过固定的阈值P 0的直线检测为实际存在的 直线。
(倾斜角推测)
倾斜推测部140从检测到的线段中取有关线段的倾斜角的累积，把度 数最大的倾斜角推测为区域的倾斜角。
上述的线段检测中的参数θ表示从原点到直线的垂线与x轴所形成的夹 角，所以直线与图像的横方向之间所形成的夹角可以表述为φ＝θ-90°。倾斜 推测部140对区域内被检测到的全部线段，生成有关倾斜角φ的角度直方图， 把其众数作为区域的倾斜角。
图14是表示倾斜推测部140的动作的流程图。
倾斜推测部140从由区域选择部130选择的区域全体中检测线段，在 总括推测图像的倾斜角的情况下(步骤S2001：是)，转入步骤S2014。在 不总括推测图像的倾斜角的情况下(步骤S2001：否)，转入步骤S2002， 把选择区域的数量设为N，把表示区域的索引设为i＝1，把直方图初始化 为Q(φ)＝0。
然后，进行将区域的倾斜角登记在直方图Q(φ)中的处理。首先，在区 域i中生成角度直方图(步骤S2004)，把其众数设为区域i的倾斜角φ_i(步 骤S2005)。把扫描开始角度设为φ＝φ_1(步骤S2006)，如果区域i的倾斜 角φ_i进入到φ至φ+Δφ之间(步骤S2007：是)，将Q(φ)增加1(步骤S2008)， 并转入步骤S2009。把扫描开始角度设为φ＝φ_1(步骤S2006)，如果区域 i的倾斜角φ_i未进入到φ到φ+Δφ之间，则转入步骤S2009。如果角度φ相对 于扫描结束角度φ_2为φ≥φ_2(步骤S2009：是)，则跳至步骤S2011，在是 φ＜φ_2之间时，转入步骤S2010，将φ增加Δφ(步骤S2010)，并返回步骤 S2007。
对全部区域进行以上处理。如果区域的索引i相对于所选择的区域的数 量N为i≥N(步骤S2011：是)，则转入步骤S2013。最后，从所生成的直 方图Q(φ)中选择众数，并将其设为图像的倾斜角的推测值(步骤S2013)。
在步骤S2001，在判定为进行总括推测的情况下，首先，将由区域选择 部130选择的区域结合为一个区域(步骤S2014)。对结合后的区域检测线 段(步骤S2015)，并对结合后的区域生成角度直方图(步骤S2016)。把该 角度直方图的众数设为图像的倾斜角的推测值(步骤S2017)。
以上是倾斜推测部140进行的倾斜推测处理的动作。
下面，说明步骤S2003和步骤S2015的线段检测处理。
图15是表示基于Hough变换法的线段检测的流程图。
倾斜推测部140首先从区域中提取特征点(步骤S2101)，把特征点的 个数设为N，把表示特征点的索引设为i＝1，把直方图初始化为P(θ，ρ)＝0 (步骤S2102)。
然后，确认通过特征点i的直线属于以ΔθΔρ的块对θ_ρ空间中的θ_1～ θ_2、且ρ_1～ρ_2的范围进行划分后的哪个块。首先，获取特征点i的坐标 (x_i，y_i)(步骤S2103)。把参数θ初始化为θ_1(步骤S2104)，计算对应θ 的ρ_i(步骤S2105)。把参数ρ初始化为ρ_1(步骤S2106)，如果ρ_i进入到 ρ到ρ+Δρ之间(步骤S2107：是)，将P(θ，ρ)增加1(步骤S2108)，并转入 步骤S2109。如果ρi不在ρ到ρ+Δρ之间(步骤S2107：否)，则转入步骤 S2109。在ρ达到ρ2之前(步骤S2109：否)，将其每次增加Δρ(步骤S2110)， 并沿ρ方向扫描。如果ρ达到ρ_2(步骤S2109：是)，则在θ达到θ_2之前(步 骤S2111：否)，将其每次增加Δθ(步骤S2112)，并沿θ方向扫描。如果θ 达到θ_2(步骤S2111：是)，则特征点i向直方图R(θ，ρ)中的登记结束。
在索引i达到特征点的数量N之前(步骤S2113：否)，将i逐次增加1， 并进行以上处理。在索引i达到特征点的数量N后(步骤S2113：是)，倾 斜推测部140把在直方图P(θ，ρ)中利用具有大于阈值P_0的度数的(θ，ρ)表 示的线段，检测为实际存在的线段。
图16是生成角度直方图的流程图。倾斜推测部140首先把在区域内检 测到的线段的数量设为N，把表示线段的索引设为i＝1，把角度直方图初 始化为R(φ)＝0(步骤S2201)。然后，对于线段i，从存储器中读取在检测 线段时计算出的参数(θ_i，ρ_i)(步骤S2202)，计算线段i的倾斜角φ_i(步 骤S2203)。
然后，将倾斜角φ_i登记在角度直方图R(φ)中。首先，把扫描开始角度 设为φ＝φ_1(步骤S2204)。如果线段i的倾斜角φ_i在φ～φ+Δφ之间(步骤 S2205)，将R(φ)的值增加1(步骤S2205：是)，并转入步骤S2206。如果 线段i的倾斜角φ_i不在φ～φ+Δφ之间(步骤S2205：否)，则转入步骤S2206。 如果角度φ为扫描结束角度φ_2以上(步骤S2206：是)，则结束倾斜角φ_i 的登记，并转入步骤S2209。如果角度φ小于扫描结束角度φ_2(步骤S2206： 否)，将角度φ增加Δφ(步骤S2208)，并返回步骤S2205。
对全部线段进行以上处理。即，如果索引i为线段的数量N以上(步 骤S2209：是)，则结束生成角度直方图。如果索引i不大于线段的数量N (步骤S2209：否)，将索引i增加1(步骤S2210)，并返回步骤S2202。
通过以上处理，完成图13所示的角度直方图。倾斜推测部140把角度 直方图的众数推测为区域的倾斜角。例如，在图13所示的情况下，区域的 倾斜角为φ_0。
在倾斜推测部140从由区域选择部130选择的区域全体中检测线段并 推测图像的倾斜角的情况下，上部的区域的倾斜角就是图像的倾斜角。在 采取倾斜推测部140对每个区域单独地推测倾斜角，然后推测图像的倾斜 角的方法的情况下，如上所述，在推测各个区域的倾斜角后，再对区域的 倾斜角取累积，将众数推测为图像的倾斜角。
以上说明了在生成角度直方图时对哪个角度都同等处理的情况，但也 可以根据利用与图像分析不同的手段预测的倾斜角，赋予加权并生成角度 直方图。例如，在连续拍摄多个图像的情况下，可以预期倾斜角也连续变 化，所以根据过去的倾斜角预测该图像的倾斜角，并赋予对应该值的加权 来生成角度直方图，由此能够提高推测的精度。如果以摄像装置不剧烈摇 动的状况为前提，则可以认为过去的倾斜角中刚刚之前(immediately preceding)的倾斜角与该图像的倾斜角最接近。在把刚刚之前的倾斜角设为 θ_prev时，也可以根据倾斜角θ赋予(式10)所示的加权w(θ)。
[式10]
...(式10)
并且，在角度直方图具有多个众数的情况下，也可以赋予对应于线段 特性的加权，由此推测准确的倾斜。例如，与较短线段有可能是墙壁上描 画的细小图案等的情况相对，较长线段是墙壁的边缘等构造的一部分的可 能性比较大，通过使对较长线段赋予的倾斜角的加权大于对较短线段赋予 的倾斜角的加权，能够更准确地检测水平方向或垂直方向，并正确推测图 像的倾斜角。线段的长度可以作为利用Hough变换法检测到的线段所通过 的特征点中、最端部的两点之间的距离来求出。
并且，也可以以这样的方式进行加权，即：使得根据朝向垂直方向的 线段所确定的倾斜角优先于根据朝水平方向的线段所确定的倾斜角。这是 因为在拍摄到的图像中，对于线段根据远近关系而相对于水平方向或垂直 方向倾斜的可能性，是水平方向的线段的可能性要大于垂直方向线段的可 能性。例如，在图8(c)所示的图像中，表示左右拍摄的建筑物的水平方 向的线段，尽管实际上全部与水平面平行，但在图像中，根据远近关系而 成为放射状，其倾斜一点一点变化而不同。与此相对，表示垂直方向的线 段在图像中全部与垂直方向平行。鉴于这种情况，进行依赖于线段的方向 的加权比较有效。
(利用了亮度频谱的倾斜角推测)
以上叙述了倾斜推测部140从区域中检测线段，并根据该线段的倾斜 角来推测区域的倾斜角的方法，但也可以利用区域的亮度频谱来推测倾斜 角。
例如，在图17(a)所示的亮度频谱中，(b)、(c)、(d)所示的方向的 断面分别如图17(b)、(c)、(d)所示。(b)的方向在图17(a)的中心沿 纵方向延伸的峰上通过，所以较强的信号持续扁平，而看不到峰。(c)的 方向是横穿图17(a)的纵方向的条文的方向，所以出现了多个峰。(d)的 方向是(b)和(c)中间的方向，所以成为(c)的峰间隔扩大的形状。
根据以上所述，也可以认为亮度频谱强度较强的方向是峰数量较少的 方向，并利用峰数量的倒数生成角度直方图。
(基于亮度斜度的方向分布的倾斜推测)
另外，倾斜推测部140也可以根据亮度斜度的方向分布来推测倾斜角。 具体地讲，对于属于由区域选择部130选择的区域的像素，计算亮度斜度 的方向分布，利用与其众数相对应的角度来推测倾斜角。
<传感器160>
传感器160是加速度传感器或角速度传感器等检测重力的方向的传感 器，在由倾斜推测部140进行的图像的倾斜角的推测失败的情况下，利用 传感器160直接测定可佩戴式终端的倾斜角。所说由倾斜推测部140进行 的图像的倾斜角的推测失败的情况，例如有由区域选择部130选择的区域 较少的情况、或图像较暗的情况。
倾斜推测部140只从选择区域中检测线段来推测图像的倾斜角，所以 在图像中线段一致的区域较少而导致选择区域较少的情况下，将不能准确 地推测图像的倾斜角。并且，倾斜推测部140根据亮度来推测图像的倾斜 角，所以在图像整体较暗的情况下，也不能准确地推测图像的倾斜角。在 这样的情况下，可认为相比由倾斜推测部140推测到的图像的倾斜角，由 传感器160检测到的倾斜角更能准确反映图像的倾斜。
传感器160例如使用像压阻型(piezoresistive)加速度传感器那样把施加 的加速度变换为电信号的传感器，如图18所示，使用双轴加速度传感器， 以便能够同时检测与可佩戴式终端的摄像机的摄影方向垂直的两个方向的 加速度。
如图18所示，把传感器160固定在可佩戴式终端上，以使得在将可佩 戴式终端没有倾斜时的垂直方向和水平方向设为y轴和x轴时，能够检测y 方向和x方向的加速度。把重力加速度设为g，将x方向和y方向的成分分 别表述为g_x＝g sinθ、g_y＝g cosθ，所以倾斜角为θ＝tan-1(g_x/g_y)。
另外，传感器160也可以设置多个传感器，并获取它们的平均值等来 提高测定精度。
传感器160也可以不输出倾斜角本身，而输出相对某个基准值的差分 值，还可以输出相对刚刚之前的测定值的差分值。
以上示出了使用加速度传感器来检测重力从而检测摄影时的倾斜角的 示例，但也可以使用角速度传感器检测本设备旋转的角速度并进行时间积 分，由此计算倾斜角。
另外，在作为本发明一例的图像处理装置100未被内置于可佩戴式终 端中的情况下，也可以在存储器中记录在摄影时由传感器160测定到的倾 斜角，以后读出该倾斜角并用于图像修正。
<图像修正部150>
图像修正部150根据由倾斜推测部140推测到的倾斜角或由传感器160 测定到的倾斜角，进行使图像旋转的修正。在倾斜推测部140进行了图像 的倾斜角的推测的情况下，图像修正部150使用所推测的倾斜角来进行图 像的修正，在图像中没有包含倾斜推测部140进行图像的倾斜角的推测所 需的足够信息的情况下，使用传感器160检测到的倾斜角来进行图像的修 正。其中，所说图像的修正，如图2所示，是通过对所推测或检测到的图 像的倾斜角，使图像逆向旋转相同角度来进行的。
图19是表示作为本发明一例的图像处理装置100的动作的流程图。
图像处理装置100首先在图像输入部110中读取图像(步骤S3001)， 把所输入的图像的总像素数设为N，将亮度为阈值以上的像素数初始化为 M。
如果比值M/N不大于阈值α(步骤S3003：否)，则转入步骤S3009。 如果比值M/N大于阈值α(步骤S3003：是)，则转入步骤S3004，在图像 划分部120中划分图像(步骤S3004)。此时，把图像的划分数量设为n。 然后，根据在方向性判定部125中判定的区域的纹理的方向性，区域选择 部130选择线段的方向一致的区域(步骤S3005)。此时，把区域的选择数 量设为m。
如果比值m/n不大于阈值β(步骤S3006：否)，则转入步骤S3009。如 果比值m/n大于阈值β(步骤S3006：是)，则转入步骤S3007，在倾斜推测 部140中进行图像的倾斜角的推测(步骤S3007)。
图像修正部150使图像旋转由倾斜推测部140推测到的倾斜角，由此 进行图像的修正(步骤S3008)。但是，在步骤S3003或步骤S3006，在判 定为不适合于根据图像来推测倾斜角的情况下，利用传感器检测倾斜角(步 骤S3009)，并使用该值进行图像的修正。
以上是作为本发明一例的图像处理装置100的动作。
另外，传感器160并不是必须的，在不具有传感器160的情况下，也 可以对不具有用于推测倾斜角的足够信息的图像不进行任何处理。这样， 防止根据错误推测的倾斜角进行修正而导致图像恶化。
另外，在具有传感器160、但基于传感器160对倾斜角的推测比较困难 的情况下，也可以不进行利用传感器160的倾斜角的推测，对不具有用于 推测倾斜角的足够信息的图像不进行任何处理。其中，所说基于传感器160 对倾斜角的推测比较困难的情况，指预定时间内的传感器160的输出值的 变化量为预定的阈值以上的情况。这样，防止根据错误推测的倾斜角进行 修正而导致图像恶化。
或者，在已知像可佩戴式终端那样连续拍摄图像的情况下，对于不具 有用于推测倾斜角的足够信息的图像，也可以根据在过去拍摄的图像中所 推测到的倾斜角来推测该图像的倾斜角。即，预先存储所推测到的图像的 倾斜角中最近的几个倾斜角的历史来加以存储，并对其推移变化进行外推 (extrapolate)，由此推测该图像的倾斜角。并且，也可以预先存储所推测到 的图像的倾斜角中刚刚之前的一个倾斜角，并把该倾斜角原样用作该图像 的倾斜角。该处理基于摄像装置的摇动比较小、被连续拍摄的图像的倾斜 角连续变化这种假设。
产业上的可利用性
通过将作为本发明一例的图像处理装置装配到可佩戴式终端等中，能 够修正所拍摄的图像的倾斜，并记录和显示正确朝向的图像。由于从图像 中只选择适合于倾斜推测的区域来进行倾斜角的推测，所以对不是在直立 状态下拍摄到的图像，也能够以较高的概率推测正确的倾斜角。
所说可佩戴式终端指如图1所示利用者悬挂在脖子上等始终佩戴在身 上来使用的终端，具有用于记录利用者的日常的事件的例如摄像机，摄像 机进行的拍摄不需要利用者的操作即可进行。因此，有可能在利用者意料 不到的定时进行拍摄，例如，当在摄像机相对水平面倾斜的状态下进行拍 摄时，如图2(a)所示，将导致拍摄到的图像倾斜。这样倾斜的图像不好 看，因此通常，需要由人按照图2(b)所示使图像倾斜将被摄体的方向恢 复为正确方向。本发明提供一种图像处理装置，即使不由人来修正倾斜， 也能够通过分析摄像图像来推测正确的方向，并修正图像的倾斜。
其中，所说图像的倾斜指根据被摄体能够判定的图像的水平方向或垂 直方向、与由图像自身的帧确定的横方向或纵方向分别不平行。在如图2 (a)所示拍摄了墙壁的图像的情况下，能够容易根据墙壁的图案来推测水 平方向，并观察到图像稍微绕逆时针方向倾斜，所以容易按照图2(b)所 示对其进行修正。但是，在如图2(c)所示拍摄了生长在地面上的杂草的 图像的情况下，很难根据被摄体推测水平方向。这是因为图像中包含的线 段朝向分散的方向，不存在能够提示水平方向或垂直方向的线段。本发明 通过对图像中的某个区域是能按照上面所述容易推测水平方向、还是很难 推测水平方向这样的特征进行分析，以较高的概率推测图像的正确的水平 方向或垂直方向。
《结构》
图3是作为本发明一例的图像处理装置的结构图。作为本发明一例的 图像处理装置100包括图像输入部110、图像划分部120、方向性判定部125、 区域选择部130、倾斜推测部140、图像修正部150和传感器160。在本实 施方式中，作为本发明一例的图像处理装置100构成为被内置于具有摄像 部和存储部的可佩戴式终端中，修正由摄像部拍摄到的图像的倾斜，并存 储在存储部中。
摄像部是具有CCD或CMOS传感器等摄像元件的摄像机，拍摄影像并 作为电信号输出。
存储部是SD卡或闪存(flash memory)等存储介质，保存作为本发明一 例的图像处理装置100输出的图像。
<图像输入部110>
图像输入部110进行要在图像处理装置100中修正的图像的输入。作 为本发明一例的图像处理装置100，与进行修正的图像是何时拍摄无关。在 本实施方式中，采取将作为本发明一例的图像处理装置100内置于可佩戴 式终端中并随时修正摄像图像的结构，但也可以构成为准备与摄像装置分 开的作为本发明一例的图像处理装置100，并输入摄像图像的结构。其中， 为了进行图像的修正，以所输入的图像例如是像利用普通摄像机拍摄的长 方形状照片那样、明确规定了图像的纵向和横向的图像为前提。
<图像划分部120>
图像划分部120将所输入的图像划分为多个区域。该划分可以按照纵 1/4、横1/5这样的纵横方向上相对输入图像的比例来划分输入图像，或者 也可以按照纵横32像素这样的固定的大小来划分输入图像。例如，图像划 分部120对于图4(a)所示的输入图像，生成按照图4(b)所示划分为20 个的区域。
在本实施方式中，说明被划分后的区域具有相同面积的情况，但只要 在倾斜推测部140中能够进行考虑了被划分后的区域的面积的推测，则不 一定划分为相同面积的区域，也不一定划分为长方形的区域。
<方向性判定部125>
方向性判定部125对于被划分后的每个区域，判定该区域是否适合于 推测图像的倾斜角。关于是否适合于推测图像的倾斜角，根据图像中包含 的线段的方向的一致程度来判定。即，线段沿一个方向对齐的区域适合于 推测图像的倾斜角，相反，线段的方向分散的区域不适合于推测图像的倾 斜角。
图像中的线段在进行微观观察时，能够作为像素单位的亮度的变化被 定量地检测到。这是因为亮度具有差异，由此能够进行图像中的某个区域 与其他区域之间的区分，其边界被识别为线段。因此，判定区域内的线段 的方向的一致程度的问题，归结为判定区域内的像素的亮度变化的方向是 否分散的问题。
这种能够根据像素的亮度差异识别到的作为线段的集合而形成的图案 被称为纹理(texture)，方向性判定部125对于划分后的每个区域，判定该区 域的纹理是否具有单一方向性。其中，所说单一方向性不一定是线段的方 向完全沿某一个方向对齐，而是指允许某种程度的范围、大多数线段的方 向朝向接近的方向。该范围确定图像的倾斜角的推测精度，使用在设计阶 段确定的阈值。并且，边缘强度不限于只根据亮度求出，也可以根据色差 等像素信息求出。
(亮度斜度)
下面，说明求出亮度的变化的方向、即亮度斜度的方法。
图5是说明线段上的点的亮度斜度的图。图5(a)中的左上部分的区 域是亮度I＝I_1，右下部分的区域是亮度I＝I_2，求出为I_1-1(Δy/Δx)。在 线段上亮度是固定的，所以根据δI＝0，线段的倾斜是-Δx＝Δy。即，亮度斜 度是与线段正交的方向。其中，在Δx＝0而且Δy＞0时θ＝90°，在Δx＝0而 且Δy＜0时θ＝-90°，在Δx＝0而且Δy＝0时把像素设为无效。
在根据利用离散的二次函数表示的亮度I(P)求出亮度变化Δx、Δy时， 如果单纯地取差分，则由于图像中包含的噪声等的影响，将导致误差增大， 作为避免这种情况的方法，例如有使用Sobel滤波器的方法。该方法在进行 某个像素中的亮度斜度的计算时，对周围的像素赋予加权并取差分，以便。 图6是在Sobel滤波器中用于加权的系数矩阵。在计算x成分时使用图6(a) 的矩阵，在计算y成分时使用图6(b)的矩阵。在将具有图6(a)和图6 (b)的元素的矩阵分别设为a和b时，位置(n，m)的亮度变化Δx和Δy表示 为下面的(式5)和(式6)。
[式5] ...(式5)
[式6] ...(式6)
另外，其中系数矩阵是3×3矩阵，但也可以使用更大的矩阵。系数矩 阵一般是把k设为2以上的整数的、(2k-1)×(2k-1)的正方形矩阵。
区域选择部130对于以上所述的区域中包含的全部像素计算亮度斜度， 并判定区域中的线段的方向是否一致。该处理通过生成图7所示的对每个 亮度斜度的值取像素数的累计而形成的亮度斜度直方图来进行。图7是把 亮度斜度θ设为横轴，把在一定的宽度Δθ范围内具有亮度斜度的像素的数量 P设为纵轴的直方图。
方向性判定部125生成如上所述的亮度斜度直方图，例如在亮度斜度 直方图的方差(variance)小于预先确定的阈值的情况下，判定为纹理具有单 一方向性。该判定的基准不限于根据方差来进行，例如，在亮度斜度直方 图中，在赋予具有一定以上的度数的亮度斜度的像素数大于预先确定的阈 值的情况下，判定为线段的方向一致。
当在区域内亮度完全没有变化的情况下，在亮度斜度的计算中全部像 素被视为无效，不能生成亮度斜度直方图，但方向性判定部125将这种区 域与纹理不具有单一方向性的区域同等对待。
(亮度频谱)
另一方面，关于判定图像中包含的线段的方向性的方法，除了如上所 述按照像素单位计算亮度斜度之外，还有利用图像的频率特性的方法。
即，图像的亮度I(x，y)是对离散的二维坐标(x，y)取某个值I(x，y)的离散 函数，根据对其进行二维离散傅立叶变换后的亮度频谱来判定方向性。在 把图像的宽度设为W、把高度设为H时，图像的亮度I(x，y)的亮度频谱FI(u， v)如(式7)所示，
[式7] ...(式7)
以图8所示的图像为例，说明如何根据这样计算的亮度频谱来判定线 段的方向性。图8是分别拍摄了(a)杂草、(b)墙壁、(c)道路的图像。 把上述的傅立叶变换适用于这些图像，则分别获得图8中的(d)、(e)、(f) 所示的亮度频谱。其中，亮度频谱被实施平行移动以使直流成分位于中央。
如图8(a)所示，在是不存在确定图像的朝向的线段的图像的情况下， 亮度频谱中没有表现出图8(d)所示的较强的峰。在图8(d)中表示亮度 频谱好像是平坦的，但这是附图的情况，实际上亮度频谱是具有缓慢的起 伏的。对于这种图像，很难推测图像的倾斜角。
如图8(b)所示，在是能够根据墙壁的图案明确判定水平方向的图像 的情况下，亮度频谱显示出图8(e)中利用纵向的线示出的较强的峰。在 图8(e)中，根据附图的情况，利用线的粗细来表示峰的强度。一般，原 始图像中的线段与亮度频谱中的峰值存在正交的关系，所以如果亮度频谱 在纵方向上显示出较强的峰，则能够推测为原始图像包含横向的线段的倾 向性较强。
如图8(c)所示，在是拍摄了道路和建筑物和人的图像的情况下，亮 度频谱如图8(f)所示，除了纵向的较强的峰之外，还在多个方向显示出 了峰。这是因为在原始图像中存在建筑物的窗户及墙壁等朝向各个方向的 线段。
如上所述，能够根据亮度频谱的图案(pattern)判定原始图像中的线段的 方向性。
方向性判定部125为了定量地进行方向判定，计算各个方向的亮度频 谱的强度P(θ)。即，在利用极坐标(γ，θ)表示坐标(u，v)时，在某个方向θ的亮 度频谱强度P(θ)作为与强度FI(γ，θ)的矢径方向相关的平方和，被表示为下 面的(式8)。
[式8] ...(式8)
该亮度频谱强度P(θ)从与方向θ相关的强度分布的意义上讲，与上述的 亮度斜度直方图同等。因此，方向性判定部125与使用亮度斜度直方图时 相同，能够根据亮度频谱强度P(θ)的方差等信息进行方向性的判定。
<区域选择部130>
区域选择部130从由图像划分部120划分后的区域中，只选择由方向 性判定部125判定为具有单一方向性的区域。例如，在图4的示例中，如 图4(c)所示，选择清楚地表现出墙壁的水平线的区域，整面被壁面覆盖 而没有表现出纹理的区域、或植物占据了大部分而且纹理不具有单一方向 性的区域被去除。
(区域选择部130的动作)
图9是区域选择部130根据方向性判定部125对纹理的方向性判定而 进行的区域选择的动作的流程图。区域选择部130首先把由图像划分部120 划分后的区域的数量设为N，把表示区域的索引初始化为i＝1(步骤 S1001)。然后，区域选择部130指示方向性判定部125生成区域i的亮度斜 度直方图，方向性判定部125接收到来自区域选择部130的指示，生成区 域i的亮度斜度直方图(步骤S1002)。如果方向性判定部125生成的亮度 斜度直方图的方差小于预先确定的阈值(步骤S1003：是)，区域选择部130 设定区域i的选择标志(步骤S1004)，并转入步骤S1005。如果方向性判定 部125生成的亮度斜度直方图的方差不小于预先确定的阈值(步骤S1003： 否)，则转入步骤S1005。如果表示区域的索引i为划分后的区域的数量N 以上(步骤S1006：是)，则结束区域选择。如果表示区域的索引i不在划 分后的区域的数量N以上(步骤S1006：否)，将i增加1(步骤S1007)， 并返回步骤S1002。
(亮度斜度直方图的生成)
图10是表示在上述步骤S1002，方向性判定部125进行的亮度斜度直 方图生成处理的流程图。
方向性判定部125首先把区域中包含的像素数设为K，把表示像素的 索引设为i＝1，把亮度斜度直方图初始化为P(θ)＝0(步骤S1101)。然后， 计算像素i中的亮度斜度θ_i(步骤S1102)。
然后，将计算的亮度斜度登记在亮度斜度直方图中。首先，把扫描开 始角设为θ＝θ_1(步骤S1103)。如果像素i的亮度斜度θ_i进入到θ到θ+Δθ 的范围(步骤S1104：是)，将亮度斜度直方图的θ的值P(θ)增加1(步骤 S1105)，并转入步骤S1106。如果像素i的亮度斜度θ_i没有进入θ到θ+Δθ 的范围(步骤S1104：否)，则转入步骤S1106。如果角度θ为扫描结束角θ_2 以上(步骤S1106：是)，则转入步骤S1108。如果角度θ不在扫描结束角θ_2 以上(步骤S1106：否)，将θ增加Δθ(步骤S1107)，并返回步骤S1104。 通过以上处理，像素i在亮度斜度直方图中的登记结束。
如果表示像素的索引i为区域的像素数K以上(步骤S1108：是)，则 结束亮度斜度直方图生成处理。如果表示像素的索引i不在区域的像素数K 以上(步骤S1108：否)，将i增加1(步骤S1109)，并返回步骤S1102。通 过以上处理，完成亮度斜度直方图。
另外，以上是对区域中的全部像素进行扫描并生成亮度斜度直方图， 但在使用Sobel滤波器的情况下，由于需要周围的像素信息，所以需要考虑 将区域的端部的像素从处理对象中去除等。
并且，亮度斜度直方图P(θ)指允许一定的角度幅度Δθ的范围，并取亮 度斜度的累积而得到的数据结构，实际上不需要在显示器等上描画曲线图。
<倾斜推测部140>
倾斜推测部140对于由区域选择部130选择的区域，根据像素信息进 行区域的倾斜角的推测。倾斜推测部140首先从区域中检测线段，然后把 线段的倾斜角的众数推测为区域的倾斜角。倾斜角的推测也可以从由区域 选择部130选择的区域整体中检测线段，并推测图像的倾斜角，还可以对 由区域选择部130选择的每个区域单独地推测区域的倾斜角，再以这些倾 斜角为基础进一步推测图像的倾斜角。
(线段检测)
倾斜推测部140使用Hough变换法来检测图像中包含的线段。该Hough 变换法是利用了如下情况的检测方法，即：在图像中存在线段的可能性较 大的部位设定特征点，若假设在通过各个特征点的所有方向上直线以固定 的概率存在，则由于从多个特征点延伸的直线的重合，实际存在的线段的 存在概率提高。例如，如图11(a)所示，在具有3个特征点时，如图11 (b)所示，假设直线从各个特征点向所有方向延伸，则如图11(c)所示， 通过在连接3点的直线上重合，直线的存在概率提高，所以视为实际存在 线段。特征点是通过将上述的Sobel滤波器等的边缘检测滤波器适用于图像 而提取的。
现在，把第i个特征点的坐标设为(x_i，y_i)，通过该点的任意直线可以 利用(式9)表述。
[式9]
x cosθ+y sinθ＝ρ(ρ＝xi coSθ+yi sinθ)...(式9)
其中，参数θ和ρ如图12(a)所示分别具有从原点到直线的垂线与x轴 所形成的夹角、以及直线与原点之间的距离这样的几何学意义。由于通过 特征点(x_i，y_i)这一限制，参数θ和ρ不是独立的，例如在θ＝θ_1时ρ＝ρ_1， 并确定线line1，在θ＝θ_2时ρ＝ρ_2，并确定线line2。如果将其图示表示， 则成为图12(b)所示。图12(b)是横轴为θ、纵轴为ρ，对于3个特征点 (x_i，y_i)(i＝1、2、3)绘制ρ与θ的关系得到的图。在图12中，不同的两 个曲线相交的点表示通过不同的两个特征点的相同直线，即表示将两个特 征点连接得到的直线。同样，不同的3个曲线在1点相交的点，表示不同 的3个特征点位于同一直线上。
在Hough变换法中，对于全部特征点，取给出通过特征点的直线的参 数的组(θ，ρ)的累积，把度数超过固定的阈值P 0的直线检测为实际存在的 直线。
(倾斜角推测)
倾斜推测部140从检测到的线段中取有关线段的倾斜角的累积，把度 数最大的倾斜角推测为区域的倾斜角。
上述的线段检测中的参数θ表示从原点到直线的垂线与x轴所形成的夹 角，所以直线与图像的横方向之间所形成的夹角可以表述为φ＝θ-90°。倾斜 推测部140对区域内被检测到的全部线段，生成有关倾斜角φ的角度直方图， 把其众数作为区域的倾斜角。
图14是表示倾斜推测部140的动作的流程图。
倾斜推测部140从由区域选择部130选择的区域全体中检测线段，在 总括推测图像的倾斜角的情况下(步骤S2001：是)，转入步骤S2014。在 不总括推测图像的倾斜角的情况下(步骤S2001：否)，转入步骤S2002， 把选择区域的数量设为N，把表示区域的索引设为i＝1，把直方图初始化 为Q(φ)＝0。
然后，进行将区域的倾斜角登记在直方图Q(φ)中的处理。首先，在区 域i中生成角度直方图(步骤S2004)，把其众数设为区域i的倾斜角φ_i(步 骤S2005)。把扫描开始角度设为φ＝φ_1(步骤S2006)，如果区域i的倾斜 角φ_i进入到φ至φ+Δφ之间(步骤S2007：是)，将Q(φ)增加1(步骤S2008)， 并转入步骤S2009。把扫描开始角度设为φ＝φ_1(步骤S2006)，如果区域 i的倾斜角φ_i未进入到φ到φ+Δφ之间，则转入步骤S2009。如果角度φ相对 于扫描结束角度φ_2为φ≥φ_2(步骤S2009：是)，则跳至步骤S2011，在是 φ＜φ_2之间时，转入步骤S2010，将φ增加Δφ(步骤S2010)，并返回步骤 S2007。
对全部区域进行以上处理。如果区域的索引i相对于所选择的区域的数 量N为i≥N(步骤S2011：是)，则转入步骤S2013。最后，从所生成的直 方图Q(φ)中选择众数，并将其设为图像的倾斜角的推测值(步骤S2013)。
在步骤S2001，在判定为进行总括推测的情况下，首先，将由区域选择 部130选择的区域结合为一个区域(步骤S2014)。对结合后的区域检测线 段(步骤S2015)，并对结合后的区域生成角度直方图(步骤S2016)。把该 角度直方图的众数设为图像的倾斜角的推测值(步骤S2017)。
以上是倾斜推测部140进行的倾斜推测处理的动作。
下面，说明步骤S2003和步骤S2015的线段检测处理。
图15是表示基于Hough变换法的线段检测的流程图。
倾斜推测部140首先从区域中提取特征点(步骤S2101)，把特征点的 个数设为N，把表示特征点的索引设为i＝1，把直方图初始化为P(θ，ρ)＝0 (步骤S2102)。
然后，确认通过特征点i的直线属于以ΔθΔρ的块对θ_ρ空间中的θ_1～ θ_2、且ρ_1～ρ_2的范围进行划分后的哪个块。首先，获取特征点i的坐标 (x_i，y_i)(步骤S2103)。把参数θ初始化为θ_1(步骤S2104)，计算对应θ 的ρ_i(步骤S2105)。把参数ρ初始化为ρ_1(步骤S2106)，如果ρ_i进入到 ρ到ρ+Δρ之间(步骤S2107：是)，将P(θ，ρ)增加1(步骤S2108)，并转入 步骤S2109。如果ρi不在ρ到ρ+Δρ之间(步骤S2107：否)，则转入步骤 S2109。在ρ达到ρ2之前(步骤S2109：否)，将其每次增加Δρ(步骤S2110)， 并沿ρ方向扫描。如果ρ达到ρ_2(步骤S2109：是)，则在θ达到θ_2之前(步 骤S2111：否)，将其每次增加Δθ(步骤S2112)，并沿θ方向扫描。如果θ 达到θ_2(步骤S2111：是)，则特征点i向直方图R(θ，ρ)中的登记结束。
在索引i达到特征点的数量N之前(步骤S2113：否)，将i逐次增加1， 并进行以上处理。在索引i达到特征点的数量N后(步骤S2113：是)，倾 斜推测部140把在直方图P(θ，ρ)中利用具有大于阈值P_0的度数的(θ，ρ)表 示的线段，检测为实际存在的线段。
图16是生成角度直方图的流程图。倾斜推测部140首先把在区域内检 测到的线段的数量设为N，把表示线段的索引设为i＝1，把角度直方图初 始化为R(φ)＝0(步骤S2201)。然后，对于线段i，从存储器中读取在检测 线段时计算出的参数(θ_i，ρ_i)(步骤S2202)，计算线段i的倾斜角φ_i(步 骤S2203)。
然后，将倾斜角φ_i登记在角度直方图R(φ)中。首先，把扫描开始角度 设为φ＝φ_1(步骤S2204)。如果线段i的倾斜角φ_i在φ～φ+Δφ之间(步骤 S2205)，将R(φ)的值增加1(步骤S2205：是)，并转入步骤S2206。如果 线段i的倾斜角φ_i不在φ～φ+Δφ之间(步骤S2205：否)，则转入步骤S2206。 如果角度φ为扫描结束角度φ_2以上(步骤S2206：是)，则结束倾斜角φ_i 的登记，并转入步骤S2209。如果角度φ小于扫描结束角度φ_2(步骤S2206： 否)，将角度φ增加Δφ(步骤S2208)，并返回步骤S2205。
对全部线段进行以上处理。即，如果索引i为线段的数量N以上(步 骤S2209：是)，则结束生成角度直方图。如果索引i不大于线段的数量N (步骤S2209：否)，将索引i增加1(步骤S2210)，并返回步骤S2202。
通过以上处理，完成图13所示的角度直方图。倾斜推测部140把角度 直方图的众数推测为区域的倾斜角。例如，在图13所示的情况下，区域的 倾斜角为φ_0。
在倾斜推测部140从由区域选择部130选择的区域全体中检测线段并 推测图像的倾斜角的情况下，上部的区域的倾斜角就是图像的倾斜角。在 采取倾斜推测部140对每个区域单独地推测倾斜角，然后推测图像的倾斜 角的方法的情况下，如上所述，在推测各个区域的倾斜角后，再对区域的 倾斜角取累积，将众数推测为图像的倾斜角。
以上说明了在生成角度直方图时对哪个角度都同等处理的情况，但也 可以根据利用与图像分析不同的手段预测的倾斜角，赋予加权并生成角度 直方图。例如，在连续拍摄多个图像的情况下，可以预期倾斜角也连续变 化，所以根据过去的倾斜角预测该图像的倾斜角，并赋予对应该值的加权 来生成角度直方图，由此能够提高推测的精度。如果以摄像装置不剧烈摇 动的状况为前提，则可以认为过去的倾斜角中刚刚之前(immediately preceding)的倾斜角与该图像的倾斜角最接近。在把刚刚之前的倾斜角设为 θ_prev时，也可以根据倾斜角θ赋予(式10)所示的加权w(θ)。
[式10]
...(式10)
并且，在角度直方图具有多个众数的情况下，也可以赋予对应于线段 特性的加权，由此推测准确的倾斜。例如，与较短线段有可能是墙壁上描 画的细小图案等的情况相对，较长线段是墙壁的边缘等构造的一部分的可 能性比较大，通过使对较长线段赋予的倾斜角的加权大于对较短线段赋予 的倾斜角的加权，能够更准确地检测水平方向或垂直方向，并正确推测图 像的倾斜角。线段的长度可以作为利用Hough变换法检测到的线段所通过 的特征点中、最端部的两点之间的距离来求出。
并且，也可以以这样的方式进行加权，即：使得根据朝向垂直方向的 线段所确定的倾斜角优先于根据朝水平方向的线段所确定的倾斜角。这是 因为在拍摄到的图像中，对于线段根据远近关系而相对于水平方向或垂直 方向倾斜的可能性，是水平方向的线段的可能性要大于垂直方向线段的可 能性。例如，在图8(c)所示的图像中，表示左右拍摄的建筑物的水平方 向的线段，尽管实际上全部与水平面平行，但在图像中，根据远近关系而 成为放射状，其倾斜一点一点变化而不同。与此相对，表示垂直方向的线 段在图像中全部与垂直方向平行。鉴于这种情况，进行依赖于线段的方向 的加权比较有效。
(利用了亮度频谱的倾斜角推测)
以上叙述了倾斜推测部140从区域中检测线段，并根据该线段的倾斜 角来推测区域的倾斜角的方法，但也可以利用区域的亮度频谱来推测倾斜 角。
例如，在图17(a)所示的亮度频谱中，(b)、(c)、(d)所示的方向的 断面分别如图17(b)、(c)、(d)所示。(b)的方向在图17(a)的中心沿 纵方向延伸的峰上通过，所以较强的信号持续扁平，而看不到峰。(c)的 方向是横穿图17(a)的纵方向的条文的方向，所以出现了多个峰。(d)的 方向是(b)和(c)中间的方向，所以成为(c)的峰间隔扩大的形状。
根据以上所述，也可以认为亮度频谱强度较强的方向是峰数量较少的 方向，并利用峰数量的倒数生成角度直方图。
(基于亮度斜度的方向分布的倾斜推测)
另外，倾斜推测部140也可以根据亮度斜度的方向分布来推测倾斜角。 具体地讲，对于属于由区域选择部130选择的区域的像素，计算亮度斜度 的方向分布，利用与其众数相对应的角度来推测倾斜角。
<传感器160>
传感器160是加速度传感器或角速度传感器等检测重力的方向的传感 器，在由倾斜推测部140进行的图像的倾斜角的推测失败的情况下，利用 传感器160直接测定可佩戴式终端的倾斜角。所说由倾斜推测部140进行 的图像的倾斜角的推测失败的情况，例如有由区域选择部130选择的区域 较少的情况、或图像较暗的情况。
倾斜推测部140只从选择区域中检测线段来推测图像的倾斜角，所以 在图像中线段一致的区域较少而导致选择区域较少的情况下，将不能准确 地推测图像的倾斜角。并且，倾斜推测部140根据亮度来推测图像的倾斜 角，所以在图像整体较暗的情况下，也不能准确地推测图像的倾斜角。在 这样的情况下，可认为相比由倾斜推测部140推测到的图像的倾斜角，由 传感器160检测到的倾斜角更能准确反映图像的倾斜。
传感器160例如使用像压阻型(piezoresistive)加速度传感器那样把施加 的加速度变换为电信号的传感器，如图18所示，使用双轴加速度传感器， 以便能够同时检测与可佩戴式终端的摄像机的摄影方向垂直的两个方向的 加速度。
如图18所示，把传感器160固定在可佩戴式终端上，以使得在将可佩 戴式终端没有倾斜时的垂直方向和水平方向设为y轴和x轴时，能够检测y 方向和x方向的加速度。把重力加速度设为g，将x方向和y方向的成分分 别表述为g_x＝g sinθ、g_y＝g cosθ，所以倾斜角为θ＝tan-1(g_x/g_y)。
另外，传感器160也可以设置多个传感器，并获取它们的平均值等来 提高测定精度。
传感器160也可以不输出倾斜角本身，而输出相对某个基准值的差分 值，还可以输出相对刚刚之前的测定值的差分值。
以上示出了使用加速度传感器来检测重力从而检测摄影时的倾斜角的 示例，但也可以使用角速度传感器检测本设备旋转的角速度并进行时间积 分，由此计算倾斜角。
另外，在作为本发明一例的图像处理装置100未被内置于可佩戴式终 端中的情况下，也可以在存储器中记录在摄影时由传感器160测定到的倾 斜角，以后读出该倾斜角并用于图像修正。
<图像修正部150>
图像修正部150根据由倾斜推测部140推测到的倾斜角或由传感器160 测定到的倾斜角，进行使图像旋转的修正。在倾斜推测部140进行了图像 的倾斜角的推测的情况下，图像修正部150使用所推测的倾斜角来进行图 像的修正，在图像中没有包含倾斜推测部140进行图像的倾斜角的推测所 需的足够信息的情况下，使用传感器160检测到的倾斜角来进行图像的修 正。其中，所说图像的修正，如图2所示，是通过对所推测或检测到的图 像的倾斜角，使图像逆向旋转相同角度来进行的。
图19是表示作为本发明一例的图像处理装置100的动作的流程图。
图像处理装置100首先在图像输入部110中读取图像(步骤S3001)， 把所输入的图像的总像素数设为N，将亮度为阈值以上的像素数初始化为 M。
如果比值M/N不大于阈值α(步骤S3003：否)，则转入步骤S3009。 如果比值M/N大于阈值α(步骤S3003：是)，则转入步骤S3004，在图像 划分部120中划分图像(步骤S3004)。此时，把图像的划分数量设为n。 然后，根据在方向性判定部125中判定的区域的纹理的方向性，区域选择 部130选择线段的方向一致的区域(步骤S3005)。此时，把区域的选择数 量设为m。
如果比值m/n不大于阈值β(步骤S3006：否)，则转入步骤S3009。如 果比值m/n大于阈值β(步骤S3006：是)，则转入步骤S3007，在倾斜推测 部140中进行图像的倾斜角的推测(步骤S3007)。
图像修正部150使图像旋转由倾斜推测部140推测到的倾斜角，由此 进行图像的修正(步骤S3008)。但是，在步骤S3003或步骤S3006，在判 定为不适合于根据图像来推测倾斜角的情况下，利用传感器检测倾斜角(步 骤S3009)，并使用该值进行图像的修正。
以上是作为本发明一例的图像处理装置100的动作。
另外，传感器160并不是必须的，在不具有传感器160的情况下，也 可以对不具有用于推测倾斜角的足够信息的图像不进行任何处理。这样， 防止根据错误推测的倾斜角进行修正而导致图像恶化。
另外，在具有传感器160、但基于传感器160对倾斜角的推测比较困难 的情况下，也可以不进行利用传感器160的倾斜角的推测，对不具有用于 推测倾斜角的足够信息的图像不进行任何处理。其中，所说基于传感器160 对倾斜角的推测比较困难的情况，指预定时间内的传感器160的输出值的 变化量为预定的阈值以上的情况。这样，防止根据错误推测的倾斜角进行 修正而导致图像恶化。
或者，在已知像可佩戴式终端那样连续拍摄图像的情况下，对于不具 有用于推测倾斜角的足够信息的图像，也可以根据在过去拍摄的图像中所 推测到的倾斜角来推测该图像的倾斜角。即，预先存储所推测到的图像的 倾斜角中最近的几个倾斜角的历史来加以存储，并对其推移变化进行外推 (extrapolate)，由此推测该图像的倾斜角。并且，也可以预先存储所推测到 的图像的倾斜角中刚刚之前的一个倾斜角，并把该倾斜角原样用作该图像 的倾斜角。该处理基于摄像装置的摇动比较小、被连续拍摄的图像的倾斜 角连续变化这种假设。
产业上的可利用性
通过将作为本发明一例的图像处理装置装配到可佩戴式终端等中，能 够修正所拍摄的图像的倾斜，并记录和显示正确朝向的图像。由于从图像 中只选择适合于倾斜推测的区域来进行倾斜角的推测，所以对不是在直立 状态下拍摄到的图像，也能够以较高的概率推测正确的倾斜角。