像素插值电路及像素插值方法转让专利
申请号 : CN200480033136.7
文献号 : CN100590651C
文献日 : 2010-02-17
发明人 : 山中聪 , 奥野好章 , 染谷润
申请人 : 三菱电机株式会社
摘要 :
求出缺失像素的插值数据，以使构成包含缺失像素的像素组的多个像素的值的平均值和构成不包含缺失像素的像素组的多个像素的值的平均值相等。例如，求出构成包含缺失像素(L)的像素组(LC)的k个像素中、缺失像素以外的像素的值的合计(SL)(1)；求出构成不包含缺失像素的像素组(NA)的k个像素的值的合计(SA)(2)；通过求出它们的差(3)而求出缺失像素的插值数据。由此，可以减小对缺失了一部分像素的周期性高的图像进行插值的情况下的插值误差。
权利要求 :
1.一种像素插值电路，其对图像的缺失像素进行插值，其特征在于， 该像素插值电路具有：缺失部加法电路，其针对由包含所述缺失像素在内的多个像素构成 的缺失部像素中的除所述缺失像素以外的像素的像素数据，求出其相加 值；
非缺失部加法电路，其针对由与所述缺失部像素相同数量的且不包 含所述缺失像素在内的多个像素构成的非缺失部像素的像素数据，求出 其相加值；以及差分电路，其计算由所述缺失部加法电路求出的相加值与由所述非 缺失部加法电路求出的相加值之间的差分值，并将其作为所述缺失像素 的像素数据进行输出，所述缺失部像素和所述非缺失部像素由周期变化的像素构成。
2.根据权利要求1所述的像素插值电路，其特征在于，
所述缺失部像素和所述非缺失部像素由与相应像素的变化周期对应 的像素数的整数倍的像素构成。
3.根据权利要求2所述的像素插值电路，其特征在于，
在所述缺失部像素和所述非缺失部像素具有彼此重复的像素的情况 下，分别从所述缺失部像素和所述非缺失部像素中除去所述重复像素后 的像素数为与所述像素的变化周期对应的像素数的整数倍。
4.根据权利要求3所述的像素插值电路，其特征在于，
所述像素插值电路还具有检测所述像素的变化周期的周期检测电 路，根据由所述周期检测电路检测出的变化周期来决定所述缺失部像素 和所述非缺失部像素的像素数量。
5.一种像素插值方法，其对图像的缺失像素进行插值，其特征在于， 该像素插值方法包括以下步骤：缺失部相加步骤，在该步骤中，针对由包含所述缺失像素在内的多 个像素构成的缺失部像素中的除所述缺失像素以外的像素的像素数据， 求出其相加值；
非缺失部相加步骤，在该步骤中，针对由与所述缺失部像素相同数 量的且不包含所述缺失像素在内的多个像素构成的非缺失部像素的像素 数据，求出其相加值；以及计算在所述缺失部相加步骤中求出的相加值与在所述非缺失部相加 步骤中求出的相加值之间的差分值，并将其作为所述缺失像素的像素数 据进行输出的步骤，所述缺失部像素和所述非缺失部像素由周期变化的像素构成。
6.根据权利要求5所述的像素插值方法，其特征在于，
所述缺失部像素和所述非缺失部像素由与相应像素的变化周期对应 的像素数的整数倍的像素构成。
7.根据权利要求6所述的像素插值方法，其特征在于，
在所述缺失部像素和所述非缺失部像素具有彼此重复的像素的情况 下，分别从所述缺失部像素和所述非缺失部像素中除去所述重复像素后 的像素数为与所述像素的变化周期对应的像素数的整数倍。
8.根据权利要求7所述的像素插值方法，其特征在于，
所述像素插值方法还包括检测所述像素的变化周期的步骤，
根据检测出的所述变化周期来决定所述缺失部像素和所述非缺失部 像素的像素数量。
说明书 :
技术领域
本发明涉及对数字图像中的缺失像素进行插值的插值运算电路、像 素插值电路、插值运算方法以及像素插值方法。
背景技术
在现有的像素插值电路中，使用以下方法计算缺失像素的插值数据： 以与缺失像素邻接的像素的值的平均值作为插值数据的方法；用最小二 乘法求出与缺失像素邻接的像素的回归直线，根据该回归直线计算插值 数据的方法；以及根据与缺失像素邻接的4个像素求出4次式的曲线， 根据该4次式计算插值数据的方法等(例如，参照专利文献1)。
专利文献1：日本特开2003-101724公报(段落0040至0066，图3 至图5)
专利文献1：日本特开2003-101724公报(段落0040至0066，图3 至图5)
发明内容
在现有的插值运算电路中进行线性插值或使用高次函数进行插值， 所以对缺失了一部分像素的周期性高的图像进行插值时，误差增大。
本发明就是为了解决如上所述的问题而完成，其目的在于得到可以 适当地对周期性高的图像中所包含的缺失像素进行插值的插值运算电 路、像素插值电路、插值运算方法以及图像插值方法。
本发明提供平均维持插值运算电路，其特征在于，求出缺失像素的 插值数据，使得构成包含缺失像素的像素组的多个像素的值的平均值和 构成不包含缺失像素的像素组的多个像素的值的平均值相等。
在基于本发明的插值运算电路中，求出缺失像素的插值数据，使得 包含缺失像素的像素列的平均值和不包含缺失像素的像素列的平均值相 等，所以可以适当地对包含缺失像素的像素列和不包含缺失像素的像素 列的像素的值的平均值相等的数据、例如具有周期性的数据等进行插值。
本发明就是为了解决如上所述的问题而完成，其目的在于得到可以 适当地对周期性高的图像中所包含的缺失像素进行插值的插值运算电 路、像素插值电路、插值运算方法以及图像插值方法。
本发明提供平均维持插值运算电路，其特征在于，求出缺失像素的 插值数据，使得构成包含缺失像素的像素组的多个像素的值的平均值和 构成不包含缺失像素的像素组的多个像素的值的平均值相等。
在基于本发明的插值运算电路中，求出缺失像素的插值数据，使得 包含缺失像素的像素列的平均值和不包含缺失像素的像素列的平均值相 等，所以可以适当地对包含缺失像素的像素列和不包含缺失像素的像素 列的像素的值的平均值相等的数据、例如具有周期性的数据等进行插值。
附图说明
图1是表示实施方式1的插值运算电路的结构的方框图。
图2是表示由实施方式1的插值运算电路处理的像素列的图。
图3是表示由实施方式1的插值运算电路处理的像素数据的一例的 波形图。
图4是表示由实施方式1的插值运算电路处理的像素数据的一例的 波形图。
图5是表示由实施方式1的插值运算电路处理的像素数据的一例的 波形图。
图6是表示具有周期检测电路的像素插值电路的结构例的方框图。
图7是表示由实施方式2的插值运算电路处理的像素列的图。
图8是表示由实施方式2的插值运算电路处理的像素数据的一例的 波形图。
图9是表示由实施方式2的插值运算电路处理的像素数据的一例的 波形图。
图10是表示实施方式3的插值运算电路的结构的方框图。
图11是表示由实施方式3的插值运算电路处理的像素列的图。
图12是表示由实施方式3的插值运算电路处理的、被分割为多个行 的像素的组的图。
图13是表示由本发明的插值运算电路处理的、位于多个行的像素列 的图。
图14是表示由实施方式3的插值运算电路处理的像素数据的一例的 波形图。
图15是表示具有多个缺失部加法电路的缺失部合计计算电路的结 构例的方框图。
图16是表示平均维持插值运算电路的结构例的方框图。
图17是表示实施方式4的像素插值电路的结构的方框图。
图18是表示实施方式4的像素插值电路的、像素周期和插值误差之 间的关系的图。
图19(a)至(e)是表示实施方式4的像素插值电路的、对于各个 参数k的、像素周期和插值误差之间的关系的图。
图20(a)至(c)是表示实施方式4的像素插值电路的、对于各个 参数k的、像素周期和插值误差之间的关系的图。
图21是表示实施方式5的像素插值电路的结构的方框图。
图22(a)至(d)是表示实施方式5的像素插值电路的左右平均插 值电路的动作的波形图。
图23是表示实施方式5的像素插值电路的左右平均插值电路的像素 周期和插值误差之间的关系的图。
图24(a)至(c)是表示实施方式5的像素插值电路的各插值运算 电路的像素周期和插值误差之间的关系的图。
图25是表示实施方式5的像素插值运算电路的、参数k和插值误差 之间的关系的图。
图26(a)至(c)是表示实施方式5的像素插值运算电路的、参数 k和插值误差之间的关系的图。
图27(a)至(c)是表示由实施方式5的像素插值电路处理的像素 列的图。
图28(a)至(c)是表示在实施方式5中、像素插值电路的多个平 均维持插值运算电路分别带来良好的结果的范围的图。
图29是表示实施方式6的像素插值电路的结构的方框图。
图30(a)至(b)是表示在实施方式6中处理的像素列以及像素的 组的图。
图31是表示由实施方式6的像素插值电路对于多个测试像素进行插 值时的各插值运算电路的评价结果的图。
图32是表示实施方式6的像素插值电路的各插值运算电路的综合评 价结果的图。
图33是表示实施方式6的像素插值电路的具体例的方框图。
图34(a)是表示由实施方式6的像素插值电路处理的像素数据的一 例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图35(a)至(c)是表示由实施方式6的像素插值电路处理的像素 列的图。
图36(a)至(e)是表示由实施方式6的像素插值电路处理的一系 列的像素中的缺失像素以及位于其附近的测试像素的图。
图37(a)至(e)是表示由实施方式6的像素插值电路处理的一系 列的像素中的缺失像素以及位于其附近的测试像素的图。
图38(a)至(e)是表示由实施方式6的像素插值电路处理的一系 列的像素中的缺失像素以及位于其附近的测试像素的图。
图39是表示由实施方式6的像素插值电路对多个测试像素进行了插 值时的各插值运算电路的评价结果的图。
图40是表示实施方式6的像素插值电路的各插值运算电路的综合评 价结果的图。
图41(a)是表示由实施方式6的像素插值电路处理的像素数据的一 例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图42是表示由实施方式6的像素插值电路对多个测试像素进行了插 值时的各插值运算电路的评价结果的图。
图43是表示实施方式6的像素插值电路的各插值运算电路的综合评 价结果的图。
图44(a)是表示由实施方式6的像素插值电路处理的像素数据的一 例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图45是表示由实施方式6的像素插值电路对多个测试像素进行了插 值时的各插值运算电路的评价结果的图。
图46是表示实施方式6的像素插值电路的各插值运算电路的综合评 价结果的图。
图47是表示实施方式7的插值运算电路的结构的方框图。
图48是表示由实施方式7的插值运算电路处理的像素列的图。
图49是表示实施方式7的插值运算电路的结构的方框图。
图50是表示由实施方式7的插值运算电路处理的像素数据的一例的 波形图。
图51是表示实施方式8的像素插值方法中的处理步骤的流程图。
图52是表示实施方式9的像素插值方法中的处理步骤的流程图。
符号说明
1缺失部加法电路，1(1)第一缺失部加法电路，1(2)第二缺失 部加法电路，2非缺失部加法电路，2(1)第一非缺失部加法电路，2(2) 第二非缺失部加法电路，3差分电路，4平均电路，5输出电路，6(0) 左右平均插值运算电路，6(1)第一平均维持插值运算电路，6(2)第 二平均维持插值运算电路，6(n-1)第n-1平均维持插值运算电路，6 (n)第n平均维持插值运算电路，6(m-1)第m-1平均维持插值运 算电路，7管理电路，8评分电路，9选择信号生成部，10输出范围生成 电路，11限制电路，12平均维持插值运算电路，13输出限制部，15周 期检测电路，17非缺失部合计计算电路，18平均电路，19缺失部合计计 算电路，20控制电路，21图像数据存储器。
图2是表示由实施方式1的插值运算电路处理的像素列的图。
图3是表示由实施方式1的插值运算电路处理的像素数据的一例的 波形图。
图4是表示由实施方式1的插值运算电路处理的像素数据的一例的 波形图。
图5是表示由实施方式1的插值运算电路处理的像素数据的一例的 波形图。
图6是表示具有周期检测电路的像素插值电路的结构例的方框图。
图7是表示由实施方式2的插值运算电路处理的像素列的图。
图8是表示由实施方式2的插值运算电路处理的像素数据的一例的 波形图。
图9是表示由实施方式2的插值运算电路处理的像素数据的一例的 波形图。
图10是表示实施方式3的插值运算电路的结构的方框图。
图11是表示由实施方式3的插值运算电路处理的像素列的图。
图12是表示由实施方式3的插值运算电路处理的、被分割为多个行 的像素的组的图。
图13是表示由本发明的插值运算电路处理的、位于多个行的像素列 的图。
图14是表示由实施方式3的插值运算电路处理的像素数据的一例的 波形图。
图15是表示具有多个缺失部加法电路的缺失部合计计算电路的结 构例的方框图。
图16是表示平均维持插值运算电路的结构例的方框图。
图17是表示实施方式4的像素插值电路的结构的方框图。
图18是表示实施方式4的像素插值电路的、像素周期和插值误差之 间的关系的图。
图19(a)至(e)是表示实施方式4的像素插值电路的、对于各个 参数k的、像素周期和插值误差之间的关系的图。
图20(a)至(c)是表示实施方式4的像素插值电路的、对于各个 参数k的、像素周期和插值误差之间的关系的图。
图21是表示实施方式5的像素插值电路的结构的方框图。
图22(a)至(d)是表示实施方式5的像素插值电路的左右平均插 值电路的动作的波形图。
图23是表示实施方式5的像素插值电路的左右平均插值电路的像素 周期和插值误差之间的关系的图。
图24(a)至(c)是表示实施方式5的像素插值电路的各插值运算 电路的像素周期和插值误差之间的关系的图。
图25是表示实施方式5的像素插值运算电路的、参数k和插值误差 之间的关系的图。
图26(a)至(c)是表示实施方式5的像素插值运算电路的、参数 k和插值误差之间的关系的图。
图27(a)至(c)是表示由实施方式5的像素插值电路处理的像素 列的图。
图28(a)至(c)是表示在实施方式5中、像素插值电路的多个平 均维持插值运算电路分别带来良好的结果的范围的图。
图29是表示实施方式6的像素插值电路的结构的方框图。
图30(a)至(b)是表示在实施方式6中处理的像素列以及像素的 组的图。
图31是表示由实施方式6的像素插值电路对于多个测试像素进行插 值时的各插值运算电路的评价结果的图。
图32是表示实施方式6的像素插值电路的各插值运算电路的综合评 价结果的图。
图33是表示实施方式6的像素插值电路的具体例的方框图。
图34(a)是表示由实施方式6的像素插值电路处理的像素数据的一 例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图35(a)至(c)是表示由实施方式6的像素插值电路处理的像素 列的图。
图36(a)至(e)是表示由实施方式6的像素插值电路处理的一系 列的像素中的缺失像素以及位于其附近的测试像素的图。
图37(a)至(e)是表示由实施方式6的像素插值电路处理的一系 列的像素中的缺失像素以及位于其附近的测试像素的图。
图38(a)至(e)是表示由实施方式6的像素插值电路处理的一系 列的像素中的缺失像素以及位于其附近的测试像素的图。
图39是表示由实施方式6的像素插值电路对多个测试像素进行了插 值时的各插值运算电路的评价结果的图。
图40是表示实施方式6的像素插值电路的各插值运算电路的综合评 价结果的图。
图41(a)是表示由实施方式6的像素插值电路处理的像素数据的一 例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图42是表示由实施方式6的像素插值电路对多个测试像素进行了插 值时的各插值运算电路的评价结果的图。
图43是表示实施方式6的像素插值电路的各插值运算电路的综合评 价结果的图。
图44(a)是表示由实施方式6的像素插值电路处理的像素数据的一 例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图45是表示由实施方式6的像素插值电路对多个测试像素进行了插 值时的各插值运算电路的评价结果的图。
图46是表示实施方式6的像素插值电路的各插值运算电路的综合评 价结果的图。
图47是表示实施方式7的插值运算电路的结构的方框图。
图48是表示由实施方式7的插值运算电路处理的像素列的图。
图49是表示实施方式7的插值运算电路的结构的方框图。
图50是表示由实施方式7的插值运算电路处理的像素数据的一例的 波形图。
图51是表示实施方式8的像素插值方法中的处理步骤的流程图。
图52是表示实施方式9的像素插值方法中的处理步骤的流程图。
符号说明
1缺失部加法电路，1(1)第一缺失部加法电路，1(2)第二缺失 部加法电路，2非缺失部加法电路，2(1)第一非缺失部加法电路，2(2) 第二非缺失部加法电路，3差分电路，4平均电路，5输出电路，6(0) 左右平均插值运算电路，6(1)第一平均维持插值运算电路，6(2)第 二平均维持插值运算电路，6(n-1)第n-1平均维持插值运算电路，6 (n)第n平均维持插值运算电路，6(m-1)第m-1平均维持插值运 算电路，7管理电路，8评分电路，9选择信号生成部，10输出范围生成 电路，11限制电路，12平均维持插值运算电路，13输出限制部，15周 期检测电路，17非缺失部合计计算电路，18平均电路，19缺失部合计计 算电路，20控制电路，21图像数据存储器。
具体实施方式
以下参照附图说明本发明的实施方式。
在以下的实施方式中作为处理对象的是预先知道缺失像素的位置的 一系列的像素。作为这样的一系列的像素的例子，例如是上述专利文献1 所示的、通过多个芯片直线排列而成的像素元件读取图像信息时得到的， 在该情况下，当隔着邻接芯片间的边界而邻接的摄像元件相互的间隔大 于同一芯片内的摄像元件相互的间隔(1节距)时，例如2节距左右时， 认为存在缺失像素而进行插值处理。
在预先不知道缺失像素的位置的情况下，附加检测缺失像素的位置 的电路即可。
本发明的实施方式中的几个在一系列的像素具有周期性的情况下使 用时发挥效果。
此外，几个实施方式作为预先知道周期的方式，通过根据该周期来 设定参数而发挥最佳的效果。
在预先不知道周期性的情况下，附加检测周期的电路即可。
实施方式1
图1是表示基于本发明的插值运算电路的结构的图。
基于本发明的插值运算电路具有缺失部加法电路1、非缺失部加法 电路2以及差分电路3。如后面所详细说明的那样，缺失部加法电路1求 出一系列的像素中、构成包含缺失像素的像素组的k个像素中、缺失像 素以外的像素的值之和(SL)。非缺失部加法电路2求出构成不包含缺失 像素的像素组的k个像素的值的合计。差分电路3通过从非缺失部加法 电路2的输出(SA)中减去缺失部加法电路1的输出(SL)，求出缺失 像素的插值数据(L)。
图2是表示输入图像DI的一部分的图，表示在基于本发明的插值运 算电路中计算平均值的两个像素列的位置关系。在以下的说明中，假设 预先知道输入图像DI中的缺失像素的位置。○表示实际存在的像素(非 缺失像素)，×表示缺失像素。标号LC以及NA分别表示构成一系列像 素的一部分的、相互连续的、一维排列的k个像素所构成的像素列。像 素列LC和像素列NA不重复。像素列LC包含缺失像素，像素列NA不 包含缺失像素。
使用图1以及图2说明基于本发明的插值运算电路的动作。
本实施方式的插值运算电路对缺失像素L进行插值，使得包含缺失 像素L的像素列LC的平均值和不包含缺失像素L的像素列NA的平均 值相等。将输入图像DI输入给缺失部加法电路1以及非缺失部加法电路 2。k是表示在本发明的插值运算电路中计算平均值的像素个数的参数， 表示构成像素列LC、像素列NA的像素的个数。被输入给缺失部加法电 路1以及非缺失部加法电路2。首先，缺失部加法电路1将像素列LC中 所包含的k个像素(LC[1]、LC[2]～LC[k-1]、L)中、缺失像素L以外 的和作为部分和数据SL输出。部分和数据SL为
SL＝LC[1]+LC[2]+…+LC[k-1]。
将部分和数据SL输入给差分电路3。
非缺失部加法电路2将像素列NC中所包含的k个像素(NA[1]～ NA[k])之和作为部分和数据SA输出。部分和数据SA为
SA＝NA[1]+NA[2]+…+NA[k]。
将部分和数据SA输入给差分电路3。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式为
(SL+L)/k＝SA/k，
缺失像素L为
L＝SA-SL。
基于本实施方式的插值运算电路可以针对具有包含缺失像素L的像 素列LC和不包含缺失像素L的像素列NA的平均值相等的特性的图像数 据，对缺失像素适当地进行插值。
此外，由于基于本实施方式的插值运算电路计算缺失像素的插值数 据，使得包含缺失像素的像素列和不包含缺失像素的像素列的像素的值 的平均值相等，所以在以下本说明书中，将上述的基于本实施方式的插 值运算电路设为平均维持插值运算电路。另外，在以下的说明中，为了 简单，将‘像素列的像素的值的平均值’称为‘像素列的平均值’。同样， ‘像素的值的合计’、‘像素的值之和’的意思也有时表示为‘像素之和’、 ‘像素的合计’。
接着，关于图像数据具有周期性的情况，示出对缺失像素进行插值 的例子。
图3是表示具有周期性的图像数据的一例的图。横轴X表示像素位 置，纵轴D表示浓度值。
说明具有周期性的图像数据。
图3的图像数据是针对每个采样周期Ps对按照一定周期Pd重复一 定的变化的数据Dorg进行了离散化的数据。在图3中，Pd＝5Ps，所以 将Pp＝Pd/Ps＝5作为图像数据的像素周期。像素周期Pp表示每1周期 的采样次数。即，像素周期是以像素个数表示的像素变化的周期。此外， 在图3中，假设针对每个数据周期Pd，数据的值重复100、143、126、 74、57。
首先，示出对于像素周期Pp＝5的图像数据，由k＝5的平均维持插 值运算电路(图1)对缺失像素进行插值的例子。
图4是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在k＝5的平均维持插值运算电路中，计算平均值的像素列LC 以及NA之间的位置关系(图2)的对应。
由于k＝5的平均维持插值运算电路的结构是将图1的k设为5的情 况，所以省略说明。
使用图1以及图4说明k＝5的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的5个像素(LC[1]～LC[4]、 L)中、缺失像素L以外的和作为部分和数据SL输出。由于LC[1]＝143、 LC[2]＝74、LC[3]＝57、LC[4]＝100，所以部分和数据SL成为
SL＝LC[1]+LC[2]+LC[3]+LC[4]
＝143+74+57+100
＝374。
非缺失部加法电路2将像素列NA中所包含的5个像素 (NA[1]～NA[5])之和作为部分和数据SA输出。由于NA[1]＝57、 NA[2]＝100、NA[3]＝143、NA[4]＝126、NA[5]＝74，所以部分和数据SA 成为
SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]
＝57+100+143+126+74
＝500。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/5＝SA/5，
缺失像素L成为
L＝SA-SL
＝500-374
＝126。
如图3所示，缺失像素L的原始数据是126，k＝5的平均维持插值 运算电路的插值数据相对于原始数据的误差＝0。k＝5的平均维持插值运 算电路可以对于5像素周期的图像数据，适当地对缺失像素进行插值。
接着，示出针对像素周期Pp＝5的图像数据，由k＝3的平均维持插 值运算电路对缺失像素进行插值的例子。
图5是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在k＝3的平均维持插值运算电路中，计算平均值的像素列LC 以及NA之间的位置关系(图2)的对应。
由于k＝3的平均维持插值运算电路的结构是将图1的k设为3的情 况，所以省略说明。
使用图1以及图5说明k＝3的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的3个像素(LC[1]、LC[2]、 L)中、缺失像素L以外的和作为部分和数据SL输出。由于LC[1]＝143、 LC[2]＝74，所以部分和数据SL成为
SL＝LC[1]+LC[2]
＝143+74
＝217。
非缺失部加法电路2将像素列NA中所包含的3个像素 (NA[1]～NA[3])之和作为部分和数据SA输出。由于NA[1]＝100、 NA[2]＝143、NA[3]＝126，所以部分和数据SA成为
SA＝NA[1]+NA[2]+NA[3]
＝100+143+126
＝369。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/3＝SA/3，
缺失像素L成为
L＝SA-SL
＝369-217
＝152。
如图3所示，缺失像素L的原始数据是126，k＝3的平均维持插值 运算电路的插值数据相对于原始数据具有|152-126|＝26的误差。
由于图5的图像数据针对每个像素周期Pp＝5重复数据100、143、 126、74、57，所以图像数据内的连续的任意的5像素的值的平均值由 (100+143+126+74+57)/5＝100，
而恒定。而且对于像素周期Pp的整数倍、即N*Pp像素的平均值也同样 为
N*(100+143+126+74+57)/N*5＝100，
为恒定(N是正整数)。
在图4的k＝5的平均维持插值运算电路的例子中，参数k与像素周 期Pp相等，因此包含缺失像素的像素列LC的平均值和不包含缺失像素 的像素列NA的平均值均为100，可以通过差分电路3的方程式适当地求 出缺失像素的插值数据。
在图5的k＝3的平均维持插值运算电路的例子中，参数k是像素周 期Pp的整数倍，因此缺失像素的插值数据具有误差。
如上所述，在参数k与像素周期Pp或其整数倍大致相等的情况下插 值数据的误差减小，所以例如图6所示，平均维持插值运算电路也可以 附加接收图像数据DI而检测像素周期Pp的周期检测电路15，基于检测 出的像素周期Pp来确定参数k。
另外，在上述的说明中，假设了预先知道缺失像素的位置，但在不 知道缺失像素的位置的情况下，也可以附加检测缺失像素的位置的电路。 作为这样的电路，例如可使得用公知的纠错电路。
这样，在平均维持插值运算电路的参数k与像素周期Pp相等的情况 下，可以适当地对缺失像素进行插值。此外，平均维持插值运算电路的 参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下也同样，包含缺失 像素的像素列和不包含缺失像素的像素列的平均值为相等，可以通过差 分电路3的方程式来适当地求出缺失像素的插值数据。
此外，如上述的实施方式这样，包含缺失像素L的像素列LC和不 包含缺失像素L的像素列NA均分别由k个像素构成，由缺失部加法电 路1求出包含缺失像素L的像素列LC中、缺失像素L以外的像素的值 的合计，由非缺失部加法电路2求出构成不包含缺失像素L的像素列NA 的像素的值的合计时，通过求出这些合计之差，可以求出缺失像素的插 值数据，使得两个像素列的像素的值的平均值相互相等。即，即使不进 行对于各像素列求出平均值的计算，也可以确定像素的插值数据，使得 平均值相互相等。
实施方式2
图7是与图2同样地表示输入图像DI的一部分的图，表示在平均维 持插值运算电路中计算平均值的两个像素列之间的位置关系。标号LC以 及NA分别表示构成一系列的像素的一部分的、相互连续的、一维排列 的k个像素所构成的像素列。像素列LC和像素列NA重复i像素。像素 列LC包含缺失像素，像素列NA不包含缺失像素。此外，标号NA’表示 像素列NA中、不与像素列LC重复的区域或部分，标号LC’表示像素列 LC中、不与像素列NA重复的部分，标号AD表示像素列NA与像素列 LC中、互相重复的部分。
如图所示，像素列被构成为缺失像素L不包含于重复部分AD内。
由于包含缺失像素的像素列和不包含缺失像素的像素列重复的情况 下的平均维持插值运算电路的结构、动作与图1以及图2的结构、动作 相同，所以省略说明。
包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的 平均维持插值运算电路，与实施方式1中示出的包含缺失像素的像素列 和不包含缺失像素的像素列不重复的情况下的平均维持插值运算电路同 样，平均维持插值运算电路的参数k为像素周期Pp的整数倍(k＝N*Pp) 的情况下，包含缺失像素的像素列LC的平均值和不包含缺失像素的像素 列NA的平均值为相等，可以适当地对缺失像素进行插值。
除此以外，如以下详细叙述的那样，在从平均维持插值运算电路的 参数k中减去重复部分的像素个数i后的值为像素周期Pp的整数倍((k -i)＝N*Pp)的情况下，包含缺失像素的像素列LC的平均值和不包含 缺失像素的像素列NA的平均值也为相等，可以适当地对缺失像素进行 插值。
如图7所示，像素列LC的部分和数据SL通过像素列LC’的部分和 数据SL’以及像素列AD的部分和数据SAD，成为
SL＝SL’+SAD。
此外，像素列NA的部分和数据SA通过像素列NA’的部分和数据SA’以 及像素列AD的部分和数据SAD，成为
SA＝SA’+SAD。
建立方程式，使得像素列LC和NA相等时，成为
(SL+L)/k＝SA/k，
将部分和数据SL以及SA分别代入时，成为
(SL’+SAD+L)/k＝(SA’+SAD)/k。
由于包含缺失像素的像素列和不包含缺失像素的像素列重复，所以 像素列NA的部分和数据SAD被抵消，方程式成为
(SL’+L)/k＝SA’/k。
对两边乘以k/(k-i)时，成为
(SL’+L)/(k-i)＝SA’/(k-i)，
方程式表示像素列NA的不重复的部分的像素列NA’和像素列LC的不重 复的部分的像素列LC’中所分别包含的(k-i)个像素的平均值相等。
从而，包含缺失像素的像素列和不包含缺失像素的像素列重复的情 况下的平均维持插值运算电路，对于具有像素列NA’和LC’的平均值为相 等的特性的图像数据也可以适当地进行插值。
首先，示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像 素列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算 电路来对缺失像素进行插值的例子。
图8是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在包含缺失像素的像素列和不包含缺失像素的像素列重复4像 素的k＝9的平均维持插值运算电路中计算平均值的像素列LC以及NA 之间的位置关系(图7)的对应。
k＝9的平均维持插值运算电路的结构与将图1的k设为9的情况同 样，所以省略说明。
使用图1以及图8说明包含缺失像素的像素列和不包含缺失像素的 像素列重复4像素的k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～ AD[4]、L、LC[1]～LC[4])中、缺失像素L以外的和作为部分和数据SL 输出。由于AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143、LC[1]＝74、 LC[2]＝57、LC[3]＝100、LC[4]＝143，所以部分和数据SL成为
SL＝AD[1]+AD[2]+AD[3]+AD[4]+LC[1]+LC[2]+LC[3]+LC[4]
＝74+57+100+143+74+57+100+143
＝748。
非缺失部加法电路2将像素列NA中所包含的9个像素 (NA[1]～NA[5]、AD[1]～AD[4])之和作为部分和数据SA输出。由于 NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、NA[5]＝126、AD[1]＝74、 AD[2]＝57、AD[3]＝100、AD[4]＝143，所以部分和数据SA成为 SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4]
＝74+57+100+143+126+74+57+100+143
＝874。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/9＝SA/9，
缺失像素L成为
L＝SA-SL
＝874-748
＝126。
如图3所示，缺失像素L的原始数据为126，包含缺失像素的像素 列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电 路的插值数据相对于原始数据的误差＝0。包含缺失像素的像素列和不包 含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电路对于5 像素周期的像素数据，可以适当地对缺失像素进行插值。
接着，示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像 素列和不包含缺失像素的像素列重复5像素的k＝9的平均维持插值运算 电路对缺失像素进行插值的例子。
图9是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在包含缺失像素的像素列和不包含缺失像素的像素列重复5像 素的k＝9的平均维持插值运算电路中，计算平均值的像素列LC以及NA 之间的位置关系(图7)的对应。
k＝9的平均维持插值运算电路的结构与将图1的k设为9的情况同 样，所以省略说明。
使用图1以及图9说明k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～ AD[5]、L、LC[1]～LC[3])中、缺失像素L以外的和作为部分和数据SL 输出。由于AD[1]＝126、AD[2]＝74、AD[3]＝57、AD[4]＝100、AD[5]＝143、 LC[1]＝74、LC[2]＝57、LC[3]＝100，所以部分和数据SL成为
SL＝AD[1]+AD[2]+AD[3]+AD[4]+AD[5]+LC[1]+LC[2]+LC[3]
＝126+74+57+100+143+74+57+100
＝731。
非缺失部加法电路2将像素列NA中所包含的9个像素 (NA[1]～NA[4]、AD[1]～AD[5])之和作为部分和数据SA输出。由于 NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、AD[1]＝126、AD[2]＝74、 AD[3]＝57、AD[4]＝100、AD[5]＝143，所以部分和数据SA成为
SA＝NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3]
+AD[4]+AD[5]
＝74+57+100+143+126+74+57+100+143
＝874。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/9＝SA/9，
缺失像素L成为
L＝SA-SL
＝874-731
＝143。
如图3所示，缺失像素L的原始数据是126，包含缺失像素的像素 列和不包含缺失像素的像素列重复5像素的k＝9的平均维持插值运算电 路的插值数据相对于原始数据具有|143-126|＝17的误差。
包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的 平均维持插值运算电路，与实施方式1中示出的包含缺失像素的像素列 和不包含缺失像素的像素列不重复的情况下的平均维持插值运算电路同 样，在参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下，可以适当 地对缺失像素进行插值。
进而，在图8的包含缺失像素的像素列和不包含缺失像素的像素列 重复4像素的k＝9的平均维持插值运算电路的例子中，像素列LC和NA 不重复的部分的像素个数与像素周期Pp相等，因此像素列LC和NA不 重复的部分LC’以及NA’的平均值均为100，可以通过差分电路3适当地 求出缺失像素的插值数据。
在图9的包含缺失像素的像素列和不包含缺失像素的像素列重复5 像素的k＝9的平均维持插值运算电路的例子中，包含缺失像素的像素列 和不包含缺失像素的像素列不重复的部分的像素个数不是像素周期Pp的 整数倍，因此缺失像素的插值数据具有误差。
这样，在包含缺失像素的像素列和不包含缺失像素的像素列不重复 的部分的像素个数与像素周期Pp相等的情况下，可以适当地对缺失像素 进行插值。此外，在包含缺失像素的像素列和不包含缺失像素的像素列 不重复的部分的像素个数为像素周期Pp的整数倍(k-i＝N*Pp)的情况 下，也同样，包含缺失像素的像素列和不包含缺失像素的像素列不重复 的部分的平均值为相等，可以适当地对缺失像素进行插值。
如上所述，在不重复的部分的像素个数(k-i)与像素周期Pp或其 整数倍大致相等的情况下，插值数据的误差减小，所以例如与图6所示 的同样，平均维持插值运算电路也可以附加接收图像数据DI而检测像素 周期Pp的周期检测电路15，基于检测出的像素周期Pp来确定参数k以 及i。
实施方式3
图10是表示进行缺失像素的插值，使得包含缺失像素的像素列的平 均值和不包含缺失像素的两个像素列的平均值相等的、平均维持插值运 算电路的结构。
使包含缺失像素的像素列的平均值和不包含缺失像素的两个像素列 的平均值相等的情况下的平均维持插值运算电路具有：缺失部加法电路 1、第一非缺失部加法电路2(1)、第二非缺失部加法电路2(2)、差分 电路3以及平均电路4。
图11与图2同样表示输入图像DI的一部分，表示在平均维持插值 运算电路中计算平均值的三个像素列之间的位置关系。像素列LC、NA 以及NB分别是一维地排列了k个像素的像素列，像素列LC和像素列 NA以及像素列LC和像素列NB分别重复i像素。像素列LC包含缺失 像素，像素列NA以及NB不包含缺失像素。此外，标号NA’表示在NA 中不与LC重复的部分，标号NB’表示在像素列NB中不与像素列LC重 复的部分，标号LCA’表示在像素列LC中不与像素列NA重复的部分， 标号LCB’表示在像素列LC中不与像素列NB重复的部分。此外，标号 AD表示像素列NA和像素列LC重复的部分，标号BD表示像素列NB 和像素列LC重复的部分。
此外，如图12所示，也可以二维地设定包含缺失像素的像素列LC、 不包含缺失像素的像素列NA以及NB。
即，也可以如图12所示，一系列的像素被分割为多个行而矩阵状地 进行排列，分别构成多个行的一部分，由在各行内相互连续的像素所构 成的多个像素列构成像素组。在该情况下，代替上述像素列，而在像素 组相互间，使平均值变为相互相等。图2或图11所示的情况可以认为是 构成像素组的像素列为1的例子。
此外，例如如图13所示，也可以设定多个不包含缺失像素的像素列。 此外，不包含缺失像素的像素列也可以相对于包含缺失像素的像素列错 开而设定。即，也可以使多个非缺失像素列(NA、NB、NC)由互不相 同的行的像素构成。
在图13所示的例子中，示出了三个不包含缺失像素的像素列，在该 情况下，在图10的结构中，设置三个非缺失部加法电路(与图10的非 缺失部加法电路2(1)、2(2)相似的电路)，求出它们的输出的平均即 可。
使用图10以及图11说明包含缺失像素的像素列的平均值和不包含 缺失像素的两个像素列的平均值相等的情况下的平均维持插值运算电路 的动作。
使包含缺失像素的像素列和不包含缺失像素的两个像素列的平均值 相等的情况下的平均维持插值运算电路对缺失像素L进行插值，使得包 含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA 以及NB的平均值相等。将输入图像DI输入给缺失部加法电路1、第一 非缺失部加法电路2(1)以及第二非缺失部加法电路2(2)。k与图1同 样，是表示在平均维持插值运算电路中计算平均值的像素个数的参数， 被输入给缺失部加法电路1、第一非缺失部加法电路2(1)以及第二非 缺失部加法电路2(2)。首先，缺失部加法电路1将像素列LC中所包含 的k个像素(AD[1]～AD[i]、LC[1]～LC[k-2i-1]、BD[1]～BD[i])中、缺 失像素L以外的和作为部分和数据SL输出。部分和数据SL为
SL＝AD[1]+…+AD[i]+LC[1]+…LC[k-2i-1]+BD[1]+…+BD[i]。
将部分和数据SL输入给差分电路3。
第一非缺失部加法电路2(1)将像素列NA中所包含的k个像素 (NA[1]～NA[k-i]、AD[1]～AD[i])之和作为部分和数据SA输出。部分 和数据SA为
SA＝NA[1]+…+NA[k-i]+AD[1]+…AD[i]。
将部分和数据SA输入给平均电路4。
第二非缺失部加法电路2(2)将像素列NB中所包含的k个像素 (BD[1]～BD[i]、NB[1]～NB[k-i])之和作为部分和数据SB输出。部分 和数据SB为
SB＝BD[1]+…+BD[i]+NB[1]+…NB[k-i]。
将部分和数据SB输入给平均电路4。
平均电路4将不包含缺失像素的两个像素列的部分和数据SA以及 SB的平均值作为平均数据AN输出。平均数据AN为
AN＝(SA+SB)/2。
差分电路3基于部分和数据SL以及平均数据AN建立方程式，使得 像素列LC、NA以及NB的平均值相等，求出缺失像素L的插值数据。
方程式为
(SL+L)/k＝(SA/k+SB/k)/2，
即，为
(SL+L)/k＝AN/k，
缺失像素L为
L＝AN-SL。
使包含缺失像素的像素列和不包含缺失像素的两个像素列的平均值 相等的情况下的平均维持插值运算电路对于具有包含缺失像素的像素列 LC和不包含缺失像素的两个像素列NA以及NB的平均值相等的特性的 图像数据，可以适当地进行插值。进而，与实施方式2所示的包含缺失 像素的像素列和不包含缺失像素的像素列重复的情况下的平均维持插值 运算电路同样，对于包含缺失像素的像素列和不包含缺失像素的像素列 不重复的部分NA’和LCA’的平均值以及NB’和LCB’的平均值相等的图 像数据，也可以适当地进行插值。此外，通过求出不包含缺失像素的两 个像素列的平均值，可以减少噪声等所引起的插值误差，提高插值精度。
示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像素列和 不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插值运 算电路对缺失像素进行插值的例子。
图14是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在使包含缺失像素的像素列和不包含缺失像素的两个像素列的 平均值相等的情况下的k＝9的平均维持插值运算电路中计算平均值的像 素列LC、NA以及NB之间的位置关系(图11)的对应。LC和NA以及 LC和NB分别重复4像素。
包含缺失像素的像素列和不包含缺失像素的两个像素列分别重复4 像素的k＝9的平均维持插值运算电路的结构是将图10的k设为9的情 况，所以省略说明。
使用图10以及图14说明包含缺失像素的像素列和不包含缺失像素 的两个像素列分别重复4像素的k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～ AD[4]、L、BD[1]～BD[4])中、缺失像素L以外的和作为部分和数据SL 输出。由于AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143、BD[1]＝74、 BD[2]＝57、BD[3]＝100、BD[4]＝143，所以部分和数据SL成为
SL＝AD[1]+AD[2]+AD[3]+AD[4]+BD[1]+BD[2]+BD[3]+BD[4]
＝74+57+100+143+74+57+100+143
＝748。
第一非缺失部加法电路2(1)将像素列NA中所包含的9个像素 (NA[1]～NA[5]、AD[1]～AD[4])之和作为部分和数据SA输出。由于 NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、NA[5]＝126、AD[1]＝74、 AD[2]＝57、AD[3]＝100、AD[4]＝143，所以部分和数据SA成为 SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4]
＝74+57+100+143+126+74+57+100+143
＝874。
第二非缺失部加法电路2(2)将像素列NB中所包含的9个像素 (BD[1]～BD[4]、NB[1]～NB[5])之和作为部分和数据SB输出。由于 BD[1]＝74、BD[2]＝57、BD[3]＝100、BD[4]＝143、NB[1]＝126、NB[2]＝74、 NB[3]＝57、NB[4]＝100、NB[5]＝143，所以部分和数据SB成为
SB＝BD[1]+BD[2]+BD[3]+BD[4]+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]
＝74+57+100+143+126+74+57+100+143
＝874。
平均电路4将部分和数据SA以及SB的平均值作为平均数据AN输 出。平均数据AN为
AN＝(SA+SB)/2
＝(874+874)/2
＝874。
差分电路3基于部分和数据SL以及平均数据AN建立方程式，使得 像素列LC、NA以及NB的平均值相等，求出缺失像素L的插值数据。
方程式成为
(SL+L)/9＝(SA/9+SB/9)/2，
即，
(SL+L)/9＝AN/9，
缺失像素L成为
L＝AN-SL
＝874-748
＝126。
如图3所示，缺失像素L的原始数据为126，包含缺失像素的像素 列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插 值运算电路的插值数据相对于原始数据的误差＝0。包含缺失像素的像素 列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插 值运算电路对于像素周期Pp＝5的像素数据，可以适当地对缺失像素进 行插值。
这样，与实施方式2同样，可针对包含缺失像素的像素列和不包含 缺失像素的两个像素列不重复的部分的像素个数为像素周期Pp的整数倍 (k-i＝N*Pp)的图像数据，适当地对缺失像素进行插值。
进而，与实施方式1同样，包含缺失像素的像素列和不包含缺失像 素的两个像素列重复的情况下的平均维持插值运算电路在参数k为像素 周期Pp的整数倍(k＝N*Pp)的情况下，也可以适当地对缺失像素进行 插值。
此外，通过计算两个不包含缺失像素的部分的平均值，在不包含缺 失像素的像素列NA以及NB中的任何一方含有噪声时，也由于通过平均 电路4对噪声成分进行平均化，所以可以减少噪声等所引起的插值误差， 提高插值精度。
另外，在图10的结构中，通过第一以及第二非缺失部加法电路2(1) 以及2(2)还有平均电路4构成了非缺失部合计计算电路17，该非缺失 部合计计算电路17求出构成不包含缺失像素的像素列的k个像素的值的 合计。
在图1的结构中，可以认为仅由非缺失部加法电路2构成了这样的 非缺失部合计计算电路17。
此外，也可以在图10的结构中，代替缺失部加法电路1，而如图15 所示，设有多个缺失部加法电路1(1)、1(2)以及对它们的输出进行平 均的平均电路18，由此构成缺失部合计计算电路19，该缺失部合计计算 电路19求出构成包含缺失像素的像素列的k个像素中、缺失像素以外的 像素的值的合计SL。
在图1或图10的结构中，可以认为仅由缺失部加法电路1构成了这 样的缺失部合计计算电路19。
从而，对图1、图10的结构进行一般化绘制时如图16所示。
实施方式4
图17是表示基于实施方式4的像素插值电路的结构的图。该像素插 值电路具有：多个平均维持插值运算电路6(1)至6(n-1)、即第一平 均维持插值运算电路6(1)、第二平均维持插值运算电路6(2)、…、第 n-1平均维持插值运算电路6(n-1)。这些平均维持插值运算电路6(1) 至6(n-1)将参数k或从参数k中减去了i的(k-i)设定为互不相同 的值。例如，对第一平均维持插值运算电路6(1)输入参数k＝2，同样 对第二平均维持插值运算电路6(2)、…、第n-1平均维持插值运算电 路6(n-1)分别输入并设定k＝3、…、kn。
输出电路5例如基于选择信号C，选择由多个平均维持插值运算电 路6(1)至6(n-1)分别输出的插值数据中的一个，输出作为缺失像 素的数据。
图18是表示在实施方式1所示的包含缺失像素的像素列和不包含缺 失像素的像素列不重复的情况下的k＝kj的平均维持插值运算电路中，像 素周期和插值误差之间的关系的曲线图。横轴Pp表示有周期性的图像数 据的像素周期，纵轴E表示插值误差。
说明k＝kj的平均维持插值运算电路中的像素周期和插值误差之间 的关系。
如实施方式1所示，包含缺失像素的像素列和不包含缺失像素的像 素列不重复的情况下的平均维持插值运算电路在参数k为像素周期Pp的 整数倍(k＝N*Pp)的情况下，可以适当地对缺失像素进行插值。
从而，如图18所示，包含缺失像素的像素列和不包含缺失像素的像 素列不重复的情况下的k＝kj的平均维持插值运算电路在对像素周期Pp 为Pp＝kj/Na1、kj/Na2、…、kj(Na1＞Na2＞…＞0、Na1、Na2、…是kj 的约数)的图像数据进行插值时，插值误差E为0或最小。此外，待插 值的图像数据的像素周期Pp越偏离Pp＝kj/Na1、kj/Na2、…、kj的像素 周期Pp，则插值误差E越大。
图19是表示在包含缺失像素的像素列和不包含缺失像素的像素列 不重复的情况下的k＝2、3、4、kn-1、kn的平均维持插值运算电路中， 像素周期和插值误差之间的关系的曲线图。图19(a)表示k＝2的平均 维持插值运算电路中的像素周期和插值误差之间的关系，图19(b)表示 k＝3的平均维持插值运算电路中的像素周期和插值误差之间的关系，图 19(c)表示k＝4的平均维持插值运算电路中的像素周期和插值误差之 间的关系，图19(d)表示k＝kn-1的平均维持插值运算电路中的像素 周期和插值误差之间的关系，图19(e)表示k＝kn的平均维持插值运算 电路中的像素周期和插值误差之间的关系。
说明k＝2、3、4、kn-1、kn的平均维持插值运算电路中的像素周 期和插值误差之间的关系。
k＝2的平均维持插值运算电路的参数k是素数，所以仅在Pp＝2的 图像数据中，插值误差E为0或最小。关于k＝3的平均维持插值运算电 路也同样，仅在Pp＝3的图像数据中，插值误差E为0或最小。关于k ＝4的平均维持插值运算电路，如图18所示，在作为参数k＝4的约数的 Pp＝2的图像数据和Pp＝4的图像数据中，插值误差E为0或最小，但 为了简单地表现曲线图，在曲线图中仅示出Pp＝4附近的特性。关于k ＝kn-1的平均维持插值运算电路也与k＝4的平均维持插值运算电路同 样，在曲线图中仅示出Pp＝kn-1附近的特性。关于k＝kn的平均维持 插值运算电路也同样，在曲线图中仅示出Pp＝kn附近的特性。
图20是表示在包含缺失像素的像素列和不包含缺失像素的像素列 不重复的k＝2～k＝kn的平均维持插值运算电路中、像素周期和插值误 差之间的关系的曲线图、以及示出各个平均维持插值运算电路产生好结 果的(可以以比较小的误差进行插值)像素周期Pp的范围的图。图20 (a)表示将图19(a)～图19(e)的五个曲线重叠在一个坐标轴上的曲 线图。图20(b)是表示各个平均维持插值运算电路的插值误差为最小的 范围的图。R2表示k＝2的平均维持插值运算电路的插值误差为最小的 范围。R3～Rn表示k＝3～k＝kn的平均维持插值运算电路的插值误差分 别为最小的范围。图20(c)表示k＝2～k＝kn的平均维持插值运算电路 分别得到好结果的像素周期Pp的范围。
说明k＝2～k＝kn的平均维持插值运算电路分别得到好结果的像素 周期。
k＝2的平均维持插值运算电路的插值误差为最小的范围是从Pp的 最小值到k＝2的平均维持插值运算电路的曲线和k＝3的平均维持插值 运算电路的曲线交叉的点为止的范围(相当于图20(b)的R2)。k＝3 的平均维持插值运算电路的插值误差为最小的范围是从k＝3的平均维持 插值运算电路的曲线与k＝2的平均维持插值运算电路的曲线交叉的点到 与k＝4的平均维持插值运算电路的曲线交叉的点为止的范围(相当于图 20(b)的R3)。对于k＝4、kn-1、kn的平均维持插值运算电路也同样， R4、Rn-1、Rn所示的范围为各个平均维持插值运算电路的插值误差成 为最小的范围。
从而，如图20(c)所示，各个平均维持插值运算电路的插值误差为 最小的范围成为各个平均维持插值运算电路得到好结果的像素周期Pp的 范围。
以下说明图17所示的像素插值电路的动作。
将输入图像DI输入给第一平均维持插值运算电路6(1)～第n-1 平均维持插值运算电路6(n-1)。如上所述，例如将参数k＝2输入给第 一平均维持插值运算电路6(2)。同样，将参数k＝3、…、kn分别输入 给第二平均维持插值运算电路6(2)、…、第n-1平均维持插值运算电 路6(n-1)。
第一平均维持插值运算电路6(1)基于输入图像DI以及参数k＝2， 输出缺失像素的插值数据D1。第二平均维持插值运算电路6(2)、…、 第n-1平均维持插值运算电路6(n-1)也同样基于输入图像DI以及参 数k＝3、…、kn，分别输出缺失像素的插值数据D2～Dn-1。将插值数 据D1～Dn-1输入给输出电路5。将例如后述那样生成的选择信号C输 入给输出电路5。输出电路5基于选择信号C选择插值数据D1～Dn-1 中的一个，输出作为缺失像素的插值数据DO。
图17所示的像素插值电路具有多个参数不同的平均维持插值运算 电路，从而可以实现图20(b)的插值误差的特性，所以如图20(c)所 示，可以应用于从小的周期的图像数据到大的周期的图像数据的宽范围。
实施方式5
图21表示基于实施方式5的像素插值电路的结构。
该像素插值电路除了图17的结构外还具有左右平均插值运算电路6 (0)。平均维持插值运算电路6(1)至6(m-1)与图17的平均维持插 值运算电路6(1)至6(n-1)是同样的，设有m-1个。该m可以是 与图17的结构的n相同的值，也可以采用如后述的小于n的值。换言之， 在设置左右平均插值运算电路6(0)的情况下，可以减少平均维持插值 运算电路的数量。
左右平均插值运算电路6(0)生成位于缺失像素的左右侧的邻接像 素的值的平均值，作为插值数据。另外，这里提到的‘左右’表示在水 平方向上排列一系列的像素而进行描绘时、位于缺失像素的左右侧，在 将一系列的像素作为时序数据时，与此相当的是位于‘前后’。
输出电路5例如基于选择信号(C)，选择由所述多个平均维持插值 运算电路6(1)至6(m-1)以及左右平均插值运算电路6(0)输出的 插值数据中的一个，输出作为缺失像素的数据。
图22是用于说明在像素周期Pp＝2、3、4、kn的图像数据中，使用 左右平均插值运算电路来对像素进行插值的方法的图。在图22中，示出 了对周期变化的像素的极大值(各周期内的峰值)进行插值的情况。在 由左右平均插值运算电路进行插值的情况下，在如图所示的极大值的插 值的情况下，误差为最大。从而，如果对于极大值研究误差，则成为研 究最大误差。
图22(a)是表示像素周期Pp＝2的图像数据的波形图，图22(b) 是表示像素周期Pp＝3的图像数据的波形图，图22(c)是表示像素周期 Pp＝4的图像数据的波形图，图22(d)是表示像素周期Pp＝kn的图像 数据的波形图。在各个波形图中L表示要插值的缺失像素，LL表示与缺 失像素L左邻的像素，LR表示与缺失像素L右邻的像素，LA表示由左 右平均插值运算电路生成的插值数据，E2～En分别表示插值数据和原始 数据之间的误差。
说明像素周期Pp＝2、3、4、kn的图像数据中的左右平均插值运算 电路的插值误差。
如图22(a)～图22(d)所示，左右平均插值运算电路将与缺失像 素L左邻的像素LL和与缺失像素右邻的像素LR的平均值作为缺失像素 L的插值数据LA。插值数据LA为
LA＝(LL+LR)/2。
此外，在各个波形图中，插值数据LA和缺失像素L的原始数据之差为 插值误差E2～En。
在各个图像中对极大值进行插值的情况下，像素周期Pp越大则插值 误差越小。在图23中示出左右平均插值运算电路中的像素周期和插值误 差之间的关系。
图24是表示在平均维持插值运算电路中像素周期和插值误差之间 的关系的曲线图，以及示出k＝2～kn的平均维持插值运算电路和左右平 均插值运算电路得到好结果的像素周期Pp的范围的图。
说明左右平均插值运算电路得到好结果的像素周期Pp的范围。
图24(a)是表示图23所示的左右平均插值运算电路中的像素周期 和插值误差之间的关系的曲线图。
Ep表示视觉辨认上可以允许的误差的上限值。
如图24(a)所示，左右平均插值运算电路是：像素周期Pp越大则 插值误差E越小，所以在Pp＝km+1～kn的图像数据中，插值误差E小 于视觉辨认上可以允许的误差的上限值Ep。从而，在Rave所示的范围、 即Pp＝km+1～kn的图像数据中，可以将左右平均插值运算电路用于缺 失像素的插值。
图24(b)表示图20(c)所示的k＝2～k＝kn的平均维持插值运算 电路得到好结果的像素周期Pp的范围。如图24(a)所示，在Pp＝km +1～kn的图像数据中，可以将左右平均插值运算电路用于缺失像素的插 值，所以可以使用左右平均插值运算电路的输出来代替图17的参数k＝ km+1～kn(假设m＜n)的平均维持插值运算电路的输出。从而，可以省 略参数k＝km+1～kn(假设m＜n)的平均维持插值运算电路。
通过将图17的结构中的k＝km+1～kn的平均维持插值运算电路置 换为左右平均插值运算电路，可以削减平均维持插值运算电路的种类。 从而，可以缩小可应用于宽范围的像素周期的像素插值电路的电路规模。
此外，由左右平均插值运算电路和多个插值运算电路构成的像素插 值电路具有如图25所示的插值误差的特性。图25与图20(b)所示的曲 线图同样，在R2中，k＝2的平均维持插值运算电路的插值误差为最小， 同样在R3～Rm中，k＝3～km的平均维持插值运算电路的插值误差分别 为最小。在Rave中，左右平均插值运算电路的插值误差为最小。
图26是表示在实施方式2以及实施方式3所示的包含缺失像素的像 素列和不包含缺失像素的像素列重复i像素的情况下的k＝kj的平均维持 插值运算电路中，像素周期Pp和插值误差之间的关系的曲线图。
说明像素周期和插值误差之间的关系。
如实施方式2以及实施方式3所示，包含缺失像素的像素列和不包 含缺失像素的像素列重复i像素的情况下的平均维持插值运算电路是：在 参数k为像素周期Pp的整数倍(k＝N*Pp)，或包含缺失像素的像素列和 不包含缺失像素的像素列不重复的的部分的像素个数k-i为像素周期Pp 的整数倍(k-i＝N*Pp)的情况下，可以适当地对缺失像素进行插值。
如图26(a)所示，包含缺失像素的像素列和不包含缺失像素的像素 列重复i像素的情况下的k＝kj的平均维持插值运算电路在对像素周期Pp 为Pp＝kj/Na1、…、kj(Na1＞…＞0、Na1、…是kj的约数)的图像数据 进行插值的情况下，插值误差E为0或最小，待插值的图像数据的像素 周期Pp越偏离Pp＝kj/Na1、kj/Na2、…、kj的像素周期Pp，则插值误差 E越大。
进而，如图26(b)所示，在对像素周期Pp为Pp＝(kj-i)/Nb1、…、 kj-i(Nb1＞…＞0、Nb1、…是kj-i的约数)的图像数据进行插值的情况 下，插值误差E也为0或最小，像素周期Pp越偏离Pp＝(kj-i)/Nb1、…、 kj-i的像素周期Pp，则插值误差E越大。
从而，包含缺失像素的像素列和不包含缺失像素的像素列重复i像 素的情况下的平均维持插值运算电路中的像素周期Pp和插值像素之间的 关系，成为将图26(a)的曲线和图26(b)的曲线结合而得到的图26 (c)的曲线图。
图27是表示在实施方式3所示的由包含缺失像素的像素列和不包含 缺失像素的两个像素列实现的平均维持插值运算电路中，包含缺失像素 的像素列LC和不包含缺失像素的像素列NA以及NB之间的位置关系的 一例。图27(a)表示k＝3、i＝1的情况下的包含缺失像素的像素列LC 和不包含缺失像素的像素列NA以及NB之间的位置关系。图27(b)表 示k＝5、i＝2的情况下的包含缺失像素的像素列LC和不包含缺失像素 的像素列NA以及NB之间的位置关系。图27(c)表示k＝kn、i＝(kn -1)/2的情况下的包含缺失像素的像素列LC和不包含缺失像素的像素 列NA以及NB之间的位置关系。
说明在图27所示的包含缺失像素的像素列和不包含缺失像素的两 个像素列所实现的平均维持插值运算电路中，参数k以及i和可以适当地 进行插值的图像数据的像素周期Pp之间的关系。
如图26所示，包含缺失像素的像素列和不包含缺失像素的像素列重 复i像素的k＝kj的平均维持插值运算电路可以适当地对像素周期Pp为 Pp＝kj/Na1、…、kj的图像数据或Pp＝(kj-i)/Nb1、…、kj-i的图像 进行插值，所以图27(a)所示的包含缺失像素的像素列和不包含缺失像 素的两个像素列重复1像素的k＝3的平均维持插值运算电路对于Pp＝k ＝3或Pp＝k-i＝2的图像数据可以适当地进行插值。
关于图27(b)所示的包含缺失像素的像素列和不包含缺失像素的 两个像素列重复2像素的k＝5的平均维持插值运算电路也同样，对于Pp ＝k＝5或Pp＝k-i＝3的图像数据可以适当地进行插值。
关于图27(c)所示的包含缺失像素的像素列和不包含缺失像素的像 素列重复(kn-1)/2个像素的k＝kn的平均维持插值运算电路也同样， 对于Pp＝kn/Na1、…、kn的图像数据或Pp＝(kn-i)/Nb1、…、kn-i 的图像数据可以适当地进行插值。
图28是表示在图27所示的包含缺失像素的像素列和不包含缺失像 素的两个像素列重复的情况下的平均维持插值运算电路中，各个平均维 持插值运算电路得到好结果的像素周期Pp的范围的图。
k＝3的平均维持插值运算电路将Pp＝3附近的像素周期Pp设为得 到好结果的像素周期的范围。关于k＝5的平均维持插值运算电路也同样， 将Pp＝5附近的像素周期Pp设为得到好结果的像素周期的范围。关于k ＝(kn+1)/2、kn的平均维持插值运算电路也同样，将Pp＝(kn+1) /2、kn附近的像素周期Pp分别设为得到好结果的像素周期的范围。从而， k＝3、5、(kn+1)/2、kn的平均维持插值运算电路分别得到好结果的像 素周期的范围如图28(a)这样。
进而，k＝3的平均维持插值运算电路的Pp＝k-i＝2附近的像素周 期Pp也为得到好结果的像素周期的范围。关于k＝5的平均维持插值运 算电路也同样，将Pp＝k-i＝3附近的像素周期Pp设为得到好结果的像 素周期的范围。关于k＝7、9、kn的平均维持插值运算电路也同样，将 Pp＝4、5、(kn+1)/2附近的像素周期Pp分别设为得到好结果的像素周 期的范围。从而，k＝3、5、7、9、(kn+1)/2的平均维持插值运算电路 分别得到好结果的像素周期的范围如图28(b)这样。
从而，包含缺失像素的像素列和不包含缺失像素的两个像素列重复 的情况下的k＝3、5、(kn+1)/2、kn的平均维持插值运算电路可以应用 于图28(a)和图28(b)合起来的范围、即如图28(c)所示的范围的 图像数据。
这样，对多个平均维持插值运算电路加上左右平均插值运算电路， 选择它们生成的插值数据中、插值误差最小的数据，由此可以在与像素 周期无关的情况下始终输出插值误差小的插值数据。
实施方式6
图29是表示实施方式6中的像素插值电路的结构的图。
实施方式6中的像素插值电路除了实施方式4所示的图21的结构之 外，还具有生成输入给输出电路的选择信号的选择信号生成部9、控制电 路20、以及图像数据存储器21。
图像数据存储器21暂时存储输入图像数据DI，按照来自控制电路 20的指示，重复输出相同的图像数据。
选择信号生成部9基于缺失像素附近的像素的原始数据、以及对该 缺失像素附近的像素、通过与求出缺失像素的插值数据相同的方法而求 得的插值数据，生成选择来自多个插值运算电路的插值数据中的一个的 选择信号C。
图示的选择信号生成部9由管理电路7以及评分电路8构成。
多个平均维持插值运算电路6(1)至6(n)分别例如图16所示， 更具体地如图1所示那样构成。
控制电路20对多个平均维持插值运算电路6(1)至6(n)各自的、 例如缺失部合计计算电路19(图16)输入构成包含缺失像素附近的测试 用非缺失像素的像素组的k个像素中、测试用非缺失像素以外的像素， 求出其值的合计SL，对多个插值运算电路各自的、非缺失部合计计算电 路17输入构成不包含测试用缺失像素的像素组的k个像素，求出其值的 合计，使多个插值运算电路各自的差分电路3通过从非缺失部合计计算 电路17的输出中减去缺失部合计计算电路19的输出来求出测试用非缺 失像素的插值数据。
控制电路20还对左右平均插值运算电路6(0)输入位于缺失像素 附近的测试用非缺失像素的左右侧的像素，求出其值的平均，将其作为 测试用非缺失像素的插值数据输出。
控制电路20对于多个互不相同的测试用非缺失像素进行这样的处 理。
选择信号生成部9基于由多个插值运算电路分别求出的测试用非缺 失像素的插值数据、以及测试用非缺失像素的原始数据，对插值运算电 路进行评价，确定选择信号的内容，使得选择得到最佳评价的插值运算 电路。
控制电路20对多个平均维持插值运算电路6(1)至6(n)的缺失 部合计计算电路19输入构成包含缺失像素的像素组的像素，对非缺失部 合计计算电路输入构成不包含缺失像素的像素组的像素，使其分别进行 对于缺失像素的平均维持插值运算，对左右平均插值运算电路6(0)输 入与缺失像素邻接的像素，使其进行对于缺失像素的左右平均插值运算， 使输出电路5基于如上所述确定了内容的选择信号C，选择来自多个插 值运算电路6(0)至6(n)的插值数据中的一个并输出。
另外，在图29中，为了便于说明，平均维持插值运算电路的数量与 图17以及图21的情况不同，图示出n个。
图29的像素插值电路在每次提供了输入图像数据时，如下地进行两 种处理。
首先，第一处理也被称为评价处理，使用所提供的输入图像数据中 的缺失像素以外的像素进行多个插值运算电路的评价，根据哪个插值运 算电路得到了最佳的评价来确定选择信号C的内容。
第二处理也称为插值执行处理，基于选择信号C的内容，生成对所 提供的输入图像数据中的缺失像素进行插值的插值数据，进行插值。
由于在评价处理以及插值执行处理中重复使用相同的输入图像数据 DI，因此输入图像数据DI暂时存储在图像数据存储器21中，然后根据 来自控制电路20的指示重复进行读取。
评价处理中的插值运算和插值执行处理中的插值运算可以同时并行 地进行，或也可以在评价处理中的插值运算结束后进行插值执行处理中 的插值运算。以下，最先，作为评价处理中的插值运算和插值执行处理 中的插值运算同时并行地进行的情况说明概略，然后，对于评价处理中 的插值运算结束后进行插值执行处理中的插值运算的情况详细地进行说 明。
输入图像DI输入给左右平均插值运算电路6(0)以及n个平均维 持插值运算电路(第一平均维持插值运算电路6(1)、第二平均维持插值 运算电路6(2)、…、第n平均维持插值运算电路6(n))以及评分电路 8。平均维持插值运算电路的参数k＝k1～kn分别输入到第一平均维持插 值运算电路～第n平均维持插值运算电路中。左右平均插值运算电路6 (0)基于输入图像数据DI，输出关于多个测试用非缺失像素(测试像素) 的插值数据(测试插值数据)TD0[T1]～[Tm]和缺失像素的插值数据D0。 从左右平均插值运算电路6(0)中输出的测试插值数据TD0[T1]～[Tm] 输入到评分电路8中，插值数据D1D0被输入给输出电路5。
第一平均维持插值运算电路6(1)基于输入图像DI以及参数k＝k1， 输出关于多个测试像素的插值数据TD1[T1]～[Tm]和缺失像素的插值数据 D1。从第一平均维持插值运算电路6(1)中输出的测试插值数据 TD1[T1]～[Tm]被输入给评分电路8，插值数据D1被输入给输出电路5。
关于第二平均维持插值运算电路6(2)～第n平均维持插值运算电 路6(n)也同样，基于输入图像DI以及参数k＝k2～k＝kn，分别输出 关于多个测试像素的插值数据TD2[T1]～[Tm]～TDn[T1]～[Tm]和缺失像 素的插值数据D2～Dn。从第二平均维持插值运算电路6(2)～第n平 均维持插值运算电路6(n)中输出的测试插值数据TD2[T1]～[Tm]～ TDn[T1]～[Tm]被输入给评分电路8，插值数据D2～Dn被输入给输出电 路5。
评分电路8基于输入图像DI对从左右平均插值运算电路6(0)中 输出的测试插值数据TD0进行评分，将其结果作为评分数据M0输出。 从评分电路8中输出的评分数据M0输入给管理电路7。
此外，评分电路8对于从第一平均维持插值运算电路6(1)～第n 平均维持插值运算电路6(n)中输出的测试插值数据TD1[T1]～[Tm]～ TDn[T1]～[Tm]也同样，基于输入图像DI进行评分，将各个结果作为评分 数据M1～Mn输出。从评分电路8中输出的评分数据M1～Mn输入给管 理电路7。
管理电路7例如后述这样评价从评分电路8中输出的评分数据M0～ Mn，基于其结果输出选择信号C。从管理电路7中输出的选择信号C输 入给输出电路5。
输出电路5基于从管理电路7中输出的选择信号C，选择左右平均 插值运算电路6(0)以及第一平均维持插值运算电路6(1)～第n平均 维持插值运算电路6(n)输出的插值数据D0～Dn中的一个，作为输出 数据DO输出。
以下更详细地说明评价处理中的插值运算结束后进行插值执行处理 中的插值运算的情况。
首先对于评价处理的动作进行说明。此时，图29的输出电路5不工 作。即，不输出插值数据DO。
图30(a)是表示输入图像DI的图，表示缺失像素和测试用非缺失 像素(测试像素)之间的位置关系。在图30中，○表示实际存在的像素， ×表示缺失的像素。
相对于缺失像素L，将T1～Tm所示的、位于缺失像素L附近的实 际存在的像素(非缺失像素)确定为测试像素(假设m＝2k)。这里，测 试像素是指在缺失像素附近虚拟地视为缺失像素而生成插值数据的像 素。图30(a)是以缺失像素L为中心一维地在左右两侧各设定了k个测 试像素的例子。
测试像素可以相对于缺失像素左右不均等地进行设定，也可以仅在 左右一方进行设定。此外，也可以如图30(b)这样二维地进行设定。
使用图29以及图30(a)详细地说明测试像素T1～Tm中的左右平 均插值运算电路6(0)、第一平均维持插值运算电路6(1)～第n平均 维持插值运算电路6(n)以及评分电路8的动作。
首先，在测试像素T1的位置处，左右平均插值运算电路6(0)输 出将测试像素T1虚拟地视为缺失的情况下的测试插值数据TD0[T1]。即， 求出位于测试像素T1的左右侧的像素的平均，将其作为测试像素T1的 插值数据输出。
评分电路8求出测试像素T1的位置处的输入图像DI的数据DI[T1] 和所述测试插值数据TD0[T1]的差分的绝对值，作为评分数据M0[T1]输 出。评分数据M0[T1]成为
M0[T1]＝|TD0[T1]-DI[T1]|。
在评分数据M0[T1]小的情况下，表示测试插值数据接近输入图像，即， 在测试像素T1中，左右平均插值运算电路6(0)的运算方法适当。反之， 在评分数据M0[T1]大的情况下，表示在测试像素T1中，左右平均插值 运算电路6(0)的运算方法不适当。换言之，评分数据M0[T1]表示测试 像素T1中的左右平均插值运算电路6(0)的适当性。
接着，左右平均插值运算电路6(0)关于测试像素T2也同样，输 出将测试像素T2虚拟地视为缺失的情况下的测试插值数据TD0[T2]。评 分电路8求出测试像素T2的位置处的输入图像DI[T2]和所述测试插值数 据TD0[T2]的差分的绝对值，作为评分数据M0[T2]输出。评分数据M0[T2] 成为
M0[T2]＝|TD0[T2]-DI[T2]|。
评分数据M0[T2]表示测试像素T2中的左右平均插值运算电路6(0)的 适当性。
左右平均插值运算电路6(0)关于剩余的测试像素T3～Tm也同样 地输出测试插值数据TD0[T3]～TD0[Tm]。评分电路8求出所述测试插值 数据TD0[T3]～TD0[Tm]和与各个测试插值数据对应的输入图像DI的数 据DI[T3]～DI[Tm]的差分的绝对值，作为评分数据M0[T3]～M0[Tm]输 出。评分数据M0[T3]～M0[Tm]为
M0[T3]＝|TD0[T3]-DI[T3]|
～
M0[Tm]＝|TD0[Tm]-DI[Tm]|。
评分数据M0[T3]～M0[Tm]表示测试像素T3～Tm中的左右平均插值运 算电路6(0)的适当性。
这样，得到测试像素T1～Tm中的与左右平均插值运算电路6(0) 所输出的测试插值数据对应的评分数据。
对于第一平均维持插值运算电路6(1)也同样，在测试像素T1的 位置处输出将测试像素T1虚拟地视为缺失的情况下的测试插值数据 TD1[T1]。评分电路8求出测试像素T1的位置处的输入图像DI的数据 DI[T1]和所述测试插值数据TD1[T1]之间的差分的绝对值，作为评分数据 M1[T1]输出。评分数据M1[T1]成为
M1[T1]＝|TD1[T1]-DI[T1]|。
评分数据M1[T1]表示测试像素T1中的第一平均维持插值运算电路6(1) 的适当性。
第一平均维持插值运算电路6(1)关于剩余的测试像素T2～Tm也 同样地输出测试插值数据TD1[T2]～TD1[Tm]。评分电路8求出所述测试 插值数据TD1[T2]～TD1[Tm]和与各个测试插值数据对应的输入图像DI 的数据DI[T2]～DI[Tm]之间的差分的绝对值，作为评分数据M1[T2]～ M1[Tm]输出。评分数据M1[T2]～M1[Tm]为
M1[T2]＝|TD1[T2]-DI[T2]|
～
M1[Tm]＝|TD1[Tm]-DI[Tm]|。
评分数据M1[T2]～M1[Tm]表示测试像素T2～Tm中的第一平均维持插 值运算电路6(1)的适当性。
关于第二平均维持插值运算电路6(2)～第n平均维持插值运算电 路6(n)也同样，输出测试像素T1～Tm中的测试插值数据TD2[T1]… TD2[Tm]～TDn[T1]…TDn[Tm]，评分电路8基于所述测试插值数据 TD2[T1]…TD2[Tm]～TDn[T1]…TDn[Tm]，分别输出评分数据M2[T1]… M2[Tm]～Mn[T1]…Mn[Tm]。
这样，在所有的测试像素T1～Tm中，求出了左右平均插值运算电 路6(0)以及第一平均维持插值运算电路6(1)～第n平均维持插值运 算电路6(n)中的各个插值运算电路的适当性。
图31是将测试像素T1～Tm中的各个插值运算电路的评分数据集中 的表。
通过使用测试像素的测试插值数据和测试像素的位置处的输入图像 数据之间的差分的绝对值，可以对每个测试像素求出插值方法的适当性。
说明管理电路7的动作。
为了评价缺失像素附近的左右平均插值运算电路6(0)的适当性， 管理电路7将评分数据M0[T1]～M0[Tm]相加来生成左右平均插值运算 电路6(0)的评价数据S0。评价数据S0为
S0＝M0[T1]+M0[T2]+…+M0[Tm]。
在评价数据S0小的情况下，表示缺失像素附近的左右平均插值运算电路 6(0)的运算方法适当。反之，在评价数据S0大的情况下，表示缺失像 素附近的左右平均插值运算电路6(0)的运算方法不适当。
为了对第一平均维持插值运算电路6(1)～第n平均维持插值运算 电路6(n)也同样评价缺失像素附近的适当性，管理电路7将评分数据 M1[T1]…M1[Tm]～Mn[T1]…Mn[Tm]分别相加来分别生成第一平均维持 插值运算电路6(1)～第n平均维持插值运算电路6(n)的评价数据S1～ Sn。评价数据S1～Sn为
S1＝M1[T1]+M1[T2]+…+M1[Tm]
～
Sn＝Mn[T1]+Mn[T2]+…+Mn[Tm]。
图32是将评价数据S0～Sn集中的表。
通过将每个测试像素的评分数据相加，可以求出缺失像素附近的插 值方法的适当性。
评价数据越小的插值运算电路对于缺失像素附近的像素越能适当地 插值，所以可以类推为在缺失像素中也可以适当地进行插值。管理电路7 确定选择信号C的内容，以便选择具有评价数据S0～Sn中最小的评价数 据的插值运算电路所输出的插值数据。这样确定内容后的选择信号C在 接下来的插值执行处理中被输出电路5所使用。
接着说明插值执行处理的动作。在插值执行处理中，评分电路8不 工作。而且，管理电路7不进行继续输出由评价处理确定了内容的选择 信号C以外的动作。插值执行处理中的插值运算电路6(0)至6(n)的 动作与参照图21说明的动作同样。即，控制电路20对平均维持插值运 算电路6(1)至6(n)各自的、缺失部合计计算电路输入构成包含缺失 像素的像素组的像素，对非缺失部合计计算电路输入构成不包含缺失像 素的像素组的像素，分别使其进行插值运算，分别输出插值数据D1～Dn。 控制电路20还对左右平均插值运算电路6(0)输入与缺失像素邻接的像 素，使其进行对于缺失像素的左右平均插值运算，输出插值数据D0。使 输出电路5基于选择信号C选择来自多个插值运算电路(6(0)至6(n)) 的插值数据中的一个而输出。从而，输出电路5基于从管理电路7输出 的选择信号C，选择从左右平均插值运算电路6(0)以及第一平均维持 插值运算电路6(1)～第n平均维持插值运算电路6(n)中输出的插值 数据D0～Dn中的一个，作为输出数据DO输出。
这样，对于一个缺失像素的插值结束后，开始对于下一个缺失像素 的插值。
图29所示的像素插值电路在缺失像素附近的像素中，进行左右平均 插值运算电路6(0)以及第一平均维持插值运算电路6(1)～第n平均 维持插值运算电路6(n)所输出的测试插值数据的评分，评价其结果， 对缺失像素处的适当的插值运算进行类推，因此可以通过适合于缺失像 素附近的图像的插值运算来对缺失像素进行插值。
接着，使用具体例子进行说明。
图33是表示作为图29中的多个平均维持插值运算电路，具有参数 k＝5的第一平均维持插值运算电路和参数k＝7的第二平均插值运算电路 的结构的图。
说明图33的具体例的像素插值电路的结构。
图33的具体例的像素插值电路具有输出电路5、左右平均插值运算 电路6(0)、第一平均维持插值运算电路6(1)以及第2平均维持插值 运算电路6(2)、管理电路7、评分电路8。另外，在本具体例中也设有 与图29所示的控制电路20以及图像数据存储器21同样的部分，但省略 了这些图示。
输入图像DI输入给左右平均插值运算电路6(0)、第一平均维持插 值运算电路6(1)、第2平均维持插值运算电路6(2)以及评分电路8。 左右平均插值运算电路6(0)基于输入图像DI输出测试插值数据TD0 以及插值数据D0。从左右平均插值运算电路6(0)输出的测试插值数据 TD0输入给评分电路8，插值数据D0输入给输出电路5。
参数k＝5输入给第一平均维持插值运算电路6(1)。第一平均维持 插值运算电路6(1)基于输入图像DI以及参数k＝5，输出测试插值数 据TD1以及插值数据D1。从第一平均维持插值运算电路6(1)输出的 测试插值数据TD1输入给评分电路8，插值数据D1输入给输出电路5。
参数k＝7输入给第二平均维持插值运算电路6(2)。第二平均维持 插值运算电路6(2)基于输入图像DI以及参数k＝7，输出测试插值数 据TD2以及插值数据D2。从第二平均维持插值运算电路6(2)输出的 测试插值数据TD2输入给评分电路8，插值数据D2输入给输出电路5。
评分电路8基于输入图像DI，对从左右平均插值运算电路6(0)输 出的测试插值数据TD0进行评分，将其结果作为评分数据M0输出。
评分电路8基于输入图像DI，对从第一平均维持插值运算电路6(1) 输出的测试插值数据TD1进行评分，将其结果作为评分数据M1输出。
评分电路8基于输入图像DI，对从第二平均维持插值运算电路6(2) 输出的测试插值数据TD2进行评分，将其结果作为评分数据M2输出。 从评分电路8输出的评分数据M0～M2输入给管理电路7。
管理电路7基于从评分电路8输出的评分数据M0～M2，输出选择 信号C。从管理电路7输出的选择信号C输入给输出电路5。
输出电路5基于从管理电路7输出的选择信号C，选择从左右平均 插值运算电路6(0)、第一平均维持插值运算电路6(1)以及第二平均 维持插值运算电路6(2)输出的插值数据D0～D2中的一个，作为输出 数据DO输出。
图34是表示具有周期性的图像数据的一例的图。图34(a)是与图 3同样地表示像素周期5的图像数据中的像素位置和浓度值之间的关系的 波形图，重复浓度值a＝74、b＝57、c＝100、d＝143、e＝126。图34(b) 表示缺失像素和测试像素之间的位置关系。此外，以缺失像素L为中心、 左右各两个地进行一维设定，作为与缺失像素L对应的测试像素T1～T4。
图35是用于说明平均维持插值运算的测试插值方法的图。
图35(a)表示实施方式3所示的包含缺失像素的像素列和不包含缺 失像素的两个像素列重复的情况下的平均维持插值运算电路中的、包含 缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之间的位 置关系。图35(b)表示将测试像素T虚拟地视为缺失像素而进行测试插 值的情况下，在包含测试像素的像素列TC中含有缺失像素的情况下的不 包含测试像素的像素列TB的位置。图35(c)表示在包含测试像素的像 素列TC中不包含缺失像素的情况下的不包含测试像素的像素列TA的位 置。
说明平均维持插值运算电路的测试插值方法。
平均维持插值运算电路在对缺失像素附近的像素进行测试插值的情 况下，需要根据缺失像素的位置来改变插值方法。此外，在测试插值中， 仅使用不包含测试像素的两个像素列中的某一方。
如图35(b)所示，在包含测试像素T的像素列TC中含有缺失像素 L的情况下，平均维持插值运算电路需要考虑缺失像素L来建立方程式。 从而，按照包含缺失像素L的方式设定不包含测试像素T的像素列TB， 在包含测试像素T的像素列TC和不包含测试像素的像素列TB两者中包 含缺失像素，由此缺失像素在方程式中被抵消，可以适当地求出测试像 素T的测试插值数据。方程式为
(TC[1]+…+TC[k-i-1]+T+L+TD[1]+…+TD[i-1])/k
＝(L+TD[1]+…+TD[i-1]+TB[1]+…+TB[k-i])/k。
测试像素T为
T＝(TB[1]+…+TB[k-i])-(TC[1]+…+TC[k-i-1])。
如图35(c)所示，在包含测试像素的像素列TC中不包含缺失像素 L的情况下，设定为在不包含测试像素的像素列TA中也不包含缺失像素。 平均维持插值运算电路的方程式为
(TA[1]+…+TA[k-i]+TD[1]+…+TD[i])/k
＝(TD[1]+…+TD[i]+T+TC[1]+…+TC[k-i-1])，
测试像素T为
T＝(TA[1]+…+TA[k-i])-(TC[1]+…+TC[k-i-1])。
这样，通过使用考虑了缺失像素的位置的测试插值方法，可以适当 地对各个平均维持插值运算电路进行评分。
图36是用于说明测试像素T1～T4以及缺失像素L中的左右平均插 值运算电路6(0)以及评分电路8的动作的图。图36(a)是表示计算 T1中的左右平均插值运算电路6(0)的测试插值数据的情况的图，图36 (b)是表示计算T2中的左右平均插值运算电路6(0)的测试插值数据 的情况的图，图36(c)是表示计算T3中的左右平均插值运算电路6(0) 的测试插值数据的情况的图，图36(d)是表示计算T4中的左右平均插 值运算电路6(0)的测试插值数据的情况的图，图36(e)是表示计算 缺失像素L中的左右平均插值运算电路6(0)的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的左右平均插值运算电路6 (0)以及评分电路8的动作。
如图36(a)所示，左右平均插值运算电路6(0)将像素T1L以及 T1R的平均值作为测试像素T1的测试插值数据TD0[T1]输出。由于T1L ＝b＝57，T1R＝d＝143，测试插值数据TD0[T1]为
TD0[T1]＝(T1L+T1R)/2＝(57+143)/2＝100。
评分电路8将测试像素T1的位置处的输入图像DI的数据DI[T1]和测试 插值数据TD0[T1]的差分的绝对值作为评分数据M0[T1]输出。由于 TD0[T1]＝100，DI[T1]＝c＝100，评分数据M0[T1]为
M0[T1]＝|TD0[T1]-DI[T1]|＝|100-100|＝0。
如图36(b)所示，左右平均插值运算电路6(0)将像素T2L以及 T2R的平均值作为测试像素T2的测试插值数据TD0[T2]输出。由于T2L ＝c＝100，T2R＝a＝74，测试插值数据TD0[T2]为
TD1＝(T2L+T2R)/2＝(100+74)/2＝87。
评分电路8将测试像素T2的位置处的输入图像DI的数据DI[T2]和测试 插值数据TD0[T2]的差分的绝对值作为评分数据M0[T2]输出。由于 TD0[T2]＝87，DI[T2]＝d＝143，评分数据M0[T2]为
M0[T2]＝|TD0[T2]-DI[T2]|＝|87-143|＝56。
如图36(c)所示，左右平均插值运算电路6(0)将像素T3L以及 T3R的平均值作为测试像素T3的测试插值数据TD0[T3]输出。由于T3L ＝d＝143，T3R＝b＝57，测试插值数据TD0[T3]为
TD0＝(T3L+T3R)/2＝(143+57)/2＝100。
评分电路8将测试像素T3的位置处的输入图像DI的数据DI[T3]和测试 插值数据TD0[T3]的差分的绝对值作为评分数据M0[T3]输出。由于 TD0[T3]＝87，DI[T3]＝a＝74，评分数据M0[T3]为
M0[T3]＝|TD0[T3]-DI[T3]|＝|100-74|＝26。
如图36(d)所示，左右平均插值运算电路6(0)将像素T4L以及 T4R的平均值作为测试像素T4的测试插值数据TD0[T4]输出。由于T4L ＝a＝74，T4R＝c＝100，测试插值数据TD0[T4]为
TD0[T4]＝(T4L+T4R)/2＝(74+100)/2＝87。
评分电路8将测试像素T4的位置处的输入图像DI的数据DI[T4]和测试 插值数据TD0[T4]的差分的绝对值作为评分数据M0[T4]输出。由于 TD0[T4]＝87，DI[T4]＝b＝57，评分数据M0[T4]为
M0[T4]＝|TD0[T4]-DI[T4]|＝|87-57|＝30。
如图36(e)所示，左右平均插值运算电路6(0)将缺失像素左右 侧的像素LL以及LR的平均值作为缺失像素L的插值数据D0输出。由 于LL＝d＝143，LR＝a＝74，插值数据D0为
D0＝(LL+LR)/2＝(143+74)/2＝108.5。
图37是用于说明测试像素T1～T4以及缺失像素L中的第一平均维 持插值运算电路6(1)以及评分电路8的动作的图。图37(a)是表示 计算T1中的第一平均维持插值运算电路6(1)的测试插值数据的情况的 图，图37(b)是表示计算T2中的第一平均维持插值运算电路6(1)的 测试插值数据的情况的图，图37(c)是表示计算T3中的第一平均维持 插值运算电路6(1)的测试插值数据的情况的图，图37(d)是表示计 算T4中的第一平均维持插值运算电路6(1)的测试插值数据的情况的图， 图37(e)是表示计算缺失像素L中的第一平均维持插值运算电路6(1) 的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的第一平均维持插值运算 电路6(1)以及评分电路8的动作。
如图37(a)所示，第一平均维持插值运算电路6(1)求出测试像 素T1的测试插值数据TD1[T1]，使得包含测试像素T1的像素列T1C的 平均值和不包含测试像素T1的像素列T1B的平均值相等。从而，由方 程式
(T1C[1]+T1C[2]+TD1[T1]+T1D[1]+L)/5
＝(T1D[1]+L+T1B[1]+T1B[2]+T1B[3])/5，
测试插值数据TD1[T1]成为
TD1[T1]＝(T1B[1]+T1B[2]+T1B[3])-(T1C[1]+T1C[2])。
由于T1C[1]＝a＝74，T1C[2]＝b＝57，T1B[1]＝a＝74，T1B[2]＝b＝57， T1B[3]＝c＝100，成为
TD1[T1]＝(74+57+100)-(74+57)＝100。
评分电路8将所述测试像素T1的位置处的输入图像DI的数据DI[T1]和 测试插值数据TD1[T1]的差分的绝对值作为评分数据M1[T1]输出。由于 TD1[T1]＝100、DI[T1]＝c＝100，评分数据M1[T1]成为
M1[T1]＝|TD1[T1]-DI[T1]|＝|100-100|＝0。
如图37(b)所示，第一平均维持插值运算电路6(1)求出测试像 素T2的测试插值数据TD1[T2]，使得包含测试像素T2的像素列T2C的 平均值和不包含测试像素T2的像素列T2B的平均值相等。从而，由方 程式
(T2C[1]+T2C[2]+TD1[T2]+L+T2D[1])/5
＝(L+T2D[1]+T2B[1]+T2B[2]+T2B[3])/5，
测试插值数据TD1[T2]成为
TD1[T2]＝(T2B[1]+T2B[2]+T2B[3])-(T2C[1]+T2C[2])。
由于T2C[1]＝b＝57，T2C[2]＝c＝100，T2B[1]＝b＝57，T2B[2]＝c＝100，
T2B[3]＝d＝143，成为
TD1[T2]＝(57+100+143)-(57+100)＝143。
评分电路8将所述测试像素T2的位置处的输入图像DI的数据DI[T2]和 测试插值数据TD1[T2]之间的差分的绝对值作为评分数据M1[T2]输出。 由于TD1[T2]＝143、DI[T2]＝d＝143，评分数据M1[T2]成为
M1[T2]＝|TD1[T2]-DI[T2]|＝|143-143|＝0。
如图37(c)所示，第一平均维持插值运算电路6(1)求出测试像 素T3的测试插值数据TD1[T3]，使得包含测试像素T3的像素列T3C的 平均值和不包含测试像素T3的像素列T3A的平均值相等。从而，由方 程式
(T3A[1]+T3A[2]+T3A[3]+T3D[1]+L)/5
＝(T3D[1]+L+TD1[T3]+T3C[1]+T3C[2])/5，
测试插值数据TD1[T3]成为
TD1[T3]＝(T3A[1]+T3A[2]+T3A[3])-(T3C[1]+T3C[2])。
由于T3C[1]＝b＝57，T3C[2]＝c＝100，T3A[1]＝a＝74，T3A[2]＝b＝57， T3A[3]＝c＝100，成为
TD1[T3]＝(74+57+100)-(57+100)＝74。
评分电路8将所述测试像素T3的位置处的输入图像DI的数据DI[T3]和 测试插值数据TD1[T3]之间的差分的绝对值作为评分数据M1[T3]输出。 由于TD1[T3]＝74、DI[T3]＝a＝74，评分数据M1[T3]成为
M1[T3]＝|TD1[T3]-DI[T3]|＝|74-74|＝0。
如图37(d)所示，第一平均维持插值运算电路6(1)求出测试像 素T4的测试插值数据TD1[T4]，使得包含测试像素T4的像素列T4C的 平均值和不包含测试像素T4的像素列T4A的平均值相等。从而，由方 程式
(T4A[1]+T4A[2]+T4A[3]+L+T4D[1])/5
＝(L+T4D[1]+TD1[T4]+T4C[1]+T4C[2])/5，
测试插值数据TD1[T4]成为
TD1[T4]＝(T4A[1]+T4A[2]+T4A[3])-(T4C[1]+T4C[2])。
由于T4C[1]＝c＝100，T4C[2]＝d＝143，T4A[1]＝b＝57，T4A[2]＝c＝100， T4A[3]＝d＝143，成为
TD1[T1]＝(57+100+143)-(100+143)＝57。
评分电路8将所述测试像素T4的位置处的输入图像DI的数据DI[T4]和 测试插值数据TD1[T4]之间的差分的绝对值作为评分数据M1[T4]输出。 由于TD1[T4]＝57、DI[T4]＝b＝57，评分数据M1[T4]成为
M1[T4]＝|TD1[T4]-DI[T4]|＝|57-57|＝0。
如图37(e)所示，第一平均维持插值运算电路6(1)求出缺失像 素L的插值数据D1，使得包含缺失像素L的像素列LC的平均值和不包 含缺失像素L的像素列NA以及NB的平均值相等。从而，由方程式
(AD[1]+AD[2]+D1+BD[1]+BD[2])/5
＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])/5
+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3])/5)/2，
插值数据D1成为
D1＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])
+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3]))/2
-(AD[1]+AD[2]+BD[1]+BD[2])。
由于NA[1]＝e＝126，NA[2]＝a＝74，NA[3]＝b＝57，AD[1]＝c＝100， AD[2]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57，NB[1]＝c＝100，NB[2]＝d＝143， NB[3]＝e＝126，成为
D1＝((126+74+57+100+143)+(74+57+100+143+126))/2
-(100+143+74+57)
＝126。
图38是用于说明测试像素T1～T4以及缺失像素L中的第二平均维 持插值运算电路6(2)以及评分电路8的动作的图。图38(a)是表示 计算T1中的第二平均维持插值运算电路6(2)的测试插值数据的情况的 图，图38(b)是表示计算T2中的第二平均维持插值运算电路6(2)的 测试插值数据的情况的图，图38(c)是表示计算T3中的第二平均维持 插值运算电路6(2)的测试插值数据的情况的图，图38(d)是表示计 算T4中的第二平均维持插值运算电路6(2)的测试插值数据的情况的图， 图38(e)是表示计算缺失像素L中的第二平均维持插值运算电路6(2) 的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的第二平均维持插值运算 电路6(2)以及评分电路8的动作。
如图38(a)所示，第二平均维持插值运算电路6(2)求出测试像 素T1的测试插值数据TD2[T1]，使得包含测试像素T1的像素列T1C的 平均值和不包含测试像素T1的像素列T1B的平均值相等。从而，由方 程式
(T1C[1]+T1C[2]+T1C[3]+TD2[T1]+T1D[1]+L+T1D[2])/7
＝(T1D[1]+L+T1D[2]+T1B[1]+T1B[2]+T1B[3]+T1B[4])/7，
测试插值数据TD1[T1]成为
TD2[T1]＝(T1B[1]+T1B[2]+T1B[3]+T1B[4])
-(T1C[1]+T1C[2]+T1C[3])。
由于T1C[1]＝e＝126，T1C[2]＝a＝74，T1C[3]＝b＝57，T1B[1]＝b＝57， T1B[2]＝c＝100，T1B[3]＝d＝143，T1B[4]＝e＝126，成为
TD2[T1]＝(57+100+143+126)-(126+74+57)＝169。
评分电路8将所述测试像素T1的位置处的输入图像DI的数据DI[T1]和 测试插值数据TD2[T1]之间的差分的绝对值作为评分数据M2[T1]输出。 由于TD2[T1]＝169、DI[T1]＝c＝100，评分数据M2[T1]成为
M2[T1]＝|TD2[T1]-DI[T1]|＝|169-100|＝69。
如图38(b)所示，第二平均维持插值运算电路6(2)求出测试像 素T2的测试插值数据TD2[T2]，使得包含测试像素T2的像素列T2C的 平均值和不包含测试像素T1的像素列T2B的平均值相等。从而，由方 程式
(T2C[1]+T2C[2]+T2C[3]+TD2[T2]+L+T2D[1]+T2D[2])/7
＝(L+T2D[1]+T2D[2]+T2B[1]+T2B[2]+T2B[3]+T2B[4])/7，
测试插值数据TD2[T2]成为
TD2[T2]＝(T2B[1]+T2B[2]+T2B[3]+T2B[4])
-(T2C[1]+T2C[2]+T2C[3])。
由于T2C[1]＝a＝74，T2C[2]＝b＝57，T2C[3]＝c＝100，T2B[1]＝c＝100， T2B[2]＝d＝143，T2B[3]＝e＝126，T2B[4]＝a＝74，成为
TD2[T2]＝(100+143+126+74)-(74+57+100)＝212。
评分电路8将所述测试像素T2的位置处的输入图像DI的数据DI[T2]和 测试插值数据TD2[T2]之间的差分的绝对值作为评分数据M2[T2]输出。 由于TD2[T2]＝212、DI[T2]＝d＝143，评分数据M2[T2]成为
M2[T2]＝|TD2[T2]-DI[T2]|＝|212-143|＝69。
如图38(c)所示，第二平均维持插值运算电路6(2)求出测试像 素T3的测试插值数据TD2[T3]，使得包含测试像素T3的像素列T3C的 平均值和不包含测试像素T3的像素列T3A的平均值相等。从而，由方 程式
(T3A[1]+T3A[2]+T3A[3]+T3A[4]+T3D[1]+T3D[2]+L)/7
＝(T3D[1]+T3D[2]+L+TD2[T3]+T3C[1]+T3C[2]+T3C[3])/7，
测试插值数据TD2[T3]成为
TD2[T3]＝(T3A[1]+T3A[2]+T3A[3]+T3A[4])
-(T3C[1]+T3C[2]+T3C[3])
由于T3C[1]＝b＝57，T3C[2]＝c＝100，T3C[3]＝d＝143，T3A[1]＝d＝143， T3A[2]＝e＝126，T3A[3]＝a＝74，T3A[4]＝b＝57，成为
TD1[T3]＝(143+126+74+57)-(57+100+143)＝100。
评分电路8将所述测试像素T3的位置处的输入图像DI的数据DI[T3]和 测试插值数据TD2[T3]之间的差分的绝对值作为评分数据M2[T3]输出。 由于TD2[T3]＝100、DI[T3]＝a＝74，评分数据M2[T3]成为
M2[T3]＝|TD2[T3]-DI[T3]|＝|100-74|＝26。
如图38(d)所示，第二平均维持插值运算电路6(2)求出测试像 素T4的测试插值数据TD2[T4]，使得包含测试像素T4的像素列T4C的 平均值和不包含测试像素T4的像素列T4A的平均值相等。从而，由方 程式
(T4A[1]+T4A[2]+T4A[3]+T4A[4]+T4D[1]+L+T4D[2])/7
＝(T4D[1]+L+T4D[2]+TD2[T4]+T4C[1]+T4C[2]+T4C[3])/7，
测试插值数据TD2[T4]成为
TD2[T4]＝(T4A[1]+T4A[2]+T4A[3]+T4A[4])
-(T4C[1]+T4C[2]+T4C[3])。
由于T4C[1]＝c＝100，T4C[2]＝d＝143，T4C[3]＝e＝126，T4A[1]＝e＝126， T4A[2]＝a＝74，T4A[3]＝b＝57，T4A[4]＝c＝100，成为
TD1[T1]＝(126+74+57+100)-(100+143+126)＝-12。
评分电路8将所述测试像素T4的位置处的输入图像DI的数据DI[T4]和 测试插值数据TD2[T4]的差分的绝对值作为评分数据M2[T4]输出。由于 TD2[T4]＝-12、DI[T4]＝b＝57，评分数据M2[T4]成为
M2[T4]＝|TD2[T4]-DI[T4]|＝|-12-57|＝69。
如图38(e)所示，第二平均维持插值运算电路6(2)求出缺失像 素L的插值数据，使得包含缺失像素L的像素列LC的平均值和不包含 缺失像素L的像素列NA以及NB的平均值相等。从而，由方程式
(AD[1]+AD[2]+AD[3]+D1+BD[1]+BD[2]+BD[3])/7
＝((NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3])/7
+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4])/7)/2，
插值数据D1成为
D1＝((NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3])
+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4]))/2
-(AD[1]+AD[2]+AD[3]+BD[1]+BD[2]+BD[3])。
由于NA[1]＝c＝100，NA[2]＝d＝143，NA[3]＝e＝126，NA[4]＝a＝74， AD[1]＝b＝57，AD[2]＝c＝100，AD[3]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57， BD[3]＝c＝100，NB[1]＝d＝143，NB[2]＝e＝126，NB[3]＝a＝74，NB[4]＝b＝57， 成为
D1＝((100+143+126+74+57+100+143)
+(74+57+100+143+126+74+57))/2
-(57+100+143+74+57+100)
＝156。
图39是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～ M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝0，M0[T2]＝56， M0[T3]＝26，M0[T4]＝30，所以评价数据S0成为
S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]
＝0+56+26+30＝112。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评 分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于M1[T1]＝0， M1[T2]＝0，M1[T3]＝0，M1[T4]＝0，评价数据S1成为
S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]
＝0+0+0+0＝0。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评 分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于 M2[T1]＝69，M2[T2]＝69，M2[T3]＝26，M2[T4]＝69，评价数据S2成为
S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]
＝69+69+26+69＝233。
图40是将左右平均插值运算电路6(0)、第一平均维持插值运算电 路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集 中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插 值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输 出用于选择具有评价数据S0～S2中的最小的评价数据(S1＝0)的第一 平均维持插值运算电路6(1)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D1 ＝126。如图34(a)所示，可知缺失像素L的原始数据是126，可以以 最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素 T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价， 由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以 可以适当地对缺失像素进行插值。
示出使用图33所示的结构对另一图像数据进行插值的例子。
图41是表示具有周期性的图像数据的一例的图。图41(a)按照像 素周期Pp＝7重复浓度值a＝80、b＝56、c＝65、d＝100、e＝135、f＝ 144、g＝120。图41(b)表示缺失像素和测试像素之间的位置关系。此 外，以缺失像素L为中心、左右各两个地一维设定，作为与缺失像素L 对应的测试像素T1～T4。
使用左右平均插值运算电路6(0)、第一平均维持插值运算电路6 (1)以及第二平均维持插值运算电路对图41(b)的测试像素T1～T4 进行测试插值的方法与图36～图38所示的方法相同，所以省略说明。
图42是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～ M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝13，M0[T2]＝4.5， M0[T3]＝71，M0[T4]＝8，评价数据S0成为
S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]
＝13+4.5+71+8＝96.5。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评 分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于 M1[T1]＝143，M1[T2]＝35，M1[T3]＝143，M1[T4]＝35，评价数据S1成为
S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]
＝143+35+143+35＝356。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评 分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于M2[T1]＝0， M2[T2]＝0，M2[T3]＝0，M2[T4]＝0，评价数据S2成为
S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]
＝0+0+0+0＝0。
图43是将左右平均插值运算电路6(0)、第一平均维持插值运算电 路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集 中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插 值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输 出用于选择具有评价数据S0～S2中的最小的评价数据(S2＝0)的第二 平均维持插值运算电路6(2)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D2 ＝135。如图41(a)所示，可知缺失像素L的原始数据为135，可以以 最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素 T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价， 由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以 关于图41的数据也可以适当地对缺失像素进行插值。
示出使用图33所示的结构对另一图像数据进行插值的例子。
图44是表示具有周期性的图像数据的一例的图。图44(a)按照像 素周期Pp＝17重复浓度值a＝100、b＝116、c＝130、d＝140、e＝145、 f＝143、g＝136、h＝124、i＝108、j＝92、k＝76、l＝64、m＝57、n＝ 55、o＝60、p＝70、q＝84。图44(b)表示缺失像素和测试像素之间的 位置关系。此外，以缺失像素L为中心、左右各两个地一维设定，作为 与缺失像素L对应的测试像素T1～T4。
使用左右平均插值运算电路6(0)、第一平均维持插值运算电路6 (1)以及第二平均维持插值运算电路对图44(b)的测试像素T1～T4 进行测试插值的方法与图36～图38所示的方法相同，所以省略说明。
图45是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～ M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝3.5，M0[T2]＝8.5， M0[T3]＝1.5，M0[T4]＝0，评价数据S0成为
S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]
＝3.5+8.5+1.5+0＝13.5。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评 分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于 M1[T1]＝91，M1[T2]＝152，M1[T3]＝91，M1[T4]＝152，评价数据S1成为
S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]
＝91+152+91+152＝486。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评 分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于 M2[T1]＝191，M2[T2]＝269，M2[T3]＝86，M2[T4]＝191，评价数据S2成 为
S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]
＝191+269+86+191＝737。
图46是将左右平均插值运算电路6(0)、第一平均维持插值运算电 路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集 中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插 值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输 出用于选择具有评价数据S0～S2中的最小的评价数据(S0＝13.5)的左 右平均插值运算电路6(0)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D0 ＝133.5。如图44(a)所示，可知缺失像素L的原始数据为136，可以以 最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素 T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价， 由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以 关于图44的数据也可以适当地对缺失像素进行插值。
这样，由管理电路7、评分电路8构成的选择信号生成部9可以根 据图像数据生成选择通过适当的插值运算电路产生的插值数据的选择信 号，不管图像数据的周期性如何均可使插值误差成为最小。
此外，由于使用缺失像素的插值数据所使用的插值运算电路(例如， 包含缺失部合计计算电路19以及非缺失部合计计算电路17)求出测试像 素的插值数据，所以可以在不大幅地增加电路规模的情况下进行通过测 试像素实现的评价。
另外，在图29的像素插值电路中，也可以省略左右平均插值运算电 路6(0)。在该情况下，对平均维持插值运算电路6(1)至6(n)进行 评价，选择其中任意一个的输出。
实施方式7
图47是表示实施方式7中的插值运算电路的结构的图。实施方式7 中的插值运算电路的结构是：对实施方式1～3所示的平均维持插值运算 电路追加限制平均维持插值运算电路的输出的输出限制部13。输出限制 部13由输出范围生成电路10和限制电路11构成，限制由于噪声等产生 的平均维持插值运算电路的插值误差。
图48表示输入图像DI的一部分，表示缺失像素和参照数据范围之 间的位置关系。
说明实施方式7中的插值运算电路的结构和动作。
实施方式7中的插值运算电路具有输出范围生成电路10和限制电路 11以及平均维持插值运算电路12。输入图像DI输入给输出范围生成电 路10以及平均维持插值运算电路12。参数k输入给平均维持插值运算电 路12。平均维持插值运算电路基于输入图像DI和参数k，输出限制前数 据Da。限制前数据Da输入给限制电路11。
从外部提供的指定参照数据范围r的数据被输入给输出范围生成电 路10。输出范围生成电路10基于输入图像DI中的缺失像素的右侧r个 像素和左侧r个像素，生成输出最大值Lmax和输出最小值Lmin。输出 最大值Lmax为
Lmax＝max(M[1]、…、M[r]、M[r+1]、…、M[2r])。
这里，max(M[1]、…、M[r]、M[r+1]、…、M[2r])是求出像素M[1]、…、 M[r]、M[r+1]、…、M[2r]的最大值的函数。输出最大值Lmax输入给限 制电路11。
此外，输出最小值Lmin为
Lmin＝min(M[1]、…、M[r]、M[r+1]、…、M[2r])。
这里，min(M[1]、…、M[r]、M[r+1]、…、M[2r])是求出像素 M[1]、…、M[r]、M[r+1]、…、M[2r]的最小值的函数。输出最小值Lmin 输入给限制电路11。
限制电路11基于输出最大值Lmax和输出最小值Lmin，对限制前数 据Da进行限制，作为限制后数据Db输出。限制后数据Db
在Da＜Lmin的情况下，为Db＝Lmin，
在Lmin≤Da≤Lmax的情况下，Db＝Da，
在Lmax＜Db的情况下，为Db＝Lmax。
实施方式7中的插值运算电路可以将平均维持插值运算电路的输出 限制在缺失像素附近的2r个浓度值的范围内。
使用具体例进行说明。
图49是具体例的插值运算电路的结构。
图50表示像素周期Pp＝5的图像数据。在图50中，像素NB[3]的 浓度值由于噪声而从74变为94。
说明结构和动作。
输入图像DI输入给平均维持插值运算电路和输出范围生成电路。参 数k＝9输入给平均维持插值运算电路12。平均维持插值运算电路12求 出缺失像素L的插值数据，使得包含缺失像素的像素列LC和不包含缺 失像素的两个像素列NA以及NB的平均值相等。方程式为
(AD[1]+AD[2]+AD[3]+AD[4]+L
+BD[1]+BD[2]+BD[3]+BD[4])/9
＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]
+AD[1]+AD[2]+AD[3]+AD[4])/9
+(BD[1]+BD[2]+BD[3]+BD[4]
+NB[1]+NB[2]+NB[3]+NB[4]+NB[5])/9)/2，
缺失像素L为
L＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]
+AD[1]+AD[2]+AD[3]+AD[4])
+(BD[1]+BD[2]+BD[3]+BD[4]
+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]))/2
-(AD[1]+AD[2]+AD[3]+AD[4]+L
+BD[1]+BD[2]+BD[3]+BD[4])。
由于NA[1]＝126，NA[2]＝74，NA[3]＝57，NA[4]＝100，NA[5]＝143， AD[1]＝126，AD[2]＝74，AD[3]＝57，AD[4]＝100，BD[1]＝126，BD[2]＝74， BD[3]＝57，BD[4]＝100，NB[1]＝143，NB[2]＝126，NB[3]＝94，NB[4]＝57， NB[5]＝100，成为
L＝((126+74+57+100+143+126+74+57+100)
+(126+74+57+100+143+126+94+57+100))/2
-(126+74+57+100+126+74+57+100)
＝153。
将缺失像素L的插值数据作为限制前数据Da。限制前数据Da输入给限 制电路11。
参照数据范围r＝9输入给输出范围生成电路。输出范围生成电路10 输出输入图像DI中的缺失像素L的右侧9个和左侧9个的最大值作为输 出最大值Lmax。输出最大值Lmax为
Lmax＝143。
输出最大值Lmax输入给限制电路。
此外，输出范围生成电路10输出输入图像DI中的缺失像素L的右 侧9个和左侧9个的最小值作为输出最小值Lmin。输出最小值Lmin为
Lmin＝57。
输出最小值Lmin输入给限制电路11。
限制电路11基于输出最大值Lmax和输出最小值Lmin，对限制前数 据Da进行校正而作为限制后数据Db输出。由于Da＝153、Lmax＝143、 Lmin＝57，Lmax＜Da成立，所以限制后数据Db为Db＝Lmax＝143。
根据图50，缺失像素L的原始数据为143，限制后数据Db＝143的 误差为|143-143|＝0。限制前数据的误差为|153-143|＝10，通过进行 限制可以减小误差。
实施方式8
在实施方式1～3中，说明了由硬件通过平均维持插值运算对缺失像 素进行插值的插值运算电路的结构，但也可以通过软件对缺失像素进行 插值。另外，也可以同时使用软件和硬件。
图51是说明通过软件处理对缺失像素进行插值的动作(插值运算方 法)的流程图。
也参照图2说明流程图的动作。
在步骤s1中，生成包含缺失像素的像素列LC的部分和数据(相当 于实施方式1中的SL)。
在步骤s2中，生成不包含缺失像素的像素列NA的部分和数据(相 当于实施方式1中的SA)。
如图13所示，在存在多个不包含缺失像素的像素列的情况下，返回 步骤s2，生成各个部分和数据。(步骤s3)
在步骤s4中，基于在步骤s1中生成的部分和数据(相当于SL的数 据)和在步骤s2中生成的部分和数据(相当于SA的数据)，建立方程式， 使得包含缺失像素的像素列的平均值和不包含缺失像素的像素列的平均 值相等。
在步骤s5中，对在步骤s4中建立的方程式进行求解(例如从相当 于SA的数据中减去相当于SL的数据)，求出缺失像素的插值数据。
由于关于各个步骤中的处理内容在实施方式1～3中已详细示出，所 以这里省略说明。
实施方式9
在实施方式6中，说明了由硬件通过平均维持插值运算和左右平均 插值运算的同时使用来对缺失像素进行插值的像素插值电路的结构，但 也可以由软件来对缺失像素进行插值。另外，也可以同时使用软件和硬 件。
图52是说明通过软件处理对缺失像素进行插值的动作(像素插值方 法)的流程图。
也参照图30(a)说明流程图的动作。
在步骤s1中，生成测试像素T1中的左右平均插值运算方法的测试 插值数据(相当于实施方式6的TD0[T1])。
在步骤s2中，生成测试像素T1的位置处的输入图像DI的数据(相 当于实施方式6的DI[T1])和步骤s1中所生成的测试插值数据之间的差 分的绝对值，作为评分数据(相当于实施方式6的M0[T1])。
接着，返回步骤s1，生成测试像素T2中的左右平均插值运算方法 的测试插值数据(相当于实施方式6的TD0[T2])。
在步骤s2中，生成测试像素T2的位置处的输入图像DI的数据(相 当于实施方式6的DI[T2])和步骤s1中所生成的测试插值数据之间的差 分的绝对值，作为评分数据(相当于实施方式6的M0[T2])。
对于测试像素T3～Tm也同样地重复步骤s1和步骤s2的步骤(步 骤s3)。这样，得到所有的测试像素T1～Tm中的左右平均插值运算方法 的评分数据。
在步骤s4中，生成缺失像素L中的左右平均插值运算方法的插值数 据。
接着，返回步骤s1，生成测试像素T1中的第一平均维持插值运算 方法的测试插值数据(相当于实施方式6的TD1[T1])。
在步骤s2中，生成测试像素T1的位置处的输入图像DI的数据(相 当于实施方式6的DI[T1])和步骤s1中所生成的测试插值数据之间的差 分的绝对值，作为评分数据(相当于实施方式6的M1[T1])。
接着，返回步骤s1，生成测试像素T2中的第一平均维持插值运算 方法的测试插值数据(相当于实施方式6的TD1[T2])。
在步骤s2中，生成测试像素T2的位置处的输入图像DI的数据(相 当于实施方式6的DI[T2])和步骤s1中所生成的测试插值数据之间的差 分的绝对值，作为评分数据(相当于实施方式6的M1[T2])。
对于测试像素T3～Tm也同样地重复步骤s1和步骤s2的步骤(步 骤s3)。这样，得到所有的测试像素T1～Tm中的第一平均维持插值运算 方法的评分数据。
在步骤s4中，生成缺失像素L中的第一平均维持插值运算方法的插 值数据。
对于第二平均维持插值运算方法～第n平均维持插值运算方法也同 样重复步骤s1～s4的步骤(步骤s5)。分别对于左右平均插值运算方法 以及第一平均维持插值运算方法～第n平均维持插值运算方法，得到所 有的测试像素T1～Tm中的评分数据和缺失像素L中的插值数据。
在步骤s6中针对每个插值运算方法对评分数据进行相加而生成左右 平均插值运算方法以及第一平均维持插值运算方法～第n平均维持插值 运算方法各自的评价数据(相当于实施方式6的S0～Sn)。
在步骤s7中，基于步骤s6中所生成的评价数据选择对缺失像素进 行插值的插值数据。
重复上述步骤s1～步骤s7的步骤直到达到最后的缺失像素为止(步 骤s8)。
由于关于各个步骤中的处理内容在实施方式6中已详细示出，所以 这里省略说明。
另外，在上述的各实施方式中，在左右方向上排列了像素，在左右 平均插值运算中，通过求出与缺失像素或测试用非缺失像素左右邻接的 像素的平均而生成了插值数据，但在上下排列了像素的情况下，通过求 出与缺失像素或测试用非缺失像素上下邻接的像素的平均而生成插值数 据。这样的左右平均插值运算或上下平均插值运算总称为邻接像素平均 插值运算。
在以下的实施方式中作为处理对象的是预先知道缺失像素的位置的 一系列的像素。作为这样的一系列的像素的例子，例如是上述专利文献1 所示的、通过多个芯片直线排列而成的像素元件读取图像信息时得到的， 在该情况下，当隔着邻接芯片间的边界而邻接的摄像元件相互的间隔大 于同一芯片内的摄像元件相互的间隔(1节距)时，例如2节距左右时， 认为存在缺失像素而进行插值处理。
在预先不知道缺失像素的位置的情况下，附加检测缺失像素的位置 的电路即可。
本发明的实施方式中的几个在一系列的像素具有周期性的情况下使 用时发挥效果。
此外，几个实施方式作为预先知道周期的方式，通过根据该周期来 设定参数而发挥最佳的效果。
在预先不知道周期性的情况下，附加检测周期的电路即可。
实施方式1
图1是表示基于本发明的插值运算电路的结构的图。
基于本发明的插值运算电路具有缺失部加法电路1、非缺失部加法 电路2以及差分电路3。如后面所详细说明的那样，缺失部加法电路1求 出一系列的像素中、构成包含缺失像素的像素组的k个像素中、缺失像 素以外的像素的值之和(SL)。非缺失部加法电路2求出构成不包含缺失 像素的像素组的k个像素的值的合计。差分电路3通过从非缺失部加法 电路2的输出(SA)中减去缺失部加法电路1的输出(SL)，求出缺失 像素的插值数据(L)。
图2是表示输入图像DI的一部分的图，表示在基于本发明的插值运 算电路中计算平均值的两个像素列的位置关系。在以下的说明中，假设 预先知道输入图像DI中的缺失像素的位置。○表示实际存在的像素(非 缺失像素)，×表示缺失像素。标号LC以及NA分别表示构成一系列像 素的一部分的、相互连续的、一维排列的k个像素所构成的像素列。像 素列LC和像素列NA不重复。像素列LC包含缺失像素，像素列NA不 包含缺失像素。
使用图1以及图2说明基于本发明的插值运算电路的动作。
本实施方式的插值运算电路对缺失像素L进行插值，使得包含缺失 像素L的像素列LC的平均值和不包含缺失像素L的像素列NA的平均 值相等。将输入图像DI输入给缺失部加法电路1以及非缺失部加法电路 2。k是表示在本发明的插值运算电路中计算平均值的像素个数的参数， 表示构成像素列LC、像素列NA的像素的个数。被输入给缺失部加法电 路1以及非缺失部加法电路2。首先，缺失部加法电路1将像素列LC中 所包含的k个像素(LC[1]、LC[2]～LC[k-1]、L)中、缺失像素L以外 的和作为部分和数据SL输出。部分和数据SL为
SL＝LC[1]+LC[2]+…+LC[k-1]。
将部分和数据SL输入给差分电路3。
非缺失部加法电路2将像素列NC中所包含的k个像素(NA[1]～ NA[k])之和作为部分和数据SA输出。部分和数据SA为
SA＝NA[1]+NA[2]+…+NA[k]。
将部分和数据SA输入给差分电路3。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式为
(SL+L)/k＝SA/k，
缺失像素L为
L＝SA-SL。
基于本实施方式的插值运算电路可以针对具有包含缺失像素L的像 素列LC和不包含缺失像素L的像素列NA的平均值相等的特性的图像数 据，对缺失像素适当地进行插值。
此外，由于基于本实施方式的插值运算电路计算缺失像素的插值数 据，使得包含缺失像素的像素列和不包含缺失像素的像素列的像素的值 的平均值相等，所以在以下本说明书中，将上述的基于本实施方式的插 值运算电路设为平均维持插值运算电路。另外，在以下的说明中，为了 简单，将‘像素列的像素的值的平均值’称为‘像素列的平均值’。同样， ‘像素的值的合计’、‘像素的值之和’的意思也有时表示为‘像素之和’、 ‘像素的合计’。
接着，关于图像数据具有周期性的情况，示出对缺失像素进行插值 的例子。
图3是表示具有周期性的图像数据的一例的图。横轴X表示像素位 置，纵轴D表示浓度值。
说明具有周期性的图像数据。
图3的图像数据是针对每个采样周期Ps对按照一定周期Pd重复一 定的变化的数据Dorg进行了离散化的数据。在图3中，Pd＝5Ps，所以 将Pp＝Pd/Ps＝5作为图像数据的像素周期。像素周期Pp表示每1周期 的采样次数。即，像素周期是以像素个数表示的像素变化的周期。此外， 在图3中，假设针对每个数据周期Pd，数据的值重复100、143、126、 74、57。
首先，示出对于像素周期Pp＝5的图像数据，由k＝5的平均维持插 值运算电路(图1)对缺失像素进行插值的例子。
图4是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在k＝5的平均维持插值运算电路中，计算平均值的像素列LC 以及NA之间的位置关系(图2)的对应。
由于k＝5的平均维持插值运算电路的结构是将图1的k设为5的情 况，所以省略说明。
使用图1以及图4说明k＝5的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的5个像素(LC[1]～LC[4]、 L)中、缺失像素L以外的和作为部分和数据SL输出。由于LC[1]＝143、 LC[2]＝74、LC[3]＝57、LC[4]＝100，所以部分和数据SL成为
SL＝LC[1]+LC[2]+LC[3]+LC[4]
＝143+74+57+100
＝374。
非缺失部加法电路2将像素列NA中所包含的5个像素 (NA[1]～NA[5])之和作为部分和数据SA输出。由于NA[1]＝57、 NA[2]＝100、NA[3]＝143、NA[4]＝126、NA[5]＝74，所以部分和数据SA 成为
SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]
＝57+100+143+126+74
＝500。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/5＝SA/5，
缺失像素L成为
L＝SA-SL
＝500-374
＝126。
如图3所示，缺失像素L的原始数据是126，k＝5的平均维持插值 运算电路的插值数据相对于原始数据的误差＝0。k＝5的平均维持插值运 算电路可以对于5像素周期的图像数据，适当地对缺失像素进行插值。
接着，示出针对像素周期Pp＝5的图像数据，由k＝3的平均维持插 值运算电路对缺失像素进行插值的例子。
图5是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在k＝3的平均维持插值运算电路中，计算平均值的像素列LC 以及NA之间的位置关系(图2)的对应。
由于k＝3的平均维持插值运算电路的结构是将图1的k设为3的情 况，所以省略说明。
使用图1以及图5说明k＝3的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的3个像素(LC[1]、LC[2]、 L)中、缺失像素L以外的和作为部分和数据SL输出。由于LC[1]＝143、 LC[2]＝74，所以部分和数据SL成为
SL＝LC[1]+LC[2]
＝143+74
＝217。
非缺失部加法电路2将像素列NA中所包含的3个像素 (NA[1]～NA[3])之和作为部分和数据SA输出。由于NA[1]＝100、 NA[2]＝143、NA[3]＝126，所以部分和数据SA成为
SA＝NA[1]+NA[2]+NA[3]
＝100+143+126
＝369。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/3＝SA/3，
缺失像素L成为
L＝SA-SL
＝369-217
＝152。
如图3所示，缺失像素L的原始数据是126，k＝3的平均维持插值 运算电路的插值数据相对于原始数据具有|152-126|＝26的误差。
由于图5的图像数据针对每个像素周期Pp＝5重复数据100、143、 126、74、57，所以图像数据内的连续的任意的5像素的值的平均值由 (100+143+126+74+57)/5＝100，
而恒定。而且对于像素周期Pp的整数倍、即N*Pp像素的平均值也同样 为
N*(100+143+126+74+57)/N*5＝100，
为恒定(N是正整数)。
在图4的k＝5的平均维持插值运算电路的例子中，参数k与像素周 期Pp相等，因此包含缺失像素的像素列LC的平均值和不包含缺失像素 的像素列NA的平均值均为100，可以通过差分电路3的方程式适当地求 出缺失像素的插值数据。
在图5的k＝3的平均维持插值运算电路的例子中，参数k是像素周 期Pp的整数倍，因此缺失像素的插值数据具有误差。
如上所述，在参数k与像素周期Pp或其整数倍大致相等的情况下插 值数据的误差减小，所以例如图6所示，平均维持插值运算电路也可以 附加接收图像数据DI而检测像素周期Pp的周期检测电路15，基于检测 出的像素周期Pp来确定参数k。
另外，在上述的说明中，假设了预先知道缺失像素的位置，但在不 知道缺失像素的位置的情况下，也可以附加检测缺失像素的位置的电路。 作为这样的电路，例如可使得用公知的纠错电路。
这样，在平均维持插值运算电路的参数k与像素周期Pp相等的情况 下，可以适当地对缺失像素进行插值。此外，平均维持插值运算电路的 参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下也同样，包含缺失 像素的像素列和不包含缺失像素的像素列的平均值为相等，可以通过差 分电路3的方程式来适当地求出缺失像素的插值数据。
此外，如上述的实施方式这样，包含缺失像素L的像素列LC和不 包含缺失像素L的像素列NA均分别由k个像素构成，由缺失部加法电 路1求出包含缺失像素L的像素列LC中、缺失像素L以外的像素的值 的合计，由非缺失部加法电路2求出构成不包含缺失像素L的像素列NA 的像素的值的合计时，通过求出这些合计之差，可以求出缺失像素的插 值数据，使得两个像素列的像素的值的平均值相互相等。即，即使不进 行对于各像素列求出平均值的计算，也可以确定像素的插值数据，使得 平均值相互相等。
实施方式2
图7是与图2同样地表示输入图像DI的一部分的图，表示在平均维 持插值运算电路中计算平均值的两个像素列之间的位置关系。标号LC以 及NA分别表示构成一系列的像素的一部分的、相互连续的、一维排列 的k个像素所构成的像素列。像素列LC和像素列NA重复i像素。像素 列LC包含缺失像素，像素列NA不包含缺失像素。此外，标号NA’表示 像素列NA中、不与像素列LC重复的区域或部分，标号LC’表示像素列 LC中、不与像素列NA重复的部分，标号AD表示像素列NA与像素列 LC中、互相重复的部分。
如图所示，像素列被构成为缺失像素L不包含于重复部分AD内。
由于包含缺失像素的像素列和不包含缺失像素的像素列重复的情况 下的平均维持插值运算电路的结构、动作与图1以及图2的结构、动作 相同，所以省略说明。
包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的 平均维持插值运算电路，与实施方式1中示出的包含缺失像素的像素列 和不包含缺失像素的像素列不重复的情况下的平均维持插值运算电路同 样，平均维持插值运算电路的参数k为像素周期Pp的整数倍(k＝N*Pp) 的情况下，包含缺失像素的像素列LC的平均值和不包含缺失像素的像素 列NA的平均值为相等，可以适当地对缺失像素进行插值。
除此以外，如以下详细叙述的那样，在从平均维持插值运算电路的 参数k中减去重复部分的像素个数i后的值为像素周期Pp的整数倍((k -i)＝N*Pp)的情况下，包含缺失像素的像素列LC的平均值和不包含 缺失像素的像素列NA的平均值也为相等，可以适当地对缺失像素进行 插值。
如图7所示，像素列LC的部分和数据SL通过像素列LC’的部分和 数据SL’以及像素列AD的部分和数据SAD，成为
SL＝SL’+SAD。
此外，像素列NA的部分和数据SA通过像素列NA’的部分和数据SA’以 及像素列AD的部分和数据SAD，成为
SA＝SA’+SAD。
建立方程式，使得像素列LC和NA相等时，成为
(SL+L)/k＝SA/k，
将部分和数据SL以及SA分别代入时，成为
(SL’+SAD+L)/k＝(SA’+SAD)/k。
由于包含缺失像素的像素列和不包含缺失像素的像素列重复，所以 像素列NA的部分和数据SAD被抵消，方程式成为
(SL’+L)/k＝SA’/k。
对两边乘以k/(k-i)时，成为
(SL’+L)/(k-i)＝SA’/(k-i)，
方程式表示像素列NA的不重复的部分的像素列NA’和像素列LC的不重 复的部分的像素列LC’中所分别包含的(k-i)个像素的平均值相等。
从而，包含缺失像素的像素列和不包含缺失像素的像素列重复的情 况下的平均维持插值运算电路，对于具有像素列NA’和LC’的平均值为相 等的特性的图像数据也可以适当地进行插值。
首先，示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像 素列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算 电路来对缺失像素进行插值的例子。
图8是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在包含缺失像素的像素列和不包含缺失像素的像素列重复4像 素的k＝9的平均维持插值运算电路中计算平均值的像素列LC以及NA 之间的位置关系(图7)的对应。
k＝9的平均维持插值运算电路的结构与将图1的k设为9的情况同 样，所以省略说明。
使用图1以及图8说明包含缺失像素的像素列和不包含缺失像素的 像素列重复4像素的k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～ AD[4]、L、LC[1]～LC[4])中、缺失像素L以外的和作为部分和数据SL 输出。由于AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143、LC[1]＝74、 LC[2]＝57、LC[3]＝100、LC[4]＝143，所以部分和数据SL成为
SL＝AD[1]+AD[2]+AD[3]+AD[4]+LC[1]+LC[2]+LC[3]+LC[4]
＝74+57+100+143+74+57+100+143
＝748。
非缺失部加法电路2将像素列NA中所包含的9个像素 (NA[1]～NA[5]、AD[1]～AD[4])之和作为部分和数据SA输出。由于 NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、NA[5]＝126、AD[1]＝74、 AD[2]＝57、AD[3]＝100、AD[4]＝143，所以部分和数据SA成为 SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4]
＝74+57+100+143+126+74+57+100+143
＝874。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/9＝SA/9，
缺失像素L成为
L＝SA-SL
＝874-748
＝126。
如图3所示，缺失像素L的原始数据为126，包含缺失像素的像素 列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电 路的插值数据相对于原始数据的误差＝0。包含缺失像素的像素列和不包 含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电路对于5 像素周期的像素数据，可以适当地对缺失像素进行插值。
接着，示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像 素列和不包含缺失像素的像素列重复5像素的k＝9的平均维持插值运算 电路对缺失像素进行插值的例子。
图9是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在包含缺失像素的像素列和不包含缺失像素的像素列重复5像 素的k＝9的平均维持插值运算电路中，计算平均值的像素列LC以及NA 之间的位置关系(图7)的对应。
k＝9的平均维持插值运算电路的结构与将图1的k设为9的情况同 样，所以省略说明。
使用图1以及图9说明k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～ AD[5]、L、LC[1]～LC[3])中、缺失像素L以外的和作为部分和数据SL 输出。由于AD[1]＝126、AD[2]＝74、AD[3]＝57、AD[4]＝100、AD[5]＝143、 LC[1]＝74、LC[2]＝57、LC[3]＝100，所以部分和数据SL成为
SL＝AD[1]+AD[2]+AD[3]+AD[4]+AD[5]+LC[1]+LC[2]+LC[3]
＝126+74+57+100+143+74+57+100
＝731。
非缺失部加法电路2将像素列NA中所包含的9个像素 (NA[1]～NA[4]、AD[1]～AD[5])之和作为部分和数据SA输出。由于 NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、AD[1]＝126、AD[2]＝74、 AD[3]＝57、AD[4]＝100、AD[5]＝143，所以部分和数据SA成为
SA＝NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3]
+AD[4]+AD[5]
＝74+57+100+143+126+74+57+100+143
＝874。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列 LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/9＝SA/9，
缺失像素L成为
L＝SA-SL
＝874-731
＝143。
如图3所示，缺失像素L的原始数据是126，包含缺失像素的像素 列和不包含缺失像素的像素列重复5像素的k＝9的平均维持插值运算电 路的插值数据相对于原始数据具有|143-126|＝17的误差。
包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的 平均维持插值运算电路，与实施方式1中示出的包含缺失像素的像素列 和不包含缺失像素的像素列不重复的情况下的平均维持插值运算电路同 样，在参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下，可以适当 地对缺失像素进行插值。
进而，在图8的包含缺失像素的像素列和不包含缺失像素的像素列 重复4像素的k＝9的平均维持插值运算电路的例子中，像素列LC和NA 不重复的部分的像素个数与像素周期Pp相等，因此像素列LC和NA不 重复的部分LC’以及NA’的平均值均为100，可以通过差分电路3适当地 求出缺失像素的插值数据。
在图9的包含缺失像素的像素列和不包含缺失像素的像素列重复5 像素的k＝9的平均维持插值运算电路的例子中，包含缺失像素的像素列 和不包含缺失像素的像素列不重复的部分的像素个数不是像素周期Pp的 整数倍，因此缺失像素的插值数据具有误差。
这样，在包含缺失像素的像素列和不包含缺失像素的像素列不重复 的部分的像素个数与像素周期Pp相等的情况下，可以适当地对缺失像素 进行插值。此外，在包含缺失像素的像素列和不包含缺失像素的像素列 不重复的部分的像素个数为像素周期Pp的整数倍(k-i＝N*Pp)的情况 下，也同样，包含缺失像素的像素列和不包含缺失像素的像素列不重复 的部分的平均值为相等，可以适当地对缺失像素进行插值。
如上所述，在不重复的部分的像素个数(k-i)与像素周期Pp或其 整数倍大致相等的情况下，插值数据的误差减小，所以例如与图6所示 的同样，平均维持插值运算电路也可以附加接收图像数据DI而检测像素 周期Pp的周期检测电路15，基于检测出的像素周期Pp来确定参数k以 及i。
实施方式3
图10是表示进行缺失像素的插值，使得包含缺失像素的像素列的平 均值和不包含缺失像素的两个像素列的平均值相等的、平均维持插值运 算电路的结构。
使包含缺失像素的像素列的平均值和不包含缺失像素的两个像素列 的平均值相等的情况下的平均维持插值运算电路具有：缺失部加法电路 1、第一非缺失部加法电路2(1)、第二非缺失部加法电路2(2)、差分 电路3以及平均电路4。
图11与图2同样表示输入图像DI的一部分，表示在平均维持插值 运算电路中计算平均值的三个像素列之间的位置关系。像素列LC、NA 以及NB分别是一维地排列了k个像素的像素列，像素列LC和像素列 NA以及像素列LC和像素列NB分别重复i像素。像素列LC包含缺失 像素，像素列NA以及NB不包含缺失像素。此外，标号NA’表示在NA 中不与LC重复的部分，标号NB’表示在像素列NB中不与像素列LC重 复的部分，标号LCA’表示在像素列LC中不与像素列NA重复的部分， 标号LCB’表示在像素列LC中不与像素列NB重复的部分。此外，标号 AD表示像素列NA和像素列LC重复的部分，标号BD表示像素列NB 和像素列LC重复的部分。
此外，如图12所示，也可以二维地设定包含缺失像素的像素列LC、 不包含缺失像素的像素列NA以及NB。
即，也可以如图12所示，一系列的像素被分割为多个行而矩阵状地 进行排列，分别构成多个行的一部分，由在各行内相互连续的像素所构 成的多个像素列构成像素组。在该情况下，代替上述像素列，而在像素 组相互间，使平均值变为相互相等。图2或图11所示的情况可以认为是 构成像素组的像素列为1的例子。
此外，例如如图13所示，也可以设定多个不包含缺失像素的像素列。 此外，不包含缺失像素的像素列也可以相对于包含缺失像素的像素列错 开而设定。即，也可以使多个非缺失像素列(NA、NB、NC)由互不相 同的行的像素构成。
在图13所示的例子中，示出了三个不包含缺失像素的像素列，在该 情况下，在图10的结构中，设置三个非缺失部加法电路(与图10的非 缺失部加法电路2(1)、2(2)相似的电路)，求出它们的输出的平均即 可。
使用图10以及图11说明包含缺失像素的像素列的平均值和不包含 缺失像素的两个像素列的平均值相等的情况下的平均维持插值运算电路 的动作。
使包含缺失像素的像素列和不包含缺失像素的两个像素列的平均值 相等的情况下的平均维持插值运算电路对缺失像素L进行插值，使得包 含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA 以及NB的平均值相等。将输入图像DI输入给缺失部加法电路1、第一 非缺失部加法电路2(1)以及第二非缺失部加法电路2(2)。k与图1同 样，是表示在平均维持插值运算电路中计算平均值的像素个数的参数， 被输入给缺失部加法电路1、第一非缺失部加法电路2(1)以及第二非 缺失部加法电路2(2)。首先，缺失部加法电路1将像素列LC中所包含 的k个像素(AD[1]～AD[i]、LC[1]～LC[k-2i-1]、BD[1]～BD[i])中、缺 失像素L以外的和作为部分和数据SL输出。部分和数据SL为
SL＝AD[1]+…+AD[i]+LC[1]+…LC[k-2i-1]+BD[1]+…+BD[i]。
将部分和数据SL输入给差分电路3。
第一非缺失部加法电路2(1)将像素列NA中所包含的k个像素 (NA[1]～NA[k-i]、AD[1]～AD[i])之和作为部分和数据SA输出。部分 和数据SA为
SA＝NA[1]+…+NA[k-i]+AD[1]+…AD[i]。
将部分和数据SA输入给平均电路4。
第二非缺失部加法电路2(2)将像素列NB中所包含的k个像素 (BD[1]～BD[i]、NB[1]～NB[k-i])之和作为部分和数据SB输出。部分 和数据SB为
SB＝BD[1]+…+BD[i]+NB[1]+…NB[k-i]。
将部分和数据SB输入给平均电路4。
平均电路4将不包含缺失像素的两个像素列的部分和数据SA以及 SB的平均值作为平均数据AN输出。平均数据AN为
AN＝(SA+SB)/2。
差分电路3基于部分和数据SL以及平均数据AN建立方程式，使得 像素列LC、NA以及NB的平均值相等，求出缺失像素L的插值数据。
方程式为
(SL+L)/k＝(SA/k+SB/k)/2，
即，为
(SL+L)/k＝AN/k，
缺失像素L为
L＝AN-SL。
使包含缺失像素的像素列和不包含缺失像素的两个像素列的平均值 相等的情况下的平均维持插值运算电路对于具有包含缺失像素的像素列 LC和不包含缺失像素的两个像素列NA以及NB的平均值相等的特性的 图像数据，可以适当地进行插值。进而，与实施方式2所示的包含缺失 像素的像素列和不包含缺失像素的像素列重复的情况下的平均维持插值 运算电路同样，对于包含缺失像素的像素列和不包含缺失像素的像素列 不重复的部分NA’和LCA’的平均值以及NB’和LCB’的平均值相等的图 像数据，也可以适当地进行插值。此外，通过求出不包含缺失像素的两 个像素列的平均值，可以减少噪声等所引起的插值误差，提高插值精度。
示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像素列和 不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插值运 算电路对缺失像素进行插值的例子。
图14是表示缺失了图3的图像数据的像素L的情况下的图像数据的 图，表示在使包含缺失像素的像素列和不包含缺失像素的两个像素列的 平均值相等的情况下的k＝9的平均维持插值运算电路中计算平均值的像 素列LC、NA以及NB之间的位置关系(图11)的对应。LC和NA以及 LC和NB分别重复4像素。
包含缺失像素的像素列和不包含缺失像素的两个像素列分别重复4 像素的k＝9的平均维持插值运算电路的结构是将图10的k设为9的情 况，所以省略说明。
使用图10以及图14说明包含缺失像素的像素列和不包含缺失像素 的两个像素列分别重复4像素的k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～ AD[4]、L、BD[1]～BD[4])中、缺失像素L以外的和作为部分和数据SL 输出。由于AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143、BD[1]＝74、 BD[2]＝57、BD[3]＝100、BD[4]＝143，所以部分和数据SL成为
SL＝AD[1]+AD[2]+AD[3]+AD[4]+BD[1]+BD[2]+BD[3]+BD[4]
＝74+57+100+143+74+57+100+143
＝748。
第一非缺失部加法电路2(1)将像素列NA中所包含的9个像素 (NA[1]～NA[5]、AD[1]～AD[4])之和作为部分和数据SA输出。由于 NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、NA[5]＝126、AD[1]＝74、 AD[2]＝57、AD[3]＝100、AD[4]＝143，所以部分和数据SA成为 SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4]
＝74+57+100+143+126+74+57+100+143
＝874。
第二非缺失部加法电路2(2)将像素列NB中所包含的9个像素 (BD[1]～BD[4]、NB[1]～NB[5])之和作为部分和数据SB输出。由于 BD[1]＝74、BD[2]＝57、BD[3]＝100、BD[4]＝143、NB[1]＝126、NB[2]＝74、 NB[3]＝57、NB[4]＝100、NB[5]＝143，所以部分和数据SB成为
SB＝BD[1]+BD[2]+BD[3]+BD[4]+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]
＝74+57+100+143+126+74+57+100+143
＝874。
平均电路4将部分和数据SA以及SB的平均值作为平均数据AN输 出。平均数据AN为
AN＝(SA+SB)/2
＝(874+874)/2
＝874。
差分电路3基于部分和数据SL以及平均数据AN建立方程式，使得 像素列LC、NA以及NB的平均值相等，求出缺失像素L的插值数据。
方程式成为
(SL+L)/9＝(SA/9+SB/9)/2，
即，
(SL+L)/9＝AN/9，
缺失像素L成为
L＝AN-SL
＝874-748
＝126。
如图3所示，缺失像素L的原始数据为126，包含缺失像素的像素 列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插 值运算电路的插值数据相对于原始数据的误差＝0。包含缺失像素的像素 列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插 值运算电路对于像素周期Pp＝5的像素数据，可以适当地对缺失像素进 行插值。
这样，与实施方式2同样，可针对包含缺失像素的像素列和不包含 缺失像素的两个像素列不重复的部分的像素个数为像素周期Pp的整数倍 (k-i＝N*Pp)的图像数据，适当地对缺失像素进行插值。
进而，与实施方式1同样，包含缺失像素的像素列和不包含缺失像 素的两个像素列重复的情况下的平均维持插值运算电路在参数k为像素 周期Pp的整数倍(k＝N*Pp)的情况下，也可以适当地对缺失像素进行 插值。
此外，通过计算两个不包含缺失像素的部分的平均值，在不包含缺 失像素的像素列NA以及NB中的任何一方含有噪声时，也由于通过平均 电路4对噪声成分进行平均化，所以可以减少噪声等所引起的插值误差， 提高插值精度。
另外，在图10的结构中，通过第一以及第二非缺失部加法电路2(1) 以及2(2)还有平均电路4构成了非缺失部合计计算电路17，该非缺失 部合计计算电路17求出构成不包含缺失像素的像素列的k个像素的值的 合计。
在图1的结构中，可以认为仅由非缺失部加法电路2构成了这样的 非缺失部合计计算电路17。
此外，也可以在图10的结构中，代替缺失部加法电路1，而如图15 所示，设有多个缺失部加法电路1(1)、1(2)以及对它们的输出进行平 均的平均电路18，由此构成缺失部合计计算电路19，该缺失部合计计算 电路19求出构成包含缺失像素的像素列的k个像素中、缺失像素以外的 像素的值的合计SL。
在图1或图10的结构中，可以认为仅由缺失部加法电路1构成了这 样的缺失部合计计算电路19。
从而，对图1、图10的结构进行一般化绘制时如图16所示。
实施方式4
图17是表示基于实施方式4的像素插值电路的结构的图。该像素插 值电路具有：多个平均维持插值运算电路6(1)至6(n-1)、即第一平 均维持插值运算电路6(1)、第二平均维持插值运算电路6(2)、…、第 n-1平均维持插值运算电路6(n-1)。这些平均维持插值运算电路6(1) 至6(n-1)将参数k或从参数k中减去了i的(k-i)设定为互不相同 的值。例如，对第一平均维持插值运算电路6(1)输入参数k＝2，同样 对第二平均维持插值运算电路6(2)、…、第n-1平均维持插值运算电 路6(n-1)分别输入并设定k＝3、…、kn。
输出电路5例如基于选择信号C，选择由多个平均维持插值运算电 路6(1)至6(n-1)分别输出的插值数据中的一个，输出作为缺失像 素的数据。
图18是表示在实施方式1所示的包含缺失像素的像素列和不包含缺 失像素的像素列不重复的情况下的k＝kj的平均维持插值运算电路中，像 素周期和插值误差之间的关系的曲线图。横轴Pp表示有周期性的图像数 据的像素周期，纵轴E表示插值误差。
说明k＝kj的平均维持插值运算电路中的像素周期和插值误差之间 的关系。
如实施方式1所示，包含缺失像素的像素列和不包含缺失像素的像 素列不重复的情况下的平均维持插值运算电路在参数k为像素周期Pp的 整数倍(k＝N*Pp)的情况下，可以适当地对缺失像素进行插值。
从而，如图18所示，包含缺失像素的像素列和不包含缺失像素的像 素列不重复的情况下的k＝kj的平均维持插值运算电路在对像素周期Pp 为Pp＝kj/Na1、kj/Na2、…、kj(Na1＞Na2＞…＞0、Na1、Na2、…是kj 的约数)的图像数据进行插值时，插值误差E为0或最小。此外，待插 值的图像数据的像素周期Pp越偏离Pp＝kj/Na1、kj/Na2、…、kj的像素 周期Pp，则插值误差E越大。
图19是表示在包含缺失像素的像素列和不包含缺失像素的像素列 不重复的情况下的k＝2、3、4、kn-1、kn的平均维持插值运算电路中， 像素周期和插值误差之间的关系的曲线图。图19(a)表示k＝2的平均 维持插值运算电路中的像素周期和插值误差之间的关系，图19(b)表示 k＝3的平均维持插值运算电路中的像素周期和插值误差之间的关系，图 19(c)表示k＝4的平均维持插值运算电路中的像素周期和插值误差之 间的关系，图19(d)表示k＝kn-1的平均维持插值运算电路中的像素 周期和插值误差之间的关系，图19(e)表示k＝kn的平均维持插值运算 电路中的像素周期和插值误差之间的关系。
说明k＝2、3、4、kn-1、kn的平均维持插值运算电路中的像素周 期和插值误差之间的关系。
k＝2的平均维持插值运算电路的参数k是素数，所以仅在Pp＝2的 图像数据中，插值误差E为0或最小。关于k＝3的平均维持插值运算电 路也同样，仅在Pp＝3的图像数据中，插值误差E为0或最小。关于k ＝4的平均维持插值运算电路，如图18所示，在作为参数k＝4的约数的 Pp＝2的图像数据和Pp＝4的图像数据中，插值误差E为0或最小，但 为了简单地表现曲线图，在曲线图中仅示出Pp＝4附近的特性。关于k ＝kn-1的平均维持插值运算电路也与k＝4的平均维持插值运算电路同 样，在曲线图中仅示出Pp＝kn-1附近的特性。关于k＝kn的平均维持 插值运算电路也同样，在曲线图中仅示出Pp＝kn附近的特性。
图20是表示在包含缺失像素的像素列和不包含缺失像素的像素列 不重复的k＝2～k＝kn的平均维持插值运算电路中、像素周期和插值误 差之间的关系的曲线图、以及示出各个平均维持插值运算电路产生好结 果的(可以以比较小的误差进行插值)像素周期Pp的范围的图。图20 (a)表示将图19(a)～图19(e)的五个曲线重叠在一个坐标轴上的曲 线图。图20(b)是表示各个平均维持插值运算电路的插值误差为最小的 范围的图。R2表示k＝2的平均维持插值运算电路的插值误差为最小的 范围。R3～Rn表示k＝3～k＝kn的平均维持插值运算电路的插值误差分 别为最小的范围。图20(c)表示k＝2～k＝kn的平均维持插值运算电路 分别得到好结果的像素周期Pp的范围。
说明k＝2～k＝kn的平均维持插值运算电路分别得到好结果的像素 周期。
k＝2的平均维持插值运算电路的插值误差为最小的范围是从Pp的 最小值到k＝2的平均维持插值运算电路的曲线和k＝3的平均维持插值 运算电路的曲线交叉的点为止的范围(相当于图20(b)的R2)。k＝3 的平均维持插值运算电路的插值误差为最小的范围是从k＝3的平均维持 插值运算电路的曲线与k＝2的平均维持插值运算电路的曲线交叉的点到 与k＝4的平均维持插值运算电路的曲线交叉的点为止的范围(相当于图 20(b)的R3)。对于k＝4、kn-1、kn的平均维持插值运算电路也同样， R4、Rn-1、Rn所示的范围为各个平均维持插值运算电路的插值误差成 为最小的范围。
从而，如图20(c)所示，各个平均维持插值运算电路的插值误差为 最小的范围成为各个平均维持插值运算电路得到好结果的像素周期Pp的 范围。
以下说明图17所示的像素插值电路的动作。
将输入图像DI输入给第一平均维持插值运算电路6(1)～第n-1 平均维持插值运算电路6(n-1)。如上所述，例如将参数k＝2输入给第 一平均维持插值运算电路6(2)。同样，将参数k＝3、…、kn分别输入 给第二平均维持插值运算电路6(2)、…、第n-1平均维持插值运算电 路6(n-1)。
第一平均维持插值运算电路6(1)基于输入图像DI以及参数k＝2， 输出缺失像素的插值数据D1。第二平均维持插值运算电路6(2)、…、 第n-1平均维持插值运算电路6(n-1)也同样基于输入图像DI以及参 数k＝3、…、kn，分别输出缺失像素的插值数据D2～Dn-1。将插值数 据D1～Dn-1输入给输出电路5。将例如后述那样生成的选择信号C输 入给输出电路5。输出电路5基于选择信号C选择插值数据D1～Dn-1 中的一个，输出作为缺失像素的插值数据DO。
图17所示的像素插值电路具有多个参数不同的平均维持插值运算 电路，从而可以实现图20(b)的插值误差的特性，所以如图20(c)所 示，可以应用于从小的周期的图像数据到大的周期的图像数据的宽范围。
实施方式5
图21表示基于实施方式5的像素插值电路的结构。
该像素插值电路除了图17的结构外还具有左右平均插值运算电路6 (0)。平均维持插值运算电路6(1)至6(m-1)与图17的平均维持插 值运算电路6(1)至6(n-1)是同样的，设有m-1个。该m可以是 与图17的结构的n相同的值，也可以采用如后述的小于n的值。换言之， 在设置左右平均插值运算电路6(0)的情况下，可以减少平均维持插值 运算电路的数量。
左右平均插值运算电路6(0)生成位于缺失像素的左右侧的邻接像 素的值的平均值，作为插值数据。另外，这里提到的‘左右’表示在水 平方向上排列一系列的像素而进行描绘时、位于缺失像素的左右侧，在 将一系列的像素作为时序数据时，与此相当的是位于‘前后’。
输出电路5例如基于选择信号(C)，选择由所述多个平均维持插值 运算电路6(1)至6(m-1)以及左右平均插值运算电路6(0)输出的 插值数据中的一个，输出作为缺失像素的数据。
图22是用于说明在像素周期Pp＝2、3、4、kn的图像数据中，使用 左右平均插值运算电路来对像素进行插值的方法的图。在图22中，示出 了对周期变化的像素的极大值(各周期内的峰值)进行插值的情况。在 由左右平均插值运算电路进行插值的情况下，在如图所示的极大值的插 值的情况下，误差为最大。从而，如果对于极大值研究误差，则成为研 究最大误差。
图22(a)是表示像素周期Pp＝2的图像数据的波形图，图22(b) 是表示像素周期Pp＝3的图像数据的波形图，图22(c)是表示像素周期 Pp＝4的图像数据的波形图，图22(d)是表示像素周期Pp＝kn的图像 数据的波形图。在各个波形图中L表示要插值的缺失像素，LL表示与缺 失像素L左邻的像素，LR表示与缺失像素L右邻的像素，LA表示由左 右平均插值运算电路生成的插值数据，E2～En分别表示插值数据和原始 数据之间的误差。
说明像素周期Pp＝2、3、4、kn的图像数据中的左右平均插值运算 电路的插值误差。
如图22(a)～图22(d)所示，左右平均插值运算电路将与缺失像 素L左邻的像素LL和与缺失像素右邻的像素LR的平均值作为缺失像素 L的插值数据LA。插值数据LA为
LA＝(LL+LR)/2。
此外，在各个波形图中，插值数据LA和缺失像素L的原始数据之差为 插值误差E2～En。
在各个图像中对极大值进行插值的情况下，像素周期Pp越大则插值 误差越小。在图23中示出左右平均插值运算电路中的像素周期和插值误 差之间的关系。
图24是表示在平均维持插值运算电路中像素周期和插值误差之间 的关系的曲线图，以及示出k＝2～kn的平均维持插值运算电路和左右平 均插值运算电路得到好结果的像素周期Pp的范围的图。
说明左右平均插值运算电路得到好结果的像素周期Pp的范围。
图24(a)是表示图23所示的左右平均插值运算电路中的像素周期 和插值误差之间的关系的曲线图。
Ep表示视觉辨认上可以允许的误差的上限值。
如图24(a)所示，左右平均插值运算电路是：像素周期Pp越大则 插值误差E越小，所以在Pp＝km+1～kn的图像数据中，插值误差E小 于视觉辨认上可以允许的误差的上限值Ep。从而，在Rave所示的范围、 即Pp＝km+1～kn的图像数据中，可以将左右平均插值运算电路用于缺 失像素的插值。
图24(b)表示图20(c)所示的k＝2～k＝kn的平均维持插值运算 电路得到好结果的像素周期Pp的范围。如图24(a)所示，在Pp＝km +1～kn的图像数据中，可以将左右平均插值运算电路用于缺失像素的插 值，所以可以使用左右平均插值运算电路的输出来代替图17的参数k＝ km+1～kn(假设m＜n)的平均维持插值运算电路的输出。从而，可以省 略参数k＝km+1～kn(假设m＜n)的平均维持插值运算电路。
通过将图17的结构中的k＝km+1～kn的平均维持插值运算电路置 换为左右平均插值运算电路，可以削减平均维持插值运算电路的种类。 从而，可以缩小可应用于宽范围的像素周期的像素插值电路的电路规模。
此外，由左右平均插值运算电路和多个插值运算电路构成的像素插 值电路具有如图25所示的插值误差的特性。图25与图20(b)所示的曲 线图同样，在R2中，k＝2的平均维持插值运算电路的插值误差为最小， 同样在R3～Rm中，k＝3～km的平均维持插值运算电路的插值误差分别 为最小。在Rave中，左右平均插值运算电路的插值误差为最小。
图26是表示在实施方式2以及实施方式3所示的包含缺失像素的像 素列和不包含缺失像素的像素列重复i像素的情况下的k＝kj的平均维持 插值运算电路中，像素周期Pp和插值误差之间的关系的曲线图。
说明像素周期和插值误差之间的关系。
如实施方式2以及实施方式3所示，包含缺失像素的像素列和不包 含缺失像素的像素列重复i像素的情况下的平均维持插值运算电路是：在 参数k为像素周期Pp的整数倍(k＝N*Pp)，或包含缺失像素的像素列和 不包含缺失像素的像素列不重复的的部分的像素个数k-i为像素周期Pp 的整数倍(k-i＝N*Pp)的情况下，可以适当地对缺失像素进行插值。
如图26(a)所示，包含缺失像素的像素列和不包含缺失像素的像素 列重复i像素的情况下的k＝kj的平均维持插值运算电路在对像素周期Pp 为Pp＝kj/Na1、…、kj(Na1＞…＞0、Na1、…是kj的约数)的图像数据 进行插值的情况下，插值误差E为0或最小，待插值的图像数据的像素 周期Pp越偏离Pp＝kj/Na1、kj/Na2、…、kj的像素周期Pp，则插值误差 E越大。
进而，如图26(b)所示，在对像素周期Pp为Pp＝(kj-i)/Nb1、…、 kj-i(Nb1＞…＞0、Nb1、…是kj-i的约数)的图像数据进行插值的情况 下，插值误差E也为0或最小，像素周期Pp越偏离Pp＝(kj-i)/Nb1、…、 kj-i的像素周期Pp，则插值误差E越大。
从而，包含缺失像素的像素列和不包含缺失像素的像素列重复i像 素的情况下的平均维持插值运算电路中的像素周期Pp和插值像素之间的 关系，成为将图26(a)的曲线和图26(b)的曲线结合而得到的图26 (c)的曲线图。
图27是表示在实施方式3所示的由包含缺失像素的像素列和不包含 缺失像素的两个像素列实现的平均维持插值运算电路中，包含缺失像素 的像素列LC和不包含缺失像素的像素列NA以及NB之间的位置关系的 一例。图27(a)表示k＝3、i＝1的情况下的包含缺失像素的像素列LC 和不包含缺失像素的像素列NA以及NB之间的位置关系。图27(b)表 示k＝5、i＝2的情况下的包含缺失像素的像素列LC和不包含缺失像素 的像素列NA以及NB之间的位置关系。图27(c)表示k＝kn、i＝(kn -1)/2的情况下的包含缺失像素的像素列LC和不包含缺失像素的像素 列NA以及NB之间的位置关系。
说明在图27所示的包含缺失像素的像素列和不包含缺失像素的两 个像素列所实现的平均维持插值运算电路中，参数k以及i和可以适当地 进行插值的图像数据的像素周期Pp之间的关系。
如图26所示，包含缺失像素的像素列和不包含缺失像素的像素列重 复i像素的k＝kj的平均维持插值运算电路可以适当地对像素周期Pp为 Pp＝kj/Na1、…、kj的图像数据或Pp＝(kj-i)/Nb1、…、kj-i的图像 进行插值，所以图27(a)所示的包含缺失像素的像素列和不包含缺失像 素的两个像素列重复1像素的k＝3的平均维持插值运算电路对于Pp＝k ＝3或Pp＝k-i＝2的图像数据可以适当地进行插值。
关于图27(b)所示的包含缺失像素的像素列和不包含缺失像素的 两个像素列重复2像素的k＝5的平均维持插值运算电路也同样，对于Pp ＝k＝5或Pp＝k-i＝3的图像数据可以适当地进行插值。
关于图27(c)所示的包含缺失像素的像素列和不包含缺失像素的像 素列重复(kn-1)/2个像素的k＝kn的平均维持插值运算电路也同样， 对于Pp＝kn/Na1、…、kn的图像数据或Pp＝(kn-i)/Nb1、…、kn-i 的图像数据可以适当地进行插值。
图28是表示在图27所示的包含缺失像素的像素列和不包含缺失像 素的两个像素列重复的情况下的平均维持插值运算电路中，各个平均维 持插值运算电路得到好结果的像素周期Pp的范围的图。
k＝3的平均维持插值运算电路将Pp＝3附近的像素周期Pp设为得 到好结果的像素周期的范围。关于k＝5的平均维持插值运算电路也同样， 将Pp＝5附近的像素周期Pp设为得到好结果的像素周期的范围。关于k ＝(kn+1)/2、kn的平均维持插值运算电路也同样，将Pp＝(kn+1) /2、kn附近的像素周期Pp分别设为得到好结果的像素周期的范围。从而， k＝3、5、(kn+1)/2、kn的平均维持插值运算电路分别得到好结果的像 素周期的范围如图28(a)这样。
进而，k＝3的平均维持插值运算电路的Pp＝k-i＝2附近的像素周 期Pp也为得到好结果的像素周期的范围。关于k＝5的平均维持插值运 算电路也同样，将Pp＝k-i＝3附近的像素周期Pp设为得到好结果的像 素周期的范围。关于k＝7、9、kn的平均维持插值运算电路也同样，将 Pp＝4、5、(kn+1)/2附近的像素周期Pp分别设为得到好结果的像素周 期的范围。从而，k＝3、5、7、9、(kn+1)/2的平均维持插值运算电路 分别得到好结果的像素周期的范围如图28(b)这样。
从而，包含缺失像素的像素列和不包含缺失像素的两个像素列重复 的情况下的k＝3、5、(kn+1)/2、kn的平均维持插值运算电路可以应用 于图28(a)和图28(b)合起来的范围、即如图28(c)所示的范围的 图像数据。
这样，对多个平均维持插值运算电路加上左右平均插值运算电路， 选择它们生成的插值数据中、插值误差最小的数据，由此可以在与像素 周期无关的情况下始终输出插值误差小的插值数据。
实施方式6
图29是表示实施方式6中的像素插值电路的结构的图。
实施方式6中的像素插值电路除了实施方式4所示的图21的结构之 外，还具有生成输入给输出电路的选择信号的选择信号生成部9、控制电 路20、以及图像数据存储器21。
图像数据存储器21暂时存储输入图像数据DI，按照来自控制电路 20的指示，重复输出相同的图像数据。
选择信号生成部9基于缺失像素附近的像素的原始数据、以及对该 缺失像素附近的像素、通过与求出缺失像素的插值数据相同的方法而求 得的插值数据，生成选择来自多个插值运算电路的插值数据中的一个的 选择信号C。
图示的选择信号生成部9由管理电路7以及评分电路8构成。
多个平均维持插值运算电路6(1)至6(n)分别例如图16所示， 更具体地如图1所示那样构成。
控制电路20对多个平均维持插值运算电路6(1)至6(n)各自的、 例如缺失部合计计算电路19(图16)输入构成包含缺失像素附近的测试 用非缺失像素的像素组的k个像素中、测试用非缺失像素以外的像素， 求出其值的合计SL，对多个插值运算电路各自的、非缺失部合计计算电 路17输入构成不包含测试用缺失像素的像素组的k个像素，求出其值的 合计，使多个插值运算电路各自的差分电路3通过从非缺失部合计计算 电路17的输出中减去缺失部合计计算电路19的输出来求出测试用非缺 失像素的插值数据。
控制电路20还对左右平均插值运算电路6(0)输入位于缺失像素 附近的测试用非缺失像素的左右侧的像素，求出其值的平均，将其作为 测试用非缺失像素的插值数据输出。
控制电路20对于多个互不相同的测试用非缺失像素进行这样的处 理。
选择信号生成部9基于由多个插值运算电路分别求出的测试用非缺 失像素的插值数据、以及测试用非缺失像素的原始数据，对插值运算电 路进行评价，确定选择信号的内容，使得选择得到最佳评价的插值运算 电路。
控制电路20对多个平均维持插值运算电路6(1)至6(n)的缺失 部合计计算电路19输入构成包含缺失像素的像素组的像素，对非缺失部 合计计算电路输入构成不包含缺失像素的像素组的像素，使其分别进行 对于缺失像素的平均维持插值运算，对左右平均插值运算电路6(0)输 入与缺失像素邻接的像素，使其进行对于缺失像素的左右平均插值运算， 使输出电路5基于如上所述确定了内容的选择信号C，选择来自多个插 值运算电路6(0)至6(n)的插值数据中的一个并输出。
另外，在图29中，为了便于说明，平均维持插值运算电路的数量与 图17以及图21的情况不同，图示出n个。
图29的像素插值电路在每次提供了输入图像数据时，如下地进行两 种处理。
首先，第一处理也被称为评价处理，使用所提供的输入图像数据中 的缺失像素以外的像素进行多个插值运算电路的评价，根据哪个插值运 算电路得到了最佳的评价来确定选择信号C的内容。
第二处理也称为插值执行处理，基于选择信号C的内容，生成对所 提供的输入图像数据中的缺失像素进行插值的插值数据，进行插值。
由于在评价处理以及插值执行处理中重复使用相同的输入图像数据 DI，因此输入图像数据DI暂时存储在图像数据存储器21中，然后根据 来自控制电路20的指示重复进行读取。
评价处理中的插值运算和插值执行处理中的插值运算可以同时并行 地进行，或也可以在评价处理中的插值运算结束后进行插值执行处理中 的插值运算。以下，最先，作为评价处理中的插值运算和插值执行处理 中的插值运算同时并行地进行的情况说明概略，然后，对于评价处理中 的插值运算结束后进行插值执行处理中的插值运算的情况详细地进行说 明。
输入图像DI输入给左右平均插值运算电路6(0)以及n个平均维 持插值运算电路(第一平均维持插值运算电路6(1)、第二平均维持插值 运算电路6(2)、…、第n平均维持插值运算电路6(n))以及评分电路 8。平均维持插值运算电路的参数k＝k1～kn分别输入到第一平均维持插 值运算电路～第n平均维持插值运算电路中。左右平均插值运算电路6 (0)基于输入图像数据DI，输出关于多个测试用非缺失像素(测试像素) 的插值数据(测试插值数据)TD0[T1]～[Tm]和缺失像素的插值数据D0。 从左右平均插值运算电路6(0)中输出的测试插值数据TD0[T1]～[Tm] 输入到评分电路8中，插值数据D1D0被输入给输出电路5。
第一平均维持插值运算电路6(1)基于输入图像DI以及参数k＝k1， 输出关于多个测试像素的插值数据TD1[T1]～[Tm]和缺失像素的插值数据 D1。从第一平均维持插值运算电路6(1)中输出的测试插值数据 TD1[T1]～[Tm]被输入给评分电路8，插值数据D1被输入给输出电路5。
关于第二平均维持插值运算电路6(2)～第n平均维持插值运算电 路6(n)也同样，基于输入图像DI以及参数k＝k2～k＝kn，分别输出 关于多个测试像素的插值数据TD2[T1]～[Tm]～TDn[T1]～[Tm]和缺失像 素的插值数据D2～Dn。从第二平均维持插值运算电路6(2)～第n平 均维持插值运算电路6(n)中输出的测试插值数据TD2[T1]～[Tm]～ TDn[T1]～[Tm]被输入给评分电路8，插值数据D2～Dn被输入给输出电 路5。
评分电路8基于输入图像DI对从左右平均插值运算电路6(0)中 输出的测试插值数据TD0进行评分，将其结果作为评分数据M0输出。 从评分电路8中输出的评分数据M0输入给管理电路7。
此外，评分电路8对于从第一平均维持插值运算电路6(1)～第n 平均维持插值运算电路6(n)中输出的测试插值数据TD1[T1]～[Tm]～ TDn[T1]～[Tm]也同样，基于输入图像DI进行评分，将各个结果作为评分 数据M1～Mn输出。从评分电路8中输出的评分数据M1～Mn输入给管 理电路7。
管理电路7例如后述这样评价从评分电路8中输出的评分数据M0～ Mn，基于其结果输出选择信号C。从管理电路7中输出的选择信号C输 入给输出电路5。
输出电路5基于从管理电路7中输出的选择信号C，选择左右平均 插值运算电路6(0)以及第一平均维持插值运算电路6(1)～第n平均 维持插值运算电路6(n)输出的插值数据D0～Dn中的一个，作为输出 数据DO输出。
以下更详细地说明评价处理中的插值运算结束后进行插值执行处理 中的插值运算的情况。
首先对于评价处理的动作进行说明。此时，图29的输出电路5不工 作。即，不输出插值数据DO。
图30(a)是表示输入图像DI的图，表示缺失像素和测试用非缺失 像素(测试像素)之间的位置关系。在图30中，○表示实际存在的像素， ×表示缺失的像素。
相对于缺失像素L，将T1～Tm所示的、位于缺失像素L附近的实 际存在的像素(非缺失像素)确定为测试像素(假设m＝2k)。这里，测 试像素是指在缺失像素附近虚拟地视为缺失像素而生成插值数据的像 素。图30(a)是以缺失像素L为中心一维地在左右两侧各设定了k个测 试像素的例子。
测试像素可以相对于缺失像素左右不均等地进行设定，也可以仅在 左右一方进行设定。此外，也可以如图30(b)这样二维地进行设定。
使用图29以及图30(a)详细地说明测试像素T1～Tm中的左右平 均插值运算电路6(0)、第一平均维持插值运算电路6(1)～第n平均 维持插值运算电路6(n)以及评分电路8的动作。
首先，在测试像素T1的位置处，左右平均插值运算电路6(0)输 出将测试像素T1虚拟地视为缺失的情况下的测试插值数据TD0[T1]。即， 求出位于测试像素T1的左右侧的像素的平均，将其作为测试像素T1的 插值数据输出。
评分电路8求出测试像素T1的位置处的输入图像DI的数据DI[T1] 和所述测试插值数据TD0[T1]的差分的绝对值，作为评分数据M0[T1]输 出。评分数据M0[T1]成为
M0[T1]＝|TD0[T1]-DI[T1]|。
在评分数据M0[T1]小的情况下，表示测试插值数据接近输入图像，即， 在测试像素T1中，左右平均插值运算电路6(0)的运算方法适当。反之， 在评分数据M0[T1]大的情况下，表示在测试像素T1中，左右平均插值 运算电路6(0)的运算方法不适当。换言之，评分数据M0[T1]表示测试 像素T1中的左右平均插值运算电路6(0)的适当性。
接着，左右平均插值运算电路6(0)关于测试像素T2也同样，输 出将测试像素T2虚拟地视为缺失的情况下的测试插值数据TD0[T2]。评 分电路8求出测试像素T2的位置处的输入图像DI[T2]和所述测试插值数 据TD0[T2]的差分的绝对值，作为评分数据M0[T2]输出。评分数据M0[T2] 成为
M0[T2]＝|TD0[T2]-DI[T2]|。
评分数据M0[T2]表示测试像素T2中的左右平均插值运算电路6(0)的 适当性。
左右平均插值运算电路6(0)关于剩余的测试像素T3～Tm也同样 地输出测试插值数据TD0[T3]～TD0[Tm]。评分电路8求出所述测试插值 数据TD0[T3]～TD0[Tm]和与各个测试插值数据对应的输入图像DI的数 据DI[T3]～DI[Tm]的差分的绝对值，作为评分数据M0[T3]～M0[Tm]输 出。评分数据M0[T3]～M0[Tm]为
M0[T3]＝|TD0[T3]-DI[T3]|
～
M0[Tm]＝|TD0[Tm]-DI[Tm]|。
评分数据M0[T3]～M0[Tm]表示测试像素T3～Tm中的左右平均插值运 算电路6(0)的适当性。
这样，得到测试像素T1～Tm中的与左右平均插值运算电路6(0) 所输出的测试插值数据对应的评分数据。
对于第一平均维持插值运算电路6(1)也同样，在测试像素T1的 位置处输出将测试像素T1虚拟地视为缺失的情况下的测试插值数据 TD1[T1]。评分电路8求出测试像素T1的位置处的输入图像DI的数据 DI[T1]和所述测试插值数据TD1[T1]之间的差分的绝对值，作为评分数据 M1[T1]输出。评分数据M1[T1]成为
M1[T1]＝|TD1[T1]-DI[T1]|。
评分数据M1[T1]表示测试像素T1中的第一平均维持插值运算电路6(1) 的适当性。
第一平均维持插值运算电路6(1)关于剩余的测试像素T2～Tm也 同样地输出测试插值数据TD1[T2]～TD1[Tm]。评分电路8求出所述测试 插值数据TD1[T2]～TD1[Tm]和与各个测试插值数据对应的输入图像DI 的数据DI[T2]～DI[Tm]之间的差分的绝对值，作为评分数据M1[T2]～ M1[Tm]输出。评分数据M1[T2]～M1[Tm]为
M1[T2]＝|TD1[T2]-DI[T2]|
～
M1[Tm]＝|TD1[Tm]-DI[Tm]|。
评分数据M1[T2]～M1[Tm]表示测试像素T2～Tm中的第一平均维持插 值运算电路6(1)的适当性。
关于第二平均维持插值运算电路6(2)～第n平均维持插值运算电 路6(n)也同样，输出测试像素T1～Tm中的测试插值数据TD2[T1]… TD2[Tm]～TDn[T1]…TDn[Tm]，评分电路8基于所述测试插值数据 TD2[T1]…TD2[Tm]～TDn[T1]…TDn[Tm]，分别输出评分数据M2[T1]… M2[Tm]～Mn[T1]…Mn[Tm]。
这样，在所有的测试像素T1～Tm中，求出了左右平均插值运算电 路6(0)以及第一平均维持插值运算电路6(1)～第n平均维持插值运 算电路6(n)中的各个插值运算电路的适当性。
图31是将测试像素T1～Tm中的各个插值运算电路的评分数据集中 的表。
通过使用测试像素的测试插值数据和测试像素的位置处的输入图像 数据之间的差分的绝对值，可以对每个测试像素求出插值方法的适当性。
说明管理电路7的动作。
为了评价缺失像素附近的左右平均插值运算电路6(0)的适当性， 管理电路7将评分数据M0[T1]～M0[Tm]相加来生成左右平均插值运算 电路6(0)的评价数据S0。评价数据S0为
S0＝M0[T1]+M0[T2]+…+M0[Tm]。
在评价数据S0小的情况下，表示缺失像素附近的左右平均插值运算电路 6(0)的运算方法适当。反之，在评价数据S0大的情况下，表示缺失像 素附近的左右平均插值运算电路6(0)的运算方法不适当。
为了对第一平均维持插值运算电路6(1)～第n平均维持插值运算 电路6(n)也同样评价缺失像素附近的适当性，管理电路7将评分数据 M1[T1]…M1[Tm]～Mn[T1]…Mn[Tm]分别相加来分别生成第一平均维持 插值运算电路6(1)～第n平均维持插值运算电路6(n)的评价数据S1～ Sn。评价数据S1～Sn为
S1＝M1[T1]+M1[T2]+…+M1[Tm]
～
Sn＝Mn[T1]+Mn[T2]+…+Mn[Tm]。
图32是将评价数据S0～Sn集中的表。
通过将每个测试像素的评分数据相加，可以求出缺失像素附近的插 值方法的适当性。
评价数据越小的插值运算电路对于缺失像素附近的像素越能适当地 插值，所以可以类推为在缺失像素中也可以适当地进行插值。管理电路7 确定选择信号C的内容，以便选择具有评价数据S0～Sn中最小的评价数 据的插值运算电路所输出的插值数据。这样确定内容后的选择信号C在 接下来的插值执行处理中被输出电路5所使用。
接着说明插值执行处理的动作。在插值执行处理中，评分电路8不 工作。而且，管理电路7不进行继续输出由评价处理确定了内容的选择 信号C以外的动作。插值执行处理中的插值运算电路6(0)至6(n)的 动作与参照图21说明的动作同样。即，控制电路20对平均维持插值运 算电路6(1)至6(n)各自的、缺失部合计计算电路输入构成包含缺失 像素的像素组的像素，对非缺失部合计计算电路输入构成不包含缺失像 素的像素组的像素，分别使其进行插值运算，分别输出插值数据D1～Dn。 控制电路20还对左右平均插值运算电路6(0)输入与缺失像素邻接的像 素，使其进行对于缺失像素的左右平均插值运算，输出插值数据D0。使 输出电路5基于选择信号C选择来自多个插值运算电路(6(0)至6(n)) 的插值数据中的一个而输出。从而，输出电路5基于从管理电路7输出 的选择信号C，选择从左右平均插值运算电路6(0)以及第一平均维持 插值运算电路6(1)～第n平均维持插值运算电路6(n)中输出的插值 数据D0～Dn中的一个，作为输出数据DO输出。
这样，对于一个缺失像素的插值结束后，开始对于下一个缺失像素 的插值。
图29所示的像素插值电路在缺失像素附近的像素中，进行左右平均 插值运算电路6(0)以及第一平均维持插值运算电路6(1)～第n平均 维持插值运算电路6(n)所输出的测试插值数据的评分，评价其结果， 对缺失像素处的适当的插值运算进行类推，因此可以通过适合于缺失像 素附近的图像的插值运算来对缺失像素进行插值。
接着，使用具体例子进行说明。
图33是表示作为图29中的多个平均维持插值运算电路，具有参数 k＝5的第一平均维持插值运算电路和参数k＝7的第二平均插值运算电路 的结构的图。
说明图33的具体例的像素插值电路的结构。
图33的具体例的像素插值电路具有输出电路5、左右平均插值运算 电路6(0)、第一平均维持插值运算电路6(1)以及第2平均维持插值 运算电路6(2)、管理电路7、评分电路8。另外，在本具体例中也设有 与图29所示的控制电路20以及图像数据存储器21同样的部分，但省略 了这些图示。
输入图像DI输入给左右平均插值运算电路6(0)、第一平均维持插 值运算电路6(1)、第2平均维持插值运算电路6(2)以及评分电路8。 左右平均插值运算电路6(0)基于输入图像DI输出测试插值数据TD0 以及插值数据D0。从左右平均插值运算电路6(0)输出的测试插值数据 TD0输入给评分电路8，插值数据D0输入给输出电路5。
参数k＝5输入给第一平均维持插值运算电路6(1)。第一平均维持 插值运算电路6(1)基于输入图像DI以及参数k＝5，输出测试插值数 据TD1以及插值数据D1。从第一平均维持插值运算电路6(1)输出的 测试插值数据TD1输入给评分电路8，插值数据D1输入给输出电路5。
参数k＝7输入给第二平均维持插值运算电路6(2)。第二平均维持 插值运算电路6(2)基于输入图像DI以及参数k＝7，输出测试插值数 据TD2以及插值数据D2。从第二平均维持插值运算电路6(2)输出的 测试插值数据TD2输入给评分电路8，插值数据D2输入给输出电路5。
评分电路8基于输入图像DI，对从左右平均插值运算电路6(0)输 出的测试插值数据TD0进行评分，将其结果作为评分数据M0输出。
评分电路8基于输入图像DI，对从第一平均维持插值运算电路6(1) 输出的测试插值数据TD1进行评分，将其结果作为评分数据M1输出。
评分电路8基于输入图像DI，对从第二平均维持插值运算电路6(2) 输出的测试插值数据TD2进行评分，将其结果作为评分数据M2输出。 从评分电路8输出的评分数据M0～M2输入给管理电路7。
管理电路7基于从评分电路8输出的评分数据M0～M2，输出选择 信号C。从管理电路7输出的选择信号C输入给输出电路5。
输出电路5基于从管理电路7输出的选择信号C，选择从左右平均 插值运算电路6(0)、第一平均维持插值运算电路6(1)以及第二平均 维持插值运算电路6(2)输出的插值数据D0～D2中的一个，作为输出 数据DO输出。
图34是表示具有周期性的图像数据的一例的图。图34(a)是与图 3同样地表示像素周期5的图像数据中的像素位置和浓度值之间的关系的 波形图，重复浓度值a＝74、b＝57、c＝100、d＝143、e＝126。图34(b) 表示缺失像素和测试像素之间的位置关系。此外，以缺失像素L为中心、 左右各两个地进行一维设定，作为与缺失像素L对应的测试像素T1～T4。
图35是用于说明平均维持插值运算的测试插值方法的图。
图35(a)表示实施方式3所示的包含缺失像素的像素列和不包含缺 失像素的两个像素列重复的情况下的平均维持插值运算电路中的、包含 缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之间的位 置关系。图35(b)表示将测试像素T虚拟地视为缺失像素而进行测试插 值的情况下，在包含测试像素的像素列TC中含有缺失像素的情况下的不 包含测试像素的像素列TB的位置。图35(c)表示在包含测试像素的像 素列TC中不包含缺失像素的情况下的不包含测试像素的像素列TA的位 置。
说明平均维持插值运算电路的测试插值方法。
平均维持插值运算电路在对缺失像素附近的像素进行测试插值的情 况下，需要根据缺失像素的位置来改变插值方法。此外，在测试插值中， 仅使用不包含测试像素的两个像素列中的某一方。
如图35(b)所示，在包含测试像素T的像素列TC中含有缺失像素 L的情况下，平均维持插值运算电路需要考虑缺失像素L来建立方程式。 从而，按照包含缺失像素L的方式设定不包含测试像素T的像素列TB， 在包含测试像素T的像素列TC和不包含测试像素的像素列TB两者中包 含缺失像素，由此缺失像素在方程式中被抵消，可以适当地求出测试像 素T的测试插值数据。方程式为
(TC[1]+…+TC[k-i-1]+T+L+TD[1]+…+TD[i-1])/k
＝(L+TD[1]+…+TD[i-1]+TB[1]+…+TB[k-i])/k。
测试像素T为
T＝(TB[1]+…+TB[k-i])-(TC[1]+…+TC[k-i-1])。
如图35(c)所示，在包含测试像素的像素列TC中不包含缺失像素 L的情况下，设定为在不包含测试像素的像素列TA中也不包含缺失像素。 平均维持插值运算电路的方程式为
(TA[1]+…+TA[k-i]+TD[1]+…+TD[i])/k
＝(TD[1]+…+TD[i]+T+TC[1]+…+TC[k-i-1])，
测试像素T为
T＝(TA[1]+…+TA[k-i])-(TC[1]+…+TC[k-i-1])。
这样，通过使用考虑了缺失像素的位置的测试插值方法，可以适当 地对各个平均维持插值运算电路进行评分。
图36是用于说明测试像素T1～T4以及缺失像素L中的左右平均插 值运算电路6(0)以及评分电路8的动作的图。图36(a)是表示计算 T1中的左右平均插值运算电路6(0)的测试插值数据的情况的图，图36 (b)是表示计算T2中的左右平均插值运算电路6(0)的测试插值数据 的情况的图，图36(c)是表示计算T3中的左右平均插值运算电路6(0) 的测试插值数据的情况的图，图36(d)是表示计算T4中的左右平均插 值运算电路6(0)的测试插值数据的情况的图，图36(e)是表示计算 缺失像素L中的左右平均插值运算电路6(0)的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的左右平均插值运算电路6 (0)以及评分电路8的动作。
如图36(a)所示，左右平均插值运算电路6(0)将像素T1L以及 T1R的平均值作为测试像素T1的测试插值数据TD0[T1]输出。由于T1L ＝b＝57，T1R＝d＝143，测试插值数据TD0[T1]为
TD0[T1]＝(T1L+T1R)/2＝(57+143)/2＝100。
评分电路8将测试像素T1的位置处的输入图像DI的数据DI[T1]和测试 插值数据TD0[T1]的差分的绝对值作为评分数据M0[T1]输出。由于 TD0[T1]＝100，DI[T1]＝c＝100，评分数据M0[T1]为
M0[T1]＝|TD0[T1]-DI[T1]|＝|100-100|＝0。
如图36(b)所示，左右平均插值运算电路6(0)将像素T2L以及 T2R的平均值作为测试像素T2的测试插值数据TD0[T2]输出。由于T2L ＝c＝100，T2R＝a＝74，测试插值数据TD0[T2]为
TD1＝(T2L+T2R)/2＝(100+74)/2＝87。
评分电路8将测试像素T2的位置处的输入图像DI的数据DI[T2]和测试 插值数据TD0[T2]的差分的绝对值作为评分数据M0[T2]输出。由于 TD0[T2]＝87，DI[T2]＝d＝143，评分数据M0[T2]为
M0[T2]＝|TD0[T2]-DI[T2]|＝|87-143|＝56。
如图36(c)所示，左右平均插值运算电路6(0)将像素T3L以及 T3R的平均值作为测试像素T3的测试插值数据TD0[T3]输出。由于T3L ＝d＝143，T3R＝b＝57，测试插值数据TD0[T3]为
TD0＝(T3L+T3R)/2＝(143+57)/2＝100。
评分电路8将测试像素T3的位置处的输入图像DI的数据DI[T3]和测试 插值数据TD0[T3]的差分的绝对值作为评分数据M0[T3]输出。由于 TD0[T3]＝87，DI[T3]＝a＝74，评分数据M0[T3]为
M0[T3]＝|TD0[T3]-DI[T3]|＝|100-74|＝26。
如图36(d)所示，左右平均插值运算电路6(0)将像素T4L以及 T4R的平均值作为测试像素T4的测试插值数据TD0[T4]输出。由于T4L ＝a＝74，T4R＝c＝100，测试插值数据TD0[T4]为
TD0[T4]＝(T4L+T4R)/2＝(74+100)/2＝87。
评分电路8将测试像素T4的位置处的输入图像DI的数据DI[T4]和测试 插值数据TD0[T4]的差分的绝对值作为评分数据M0[T4]输出。由于 TD0[T4]＝87，DI[T4]＝b＝57，评分数据M0[T4]为
M0[T4]＝|TD0[T4]-DI[T4]|＝|87-57|＝30。
如图36(e)所示，左右平均插值运算电路6(0)将缺失像素左右 侧的像素LL以及LR的平均值作为缺失像素L的插值数据D0输出。由 于LL＝d＝143，LR＝a＝74，插值数据D0为
D0＝(LL+LR)/2＝(143+74)/2＝108.5。
图37是用于说明测试像素T1～T4以及缺失像素L中的第一平均维 持插值运算电路6(1)以及评分电路8的动作的图。图37(a)是表示 计算T1中的第一平均维持插值运算电路6(1)的测试插值数据的情况的 图，图37(b)是表示计算T2中的第一平均维持插值运算电路6(1)的 测试插值数据的情况的图，图37(c)是表示计算T3中的第一平均维持 插值运算电路6(1)的测试插值数据的情况的图，图37(d)是表示计 算T4中的第一平均维持插值运算电路6(1)的测试插值数据的情况的图， 图37(e)是表示计算缺失像素L中的第一平均维持插值运算电路6(1) 的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的第一平均维持插值运算 电路6(1)以及评分电路8的动作。
如图37(a)所示，第一平均维持插值运算电路6(1)求出测试像 素T1的测试插值数据TD1[T1]，使得包含测试像素T1的像素列T1C的 平均值和不包含测试像素T1的像素列T1B的平均值相等。从而，由方 程式
(T1C[1]+T1C[2]+TD1[T1]+T1D[1]+L)/5
＝(T1D[1]+L+T1B[1]+T1B[2]+T1B[3])/5，
测试插值数据TD1[T1]成为
TD1[T1]＝(T1B[1]+T1B[2]+T1B[3])-(T1C[1]+T1C[2])。
由于T1C[1]＝a＝74，T1C[2]＝b＝57，T1B[1]＝a＝74，T1B[2]＝b＝57， T1B[3]＝c＝100，成为
TD1[T1]＝(74+57+100)-(74+57)＝100。
评分电路8将所述测试像素T1的位置处的输入图像DI的数据DI[T1]和 测试插值数据TD1[T1]的差分的绝对值作为评分数据M1[T1]输出。由于 TD1[T1]＝100、DI[T1]＝c＝100，评分数据M1[T1]成为
M1[T1]＝|TD1[T1]-DI[T1]|＝|100-100|＝0。
如图37(b)所示，第一平均维持插值运算电路6(1)求出测试像 素T2的测试插值数据TD1[T2]，使得包含测试像素T2的像素列T2C的 平均值和不包含测试像素T2的像素列T2B的平均值相等。从而，由方 程式
(T2C[1]+T2C[2]+TD1[T2]+L+T2D[1])/5
＝(L+T2D[1]+T2B[1]+T2B[2]+T2B[3])/5，
测试插值数据TD1[T2]成为
TD1[T2]＝(T2B[1]+T2B[2]+T2B[3])-(T2C[1]+T2C[2])。
由于T2C[1]＝b＝57，T2C[2]＝c＝100，T2B[1]＝b＝57，T2B[2]＝c＝100，
T2B[3]＝d＝143，成为
TD1[T2]＝(57+100+143)-(57+100)＝143。
评分电路8将所述测试像素T2的位置处的输入图像DI的数据DI[T2]和 测试插值数据TD1[T2]之间的差分的绝对值作为评分数据M1[T2]输出。 由于TD1[T2]＝143、DI[T2]＝d＝143，评分数据M1[T2]成为
M1[T2]＝|TD1[T2]-DI[T2]|＝|143-143|＝0。
如图37(c)所示，第一平均维持插值运算电路6(1)求出测试像 素T3的测试插值数据TD1[T3]，使得包含测试像素T3的像素列T3C的 平均值和不包含测试像素T3的像素列T3A的平均值相等。从而，由方 程式
(T3A[1]+T3A[2]+T3A[3]+T3D[1]+L)/5
＝(T3D[1]+L+TD1[T3]+T3C[1]+T3C[2])/5，
测试插值数据TD1[T3]成为
TD1[T3]＝(T3A[1]+T3A[2]+T3A[3])-(T3C[1]+T3C[2])。
由于T3C[1]＝b＝57，T3C[2]＝c＝100，T3A[1]＝a＝74，T3A[2]＝b＝57， T3A[3]＝c＝100，成为
TD1[T3]＝(74+57+100)-(57+100)＝74。
评分电路8将所述测试像素T3的位置处的输入图像DI的数据DI[T3]和 测试插值数据TD1[T3]之间的差分的绝对值作为评分数据M1[T3]输出。 由于TD1[T3]＝74、DI[T3]＝a＝74，评分数据M1[T3]成为
M1[T3]＝|TD1[T3]-DI[T3]|＝|74-74|＝0。
如图37(d)所示，第一平均维持插值运算电路6(1)求出测试像 素T4的测试插值数据TD1[T4]，使得包含测试像素T4的像素列T4C的 平均值和不包含测试像素T4的像素列T4A的平均值相等。从而，由方 程式
(T4A[1]+T4A[2]+T4A[3]+L+T4D[1])/5
＝(L+T4D[1]+TD1[T4]+T4C[1]+T4C[2])/5，
测试插值数据TD1[T4]成为
TD1[T4]＝(T4A[1]+T4A[2]+T4A[3])-(T4C[1]+T4C[2])。
由于T4C[1]＝c＝100，T4C[2]＝d＝143，T4A[1]＝b＝57，T4A[2]＝c＝100， T4A[3]＝d＝143，成为
TD1[T1]＝(57+100+143)-(100+143)＝57。
评分电路8将所述测试像素T4的位置处的输入图像DI的数据DI[T4]和 测试插值数据TD1[T4]之间的差分的绝对值作为评分数据M1[T4]输出。 由于TD1[T4]＝57、DI[T4]＝b＝57，评分数据M1[T4]成为
M1[T4]＝|TD1[T4]-DI[T4]|＝|57-57|＝0。
如图37(e)所示，第一平均维持插值运算电路6(1)求出缺失像 素L的插值数据D1，使得包含缺失像素L的像素列LC的平均值和不包 含缺失像素L的像素列NA以及NB的平均值相等。从而，由方程式
(AD[1]+AD[2]+D1+BD[1]+BD[2])/5
＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])/5
+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3])/5)/2，
插值数据D1成为
D1＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])
+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3]))/2
-(AD[1]+AD[2]+BD[1]+BD[2])。
由于NA[1]＝e＝126，NA[2]＝a＝74，NA[3]＝b＝57，AD[1]＝c＝100， AD[2]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57，NB[1]＝c＝100，NB[2]＝d＝143， NB[3]＝e＝126，成为
D1＝((126+74+57+100+143)+(74+57+100+143+126))/2
-(100+143+74+57)
＝126。
图38是用于说明测试像素T1～T4以及缺失像素L中的第二平均维 持插值运算电路6(2)以及评分电路8的动作的图。图38(a)是表示 计算T1中的第二平均维持插值运算电路6(2)的测试插值数据的情况的 图，图38(b)是表示计算T2中的第二平均维持插值运算电路6(2)的 测试插值数据的情况的图，图38(c)是表示计算T3中的第二平均维持 插值运算电路6(2)的测试插值数据的情况的图，图38(d)是表示计 算T4中的第二平均维持插值运算电路6(2)的测试插值数据的情况的图， 图38(e)是表示计算缺失像素L中的第二平均维持插值运算电路6(2) 的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的第二平均维持插值运算 电路6(2)以及评分电路8的动作。
如图38(a)所示，第二平均维持插值运算电路6(2)求出测试像 素T1的测试插值数据TD2[T1]，使得包含测试像素T1的像素列T1C的 平均值和不包含测试像素T1的像素列T1B的平均值相等。从而，由方 程式
(T1C[1]+T1C[2]+T1C[3]+TD2[T1]+T1D[1]+L+T1D[2])/7
＝(T1D[1]+L+T1D[2]+T1B[1]+T1B[2]+T1B[3]+T1B[4])/7，
测试插值数据TD1[T1]成为
TD2[T1]＝(T1B[1]+T1B[2]+T1B[3]+T1B[4])
-(T1C[1]+T1C[2]+T1C[3])。
由于T1C[1]＝e＝126，T1C[2]＝a＝74，T1C[3]＝b＝57，T1B[1]＝b＝57， T1B[2]＝c＝100，T1B[3]＝d＝143，T1B[4]＝e＝126，成为
TD2[T1]＝(57+100+143+126)-(126+74+57)＝169。
评分电路8将所述测试像素T1的位置处的输入图像DI的数据DI[T1]和 测试插值数据TD2[T1]之间的差分的绝对值作为评分数据M2[T1]输出。 由于TD2[T1]＝169、DI[T1]＝c＝100，评分数据M2[T1]成为
M2[T1]＝|TD2[T1]-DI[T1]|＝|169-100|＝69。
如图38(b)所示，第二平均维持插值运算电路6(2)求出测试像 素T2的测试插值数据TD2[T2]，使得包含测试像素T2的像素列T2C的 平均值和不包含测试像素T1的像素列T2B的平均值相等。从而，由方 程式
(T2C[1]+T2C[2]+T2C[3]+TD2[T2]+L+T2D[1]+T2D[2])/7
＝(L+T2D[1]+T2D[2]+T2B[1]+T2B[2]+T2B[3]+T2B[4])/7，
测试插值数据TD2[T2]成为
TD2[T2]＝(T2B[1]+T2B[2]+T2B[3]+T2B[4])
-(T2C[1]+T2C[2]+T2C[3])。
由于T2C[1]＝a＝74，T2C[2]＝b＝57，T2C[3]＝c＝100，T2B[1]＝c＝100， T2B[2]＝d＝143，T2B[3]＝e＝126，T2B[4]＝a＝74，成为
TD2[T2]＝(100+143+126+74)-(74+57+100)＝212。
评分电路8将所述测试像素T2的位置处的输入图像DI的数据DI[T2]和 测试插值数据TD2[T2]之间的差分的绝对值作为评分数据M2[T2]输出。 由于TD2[T2]＝212、DI[T2]＝d＝143，评分数据M2[T2]成为
M2[T2]＝|TD2[T2]-DI[T2]|＝|212-143|＝69。
如图38(c)所示，第二平均维持插值运算电路6(2)求出测试像 素T3的测试插值数据TD2[T3]，使得包含测试像素T3的像素列T3C的 平均值和不包含测试像素T3的像素列T3A的平均值相等。从而，由方 程式
(T3A[1]+T3A[2]+T3A[3]+T3A[4]+T3D[1]+T3D[2]+L)/7
＝(T3D[1]+T3D[2]+L+TD2[T3]+T3C[1]+T3C[2]+T3C[3])/7，
测试插值数据TD2[T3]成为
TD2[T3]＝(T3A[1]+T3A[2]+T3A[3]+T3A[4])
-(T3C[1]+T3C[2]+T3C[3])
由于T3C[1]＝b＝57，T3C[2]＝c＝100，T3C[3]＝d＝143，T3A[1]＝d＝143， T3A[2]＝e＝126，T3A[3]＝a＝74，T3A[4]＝b＝57，成为
TD1[T3]＝(143+126+74+57)-(57+100+143)＝100。
评分电路8将所述测试像素T3的位置处的输入图像DI的数据DI[T3]和 测试插值数据TD2[T3]之间的差分的绝对值作为评分数据M2[T3]输出。 由于TD2[T3]＝100、DI[T3]＝a＝74，评分数据M2[T3]成为
M2[T3]＝|TD2[T3]-DI[T3]|＝|100-74|＝26。
如图38(d)所示，第二平均维持插值运算电路6(2)求出测试像 素T4的测试插值数据TD2[T4]，使得包含测试像素T4的像素列T4C的 平均值和不包含测试像素T4的像素列T4A的平均值相等。从而，由方 程式
(T4A[1]+T4A[2]+T4A[3]+T4A[4]+T4D[1]+L+T4D[2])/7
＝(T4D[1]+L+T4D[2]+TD2[T4]+T4C[1]+T4C[2]+T4C[3])/7，
测试插值数据TD2[T4]成为
TD2[T4]＝(T4A[1]+T4A[2]+T4A[3]+T4A[4])
-(T4C[1]+T4C[2]+T4C[3])。
由于T4C[1]＝c＝100，T4C[2]＝d＝143，T4C[3]＝e＝126，T4A[1]＝e＝126， T4A[2]＝a＝74，T4A[3]＝b＝57，T4A[4]＝c＝100，成为
TD1[T1]＝(126+74+57+100)-(100+143+126)＝-12。
评分电路8将所述测试像素T4的位置处的输入图像DI的数据DI[T4]和 测试插值数据TD2[T4]的差分的绝对值作为评分数据M2[T4]输出。由于 TD2[T4]＝-12、DI[T4]＝b＝57，评分数据M2[T4]成为
M2[T4]＝|TD2[T4]-DI[T4]|＝|-12-57|＝69。
如图38(e)所示，第二平均维持插值运算电路6(2)求出缺失像 素L的插值数据，使得包含缺失像素L的像素列LC的平均值和不包含 缺失像素L的像素列NA以及NB的平均值相等。从而，由方程式
(AD[1]+AD[2]+AD[3]+D1+BD[1]+BD[2]+BD[3])/7
＝((NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3])/7
+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4])/7)/2，
插值数据D1成为
D1＝((NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3])
+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4]))/2
-(AD[1]+AD[2]+AD[3]+BD[1]+BD[2]+BD[3])。
由于NA[1]＝c＝100，NA[2]＝d＝143，NA[3]＝e＝126，NA[4]＝a＝74， AD[1]＝b＝57，AD[2]＝c＝100，AD[3]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57， BD[3]＝c＝100，NB[1]＝d＝143，NB[2]＝e＝126，NB[3]＝a＝74，NB[4]＝b＝57， 成为
D1＝((100+143+126+74+57+100+143)
+(74+57+100+143+126+74+57))/2
-(57+100+143+74+57+100)
＝156。
图39是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～ M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝0，M0[T2]＝56， M0[T3]＝26，M0[T4]＝30，所以评价数据S0成为
S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]
＝0+56+26+30＝112。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评 分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于M1[T1]＝0， M1[T2]＝0，M1[T3]＝0，M1[T4]＝0，评价数据S1成为
S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]
＝0+0+0+0＝0。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评 分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于 M2[T1]＝69，M2[T2]＝69，M2[T3]＝26，M2[T4]＝69，评价数据S2成为
S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]
＝69+69+26+69＝233。
图40是将左右平均插值运算电路6(0)、第一平均维持插值运算电 路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集 中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插 值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输 出用于选择具有评价数据S0～S2中的最小的评价数据(S1＝0)的第一 平均维持插值运算电路6(1)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D1 ＝126。如图34(a)所示，可知缺失像素L的原始数据是126，可以以 最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素 T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价， 由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以 可以适当地对缺失像素进行插值。
示出使用图33所示的结构对另一图像数据进行插值的例子。
图41是表示具有周期性的图像数据的一例的图。图41(a)按照像 素周期Pp＝7重复浓度值a＝80、b＝56、c＝65、d＝100、e＝135、f＝ 144、g＝120。图41(b)表示缺失像素和测试像素之间的位置关系。此 外，以缺失像素L为中心、左右各两个地一维设定，作为与缺失像素L 对应的测试像素T1～T4。
使用左右平均插值运算电路6(0)、第一平均维持插值运算电路6 (1)以及第二平均维持插值运算电路对图41(b)的测试像素T1～T4 进行测试插值的方法与图36～图38所示的方法相同，所以省略说明。
图42是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～ M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝13，M0[T2]＝4.5， M0[T3]＝71，M0[T4]＝8，评价数据S0成为
S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]
＝13+4.5+71+8＝96.5。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评 分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于 M1[T1]＝143，M1[T2]＝35，M1[T3]＝143，M1[T4]＝35，评价数据S1成为
S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]
＝143+35+143+35＝356。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评 分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于M2[T1]＝0， M2[T2]＝0，M2[T3]＝0，M2[T4]＝0，评价数据S2成为
S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]
＝0+0+0+0＝0。
图43是将左右平均插值运算电路6(0)、第一平均维持插值运算电 路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集 中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插 值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输 出用于选择具有评价数据S0～S2中的最小的评价数据(S2＝0)的第二 平均维持插值运算电路6(2)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D2 ＝135。如图41(a)所示，可知缺失像素L的原始数据为135，可以以 最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素 T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价， 由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以 关于图41的数据也可以适当地对缺失像素进行插值。
示出使用图33所示的结构对另一图像数据进行插值的例子。
图44是表示具有周期性的图像数据的一例的图。图44(a)按照像 素周期Pp＝17重复浓度值a＝100、b＝116、c＝130、d＝140、e＝145、 f＝143、g＝136、h＝124、i＝108、j＝92、k＝76、l＝64、m＝57、n＝ 55、o＝60、p＝70、q＝84。图44(b)表示缺失像素和测试像素之间的 位置关系。此外，以缺失像素L为中心、左右各两个地一维设定，作为 与缺失像素L对应的测试像素T1～T4。
使用左右平均插值运算电路6(0)、第一平均维持插值运算电路6 (1)以及第二平均维持插值运算电路对图44(b)的测试像素T1～T4 进行测试插值的方法与图36～图38所示的方法相同，所以省略说明。
图45是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～ M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝3.5，M0[T2]＝8.5， M0[T3]＝1.5，M0[T4]＝0，评价数据S0成为
S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]
＝3.5+8.5+1.5+0＝13.5。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评 分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于 M1[T1]＝91，M1[T2]＝152，M1[T3]＝91，M1[T4]＝152，评价数据S1成为
S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]
＝91+152+91+152＝486。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评 分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于 M2[T1]＝191，M2[T2]＝269，M2[T3]＝86，M2[T4]＝191，评价数据S2成 为
S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]
＝191+269+86+191＝737。
图46是将左右平均插值运算电路6(0)、第一平均维持插值运算电 路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集 中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插 值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输 出用于选择具有评价数据S0～S2中的最小的评价数据(S0＝13.5)的左 右平均插值运算电路6(0)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D0 ＝133.5。如图44(a)所示，可知缺失像素L的原始数据为136，可以以 最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素 T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价， 由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以 关于图44的数据也可以适当地对缺失像素进行插值。
这样，由管理电路7、评分电路8构成的选择信号生成部9可以根 据图像数据生成选择通过适当的插值运算电路产生的插值数据的选择信 号，不管图像数据的周期性如何均可使插值误差成为最小。
此外，由于使用缺失像素的插值数据所使用的插值运算电路(例如， 包含缺失部合计计算电路19以及非缺失部合计计算电路17)求出测试像 素的插值数据，所以可以在不大幅地增加电路规模的情况下进行通过测 试像素实现的评价。
另外，在图29的像素插值电路中，也可以省略左右平均插值运算电 路6(0)。在该情况下，对平均维持插值运算电路6(1)至6(n)进行 评价，选择其中任意一个的输出。
实施方式7
图47是表示实施方式7中的插值运算电路的结构的图。实施方式7 中的插值运算电路的结构是：对实施方式1～3所示的平均维持插值运算 电路追加限制平均维持插值运算电路的输出的输出限制部13。输出限制 部13由输出范围生成电路10和限制电路11构成，限制由于噪声等产生 的平均维持插值运算电路的插值误差。
图48表示输入图像DI的一部分，表示缺失像素和参照数据范围之 间的位置关系。
说明实施方式7中的插值运算电路的结构和动作。
实施方式7中的插值运算电路具有输出范围生成电路10和限制电路 11以及平均维持插值运算电路12。输入图像DI输入给输出范围生成电 路10以及平均维持插值运算电路12。参数k输入给平均维持插值运算电 路12。平均维持插值运算电路基于输入图像DI和参数k，输出限制前数 据Da。限制前数据Da输入给限制电路11。
从外部提供的指定参照数据范围r的数据被输入给输出范围生成电 路10。输出范围生成电路10基于输入图像DI中的缺失像素的右侧r个 像素和左侧r个像素，生成输出最大值Lmax和输出最小值Lmin。输出 最大值Lmax为
Lmax＝max(M[1]、…、M[r]、M[r+1]、…、M[2r])。
这里，max(M[1]、…、M[r]、M[r+1]、…、M[2r])是求出像素M[1]、…、 M[r]、M[r+1]、…、M[2r]的最大值的函数。输出最大值Lmax输入给限 制电路11。
此外，输出最小值Lmin为
Lmin＝min(M[1]、…、M[r]、M[r+1]、…、M[2r])。
这里，min(M[1]、…、M[r]、M[r+1]、…、M[2r])是求出像素 M[1]、…、M[r]、M[r+1]、…、M[2r]的最小值的函数。输出最小值Lmin 输入给限制电路11。
限制电路11基于输出最大值Lmax和输出最小值Lmin，对限制前数 据Da进行限制，作为限制后数据Db输出。限制后数据Db
在Da＜Lmin的情况下，为Db＝Lmin，
在Lmin≤Da≤Lmax的情况下，Db＝Da，
在Lmax＜Db的情况下，为Db＝Lmax。
实施方式7中的插值运算电路可以将平均维持插值运算电路的输出 限制在缺失像素附近的2r个浓度值的范围内。
使用具体例进行说明。
图49是具体例的插值运算电路的结构。
图50表示像素周期Pp＝5的图像数据。在图50中，像素NB[3]的 浓度值由于噪声而从74变为94。
说明结构和动作。
输入图像DI输入给平均维持插值运算电路和输出范围生成电路。参 数k＝9输入给平均维持插值运算电路12。平均维持插值运算电路12求 出缺失像素L的插值数据，使得包含缺失像素的像素列LC和不包含缺 失像素的两个像素列NA以及NB的平均值相等。方程式为
(AD[1]+AD[2]+AD[3]+AD[4]+L
+BD[1]+BD[2]+BD[3]+BD[4])/9
＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]
+AD[1]+AD[2]+AD[3]+AD[4])/9
+(BD[1]+BD[2]+BD[3]+BD[4]
+NB[1]+NB[2]+NB[3]+NB[4]+NB[5])/9)/2，
缺失像素L为
L＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]
+AD[1]+AD[2]+AD[3]+AD[4])
+(BD[1]+BD[2]+BD[3]+BD[4]
+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]))/2
-(AD[1]+AD[2]+AD[3]+AD[4]+L
+BD[1]+BD[2]+BD[3]+BD[4])。
由于NA[1]＝126，NA[2]＝74，NA[3]＝57，NA[4]＝100，NA[5]＝143， AD[1]＝126，AD[2]＝74，AD[3]＝57，AD[4]＝100，BD[1]＝126，BD[2]＝74， BD[3]＝57，BD[4]＝100，NB[1]＝143，NB[2]＝126，NB[3]＝94，NB[4]＝57， NB[5]＝100，成为
L＝((126+74+57+100+143+126+74+57+100)
+(126+74+57+100+143+126+94+57+100))/2
-(126+74+57+100+126+74+57+100)
＝153。
将缺失像素L的插值数据作为限制前数据Da。限制前数据Da输入给限 制电路11。
参照数据范围r＝9输入给输出范围生成电路。输出范围生成电路10 输出输入图像DI中的缺失像素L的右侧9个和左侧9个的最大值作为输 出最大值Lmax。输出最大值Lmax为
Lmax＝143。
输出最大值Lmax输入给限制电路。
此外，输出范围生成电路10输出输入图像DI中的缺失像素L的右 侧9个和左侧9个的最小值作为输出最小值Lmin。输出最小值Lmin为
Lmin＝57。
输出最小值Lmin输入给限制电路11。
限制电路11基于输出最大值Lmax和输出最小值Lmin，对限制前数 据Da进行校正而作为限制后数据Db输出。由于Da＝153、Lmax＝143、 Lmin＝57，Lmax＜Da成立，所以限制后数据Db为Db＝Lmax＝143。
根据图50，缺失像素L的原始数据为143，限制后数据Db＝143的 误差为|143-143|＝0。限制前数据的误差为|153-143|＝10，通过进行 限制可以减小误差。
实施方式8
在实施方式1～3中，说明了由硬件通过平均维持插值运算对缺失像 素进行插值的插值运算电路的结构，但也可以通过软件对缺失像素进行 插值。另外，也可以同时使用软件和硬件。
图51是说明通过软件处理对缺失像素进行插值的动作(插值运算方 法)的流程图。
也参照图2说明流程图的动作。
在步骤s1中，生成包含缺失像素的像素列LC的部分和数据(相当 于实施方式1中的SL)。
在步骤s2中，生成不包含缺失像素的像素列NA的部分和数据(相 当于实施方式1中的SA)。
如图13所示，在存在多个不包含缺失像素的像素列的情况下，返回 步骤s2，生成各个部分和数据。(步骤s3)
在步骤s4中，基于在步骤s1中生成的部分和数据(相当于SL的数 据)和在步骤s2中生成的部分和数据(相当于SA的数据)，建立方程式， 使得包含缺失像素的像素列的平均值和不包含缺失像素的像素列的平均 值相等。
在步骤s5中，对在步骤s4中建立的方程式进行求解(例如从相当 于SA的数据中减去相当于SL的数据)，求出缺失像素的插值数据。
由于关于各个步骤中的处理内容在实施方式1～3中已详细示出，所 以这里省略说明。
实施方式9
在实施方式6中，说明了由硬件通过平均维持插值运算和左右平均 插值运算的同时使用来对缺失像素进行插值的像素插值电路的结构，但 也可以由软件来对缺失像素进行插值。另外，也可以同时使用软件和硬 件。
图52是说明通过软件处理对缺失像素进行插值的动作(像素插值方 法)的流程图。
也参照图30(a)说明流程图的动作。
在步骤s1中，生成测试像素T1中的左右平均插值运算方法的测试 插值数据(相当于实施方式6的TD0[T1])。
在步骤s2中，生成测试像素T1的位置处的输入图像DI的数据(相 当于实施方式6的DI[T1])和步骤s1中所生成的测试插值数据之间的差 分的绝对值，作为评分数据(相当于实施方式6的M0[T1])。
接着，返回步骤s1，生成测试像素T2中的左右平均插值运算方法 的测试插值数据(相当于实施方式6的TD0[T2])。
在步骤s2中，生成测试像素T2的位置处的输入图像DI的数据(相 当于实施方式6的DI[T2])和步骤s1中所生成的测试插值数据之间的差 分的绝对值，作为评分数据(相当于实施方式6的M0[T2])。
对于测试像素T3～Tm也同样地重复步骤s1和步骤s2的步骤(步 骤s3)。这样，得到所有的测试像素T1～Tm中的左右平均插值运算方法 的评分数据。
在步骤s4中，生成缺失像素L中的左右平均插值运算方法的插值数 据。
接着，返回步骤s1，生成测试像素T1中的第一平均维持插值运算 方法的测试插值数据(相当于实施方式6的TD1[T1])。
在步骤s2中，生成测试像素T1的位置处的输入图像DI的数据(相 当于实施方式6的DI[T1])和步骤s1中所生成的测试插值数据之间的差 分的绝对值，作为评分数据(相当于实施方式6的M1[T1])。
接着，返回步骤s1，生成测试像素T2中的第一平均维持插值运算 方法的测试插值数据(相当于实施方式6的TD1[T2])。
在步骤s2中，生成测试像素T2的位置处的输入图像DI的数据(相 当于实施方式6的DI[T2])和步骤s1中所生成的测试插值数据之间的差 分的绝对值，作为评分数据(相当于实施方式6的M1[T2])。
对于测试像素T3～Tm也同样地重复步骤s1和步骤s2的步骤(步 骤s3)。这样，得到所有的测试像素T1～Tm中的第一平均维持插值运算 方法的评分数据。
在步骤s4中，生成缺失像素L中的第一平均维持插值运算方法的插 值数据。
对于第二平均维持插值运算方法～第n平均维持插值运算方法也同 样重复步骤s1～s4的步骤(步骤s5)。分别对于左右平均插值运算方法 以及第一平均维持插值运算方法～第n平均维持插值运算方法，得到所 有的测试像素T1～Tm中的评分数据和缺失像素L中的插值数据。
在步骤s6中针对每个插值运算方法对评分数据进行相加而生成左右 平均插值运算方法以及第一平均维持插值运算方法～第n平均维持插值 运算方法各自的评价数据(相当于实施方式6的S0～Sn)。
在步骤s7中，基于步骤s6中所生成的评价数据选择对缺失像素进 行插值的插值数据。
重复上述步骤s1～步骤s7的步骤直到达到最后的缺失像素为止(步 骤s8)。
由于关于各个步骤中的处理内容在实施方式6中已详细示出，所以 这里省略说明。
另外，在上述的各实施方式中，在左右方向上排列了像素，在左右 平均插值运算中，通过求出与缺失像素或测试用非缺失像素左右邻接的 像素的平均而生成了插值数据，但在上下排列了像素的情况下，通过求 出与缺失像素或测试用非缺失像素上下邻接的像素的平均而生成插值数 据。这样的左右平均插值运算或上下平均插值运算总称为邻接像素平均 插值运算。