帧插补装置专利检索-帧图形技术专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

帧插补装置

阅读：1085发布：2020-06-05

IPRDB可以提供帧插补装置专利检索，专利查询，专利分析的服务。并且本发明提供一种帧插补装置，能够抑制在进行帧插补时可能产生的影像质量的下降。帧插补装置(100)从图像生成装置(300)接收运动图像，该图像生成装置(300)在运动图像的各帧的后续追加n(n为自然数)个复制帧，使帧数增加之后进行输出。帧插补装置(100)的帧取得部(20)从运动图像中按(n+1)个取1个的周期对帧采样。插补帧生成部(30)生成由帧取得部(20)采样的帧之间的插补帧。同一性判定部判定运动图像的连续帧的同一性。采样点变更部在由同一性判定部判定为相同的帧少于或多于(n+1)个连续且满足一定条件时，在使周期固定的情况下移动其采样点。，下面是帧插补装置专利的具体信息内容。

权利要求

1.一种帧插补装置，从图像生成装置接收运动图像，该图像生成装置在运动图像的各帧后面追加n个复制帧，使帧数增加之后进行输出，其中n为自然数，所述帧插补装置特征在于，其具备：帧取得部，从所述运动图像按(n+1)个取1个的周期对帧进行采样；

插补帧生成部，生成由所述帧取得部采样的帧之间的插补帧；

同一性判定部，判定所述运动图像的连续的帧的同一性；和采样点变更部，在由所述同一性判定部判定为相同的帧少于或多于(n+1)个连续且满足一定条件时，使所述周期固定的情况下移动其采样点，所述采样点变更部，在由所述同一性判定部判定为相同的帧多于(n+1)个时，也就是对该帧重复采样时，使所述采样点在时间上至少延后1帧。

2.根据权利要求1所述的帧插补装置，其特征在于，该帧插补装置从图像生成装置接收运动图像，该图像生成装置按比用来生成所述n个复制帧的动作频率更高的频率进行动作。

3.根据权利要求1所述的帧插补装置，其特征在于，所述采样点变更部，在由所述同一性判定部判定为相同的帧少于(n+1)个时，也就是在一周期内无法对该帧进行采样时，使所述采样点在时间上至少前进1帧。

4.根据权利要求1或3所述的帧插补装置，其特征在于，该帧插补装置从图像生成装置接收运动图像，该图像生成装置按比用来生成所述n个复制帧的动作频率更低的频率进行动作。

5.根据权利要求4所述的帧插补装置，其特征在于，所述帧插补装置还具备：

存储部，用于存储从所述运动图像取得的原帧和所述插补帧；和帧输出部，从所述存储部读出原帧和插补帧，按照显示顺序输出至外部，所述帧取得部将所取得的原帧写入所述存储部，所述插补帧生成部从所述存储部读出多个原帧，生成这些帧之间的插补帧，并写入所述存储部，所述帧取得部、所述插补帧生成部以及所述帧输出部通过并行地动作实行流水线处理，所述采样点变更部使所述采样点在时间上前进，使得所述帧取得部对所述存储部的原帧的写入定时与所述插补帧生成部对所述存储部的插补帧写入定时错开。

6.根据权利要求1～3、5的任意一项所述的帧插补装置，其特征在于，所述同一性判定部计算所述运动图像的各帧的像素值的合计值，从而判定所述同一性。

7.根据权利要求6所述的帧插补装置，其特征在于，所述同一性判定部从至少除去了叠加于各帧的OSD之后的区域计算像素值的合计值。

说明书全文

帧插补装置

技术领域

[0001] 本发明涉及生成原帧之间的插补帧并插入原帧之间的帧插补装置。

背景技术

[0002] 近年来，采用帧插补技术增加运动图像的画面数更加平滑地生成余像感少的运动图像的方法已实际应用。例如，使每秒60帧(60Hz)的运动图像提高2倍从而变换为120Hz的运动图像进行显示的技术也已经实际应用。

[0003] 在日本从2006年4月起开始了单频段广播。单频段广播是以便携电话等便携设备作为主要接收对象的利用窄频带的广播。在单频段广播中，通常按每秒15帧发送影像，因此非常需要增加其画面数。对于一般的单频译码器而言，由于以60Hz帧频输出影像，因此基本上输出4帧相同的影像。该情况下，采用上述帧插补技术用于增加运动图像的画面数的帧插补装置，连接于上述单频译码器的后级。

[0004] 例如，提出了如下的技术：在这种帧插补装置中，常时对帧的连续数进行计数，检测帧的连续数的变化，在检测出的结果不是4个连续时，停止插补处理，或者使采样帧移动(例如，参照专利文献1)。

[0005] 专利文献1：JP特开2009-239335号公报

[0006] 然而，在上述技术中，由于所输入的帧的连续数每次发生变化，就变更采样帧，因此采样率是可变的。在连续帧的检测精度不佳进而误检测连续帧的个数的情况下(例如，输入影像中存在变化点，而在检测结果中判定为没有变化点的情况)，影像无法被采样。在此期间也有可能发生输入影像并未反映在输出影像的情况。

[0007] 此外，输入至帧插补装置的影像中不仅有单频段广播的影像，还有通过单频译码器叠加了时钟显示的OSD(On Screen Display)或触摸面板形式的OSD菜单等的情况。对帧的连续数进行计数的结果，由于该OSD的影响，例如，也可能发生判定为连续个数为1个、2个、3个的情况。在该情况下当通过采样率可变使采样点移动时，在进行流水线处理的帧插补的运算处理中，有可能发生带宽较大的处理重叠的情况，SDRAM(Synchronous Dynamic Random Access Memory)的带宽的峰值有可能上升。

发明内容

[0008] 本发明是鉴于这种状况进行的，其目的在于提供一种抑制在进行帧插补时可能发生的影像质量下降的技术。

[0009] 本发明某一方式的帧插补装置从图像生成装置接收运动图像，该图像生成装置在运动图像的各帧后面追加n(n为自然数)个复制帧，使帧数增加之后进行输出，该帧插补装置具备：帧取得部，从运动图像按(n+1)个取1个的周期对帧采样；插补帧生成部，生成由帧取得部采样的帧之间的插补帧；同一性判定部，判定运动图像的连续的帧的同一性；和采样点变更部，在由同一性判定部判定为相同的帧少于或多于(n+1)个连续且满足一定条件时，使周期固定的情况下移动其采样点。

[0010] 本发明的其他方式是显示装置。该装置具备上述的帧插补装置、和显示由帧插补装置进行倍速变换之后的运动图像的显示部。

[0011] 根据本发明，能够抑制在进行帧插补时可能发生的影像质量的下降。

附图说明

[0012] 图1表示实施方式所涉及的显示装置的功能结构。

[0013] 图2表示本发明的实施方式所涉及的帧插补装置的结构。

[0014] 图3表示插补帧的生成原理(2倍速变换)。

[0015] 图4表示实施方式所涉及的帧插补装置的基本动作的时序图。

[0016] 图5表示本实施方式所涉及的具备3个连续输入和/或5个连续输入对策的控制部的结构。

[0017] 图6是表示实施方式所涉及的帧插补装置的实施了5个连续输入对策的动作例的时序图。

[0018] 图7是表示实施方式所涉及的帧插补装置的实施了3个连续输入对策的动作例的时序图。

[0019] 图8(a)～(d)是表示在从图像生成装置提供的运动图像中周期地包含3个连续输入和4个连续输入以及5个连续输入的例子的图，是5个连续输入对策之前的图。

[0020] 图9(a)～(d)是表示在从图像生成装置提供的运动图像中周期地包含3个连续输入和4个连续输入以及5个连续输入的例子的图，是5个连续输入对策之后的图。

[0021] 图10表示包含实施方式所涉及的图像生成装置生成的OSD区域的帧。

[0022] 图中：

[0023] 10 存储部

[0024] 20 帧取得部

[0025] 21 RGB/YC变换电路

[0026] 30 插补帧生成部

[0027] 31 动态向量检测部

[0028] 32 第1块匹配电路

[0029] 33 第2块匹配电路

[0030] 35 插补帧算出部

[0031] 40 帧输出部

[0032] 41 YC/RGB变换电路

[0033] 50 控制部

[0034] 52 同一性判定部

[0035] 54 采样点变更部

[0036] 100 帧插补装置

[0037] 200 天线

[0038] 300 图像生成装置

[0039] 310 接收部

[0040] 320 译码部

[0041] 330 复制部

[0042] 340 叠加部

[0043] 350 控制部

[0044] 400 显示部

[0045] 500 显示装置

具体实施方式

[0046] 图1表示实施方式所涉及的显示装置500的功能结构。显示装置500是搭载了接收单频段广播等的电视广播并进行显示再现的功能的设备。例如，既可以是单频段广播的接收再现专用机，也可以是搭载了该功能的便携电话、智能手机(smart phone)、便携式音乐播放器、电子词典、汽车导航装置等。显示装置500并不限于是接收电视广播的设备，也可以是显示再现运动图像的设备。

[0047] 显示装置500具备：天线200、图像生成装置300、帧插补装置100和显示部400。图像生成装置300对接收到的信号进行译码输出运动图像。此时，在对接收到的信号译码而得到的运动图像的各帧之后追加n(n为自然数)个复制帧，使帧数增加来进行输出。在接收单频段广播的例子中，在各帧之后追加3个复制帧，使帧数增加至4倍。

[0048] 图像生成装置300包括：接收部310、译码部320、复制部330、叠加部340和控制部350。接收部310经由天线200接收单频段广播，对所选择的频道的信号进行解调，之后输出至译码部320。译码部320对从接收部310输入的编码数据进行译码。在单频段广播图像的编码中采用AVC/H.264标准。译码部320将译码之后的帧输出至复制部330。

[0049] 复制部330对从译码部320输入的帧单纯地进行复制，并输出至叠加部340。如上述那样在单频段广播中，以15Hz发送过来影像。复制部330将该每秒15帧的影像变换至每秒60帧的影像。由此，能够在60Hz驱动的显示部(显示面板)400显示影像。此外，在被译码之后的帧输入至叠加部340之前，实际上由未图示的换算器(scaler)实施分辨率变换，但在此省略。

[0050] 叠加部340在从复制部330接收到的运动图像的画面上叠加OSD。OSD由文字(包括数字)、符号等表现，例如频道信息、音量信息、日期信息、时刻信息、电波状况信息、电池剩余容量信息等。此外，还有触摸面板输入中的操作画面等。此外，叠加部340可以将OSD区域在画面内设置多处。OSD是由接收机侧事后附加于各帧的信息，而不是由发送站附加的。此外，OSD叠加显示的画面位置可预先规定，图像生成装置300保存与OSD种类相应的OSD区域的位置信息。

[0051] 控制部350为了将OSD叠加在画面上，在叠加部340中设定OSD。控制部350也进行接收部310、译码部320和复制部330的动作控制。

[0052] 帧插补装置100从图像生成装置300接收运动图像。帧插补装置100对接收到的运动图像进行倍速变换从而提高影像质量。以下，在本说明书中以2倍速变换为例进行说明。显示部400显示由帧插补装置100进行了倍速变换之后的运动图像。

[0053] 图2表示本发明的实施方式所涉及的帧插补装置100的结构。该帧插补装置100具备存储部10、帧取得部20、插补帧生成部30、帧输出部40和控制部50。帧取得部20、插补帧生成部30和帧输出部40通过并行动作实行流水线处理。

[0054] 存储部10可由SDRAM构成。此外，存储部10可以设置在帧插补装置100之外。帧取得部20、插补帧生成部30和帧输出部40分别可由组合了各种运算器和寄存器的逻辑电路构成。该逻辑电路包括由SRAM(Static Random Access Memory)等构成的工作区域。控制部50可由逻辑电路或DSP(Digital Signal Processor)构成。

[0055] 存储部10暂时存储帧。更而具体而言，存储从外部输入的原帧和由插补帧生成部30所生成的插补帧。此外，存储部10还存储插补帧生成的运算过程中产生的中间数据(例如，动态向量)。

[0056] 帧取得部20将构成从外部输入的运动图像的帧写入至存储部10中。更为具体而言，帧取得部20从图像生成装置300所输入的运动图像中按照(n+1)个取1个的周期(本实施方式中为4个取1个的周期)对帧进行采样。

[0057] 在本实施方式中，输入至帧取得部20的帧数据，前提是由三原色(R、G、B)信号规定的。帧取得部20包括RGB/YC变换电路21。RGB/YC变换电路21，将输入的三原色(R、G、B)信号变换至亮度(Y)信号和色差(Cb、Cr)信号，然后写入存储部10中。此时，能够对数据量进行压缩。例如，可以将4:4:4的三原色(R、G、B)信号变换为4:2:2的亮度(Y)信号和色差(Cb、Cr)信号。

[0058] 以下，将亮度(Y)信号简记为Y信号，将两个色差(Cb、Cr)信号归类简记为C信号。此外，将原帧的Y信号和C信号分别简记为原Y信号和原C信号，将插补帧的Y信号和C信号分别简记为插补Y信号和插补C信号。

[0059] 在本实施方式中，RGB/YC变换电路21生成块匹配用的Y信号，并存储在存储部10中。例如，生成对未达到1像素的像素精度(例如1/2像素精度、1/4像素精度)的信号进行插补的、分辨率增大的Y信号。如果使用该Y信号，则能进行小于1像素的像素精度下的动态补偿，能进行精度更高的动态向量的检测。此外，小于1像素的像素精度的信号，能够通过采用6抽头FIR滤波器等的滤波处理来生成。

[0060] 插补帧生成部30生成由帧取得部20采样之后的帧之间的插补帧。更为具体而言，插补帧生成部30从存储部10读出多个原帧，生成这些帧之间的插补帧，并写入存储部10。在本实施方式中，插补帧生成部30从存储部10读出2个原帧，生成这些原帧之间的插补帧，并将该插补帧写入存储部10。插补帧生成部30包括动态向量检测部31和插补帧算出部35。

[0061] 动态向量检测部31在2个原帧之间检测以块为单位或以像素为单位的动态向量。在本实施方式中，通过2阶段的块匹配检测以像素为单位的动态向量。

[0062] 动态向量检测部31包括第1块匹配电路32和第2块匹配电路33。第2块匹配电路32从存储部10读出要作为该2个原帧的、当前帧的块匹配用Y信号和其先前帧的块匹配用Y信号。第1块匹配电路32将先前帧分割为多个块(例如8×8或16×16的宏块)，在当前帧中搜索与该各个块一致或误差最小的块。

[0063] 例如，在先前帧内的对象块与当前帧内的候选块之间，求出两者包含的对应位置的像素的差值绝对值和或差值平方和，将该值最小的候选块作为当前帧内的最佳预测块。此外，也可以将在先前帧内的对象块与当前帧内的候选块之间、两者中包含的对应的位置的像素实质上一致的数目最多的候选块，作为当前帧内的最佳预测块。

[0064] 第1块匹配电路32计算先前帧内的各块与当前帧内的各最佳预测块的动态向量。由此，能够检测以块为单位的动态向量。第1块匹配电路32将这些的运算结果作为中间数据写入存储部10。

[0065] 第2块匹配电路33从存储部10读出由第1块匹配电路32写入的中间数据，在先前帧内的各块与当前帧内的各最佳预测块之间求出像素值实质上不一致的像素的动态向量。例如，利用与上述方法相同的方法，在当前帧内搜索与先前帧内的各块内的像素值实质上不一致的像素的区域一致或误差最小的区域。由此，能够在先前帧与当前帧之间检测以像素为单位的动态向量。第2块匹配电路33将以像素单位的动态向量写入存储部10中。

[0066] 插补帧算出部35分别指定通过插补帧内的各像素的上述动态向量，对与该动态向量的起点和终点对应的先前帧内的像素以及当前帧内的像素进行合成，由此生成该插补帧内的各像素。以下，参照图3对插补帧内的像素生成方法进行说明。

[0067] 图3表示插补帧的生成原理(2倍速变换)。在2倍速变换中，需要在第1原帧Fo1与第2原帧Fo2之间插入一个插补帧Fi。插补帧Fi插入在将第1原帧Fo1与第2原帧Fo2之间的时间间隔二等分的时间位置。

[0068] 插补帧Fi的像素Pi是对通过该像素Pi的动态向量mv的起点和中点所对应的第1原帧Fo1的像素Po1和第2原帧Fo2的像素Po2进行合成而生成的。例如，也可以对两者的像素值进行平均从而计算出插补帧Fi的像素Pi的像素值。

[0069] 在此，只要能总是正确求出通过插补帧Fi的像素Pi的动态向量mv，则可以将该动态向量mv的起点所对应的第1原帧Fo1的像素Po1直接分配给插补帧Fi的像素Pi。但是，在误检测动态向量mv的情况下，由于仅参照单方的像素Po1，因此容易产生较大的噪声。因此，在本实施方式中，参照第1原帧Fo1的像素Po1以及第2原帧Fo2的像素Po2的双方。

[0070] 此外，不存在通过插补帧Fi的对象像素的动态向量的情况下，例如以如下方式进行处理。也就是说，从插补帧Fi内的周边像素中将空间上进行过插补的像素分配给该对象像素，或者将合成了与插补帧Fi的对象像素相同位置的、第1原帧Fo1的像素以及第2原帧Fo2的像素之后的像素分配给该对象像素。

[0071] 返回至图2，插补帧算出部35从存储部10中读出先前帧的原Y信号以及原C信号、当前帧的原Y信号以及原C信号、和先前帧与当前帧的动态向量。插补帧算出部35利用上述方法生成插补帧，将该插补Y信号和插补C信号写入存储部10中。

[0072] 帧输出部40从存储部10中读出原帧和插补帧，按照显示顺序输出至外部(在本实施方式中为显示部400)。帧输出部40包括YC/RGB变换电路41。YC/RGB变换电路41从存储部10中读出插补Y信号和插补C信号，将其变换至三原色(R、G、B)信号并作为插补帧输出至外部。此外，YC/RGB变换电路41从存储部10读出原Y信号和原C信号，将其变换为三原色(R、G、B)信号作为原帧输出至外部。

[0073] 控制部50对帧插补装置100的整体进行总控制。控制部50的与本实施方式相关的详细结构和动作在后面叙述。

[0074] 以下，对实施方式所涉及的帧插补装置100的基本动作进行说明。帧取得部20、插补帧生成部30和帧输出部40，按照比帧取得部20中被输入要作为处理对象的帧的周期短的周期进行动作。在此，所谓要作为处理对象的帧是指不被丢弃、在显示以及插补帧生成的参照中实际使用的帧。以下，对以15Hz的周期向帧取得部20中输入帧，帧取得部20、第1块匹配电路32、第2块匹配电路33、插补帧算出部35以及帧输出部40分别以60Hz的周期动作的例子进行说明。

[0075] 在本实施方式中，设定帧取得部20和插补帧生成部30的动作定时，使得帧取得部20对存储部10的原帧写入定时与插补帧生成部30对存储部10的插补帧写入定时错开。
以下，参照图4对帧取得部20、插补帧生成部30以及帧输出部40的具体动作定时进行说明。

[0076] 插补帧生成部30在从对象帧输入至帧取得部20并写入至存储部10的上述对象帧的输入期间的结束起至下一帧的输入期间的开始为止的期间，结束插补帧生成处理。所谓该插补帧生成处理是至少从存储部10读出该对象帧，至少参照该对象帧生成插补帧，以及将其写入存储部10的处理。该插补帧是应该插入该对象帧之前的插补帧。插补帧生成部30既可以参照该对象帧以及其前一个帧来生成该插补帧，也可以参照该对象帧和前2个以上的帧生成该插补帧，还可以参照该对象帧和更靠前的多个帧生成该插补帧。

[0077] 图4是表示实施方式所涉及的帧插补装置100的基本动作的时序图。在此，示出的例子是单频段广播中以15Hz的频率接收的帧通过图像生成装置300的复制部330的单纯的复制处理帧数被增加至4倍之后、该增加的帧输入至帧插补装置100。

[0078] 在图4中，连续输入4个相同的帧A，接下来连续输入4个相同的帧B，接着连续输入4个相同的帧C。以下，继续输入帧D、帧E、…。插补帧生成部30在帧A与帧B、帧B与帧C、帧C与帧D、…的各个帧之间生成一个插补帧。由此，对输入的运动图像进行2倍速变换。

[0079] 帧取得部20在连续输入的4个相同的帧之中留下一个丢弃3个。在此，对最初的1个帧进行输入处理，丢弃剩余的3个帧。

[0080] 插补帧生成部30，在从对象帧(A)输入至帧取得部20并写入存储部10的对象帧(A)的输入期间(原F输入(A))的结束起，至下一帧(B)的输入期间(原F输入(B))的开始为止的期间，结束从存储部10读出对象帧(A)和其之前的帧(x)、生成两帧之间的插补帧(xA)以及将其写入存储部10的处理。也就是说，第1块匹配电路32的第1匹配期间(BM1(xA))、第2块匹配电路33的第2匹配期间(BM2(xA))以及插补帧算出部35的算出期间(插补F算出(xA))被设定为收敛在从对象帧(A)的输入期间(原F输入(A))的结束至下一帧(B)的输入期间(原F输入(B))的开始为止的期间。

[0081] 帧输出部40在从下一帧(B)的输入期间(原F输入(B))的开始至再下一帧(C)的输入期间(原F输入(C))的开始的期间，按照插补帧(xA)和对象帧(A)的顺序从存储部10输出，进而输出至外部。在此，先输出2个相同的插补帧(xA)，然后再输出2个相同的对象帧(A)。

[0082] 与帧输出部40的插补帧(xA)和对象帧(A)的输出期间(插补F输出(xA)、插补F输出(xA)、原F输出(A)、原F输出(A))并行地，设定帧取得部20的下一帧(B)的输入期间(原F输入(B))、第1块匹配电路32的第1匹配期间(BM1(AB))、第2块匹配电路33的第2匹配期间(BM2(AB))和插补帧算出部35的算出期间(插补F算出(AB))。由此，实现流水线处理。以下，对于后续的帧C、D、E、…也同样地进行处理。

[0083] 根据该动作例，由硬件处理实现生成插补帧并插入原帧之间的处理的情况下，能够确保实时性并且能够减轻存储器的负担。也就是说，通过使帧取得部20、插补帧生成部30和帧输出部40并行进行动作进行流水线处理，由此能够确保实时性。

[0084] 此外，通过设定帧取得部20和插补帧生成部30的动作定时，使得从帧取得部20对存储部10的原帧写入定时、和从插补帧生成部30对存储部10的插补帧写入定时错开，由此能够减轻存储部10的最大负担。

[0085] 具体而言，在帧取得部20的输入期间(原F输入)以及插补帧算出部35的算出期间(插补F算出)中，访问存储部10的数据量较多。也就是说，从帧取得部20对存储部10的原帧写入，需要写入Y信号和C信号的双方。此外，在插补帧算出部35和存储部10之间，需要从存储部10将先前帧和当前帧各自的Y信号和C信号、以及先前帧和当前帧的动态向量读出至插补帧算出部35。此外，还需要并行地从插补帧算出部35将插补帧的Y信号和C信号写入存储部10。

[0086] 对于该点，在第1块匹配电路32的第1匹配期间(BM1)以及第2块匹配电路33的第2匹配期间(BM2)中，访问存储部10的数据量较少。这是因为在第1块匹配电路32与存储部10、以及第2块匹配电路33与存储部10各自之间传送的信号是Y信号或动态向量，而不传送C信号。

[0087] 因此，按照帧取得部20的输入期间(原F输入)与插补帧算出部35的算出期间(插补F算出)不被安排在相同期间的方式进行设定，由此能够抑制访问存储部10的数据量增大。在图4所示的动作例中，按照该输入期间(原F输入)与该算出期间(插补F算出)错开的方式进行设定。此外，在单位动作期间，按照帧取得部20的输入处理、插补帧算出部35的算出处理以及帧输出部40的输出处理都不同时进行的方式设定。由此，与帧取得部20、插补帧算出部35以及帧输出部40整体相关的负荷被平均化。

[0088] 至此，对从图像生成装置300向帧插补装置100理想情况下连续输入4个相同帧的例子进行了说明。但是，现实中也存在如下情况：在图像生成装置300侧由于为了避免电波干扰而有意地使帧频偏离60Hz等原因，使得图像生成装置300中的译码频率与从图像生成装置300输出的影像的帧频不完全是4倍的关系。此外，由于上述显示装置500的应用，也存在利用软件处理对接收到的运动图像进行译码的应用。在该应用中，有可能出现译码处理与此外的负荷较大的处理同时进行处理的情况，该情况下译码处理有可能延迟。这样，理想的应该是连续输入4个帧，但时常会发生连续输入3个或连续输入5个的情况。

[0089] 图5表示本实施方式所涉及的具备应对连续3个输入或连续5个输入的控制部50的结构。控制部50具备同一性判定部52和采样点变更部54。

[0090] 同一性判定部52判定从图像生成装置300输入的运动图像的连续帧的同一性。该同一性判定的具体例在后面叙述。

[0091] 采样点变更部54，在由同一性判定部52判定为相同的帧其连续情况比(n+1)个(本实施方式中为4个)少或者多时(例如3个或5个)，在使上述周期固定的状态下，适应性地移动其采样点。

[0092] (5个连续输入)

[0093] 以下，对从图像生成装置300提供的运动图像中包含5个连续相同帧的情况下的动作进行说明。采样点变更部54在由同一性判定部52判定为相同的帧多于4个时(本动作例中为5个)，也就是对该帧重复采样时，使采样点在时间上至少延后一帧。

[0094] 图6是表示实施方式所涉及的帧插补装置100的、实施了5个连续输入对策的动作例的时序图。图6的时序图以图4的时序图为基础。以下，主要对两者的不同点进行说明。此外，输入帧A1、A2、A3、A4全部是相同的帧。「」表示是由图像生成装置300的复制部330复制出的复制帧。数字表示输入顺序。帧B以后以及后述的图7的输入帧也同样。

[0095] 此外，图6的标出○的输入期间(原F输入)表示执行原帧的采样，并且该原帧是动态向量的算出、插补帧的生成、以及向显示部400的输出中使用的原帧。标出△的输入期间(原F输入)表示尽管执行原帧的采样，但该原帧是由在其下一个标出○的输入期间(原F输入)被采样的原帧所覆盖的原帧。

[0096] 图6中连续输入5个帧B。在本动作例中，同一性判定部52检测相同的帧是否连续5个，并且在第5个帧是采样点的帧时，在下一个帧期间对标记(以下，称为重复标记)置位。当该重复标记置位时，采样点变更部54在该期间使采样点移动。原则上采样周期是固定的，但是在该重复标记被置位时例外地变更采样周期。

[0097] 帧取得部20对帧B1采样之后，对其4个之后的帧B5进行采样，但无论哪个都是帧B。在连续帧的第5个结束的时刻，能够判断出相同帧(在此为帧B)至少5个连续，因此，将此作为条件接下来的帧C1成为重复标记的候选。进而，该帧C1之前的帧位于原帧输入期间(原F输入)的采样帧，因此5个连续的帧B被连续采样2次。以此为条件最终在帧C1的位置上对上述重复标记置位。帧取得部20与该重复标记置位和4个采样周期无关地，对该期间的帧采样。在此，对帧C1采样。以下，将该采样点作为开始基准，重新开始4个采样周期。

[0098] 这样，帧取得部20连续2次对相同帧采样的情况下，后被采样的期间的处理实质上视为无效。具体而言，在该期间采样的帧B5被丢弃。帧输出部40在该期间向外部输出帧A与帧B之间的插补帧AB，但是该外部输出并不被计数成有效输出。也就是说，在该期间后向外部连续输出2个插补帧AB。用户将看到一帧的多个插补帧AB，但对于视觉上几乎没有影响。

[0099] 即便连续检测出5个相同的帧连续，在采样点不在重复标记置位的帧之先前的帧的情况下，该重复帧也不会被置位。这种情况下，不进行采样点变更，采样周期维持以前的反复定时。

[0100] (3个连续输入)

[0101] 以下，对从图像生成装置300提供的运动图像中包含3个连续相同的帧时的动作进行说明。采样点变更部54在由同一性判定部52判定为相同的帧少于4个时(本动作例中为3个)，也就是在一周期内无法对该帧采样时，使采样点在时间上至少前进一帧。此时，优选采样点变更部54使采样点在时间上前进，使得帧取得部20的对存储部10的原帧写入定时与插补帧生成部30的对存储部10的插补帧写入定时错开。

[0102] 图7是表示实施方式所涉及的帧插补在之后100的、实施了3个连续输入对策的动作例的时序图。图7的时序图是以图4的时序图为基础的。以下，主要对两者的不同点进行说明。在图4的时序图中对4个连续输入的帧之中最初的帧进行采样，但在图7的时序图中以对第4个帧采样为例进行说明。再有，作为临时帧对第2个帧事先进行采样。更为具体而言，帧取得部20与第2块匹配电路33的第2匹配处理并行地对临时帧进行采样，将该临时帧输入至存储部10或其他临时存储部。也就是说，第2匹配期间(BM2)与原帧(临时帧)的输入期间(原F输入)被设定为相同的定时。

[0103] 此外，图7的标出○的输入期间(原F输入)以及标出△的输入期间(原F输入)是指与图6的相应期间相同的意义的输入期间(原F输入)。标出×的输入期间(原F输入)中不执行采样。

[0104] 图7中连续输入3个帧C。在本动作例中，在同一性判定部52检测出相同的帧连续3个，接下来的帧将变化为其他帧，并且3个连续之后的下一帧是采样点的帧时，在下一帧的期间对标记(以下，称为丢失标记)置位。采样点变更部54在该丢失标记置位时，在丢失标记置位之后的下一帧的期间移动采样点。在图7的时序图中，使采样点在时间上前进2帧。

[0105] 帧取得部20在对帧B4采样之后，对其4帧之后的帧D1进行采样。这是因为帧C仅连续3个。同一性判定部52在相同帧连续3个而接下来其他帧的输入结束的时刻，能够判断出连续帧在3个处结束，因此，以此为条件接下来的帧D2成为丢失标记的候选。进而，由于该帧D2之前的帧D1位于原帧输入期间(原F输入)的采样帧，因此3个连续的帧C一次也没有被采样。以此为条件最终在帧D2的位置使上述丢失标记置位。当该丢失标记被置位时，尽管帧取得部20与4个采样周期无关地对该期间接下来的帧D3采样，但并不执行作为临时帧的帧D3的采样。以下，将该采样点作为开始基准，重新开始4个采样周期。

[0106] 当上述丢失标记置位时，第1块匹配电路32不使用之前采样的帧，使用临时帧进行第1匹配处理。在此，不使用之前进行过采样的帧D1，使用该2单位期间之前进行过采样的临时帧C进行帧B和帧C之间的第1匹配处理。后续的由第2块匹配电路33进行的第2匹配处理也在帧B与帧C之间实行，由插补帧算出部35进行的插补帧算出处理也是在帧B与帧C之间实行。后续的由帧输出部4进行的输出处理与通常不同，逐个向外部输出帧B与帧C之间的插补帧、以及原帧C。尽管用户少看到一帧份的插补帧BC和原帧C，但在视觉上几乎没有影响。

[0107] 即便检测到相同的帧连续3个其后的帧变为其他帧，当采样点不在丢失标记置位的帧之前的帧中时，该重复标记不被置位。该情况下，不进行采样点的变更，采用周期维持之前的反复定时。

[0108] 在图7的时序图中，帧取得部20的对存储部10的原帧写入定时与插补帧生成部30的对存储部10的插补帧写入定时不重复。这样，在图7的时序图中能够确保实时性，同时在抑制存储部10的负荷增大的情况下，实施3个连续输入对策。

[0109] (3个连续输入和5个连续输入混合存在)

[0110] 图8(a)～(d)是表示在从图像生成装置300提供的运动图像中周期性地包含3个连续输入、4个连续输入和5个连续输入的例子的图，是5个连续输入对策之前的图。在图8(a)～(d)的各图中，上段表示对帧插补装置100的输入帧，下段表示来自帧插补装置100的输出帧。下段的2个小写文字的块表示插补帧。纵向虚线右侧的块表示采样点。

[0111] 图8(a)分别4个4个输入到帧X、Y、Z，在帧A之后周期地输入3个连续帧、4个连续帧、5个连续帧。该周期性的现象是由于对图像生成装置300的电波干扰或图像生成装置300中的负荷变动等产生，并观测到的现象。此外，该现象是随机产生的。图8(d)中在帧H以后返回至4个连续输入。进行过采样的原帧被延后6帧输出。在3个连续输入、4个连续输入以及5个连续输入周期性地发生的情况下，帧插补装置100的2倍速变换，能按照与4个连续输入持续的情况同样的精度无误地进行。

[0112] 图8(b)表示按照与图8(a)同样的图案输入帧，并且采样点被延后一帧的情况。该情况下，帧插补装置100的2倍速变换也能够按照与4连续输入持续的情况相同的精度无误地进行。图8(c)表示按照与图8(a)同样的图案输入帧并且采样点被延后2帧的情况。该情况下，帧插补装置100的2倍速变换也能够按照与4连续输入持续的情况相同的精度无误地进行。

[0113] 图8(d)表示按照与图8(a)同样的图案输入帧并且采样点被延后3帧的情况。该情况下，由于3个连续输入的帧与采样点偏离，因此该帧成为丢失帧。在图8(d)中，帧A、D、G、J成为丢失帧。此外，由于5个连续输入的帧被采样2次，因此成为重复帧。在图8(d)中，帧C、F、I成为重复帧。图8(d)中帧插补装置100的2倍速变换的精度下降。

[0114] 图9(a)～(d)是表示从图像生成装置300提供的运动图像中周期地包含3个连续输入、4个连续输入以及5个连续输入的例子的图，是5个连续输入对策之后的图。图9(a)～(c)与图8(a)～(c)同样。

[0115] 图9(d)中，尽管无法防止最初发生的3个连续输入的帧A的丢失，但随着检测出最初发生的5个连续输入的帧C，使采样点(SP)延后一帧。由此可知，之后丢失和重复都不会发生。

[0116] 只要实施上述的3个连续输入对策，就能够防止最初发生的3个连续输入的帧A的丢失。但是，上述这种3个连续输入对策中，需要保持临时帧，需要增大存储容量。相对于此，在5帧连续输入对策中则不需要。因此，对于帧插补装置100而言，较之于3个连续输入，5个连续输入更容易处理。

[0117] (同一性判定)

[0118] 接下来，对同一性判定部52进行的帧之间的同一性判定处理进行说明。同一性判定部52计算从图像生成装置300输入的运动图像的各帧的像素值的合计值，以此来判定同一性。在像素值的合计值一致或者在规定设定值的范围内的情况下，判定为相同的帧。应该作为该像素值计算的基础的帧，既可以是RGB/YC变换前的帧，也可以是该变换之后的帧。此外，还可以是仅仅Y信号的帧。该情况下，尽管判定精度下降，但能够减少运算量。

[0119] 此外，从图像生成装置300输入的帧中叠加了OSD的情况下，同一性判定部52从至少除去了叠加于各帧的OSD的区域，计算各帧的像素值的合计值。

[0120] 图10表示实施方式所涉及图像生成装置300生成的包含OSD区域的帧60。在该帧60显示OSD区域62。

[0121] OSD区域62，根据种类预先设定显示的位置和大小。例如，音量信息如图10所示那样显示在帧60的下部，频道信息显示在帧的左上部。

[0122] 此外，同一性判定部52，可以计算至少除去了叠加于各帧的OSD之后的区域中得到的、实质上最大的矩形区域的像素值的合计值。该情况下，该运算电路的硬件化容易实现。

[0123] 如上述根据本实施方式，4个连续输入被打乱时，通过固定采样率的情况下使采样点移动，由此能够抑制在进行帧插补时可能产生的影像质量的下降。

[0124] 对于该点，在采样率可变的结构中，误检测连续个数的情况下，采样自身有可能停止，输入影像有可能不反映在输出影像中。对于这一点，根据本实施方式，即便在误检测连续个数的情况下，影像输出也不会中断，在正确检测到连续个数之后，重新开始正确的帧插补。

[0125] 此外，在上述的3个连续输入对策中，将作为临时帧缓存的帧作为不发生带宽上升的定时的帧，由此能够抑制带宽的上升。

[0126] 以上，根据几个实施方式对本发明进行了说明。该实施方式仅是例示，对于本领域技术人员而言应该理解为在各结构要素和各处理过程的组合中可进行各种变形，这种变形例也属于本发明的范围。

[0127] 在上述实施方式中，例示了在4个连续输入中混入了3个连续输入和5个连续输入的情况，但并不限于此。若是单纯的4个连续输入和5个连续输入的组合、或者单纯的4个连续输入和3个连续输入的组合，则仅采用对应的连续输入对策即可。

[0128] 具体而言，将图像生成装置300的复制部330设定成按比生成n个(本动作例中为3个)的复制帧的动作频率更高的频率进行动作。例如，设定成按高于60Hz的60.2Hz等进行动作。帧插补装置100从按比生成n个复制帧的动作频率更高的频率进行动作的图像生成装置300接收运动图像。由此，接收4个连续输入和5个连续输入的组合的输入帧，通过仅采用5个连续输入对策，能够抑制电路规模的增大，同时维持倍速变换的精度。

[0129] 此外，将图像生成装置300的复制部330设定成按比生成n个(本动作例中为3个)的复制帧的动作频率更低的频率进行动作。例如，设定成按低于60Hz的59.8Hz等。帧插补装置100从按比生成n个复制帧的动作频率更低的频率进行动作的图像生成装置300接收运动图像。由此，接收3个连续输入和4个连续输入的组合的输入帧，通过仅采用3个连续输入对策，能够维持倍速变换的精度。

[0130] 在上述3个连续输入对策中，说明了在检测到3个连续输入时使采样点前进2帧的处理。在能够很好接受带宽上升的情况下，也可以采用使采样点前进一帧的处理。

[0131] 此外，在上述实施方式中，对通过2阶段的块匹配检测以像素为单位的动态向量的方法进行了说明，但也可以利用通过一次的块匹配得到的以块为单位的动态向量来求得通过插补帧内的各像素的动态向量。此外，也可以利用梯度法而不是块匹配来检测以像素为单位的动态向量。

[0132] 此外，在上述实施方式例示的例子中，对图像生成装置300追加了帧插补装置100，由此实现单频段影像的倍速变换，但也可以在图像生成装置300内代替复制部330而在一开始就搭载帧插补装置100。

[0133] 此外，在上述实施方式中，说明了对单频段广播的运动图像进行倍速变换的例子，但本发明所涉及的帧插补装置100并不限定于该用途，可以应用于各种运动图像的阵列变换。特别是可有效地适用于由低规格摄像头拍摄的运动图像等低帧频的运动图像。例如，也可以适用于小于15Hz的运动图像的帧频变换。

标题	发布/更新时间	阅读量
光帧格式-专利编号CN1338833A	2020-05-13	132
子帧配置-专利编号CN103299559A	2020-05-13	407
子帧配置-专利编号CN103299559B	2020-05-12	314
一种自动改变帧率的拌线检测方法-专利编号CN103426181A	2020-05-12	766
帧同步-专利编号CN101273524A	2020-05-13	265
控制帧聚合帧-专利编号CN107409015A	2020-05-11	661
帧传输-专利编号CN108702549A	2020-05-12	940
装帧纸及其生产工艺-专利编号CN106149475A	2020-05-11	487
装帧纸及其生产工艺-专利编号CN106149475B	2020-05-11	135
装帧纸-专利编号CN204703011U	2020-05-11	139

帧插补装置

帧插补装置

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式