实现所述第1个目的的像素运算装置，具有：对压缩视频数据进 行解码的解码装置；保存解码后的帧数据的帧存储器；通过对帧数据 的垂直过滤处理进行垂直方向缩小的过滤装置；保存作为所述垂直过 滤部输出的垂直方向缩小图像的缓冲存储器；根据解码装置中的帧数 据的解码状态和过滤装置的帧数据的过滤状态，对过滤装置加以控制 以避免过滤装置发生过载运行及欠载运行的控制装置。
据此结构，可以在控制装置的控制下防止过滤装置或解码装置的 过载运行及欠载运行，并能获得不采用高速过滤装置也可以的效果。
在此，上述控制装置可以采用从解码装置、过滤装置获取表示帧 数据中的解码进行状态的第1报告和表示过滤处理进行状态的第2报 告的结构。
另外，可以采用每当对宏块的整数倍的线完成过滤处理时由过滤 装置向控制装置发出第2报告、每当对宏块的整数倍的线完成解码时 由解码装置向控制装置发出第1报告的结构。
据此结构，对于解码单位的宏块，由于按其每个整数倍发出第1、 第2报告，所以控制装置可以简单地进行控制。

图1所示为现有技术中进行FIR过滤处理的电路例的框图。
图2所示为包括像素运算单元的媒体处理器的结构框图。
图3所示为像素运算单元(POUA、POUB)的结构框图。
图4所示为像素并列处理部的左半部分的结构框图。
图5所示为像素并列处理部的右半部分的结构框图。
图6(a)所示为输入缓冲器群22的详细结构框图。
图6(b)所示为输入缓冲器群22中的选择部的详细结构框图。
图7所示为输出缓冲器群23的结构框图。
图8所示为像素运算单元中进行过滤处理时的像素数据的初始输 入值。
图9所示为对像素处理部1的像素数据初始输入值的说明图。
图10所示为像素处理部1中进行过滤处理的运算过程图。
图11所示为像素处理部1中进行过滤处理的运算内容说明图。
图12所示为像素运算单元中进行MC(运动补偿)处理(P图片) 时的输入输出像素数据的图。
图13所示为MC处理的解码对象帧和比较帧的说明图。
图14所示为像素运算单元中进行MC处理(B图片)时的输入输 出像素数据的图。
图15所示为像素运算单元中进行OSD(在屏显示)处理时的输入 输出像素数据的图。
图16为像素运算单元中进行OSD(在屏显示)处理的说明图。
图17所示为像素运算单元中进行ME(运动估值)处理时的输入 输出像素数据的图。
图18为像素运算单元中进行ME(运动估值)处理的说明图。
图19所示为在媒体处理器中进行垂直过滤处理时的数据流程的 模式框图。
图20为进行垂直1/2缩小时的说明图。
图21为现有技术中进行垂直1/2缩小时的说明图。
图22为进行垂直1/4缩小时的说明图。
图23为现有技术中进行垂直1/4缩小时的说明图。
图24所示为在媒体处理器中进行垂直过滤处理时的数据流程的 其它模式框图。
图25所示为进行解码处理与垂直过滤处理的时间对应说明图。
图26为进行垂直1/2缩小时的说明图。
图27为进行垂直1/4缩小时的说明图。
图28所示为像素并列处理部的左半部分的变化例1的图。
图29所示为像素并列处理部的右半部分的变化例1的图。
图30所示为像素并列处理部的左半部分的变化例2的图。
图31所示为像素并列处理部的右半部分的变化例2的图。
图32所示为像素并列处理部的左半部分的变化例3的图。
图33所示为像素并列处理部的右半部分的变化例3的图。
图34所示为像素处理单元的变化例的图。
实施方式
本发明的像素运算单元的结构可以有选择地主要进行如下处 理：(a)用于图像的扩大/缩小的过滤处理、(b)运动补偿(Moving Compensation以下称ME)处理、(c)OSD(On Screen Display) 处理、(d)运动估值(Moving Estimation以下称ME)处理等。关 于(a)过滤处理，像素运算单元中分支数并不固定而是可变的，且 对水平方向或垂直方向上的连续多个像素(例如16个像素)进行并 列处理。另外，垂直方向的过滤处理与压缩活动图像数据的展开处理 同步进行。
下面，按如下顺序说明本发明的实施方式中的像素运算单元。
1媒体处理器的结构
1.1  像素运算单元的结构
1.2  像素并列处理部的结构
2.1  过滤处理
2.2  MC(运动补偿)处理
2.3  OSD(在屏显示)处理
2.4  ME(运动估值)处理
3.1  垂直过滤处理(其1)
3.1.1  1/2缩小
3.1.2  1/4缩小
3.2  垂直过滤处理(其2)
3.2.1  1/2缩小
3.2.2  1/4缩小
4  变化例
<1媒体处理器的结构>
下面就关于在进行媒体处理(压缩音频活动图像数据的展开处 理、音频活动图像数据的压缩处理等)的媒体处理器中内置本实施方 式所涉及的像素运算单元的情况作以说明。媒体处理器安装于例如接 收数字TV广播的机顶盒、电视接收机、DVD录像再生装置等设备中。
图2所示为装有像素运算单元的媒体处理器的结构框图。该图中 媒体处理器200具有：双端口存储器100、流单元201、输入输出缓 冲器(以下略为I/O缓冲器)202、设置处理器203、位流FIFO204、 变长编码解码部(VLD)205、变长编码解码部205、转换引擎(Transfer Engine以下略作TE)206、像素运算单元A(以下略作POUA)207、 像素运算单元B(以下略作POUB)208、POUC209、音频单元210、 IOP211、输入输出处理器(以下略作IOP)211、视频缓冲存储器212、 视频单元213、主单元214、RE215、过滤部216。
双端口存储器100具有连接外部存储器220的输入输出端口(以 下称外部端口)和连接媒体处理器200内部的输入输出端口(以下称 内部端口)以及高速缓冲存储器，它通过内部端口接受来自于媒体处 理器200内部各结构元件中向外部存储器220读写数据的结构元件 (以下称主设备)的访问请求，并根据所接受的访问请求对外部存储 器220进行访问。这时，双端口存储器100将外部存储器220中的一 部分数据高速存储至其内部的高速缓冲存储器中。另外，外部存储器 220为SDRAM或RDRAM等存储器，可暂时存储压缩活动图像数据、压 缩音频数据、解码后的音频数据、解码后的活动图像数据等。
流单元201从外部输入流数据(所谓的MPEG流)，并将所输入 的流数据分离为视频基元流和音频基元流，再分别写入I/O缓冲器 202中。
I/O缓冲器202是用以暂时保存视频基元流、音频基元流、音频 数据(展开后的音频数据)的缓冲存储器。视频基元流、音频基元流 分别由流单元201存放于I/O缓冲器202中，再根据IOP211的控制 通过双端口存储器100存放于外部存储器220中。音频数据根据 IOP211的控制通过双端口存储器100由外部存储器220存放于I/O 缓冲器202中。
设置处理器203对音频基元流进行解码(展开)以及对视频基元 流的宏块首部进行解析。音频基元流和视频基元流根据IOP211的控 制通过双端口存储器100由外部存储器220被传送至位流FIFO204 中。设置处理器203从位流FIFO204中读出音频基元流并进行解码， 再将解码后的音频数据存放于设置存储器217中。设置存储器217 中的音频数据根据IOP211的控制通过双端口存储器100被传送至外 部存储器220中。另外，设置处理器203从位流FIFO204中读出视频 基元流并进行宏块首部解析，再将解析结果报告给VLD205。
位流FIFO204是用以向变长编码解码部205提供视频基元流以及 向设置处理器203提供音频基元流的FIFO存储器。视频基元流及音 频基元流根据IOP211的控制通过双端口存储器100由外部存储器 220被传送至位流FIFO204中。
VLD205对由位流FIFO204所提供的视频基元流中含有的变长编 码进行解码。该解码结果是宏块单位的DCT系数群。
TE206对VLD205的解码结果进行宏块单位的IQ(逆量化)处理 以及IDCT(逆DCT)处理。这些处理结果为宏块。一个宏块由4个辉 度块(Y1～Y4)和2个色差块(Cb、Cr)构成。一个块为8×8像素。 但是关于P图片和B图片，一个块是作为8×8个差分值从TE206输 出的。TE206通过双端口存储器100将解码结果存放于外部存储器220 中。
POUA207主要是有选择地进行(a)过滤处理、(b)MC处理、(c) OSD处理、(d)运动估值(Moving Estimation)处理等。
在(a)的过滤处理中，POUA207对存放于外部存储器220中的 视频数据(帧数据)所包含的16个像素数据进行并列过滤，并通过 间除或是插补方法对过滤后的16个像素进行缩小和放大。缩小语后 的数据根据POUC209的控制通过双端口存储器100被存放于外部存储 器220中。
在(b)的MC处理中，POUA207将TE206对存放于外部存储器220 中的P图片及B图片进行IQ及IDCT处理所得的结果(即像素数据的 差分值)与比较帧中的像素数据进行16并列相加运算。16组的差分 值和像素数据由POUC209按照设置处理器203对宏块首部进行的解析 所检测出的运动矢量输入至POUA207中。
在(c)OSD处理中，POUA207通过双端口存储器100输入存放于 外部存储器220等中的OSD图像(静止画面)，并将其覆盖于外部存 储器220内部的显示用帧数据中。这里所说的OSD图像是指用户进行 遥控操作相应地显示出的菜单图像或时间显示、通道号码显示等。
(d)的ME处理是指在比较帧中捕捉与未压缩的帧数据内的编码 对象宏块相关性高的矩形区域，并求出由编码对象宏块指向最相关矩 形区域的运动矢量的处理。POUA207并列16个算出编码对象宏块的 像素与捕捉范围内的矩形区域的像素之间的差分。
POUB208与POUA207结构相同，并对所述(a)～(d)处理进行 动态分工。
POUC209负责控制向POUA207及POUB208提供像素数据群以及向 外部存储器220传送处理结果。
音频单元210负责输出存放于I/O缓冲器202中的音频数据。
IOP211负责控制媒体处理器200内部的数据输入输出(数据传 送)。数据传送有如下种类。第1，通过双端口存储器100将存放于 I/O缓冲器202中的流数据传送至外部存储器220内的流缓冲区域。 第2，通过双端口存储器100将存放于外部存储器220中的视频基元 流及音频基元流传送至位流FIFO204中。第3，通过双端口存储器100 将存放于外部存储装置2中的音频数据传送至I/O缓冲器202中。
视频单元213从外部存储器220中的视频数据(图像帧)中读出 2、3线的像素数据，并存放于视频缓冲存储器212中，再将此2、3 线的像素数据转换成影像信号输出至外部所连接的电视接收机等显 示装置。
主单元(HOST)214负责接受来自外部主微型计算机的指令，并 根据指令控制MPEG解码、MPEG编码、OSD处理、缩小·放大处理等 的开始和结束。
翻译引擎(RE)215为主设备，负责进行计算机制图的翻译处理。 当外接有专用LSI218时、间歇地进行数据的输入输出。
过滤器216负责进行静止画面数据的放大缩小处理。当外接有专 用LSI218时间歇进行数据的输入输出。
上述内容主要对媒体处理器从流单元201输入流数据并进行解码 (展开)的情况作了说明，当其对未压缩视频数据及音频数据进行编 码(压缩)时，则是相反的流程。届时，POUA207(或POUB208)进 行ME处理、TE206进行DCT处理及Q(量化)处理、VLD205进行变 长编码处理。
<1.1像素运算单元的结构>
图3所示为像素运算单元的结构框图。
由于POUA207和POUB208结构相同，在此仅对POUA207作以说 明。
如该图所示，POUA207具有像素并列处理部21、输入缓冲器群 22、输出缓冲器群23、命令存储器24、命令解码器25、指令电路26、 DDA电路27。
像素并列处理部21具有像素传送部17、16个像素处理部1～像 素处理部16、像素传送部18，负责对从输入缓冲器群22输入的多个 像素进行所述的(a)过滤处理、(b)MC处理、(c)OSD处理、(d) ME处理，并输出至输出缓冲器群23。(a)～(d)各处理将宏块单 位即16个像素重复操作16次(16线)而结束。各处理的启动由 POUC209所控制。另外，像素传送部17在过滤处理中保存16个像素 更左侧(或上侧)的多个像素(这里为8个像素)，并按各块右移位。 像素传送部18在过滤处理中保存16个像素更右侧(或下侧)的多个 像素(这里为8个像素)，并按各块向左移出。
输入缓冲器群22根据POUC209的控制保存由双端口存储器100 所传送的处理对象——多个像素，此外在过滤处理中还保存过滤系 数。
输出缓冲器群23将像素并列处理部21的处理结果(与16个像 素相对应的16个处理结果)的排序任意变更并加以暂时性保存。在 过滤处理中通过变更像素排序并保存来进行像素的间除(缩小时)或 插补(放大时)。
命令存储器24存储着过滤处理用的微程序(过滤μP)、MC处理 用的微程序(MCμP)、OSD处理用的微程序(OSDμP)、ME处理用 的微程序(MEμP)。此外命令存储器24还存储着宏块格式转换用的 微程序、用以转换像素数值表示的微程序等。这里所说的宏块格式指 MPEG规格所规定的[4∶2∶0]、[4∶2∶2]、[4∶4∶4]等的Y、Cb、 Cr块的像素采样比例的比率。像素的数值表示包括用0～255表示像 素可取值的场合(通常的MPEG数据等)和用-128～127表示的场合 (DV格式摄像机等)。
命令解码器25从命令存储器24中依次读出微程序中的微代码并 译码，并根据译码结果对POUA207内各部进行控制。
指令电路26从POUC209处接受关于应该启动命令存储器24中哪 一个微程序的指令(开始地址等)，并启动所指令的微程序。
DDA电路27在过滤处理中对输入缓冲器群22所保存的过滤系数 群的选择进行控制。
<1.2像素并列处理部的结构>
图4、图5所示为像素并列处理部的左半部分和右半部分的详细 结构框图。
图4中的像素传送部17由8个输入端口A1701～H1708、8个保 存像素数据并延迟1个时钟时间的延迟器A1701～延迟器H1709、7 个对输入端口的像素数据和左侧延迟器的输出进行选择其一的选择 部A1717～G1723构成，其将从输入缓冲器群22并列输入的8个像素 保存于8个延迟器中，并作为一个对8个延迟器所保存的像素进行时 钟同步向右移位的右向移位器而发生作用。
图5中的像素传送部18与像素传送部17相比除其移位方向为左 这点相异外其他结构相同，在此省略说明。
图4、图5中的16个像素处理部1～像素处理部16皆为相同结 构，在此将像素处理部2作为代表加以说明。
像素处理部2由输入端口A201～输入端口C203、选择部A204和 B205、延迟器A206～D209、加法器A120、乘法器A211、加法器B212、 输出端口D213构成。
选择部A204从自输入端口A201所输入的像素数据和左侧相邻的 像素传送部17所输出的像素数据中选择其一。
选择部A204与延迟器A206实现将从右侧相邻的像素处理部3所 输入的像素数据向左侧相邻的像素处理部1移位输出的功能。
选择部B205从自输入端口B202所输入的像素数据和右侧相邻的 外部存储器220所移位输出的像素数据中选择其一。
选择部B205与延迟器B207实现将从左侧相邻的像素处理部1所 输入的像素数据向右侧相邻的像素处理部3移位输出的功能。
延迟器A206与延迟器B207分别保存由选择部A204、选择部B205 所选择的像素数据。
延迟器B207保存从输入端口C203输入的像素数据。
加法器A120对延迟器A206和延迟器B207所输出的像素数据进 行加法运算。
乘法器A211对加法器A120的加法运算结果和来自延迟器C208 的像素数据进行乘法运算。该乘法器A211在过滤处理中被用于对像 素数据和过滤系数进行乘法运算。
加法器B212对乘法器A211的乘法运算结果和延迟器D209的数 据进行加法运算。
延迟器D109对加法器B212的加法运算结果进行累积。
像素处理部2通过对这些结构元件进行有选择地组合操作来完成 所述的(a)过滤处理、(b)MC处理、(c)OSD处理、(d)ME处 理。对这些结构元件进行有选择地组合操作依靠命令存储器24及命 令解码器25的微程序控制而实现。
图6(a)所示为输入缓冲器群22的详细结构框图。
如该图所示，输入缓冲器22由向像素传送部17提供像素数据的 8个闩锁221、向像素处理部1～16提供像素数据的16个闩锁部222、 向像素传送部18提供像素数据的8个闩锁223构成。它们根据 POUC209的控制通过双端口存储器100从外部存储器220传送像素数 据群。
各闩锁部222由两个向像素处理部的输入端口A、B提供像素数 据的闩锁和向像素处理部的输入端口C提供像素数据或过滤系数的 选择部224构成。
图6(b)所示为选择部224的详细结构框图。
如该图所示，选择部224由8个闩锁224a～224h和从8个闩锁 的数据中选择其一的选择器224i构成。
闩锁224a～224h在过滤处理中保存过滤系数a0～a7(或a0/2、 a1～a7)。这些过滤系数根据POUC209的控制通过双端口存储器100 从外部存储器220传送至闩锁224a～224h。
选择器224i根据DDA电路27的控制与时钟同步从闩锁224a至 224h进行依次选择。过滤系数如此般向像素处理部的提供不是由微 代码直接控制的，而是通过DDA电路27由硬件控制的，所以可实现 高速化。
图7所示为输出缓冲器群23的结构框图。
如该图所示，输出缓冲器群23由16个选择器24a～24p和16个 闩锁23a～23p构成。
选择器24a～24p的每一个都输入像素处理部1～16的16个处理 结果并选择其一。该选择控制依靠命令解码器25来实现。
闩锁23a～23p分别保存选择器24a～24p的选择结果。
例如在对过滤处理的结果进行1/2缩小时，像素处理部1～16对 16个像素的16个处理结果中，像素处理部1、3、5……15的处理结 果被8个选择器24a～24h所选择并存放于闩锁23a～23h中；进而， 像素处理部1～16对接下来的16个像素的16个处理结果中，像素处 理部2、4、6……16的处理结果被8个选择器24i～24p所选择并存 放于闩锁23i～23p中。这样像素被间除处理，经过1/2缩小的16 个像素数据被保存于输出缓冲器群23中，再根据POUC209的控制通 过双端口存储器100被传送至外部存储器220。
<2.1过滤处理>
下面对像素运算单元进行过滤处理的详情作以说明。
POUC209指定进行过滤处理的对象宏块，并对于POUA207或 POUB208将32个像素数据及过滤系数a0/2、a1～a7作为初始值传送 至其输入缓冲器群22中，再向其指令电路26报告分支数同时发出开 始过滤处理的指令。
图8所示为像素运算单元(POUA207)中进行过滤处理时的像素 数据初始输入值。该图中输入端口一栏是指图4、图5所示各输入端 口。输入像素一栏是指从输入缓冲器群22向各输入端口提供的像素 数据。输出端口一栏是指图4、图5所示输出端口D(加法器B的输 出)，输出像素一栏是指其输出值。
如图9所示，水平方向的连续32个像素数据X1～X32通过 POUC209被传送并保存在向输入端口提供像素数据的输入缓冲器群 22中。在此，过滤处理的对象为X9～X24的16个像素数据。如图8 所示像素数据X9～X24作为初始值提供给像素处理部1～16的输入端 口A及B，输入缓冲器群22中所选择的过滤系数a0/2作为初始值提 供给输入端口C。
进而，在输入缓冲器群22向像素并列处理部21提供初始输入值 之后，通过对应于过滤处理所需分支数的时钟的输入完成过滤处理。
图10所示为以16个像素处理部中的像素处理部1为代表的运算 过程说明图。该图中按照每次输入时钟数记录了像素处理部1内部的 延迟器A～D的保存内容和加法器B的输出值。另外，图11所示为像 素处理部1的各时钟输入所对应的输出端口D(加法器B的输出)的 输出值。
像素处理部1通过最初的时钟输入(CLK1)在延迟器A及B中保 存初始输入值像素数据X9，在延迟器D中保存初始输入值过滤系数 a0/2，延迟器D被清零。此时，选择部A及B都选择输入端口。其结 果，加法器A输出(X9+X9)；乘法器A输出(X9+X9)*a0/2；加 法器B输出(X9*a0/2+0(即a0*X9)(参照图11)。
在第2次时钟输入(CLK2)之后，选择部A及B不选择输入端口 A、B而选择来自相邻的像素处理部或像素传送部的移位输出。
通过第2次时钟输入(CLK2)，延迟器A～D保存像素数据X10、 X8、过滤系数a1、a0*X9。其结果，加法器B输出a0*X9+a1(X10 +X8)(参照图11)。这样在第2次，乘法器A对过滤系数a1(延 迟器C)和从两邻移位输出的像素数据的和(加法器A)进行乘法运 算。加法器B对此乘法运算结果和延迟器D的累积值进行加法运算。
在第3次时钟输入(CLK3)时，像素处理部1通过进行与第2次 时钟输入时相同的操作从加法器B输出a0*X9+a1(X10+X8)+ a2(X11+X7)。
第4次～第9次的时钟输入(CLK4～CLK9)时也是进行同样的操 作，并使加法器B分别输出图11所示的各输出值。
这样，当为9时钟时，像素处理部1的过滤处理的结果(输出数 据)为：
a0·X9+a1(X10+X8)+a2(X11+X7)+a3(X12+X6)+a4(X13+ X5)+a5(X14+X4)+a6(X15+X3)+a7(X16+X2)+a8(X17+X1)
图10、图11中示出了到CLK9的处理过程，不过输入的时钟数 由命令解码器25按照由POUC209所报告的分支数控制截止。即，各 像素处理部当分支数为3时在CLK2结束过滤处理；当分支数为5时 在CLK3结束过滤处理；当分支数为7时在CLK4结束过滤处理。换言 之，分支数为(2n-1)的过滤处理用n次的时钟输入来完成。
命令解码器25将16个像素的并列处理重复16个线，据此完成4 个块的过滤处理。届时，16个过滤处理结果在输出缓冲器群23中通 过间除处理或插补处理而被缩小或放大。输出缓冲器群23中经过缩 小或放大后的像素群每有16个被保存时就根据POUC209的控制通过 双端口存储器100传送至外部存储器220。另外，当第16线的处理 结束时，命令解码器25向POUC209发出结束报告。POUC209针对下 一个宏块也与上述相同，向POUA207提供初始输入值和过滤系数并发 出开始过滤处理的指令。
另外，当为9时钟时，像素处理部2的过滤处理的结果如下式。
a0·X10+a1(X11+X9)+a2(X12+X8)+a3(X13+X7)+a4(X14 +X6)+a5(X15+X5)+a6(X16+X4)+a7(X17+X3)+a8(X18+X2)
当为9时钟时，像素处理部3的过滤处理的结果如下式。
a0·X11+a1(X12+X10)+a2(X13+X9)+a3(X14+X8)+a4(X15 +X7)+a5(X16+X6)+a6(X17+X5)+a7(X18+X4)+a8(X19+X3)
像素处理部4～16的过滤处理的结果仅在像素位置上相异其他相 同，在此省略说明。
如此，像素并列处理部21对16个输入像素进行并列过滤处理， 而且可以根据输入时钟数的控制任意改变分支数。
另外，图8中像素处理部1的输入端口A、B、C的输入像素为(X9、 X9、a0/2)，但也可以是(X9、0、a0)或(0、X9、a0)。像素处 理部2～16也仅在对象像素上相异其他可以相同。
<2.2 MC(运动估值)处理>
下面对解码对象帧为P图片时的MC处理作详细说明。
POUC209向指令电路26发出开始MC处理的指令，同时指定成为 MC处理对象的解码处理中的帧的宏块(差分值)和比较帧中运动矢 量所指的矩形区域，并且针对POUA207或POUB208将16个差分值D1～ D16及矩形区域内的16个像素数据P1～P16设定于输入缓冲器群22 中。
图12所示为像素运算单元进行MC处理(P图片)时输入输出的 像素数据。该图中，输入端口一栏是指图4及图5所示之像素传送部 17、像素处理部1～16、像素传送部18的输入端口。输入像素一栏 是指输入端口所输入的像素数据。在MC处理中不使用像素传送部17 及18，所以其输入像素为忽略(don’t care)。输出端口一栏是指 图4、图5所示输出端口D(加法器B的输出)，输出像素一栏是指 其输出值。
图13为MC处理中向像素处理部1～16输入的像素的说明图。如 该图所示，D1～D16为解码对象帧的宏块(MB)中的16个差分值。 P1～P16为比较帧中运动矢量所指向的矩形区域中的16个像素数 据。
MC处理中，像素处理部1～16内部的选择部A、B总是分别选择 输入端口A、B。据此，来自输入端口A的像素数据和来自输入端口B 的差分值通过选择部A、B输入并保存于延迟器A、B中，再由加法器 A进行相加运算。该运算结果在乘法器中被乘以1，在加法器B中被 加上0，然后从输出端口D输出。也就是说来自输入端口A的像素数 据和来自输入端口B的差分值经过单一的加法运算后从输出端口D输 出。
进而16个加法运算结果被存放于输出缓冲器群23中，并根据 POUC209的控制通过双端口存储器100被写回外部存储器220内部的 解码对象帧中。
通过以解码对象帧的16个像素为单位重复上述处理，MC处理得 以实现。另外，各像素处理部只是进行单一的加法运算，每次时钟都 可以得到16个像素的加法运算结果。
下面对解码对象帧为B图片的情况下的MC处理作以说明。
图14所示为像素运算单元进行MC处理(B图片)时的输入输出 像素数据。该图中的输入端口栏、输入像素栏、输出端口栏、输出像 素栏的意义与图12相同。不过，与图12的不同之点是，其输入像素 栏是按照第1时钟(CLK1)和第2时钟(CLK2)两次输入的。
P1～P16和B1～B16为两个不同的比较帧中的运动矢量分别指向 的矩形区域内的16个像素数据。
MC处理中，像素处理部1～16内部的选择部A、B分别总是选择 输入端口A、B。在第1时钟(CLK1)时P1、B1通过选择部A、B从 输入端口A、B被保存在延迟器A、B中，同时，常数1/2从输入端口 C被保存于延迟器C中。据此从乘法器A中得到(P1+B1)/2。在第 2时钟(CLK2)时，乘法运算结果(P1+B1)/2保存于延迟器D中， 同时，来自输入端口A、B、C的(1，0，D1)被保存于延迟器A、B、 C中，所以来自乘法器A的D1和来自延迟器D的(P1+B1)/2在加 法器B中被进行相加运算。其结果，从输出端口输出(P1+B1)/2 +D1。
进而16个加法运算结果被存放于输出缓冲器群23中，并根据 POUC209的控制通过双端口存储器100重被写入外部存储器220内的 解码对象帧中。
通过以解码对象帧的16个像素为单位重复上述处理。对于B图 片的MC处理得以实现。
<2.3 OSD(在屏显示)处理>
POUC209向指令电路26发出开始OSD处理的指令，同时从保存 于外部存储器220的OSD图像中有序列地读出16个像素数据X1～X16 并将其设定于输入缓冲器群22之中。
图15所示为像素运算单元中进行OSD(在屏显示)处理时的输入 输出像素数据。
该图中不使用像素传送部17、18。像素处理部1～16的输入端 口A中输入来自输入缓冲器群22的像素数据X1～X16；输入端口B 分别输入0；输入端口C分别输入1。图16所示为OSD图像中的16 个像素被依次写入输入缓冲器群22中的情形。
像素处理部1～16内部的各选择部A、B在OSD处理中总是选择 输入端口。例如，在像素处理部1中，输入端口A的像素数据X1、 输入端口B的“0”被分别保存于延迟部A、B，再由加法器A对其进 行加法运算(X1+0＝X1)。加法运算结果在乘法器A中与从输入端口 C输入的“1”进行乘法运算并在加法器B中与“0”相加。其结果， 输入端口A的像素数据X1被原样不动从加法器B输出。同样，像素 处理部2～像素处理部16中的输入端口A的像素数据X2～X16被原 样不动从加法器B输出。
加法器B所输出的像素数据X1～X16被存放于输出缓冲器群23 中，再根据POUC209的控制通过双端口存储器100被覆盖于外部存储 器220中的显示用帧数据中。
如图16所示，通过对OSD图像的整体反复进行上述处理，外部 存储器220中的OSD图像被覆盖拷贝至显示用帧数据中。这是OSD 处理中最单一的处理，POUA207或POUA208只是以16个像素为单位 对OSD图像进行中转。
另外，作为OSD处理的其他形式，也可以对(1)OSD图像和显 示用帧数据进行混合处理。当混合率为0.5时，可以从输入缓冲器群 22向像素处理部1～像素处理部16的各输入端口A提供OSD图像的 像素数据，向各输入端口B提供显示用帧数据的像素数据。
此外，当混合率为α：(1-α)时，可以在第1时钟时从输入缓 冲器群22向各像素处理部的输入端口A、B、C提供(OSD图像的像 素数据、0、α)，在第2时钟时提供(0、显示用帧数据的像素数据、 1-α)。
另外，当对OSD图像进行缩小显示时，可以由输入缓冲器群22 对OSD图像施以上述过滤处理，并从输出缓冲器群23覆盖拷贝至显 示用帧数据中用于进行缩小显示的位置。
再有，也可以在通过过滤处理对OSD图像进行缩小之后进行上述 混合处理。
<2.4 ME(运动估值)处理>
图17所示为像素运算单元中进行ME(运动估值)处理时的输入 输出像素数据。该图输入像素一栏中X1～X16为编码对象帧中的宏块 的16个像素，R1～R16为比较帧中的16×16像素的矩形区域中的16 个像素。图18所示为这些像素的关系的说明图。该图的比较帧中的 运动矢量(MV)捕捉范围是指要捕捉与编码对象宏块相同位置的周围 (例如在水平和垂直方向上+16像素～-16像素)的运动矢量的对象 范围。在此MV捕捉范围中、以像素单位进行捕捉时，16像素×16像 素的矩形区域存在于16×16样式的位置；如果以半像素(1/2像素) 单位进行捕捉则其存在于32×32样式的位置。图13中仅示出了MV 捕捉范围内左上部的矩形区域。
ME处理在MV捕捉范围的各矩形区域和编码对象宏块之间求出各 像素之间差分的总和，进而将差分总和最小的矩形区域(也就是相关 性最大的矩形区域)与编码对象宏块之间的相对位移定为运动矢量。 编码对象块与最相关的矩形区域之间的差分得以求出。
通过POUC209的控制，编码对象像素数据X1～X16和一个矩形区 域的像素数据R1～R16被传送至输入缓冲器群22。该矩形区域的像 素数据R1～R16在每个时钟中传送矩形区域内的一个线。因此一个矩 形区域要传送16个线的R1～R16。
根据图17，例如图4所示的像素处理部1在第1时钟由加法器A 对输入端口A的像素数据X1和输入端口B的像素数据R1进行减法运 算和绝对值化，然后原样通过乘法器A(乘以1)。加法器B输出乘 法器的输出值与延迟器D所保存的数据的相加值。在第1时钟加法器B输 出第1线的|X1-R1|。
在第2时钟，延迟器中保存有第1线的|X1-R1|，所以加法器B 对来自乘法器A的第2线的|X1-R1|和延迟器D所保存的第1线的 |X1-R1|进行加法运算。
在第3时钟，由于延迟器将第1和第2线的|X1-R1|累加，所 以加法器B对来自乘法器A的第3线的|X1-R1|和延迟器D所保存 的第1线的|X1-R1|进行加法运算。
经过同样的反复，加法器B在第16时钟输出1～16线的|X1-R1 |的累加值(∑|X1-R1|)。
像素处理部2～16也分别输出累加值(∑|X1-R1|)～(∑| X16-R16|)。
该16个累加值在第17时钟被保存于输出缓冲器群23，然后通 过POUC209的控制将其取出，算出该16个累加值的合计后被保存于 外部存储器220内的工作区。
通过上述过程，一个矩形区域和编码对象宏块之间的像素数据的 差分总和的计算结束。
之后，对MV捕捉范围内的其他矩形区域也同样算出差分总和。 对MV捕捉范围内的所有矩形区域(或者必要的矩形区域)算出差分 总和后，其中拥有最小值的矩形区域被判断为最相关的矩形区域，并 生成运动矢量。
另外，在上述ME处理中对来自像素处理部的16个累加值的合计 是另行算出的，也可以在像素处理部1～16中算出该16个累加值的 合计。这时，关于一个矩形区域的16个累加值从输出缓冲器群23被 原样保存于外部存储器220的工作区，当该工作区保存有16个矩形 区域以上的累加值群时，可以由像素处理部1～16分别负责一个矩形 区域，将16个累加值依次累加以求出差分总和。
又及，上述ME处理是按像素单位算出差分的，但也可以按半像 素单位进行运算。这时，在半线和实线中，对于实线如上述用1个时 钟算出|X1-R1|；对于半线，例如可以在2个时钟中用1个时钟算 出半像素的像素值((R1+R1′)/2)，用另一个时钟算出差分|X1- (R1+R1′)/2|。或者，可以在5个时钟中用4个时钟算出半像素 的像素值，((R1+R1′+R2+R2′)/4)，用另一个时钟算出差分。
<3.1垂直过滤处理(其1)>
图19为说明图2所示之媒体处理器进行垂直过滤处理时的数据 流程的媒体处理器模式框图。
该图中，解码部301负责对视频基元流进行解码(展开)，相当 于图2中对视频基元流进行解码(展开)的VLD205、TE206及POUA207 (MC处理)。
帧存储器302负责保存解码结果的视频数据(帧数据)，相当于 外部存储器220。
垂直过滤器303负责通过垂直方向过滤处理进行垂直方向的缩 小，相当于POUB208。
缓冲存储器304负责保存缩小后的视频数据(显示用帧数据)， 相当于外部存储器220。
图像输出部305负责将显示帧数据转换成影像信号并输出，相当 于视频缓冲存储器212、视频单元213。
另外，POUA207分工负责MC处理，POUB208分工负责垂直过滤处 理。还有，通过水平过滤处理进行的水平方向的缩小由POUA207或 POUB208对帧存储器302的解码帧数据进行。
<3.1.1 1/2缩小>
图20为图19中进行1/2缩小处理时的帧存储器302、缓冲存储 器304的数据供给状态的时间变化说明图。
在图20中，图表701～703的纵轴分别表示以字段的垂直同步信 号周期V为单位的时间。该图中记载了5个周期，图表70～703的时 间轴一致。图表701的横轴表示帧存储器302的数据量。图表7702 的横轴表示缓冲存储器304的数据量。图表703表示图像输出部305 中输出的帧(字段)。
图表701中的实线704表示从解码部301至帧存储器302的帧数 据供给量。虚线705表示从帧存储器302至垂直过滤部303的帧数据 供给量。
图表702中的虚线706表示从垂直过滤部303至缓冲存储器304 的第1字段缩小图像的供给量。隔点虚线707表示从垂直过滤部303 至缓冲存储器304的第2字段缩小图像的供给量。
另外，图表702中的实线708表示从缓冲存储器304至图像输出 部305的第1字段缩小图像的数据供给状态。在1/2缩小时，缩小图 像的显示位置可以取帧的上半部分至下半部分的位置，所以该图中的 实线709与显示位置相对应在取时上是不同的。同样，实线709表示 从缓冲存储器304至图像输出部305的第2字段缩小图像的数据供给 状态。
如图表701中所示，从解码部301至帧存储器302的n帧帧数据 的供给开始控制在n-1帧第2字段从帧存储器302向垂直过滤部303 的供给刚刚开始之后；从帧存储器302至垂直过滤部303的n帧帧数 据的供给结束控制在n帧第1字段从帧存储器302向垂直过滤部303 的供给结束之前。
如图表702中所示，从重直过滤部303至缓冲存储器304的n帧 第1字段的帧数据的供给控制在n-1帧第2字段的显示期间、n帧第 2字段的帧数据的供给控制在n帧第1字段的显示期间分别结束。
通过对装置进行如上控制，在解码部301至帧存储器302之间在 2V的期间内有传送1帧帧数据的能力就足够了。在帧存储器302至 垂直过滤部303之间在1V的期间内有传送1/2帧帧数据的能力就足 够了。解码部301具有在2V的期间内生成1帧帧数据的运算能力、 垂直过滤部303具有在1V的期间内过滤处理1/2帧帧数据的运算能 力就足够了。垂直过滤部303至缓冲存储器304之间在1V的期间内 有传送1/4帧帧数据的能力就足够了，缓冲存储器304至图像输出部 305之间在1V的期间内有传送1/4帧帧数据的能力就足够了。帧存 储器302有保存1帧帧数据的容量、缓冲存储器304有保存1/2帧帧 数据的容量就足够了。
下面，为与图20作对比，图21示出不具备缓冲存储器304时的 数据供给状态的时间变化。
在不进行缩小处理时，n帧的数字图像数据向帧存储器302的供 给如实线506所示，其开始于虚线507所示之n-1帧第2字段向垂直 过滤部303的供给开始之时，并在虚线508所示之n帧第1字段向垂 直过滤部303的供给结束之前结束。因此，在图5的图表中所示的 2V的期间内的一定的速度供给1帧的数字图像数据。
另外，n帧第1字段从帧存储器302向垂直过滤部303的数字图 像数据的供给如虚线508所示，其结束于实线511所示之n帧的数字 图像数据向帧存储器302的供给刚刚结束之后，接着开始第2字段的 处理。因此，数字图像数据从帧存储器302向垂直过滤部303的供给 是在图21的图表中所示的1V的期间内以一定的速度供给1字段的数 字图像数据。
但是，在进行1/2缩小处理时，n帧的数字图像数据向帧存储器 302的供给可以开始的时机因n-1帧第2字段的显示位置而不同。根 据n-1帧第2字段的显示位置，数字图像数据从帧存储器302向垂直 过滤部303的供给在虚线509至虚线510之间的某处进行，n帧的数 字图像数据向帧存储器302的供给可以开始的时机在时间上最迟的 是虚线510所示的显示位置的时候。这时，1/2缩小图像输出至图像 输出部501的下半部。另外，n帧的数字图像数据向帧存储器302的 供给需要在虚线511所示之n帧第1字段向垂直过滤部303的供给结 束之前结束。因此，就有必要在图21的图表中所示的1V的期间内以 一定的速度供给1帧的数字图像数据，与不进行缩小处理时相比需有 2倍的供给能力。
另外，n帧第1字段从帧存储器302向垂直过滤部303的数字图 像数据的供给如虚线511所示，其结束于实线512所示之n帧的数 字图像数据向帧存储器302的供给刚刚结束之后，接着开始第2字段 的处理。因此，有必要在图5的图表中所示的1/2V的期间内以一定 的速度供给1字段的数字图像数据，这与不进行缩小处理时相比需有 2倍的供给能力。垂直过滤部303也要求有与所提供的数字图像数据 相匹配的性能，因而与不进行缩小处理时相比需有2倍的运算能力。
此外，为与图20作对比，图23示出不具备缓冲存储器304时进 行1/4缩小处理时的数据供给状态的时间变化。
图23示出进行1/4缩小处理时的图表。根据与上述相同的原因， 向帧存储器302的数字图像数据的供给能力、从帧存储器302向垂直 过滤部303的供给能力、垂直过滤部的运算能力都需要分别为不进行 缩小处理时的4倍。这样，在不具备缓冲存储器304的情况下，如果 提高缩小率，所需要的峰值性能也变大了。
<3.1.2 1/4缩小>
图22为图19所示之媒体处理器进行1/4缩小处理时各部的数据 供给状态及其时间变化的说明图。
图22中图表的横轴、纵轴与图20相同。
图表中的实线804表示从解码部301向帧存储器302的帧数据供 给状态。图表中的虚线805表示从帧存储器302向垂直过滤部303 的帧数据供给状态。图表中的虚线806表示从垂直过滤部303向缓冲 存储器304的第1字段缩小图像数据的供给状态。图表中的虚线807 表示从垂直过滤部303向缓冲存储器304的第2字段缩小图像数据的 供给状态。图表中的实线808表示从缓冲存储器304向图像输出部 305的第1字段缩小图像数据的供给状态。图表中的实线809表示从 缓冲存储器304向图像输出部305的第2字段缩小图像数据的供给状 态。
如该图所示，从解码部301至帧存储器302之间在2V的期间内 有传送1帧帧数据的能力就足够了。在帧存储器302至垂直过滤部 303之间在1V的期间内有传送1/2帧帧数据的能力就足够了。解码 部301具有在2V的期间内生成1帧帧数据的运算能力就足够了。垂 直过滤部303具有在1V的期间内过滤处理1/2帧帧数据的运算能 力、从垂直过滤部303至缓冲存储器304之间在1V的期间内有1/8 帧帧数据的传送能力、从缓冲存储器304至图像输出部305之间在 1V的期间内有1/8帧帧数据的传送能力就足够了。能保存1帧帧数 据的帧存储器302和能保存1/4帧帧数据的缓冲存储器304都是必要 的。
上述各必要性能为最短1V的期间内的平均能力，即使增大缩小 率也不要求在短期间内有高峰值性能。另外最需要处理性能的是在不 进行缩小处理的时候。这时，从解码部301至帧存储器302之间在 2V的期间内有1帧帧数据的传送能力就够了。从帧存储器302至垂 直过滤部303之间在1V的期间内有1/2帧帧数据的传送能力就够 了。解码部301具有在2V的期间内生成1帧帧数据的运算能力就够 了。垂直过滤部303具有在1V的期间内过滤处理1/2帧帧数据的运 算能力就够了。从垂直过滤部303至缓冲存储器304之间在1V的期 间内有1/2帧帧数据的传送能力就够了。从缓冲存储器304至图像输 出部305之间在1V的期间内有1/2帧帧数据的传送能力就够了。帧 存储器302能够保存1帧帧数据、缓冲存储器304能够保存1帧帧数 据就可以了。依靠这些能力可以进行所有的垂直缩小处理。据此可以 削减电路规模、减低工作时钟。
<3.2垂直过滤处理(其2)>
图24为说明媒体处理器进行垂直过滤处理时的数据流程的模式 框图。
该图由解码部401、缓冲存储器402、垂直过滤部403、缓冲存 储器404、影像输出部405、控制部406组成。该图与图19相比，解 码部401、垂直过滤部403、缓冲存储器404、影像输出部405与同 名的结构元件相同。这里省略对相同点的说明，以相异点为主作以说 明。
缓冲存储器402与帧存储器302的不同之处在于其容量可以少于 1帧的存储容量。
垂直过滤部403与垂直过滤部303的不同之点在于每当其完成垂 直方向64线(处理之前的帧中4个宏块线)的过滤处理时便向控制 部406报告该项内容(过滤状态)。另外，报告的单位也可以是宏块 线2～3个单位。
解码部401与解码部301的不同之点在于每当其完成64线单位 的解码时便向控制部406报告该项内容(解码状态)。另外，报告的 单位也可以是16线单位。
控制部406相当于图2中的IOP211，其对解码部401和垂直过 滤部403的工作状态根据它们各自发出的报告进行监视，并控制解码 部401和垂直过滤部403使垂直过滤处理不超过解码处理且解码处理 不赶超垂直过滤处理。也就是说，控制部406进行如下两种控制。其 一，防止在解码部401还未将过滤处理对象宏块线的像素数据群写入 缓冲存储器402时，垂直过滤部403却对前一帧(或字段)的宏块线 的像素数据群进行过滤处理。其二，防止解码部401将下一帧的像素 数据群覆盖写于虽是垂直过滤部403进行垂直过滤处理的对象但尚 未处理的宏块线。
图25所示为控制部406的控制内容的说明图。
该图的横轴为时间，记录了控制部406、VSYNC(垂直同步信号)、 解码部401、垂直过滤部403、影像输出部405的各部动作。
如该图所示，解码部401每完成64线的解码就向控制部406报 告该项内容，垂直过滤部403每完成64线的过滤处理便向控制部406 报告该项内容。控制部406根据这些报告，对解码结束的线号码Nd 和过滤处理结束的线号码Nf进行保存和更新，并控制解码部401及 垂直过滤部403以满足Nd(当前帧)＞Nf(当前帧)、Nd(下一帧) ＜Nf(当前帧)。具有地说就是当Nd与Nf接近时，(其差分在阈值 以下)，控制部406令解码部401、垂直过滤部403其中一方暂时停 止。另外，Nd、Nf也可以是宏块线的号码。
再有，当Nd与Nf接近时，根据控制部406的控制，解码部401 及垂直过滤部403的其中一方被控制部406暂时停止，但是关于Nd 与Nf是否接近的判断及令解码部401或垂直过滤部403暂时停止的 控制也可以由控制部406以外的部位分工负责。
例如，可以是如下结构：令垂直过滤部403向解码部401发送上 述过滤状态报告，解码部401根据过滤状态报告和内部的解码状态判 断Nd与Nf是否接近，并根据判断结果暂时停止解码工作或使垂直 过滤部403暂时停止。
或者，与上述相反，可以是如下结构：令解码部401向垂直过滤 部403发送上述解码状态报告，垂直过滤部403根据解码状态报告和 内部的过滤状态判断Nd与Nf是否接近，并根据判断结果暂时停止 过滤处理或使解码部401暂时停止。
<3.2.1 1/2缩小>
图26为在图24中进行1/2缩小处理时的各部数据供给量的示意 图。
图表901的横轴表示缓冲存储器402中的帧数据量，纵轴表示时 间。图表902的横轴表示缓冲存储器404中的帧数据量，纵轴表示时 间。图表903为图像输出部405的状态在时间序列上的排列，其时间 轴与图表901、902的纵轴一致。
图表中的实线904表示从解码部401至缓冲存储器402的帧数据 的供给状态。图表中的虚线905表示从缓冲存储器402至垂直过滤部 403的帧数据的供给状态。图表中的虚线906表示从垂直过滤部403 至缓冲存储器404的第1字段缩小图像数据的供给状态。图表中的虚 线907表示从垂直过滤部403至缓冲存储器404的第2字段缩小图像 数据的供给状态。图表中的实线908表示从缓冲存储器404至图像输 出部405的第1字段缩小图像数据的供给状态。图表中的实线909 表示从缓冲存储器404至图像输出部405的第2字段缩小图像数据的 供给状态。
如图表901所示，从缓冲存储器402至垂直过滤部403的n帧帧 数据的供给开始控制在从解码部401至缓冲存储器402的n帧帧数据 的供给刚刚开始之后；从缓冲存储器402至重直过滤部403的n帧帧 数据的供给结束控制在从解码部401至缓冲存储器402的n帧帧数据 的供给刚刚结束之后。如图表902所示，从垂直过滤部403至缓冲存 储器404的n帧帧数据的供给控制在n-1帧的显示期间结束。
通过对装置进行如上控制，以下各项性能都是必要的：从解码部 401至缓冲存储器402之间在2V的期间内有1帧帧数据的传送能力、 从缓冲存储器402至垂直过滤部403之间在2V的期间内有1帧帧数 据的传送能力、解码部401具有在2V的期间内生成1帧帧数据的运 算能力、垂直过滤部403具有在2V的期间内过滤处理1帧帧数据的 运算能力、从垂直过滤部403至缓冲存储器404之间在2V的期间内 有1/2帧帧数据的传送能力、从缓冲存储器404至图像输出部405 之间在1V的期间内有1/4帧帧数据的传送能力、可以保存数线的帧 数据的缓冲存储器402、可以保存1帧帧数据的缓冲存储器404。
<3.2.2 1/4缩小>
图27为在图24中进行1/4缩小时的各部数据供给量的示意图。
图表1001的横轴表示缓冲存储器402中的帧数据量，纵轴表示 时间。图表1002的横轴表示缓冲存储器404中的数据量，纵轴表示 时间。图表1003为图像输出部405的状态在时间序列上的排列，其 时间轴与图表1001、1002的纵轴一致。
图表中的实线1004表示从解码部401至缓冲存储器402的帧数 据的供给状态。图表中的虚线1005表示从缓冲存储器402至垂直过 滤部403的帧数据的供给状态。图表中的虚线1006表示从垂直过滤 部403至缓冲存储器404的第1字段缩小图像数据的供给状态。图表 中的虚线1007表示从垂直过滤部403至缓冲存储器404的第2字段 缩小图像数据的供给状态。图表中的实线1008表示从缓冲存储器404 至图像输出部405的第1字段缩小图像数据的供给状态。图表中的实 线1009表示从缓冲存储器404至图像输出部405的第2字段缩小图 像数据的供给状态。
通过对装置进行如此控制，从解码部401至缓冲存储器402之间 在2V的期间内有1帧帧数据的传送能力就够了；从缓冲存储器402 至垂直过滤部403之间在2V的期间内有1帧帧数据的传送能力就够 了；解码部401具有在2V的期间内生成1帧帧数据的运算能力就够 了；垂直过滤部403具有在2V的期间内过滤处理1帧帧数据的运算 能力就够了；从垂直过滤部403至缓冲存储器404之间在2V的期间 内有1/4帧帧数据的传送能力就够了；从缓冲存储器404至图像输出 部405之间在1V的期间内有1/8帧帧数据的传送能力就够了；缓冲 存储器402能够保存数线的帧数据、缓冲存储器404能够保存1/2 帧帧数据就够了。
上述各必要性能为最短在1V的期间的平均能力，缩小率并不要 求在短期间内有高峰值性能。
另外，最需要处理能力的是在不进行缩小处理的时候，这时所要 求的是：从解码部401至缓冲存储器402之间在2V的期间内有1帧 帧数据的传送能力；从缓冲存储器402至垂直过滤部403之间在2V 的期间内有1帧帧数据的传送能力；解码部401具有在2V的期间内 生成1帧帧数据的运算能力；垂直过滤部403具有在2V的期间内过 滤处理1帧帧数据的运算能力；从垂直过滤部403至缓冲存储器404 之间在2V的期间内有1帧帧数据的传送能力；从缓冲存储器404至 图像输出部405之间在1V的期间内有1/2帧帧数据的传送能力；可 以保存数线的帧数据的缓冲存储器402；可以保存2帧帧数据的缓冲 存储器404。依靠这些能力可以进行所有的垂直缩小处理。据此可以 削减电路规模、减低工作时钟。
<4.变化例>
图28、29所示为像素并列处理部的左半部分、右半部分的第1 个变化例。这两个图中对与图3、4相同的结构元件赋予同样的号码， 在此省略其说明，主要说明其不同点。
图28、29具有取代图3、4的像素处理部1～16的像素处理部1a～ 16a及取代像素传送部17、18的像素传送部17a、18b。像素处理部 1a～16a为相同结构，在此以像素处理部1a为代表作以说明。
像素处理部1a具有选择部A104a、选择部B105a，其取代像素处 理部1中的选择部A104、选择部B105。
选择部A104a与选择部A104相比，不同之处在于从2路输入变 成了3路输入。也就是说，选择部A104a从2个相邻的像素传送部 (或像素处理部)的延迟器(延迟器B)增加了像素数据的输入。
选择部B105a同样从2个相邻的像素传送部(或像素处理部)的 延迟器(延迟器B)增加了像素数据的输入。
另外，像素传送部17a具有选择部B1703a～选择部G1708a，其 取代选择部B1703～选择部G1708。选择部B1703a～选择部G1708a 分别为3路输入而非2路输入。所增加的输入是从左侧第2个延迟器 的像素数据的输入。
再有，像素传送部18a具有选择部B1803a～选择部G1808a，其 取代选择部B1803～选择部G1808。选择部B1803a～选择部G1808a 分别为3路输入而非2路输入。所增加的输入是从右侧第2个延迟器 的像素数据的输入。
据此结构可以对处理对象像素及该像素左右2个相邻的像素依次 进行过滤处理。
例如，像素处理部1a中可以进行下式等的运算。
a0·X9+a1(X11+X7)+a2(X13+X5)+a3(X15+X3)
图30、31所示为像素并列处理部的左半部分、右半部分的第2 个变化例。
图30、31具有像素处理部1b和像素处理部16b，其取代图3、4 的像素处理部1和像素处理部16。
像素处理部1b具有选择部b105b，代替像素处理部1中的选择 部B105。选择部B105b与选择部B105的不同之点在于其具有来自延 迟器B107的反馈输入。
像素处理部16b具有选择部A1604b，代替像素处理部16中的选 择部A1604。选择部A1604b与选择部A1605的不同之点在于其具有 来自延迟器A1606的反馈输入。
据此结构像素处理部1b例如可以进行如下运算。
a3*X6+a2*X7+a1*X8+a0*X9+a1*X10+a2*X11+a3*X12
此时像素处理部2的输出如下：
a3*X20+a2*X21+a1*X22+a0*X23+a1*X24+a2*X24+a3*X24
此时像素处理部16b的输出如下。
a3*X21+a2*X22+a1*X23+a0*X24+a1*X24+a2*X24+a3*X24
这样，在图30、31中，当数据列左端的像素数据被传送至左端 的像素处理部1b时，选择部B105b选择来自像素处理部1b内部的延 迟器B的反馈输入。当数据列右端的像素数据被传送至右端的像素处 理部16b时，选择部A1604b选择来自延迟器A1606的反馈输入。
图32、33所示为像素并列处理部的左半部分、右半部分的第2 个变化例。
图32、33具备代替图3、4的像素处理部1～16的像素处理部1c～ 16c和代替像素传送部17、18的像素传送部17c、18c。像素处理部 1c～16c皆为相同结构，在此以像素处理部1a为代表作以说明。
像素处理部1c具有选择部A104c、选择部B105c，代替像素处理 部1中的选择部A104、选择部B105。
选择部A104c与选择部A104相比不同之点为从2路输入变成了3 路输入。也就是说，选择部A104c增加了从2个相邻的像素传送部(或 像素处理部)的延迟器(延迟器B)的像素数据的输入。
选择部B105c增加了从2个相邻的像素传送部(或像素处理部) 的延迟器(延迟器B)的像素数据的输入和从延迟器B107的反馈输 入。
像素传送部17c、18c同图28、图29所示的像素传送部17a、18a 一样为3部输入而非2路输入。
据此结构像素处理部1c例如进行如下运算。
a3*X9+a2*X9+a1*X9+a0*X9+a1*X11+a2*X13+a3*X15
此时像素处理部2c的输出如下。
a3*X10+a2*X10+a1*X10+a0*X10+a1*X12+a2*X14+a3*X16
此时像素处理部15c的输出如下。
a3*X17+a2*X19+a1*X21+a0*X23+a1*X23+a2*X23+a3*X23
此时像素处理部16c的输出如下。
a3*X18+a2*X20+a1*X22+a0*X24+a1*X24+a2*X24+a3*X24
图34所示为POUA207的变化例。
该图的POUA207与图2相比补加了增加采样电路22a和减少采样 电路23a。在此省略与图2相同之处的说明，主要说明其不同点。
增加采样电路22a对从输入缓冲器群22输入的像素数据群进行 垂直方向的放大。例如，为了插补像素数据以使输入缓冲器群22所 输入的像素数据群在垂直方向扩大为2倍，其与从输入缓冲器群22 输入1次像素数据群相对，将相同的像素数据群向像素并列处理部21 输出2次。
减少采样电路23a对从像素并列处理部21输入的像素数据群进 行垂直方向的缩小。例如，间除像素数据以使从像素并列处理部21 输入的像素数据群在垂直方向缩小至1/2倍。也就是说，与从像素并 例处理部输入2次像素数据群相对，废弃其中1次输出另1次。
据此结构，在像素并列处理部21的输入侧在垂直方向放大至2 倍，在输出侧在垂直方向缩小至1/2倍，所以可以将外部存储器220 中的1帧的数据量在垂直方向缩小至1/2，其结果，能够将根据 POUC209的控制向POUA207传送的数据量缩小至1/2。据此，当对双 端口存储器100的内部端口的访问集中时，能够消除总线隘路。
产业上的可利用性
本发明的像素运算装置由于对多个像素并列地进行图像的恢复 等的过滤处理，所以可以应用于进行活动图像的压缩处理/展开处 理、恢复等的媒体处理器之类的数字影像设备上。