异常像素检测专利检索-像素宏模块多媒体工具与应用专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

异常像素检测

阅读：566发布：2021-02-23

IPRDB可以提供异常像素检测专利检索，专利查询，专利分析的服务。并且本发明涉及异常像素检测，包括用于检测视频中的残余点噪声的视频噪声分析仪，通过将时间不变性检测器和空间离群点检测器的结果结合来生成候选有缺陷像素的列表。数据存储器被结构化成包含描述候选有缺陷像素和/或从其中选择了像素的块的数据。在其它实施例中，视频噪声分析仪包括第一显著分析仪，其被结构化成将块内的像素与同一块内的其它像素的平均值相比较；第一阈值处理器，其用以生成包括明显不同于其相邻像素的像素的第一像素候选列表；第二显著分析仪，其被结构化成生成主题像素、其相邻像素以及相邻像素的邻点之间的差值；以及识别器，其用以将具有大于预定义频率阈值的视觉显著性的发生频率的那些像素标记为候选死像素。，下面是异常像素检测专利的具体信息内容。

权利要求

1.一种用于检测视频中的残余点噪声的视频噪声分析仪，包括：输入端，其用于接收要分析的视频；

时间不变性检测器，其被结构化成执行两个相邻帧的同一块的像素之间的差分化函数，并生成第一像素候选列表，该第一像素候选列表包括具有帧之间的相对低的变化率的像素；

空间离群点检测器，其被结构化成生成第二像素候选列表，该第二像素候选列表包括与相邻像素具有相对高水平的强度偏差的像素；

组合器，其用以将第一像素候选列表与第二像素候选列表组合以生成候选噪声像素列表；以及数据存储器，其被结构化成包含描述候选噪声像素列表上的一个或多个像素或从其中选择候选噪声像素列表上的像素的块的数据。

2.根据权利要求1所述的用于检测视频中的残余点噪声的视频噪声分析仪，其中，当所述两个相邻帧跨越场景变化边界时使用时间不变性检测器。

3.根据权利要求1所述的用于检测视频中的残余点噪声的视频噪声分析仪，其中，所述空间离群点检测器使用均方根或中值滤波器分析。

4.根据权利要求1所述的用于检测视频中的残余点噪声的视频噪声分析仪，其中，所述数据存储器包括：块强度窗口度量；

块严重性度量；以及

块检测置信度度量。

5.根据权利要求1所述的用于检测视频中的残余点噪声的视频噪声分析仪，还包括色彩分离器，其用以针对到视频噪声分析仪的每个帧输入生成像素数据的红色分量帧、像素数据的绿色分量帧以及像素数据的蓝色分量帧。

6.一种检测视频中的残余点噪声的方法，所述方法包括：接收要分析的视频；

通过执行两个相邻帧的同一块的像素之间的差分化函数来执行时间不变性检测；

基于该时间不变性检测来生成第一像素候选列表，该第一像素候选列表包括具有帧之间的相对低的变化率的像素；

通过选择与相邻像素具有相对高水平的强度偏差的像素来执行空间离群点检测；

生成第二像素候选列表，该第二像素候选列表包括与相邻像素具有相对高水平的强度偏差的所选像素；

将第一像素候选列表与第二像素候选列表组合以生成候选噪声像素列表；以及形成数据存储器，其被结构化成包含描述候选噪声像素列表中的一个或多个像素或从其中选择候选噪声像素列表中的像素的块的数据。

7.根据权利要求6所述的检测视频中的残余点噪声的方法，其中，执行时间不变性检测在场景变化时发生。

8.根据权利要求6所述的检测视频中的残余点噪声的方法，其中，执行空间离群点检测包括执行均方根函数或中值滤波器分析。

9.根据权利要求6所述的检测视频中的残余点噪声的方法，其中，形成数据存储器包括：形成块强度窗口度量；

形成块严重性度量；以及

形成块检测置信度度量。

10.根据权利要求6所述的检测视频中的残余点噪声的方法，还包括针对到视频噪声分析仪的每个视频帧输入，生成像素数据的红色分量帧、生成像素数据的绿色分量帧以及生成像素数据的蓝色分量帧。

11.一种用于通过检查从设备实现的视频来检测设备中的死像素的视频噪声分析仪，该视频噪声分析仪包括：输入端，其用于接收要分析的视频；

帧划分器，其用以从输入视频的帧生成许多像素块；

第一显著分析仪，其被结构化成将块内的像素与同一块内的其它像素的平均值相比较；

第一阈值处理器，其用以生成包括明显不同于其相邻像素的像素的第一像素候选列表；

第二显著分析仪，其被结构化成针对第一像素候选列表的成员生成主题像素、其相邻像素以及相邻像素的邻点之间的差值；以及识别器，其用以将具有大于预定义频率阈值的视觉显著性的发生频率的那些像素标记为候选死像素。

12.根据权利要求11所述的用于检测死像素的视频噪声分析仪，其中，所述第一显著分析仪被结构化成只有当像素块的标准偏差在预定义异质阈值以下时才比较块内的像素。

13.根据权利要求11所述的用于检测死像素的视频噪声分析仪，其中，所述第一显著分析仪被结构化成对组合色彩通道进行操作。

14.根据权利要求11所述的用于检测死像素的视频噪声分析仪，其中，在场景变化时对候选死像素的标签进行重置。

15.根据权利要求11所述的用于检测死像素的视频噪声分析仪，其中，所述相邻像素包括八个、十个或十二个像素。

16.一种用于通过检查从设备实现的视频来检测设备中的死像素的方法，该方法包括：接收要分析的视频；

将接收视频的帧划分成像素块；

执行第一显著分析以将块内的像素与同一块内的其它像素的平均值相比较；

生成包括明显不同于其相邻像素的像素的第一像素候选列表；

对第一像素候选列表的成员执行第二显著分析；

基于第二显著分析来生成主题像素、其相邻像素以及相邻像素的邻点之间的差值；以及将具有大于预定义频率阈值的视觉显著性的发生频率的那些像素识别为候选死像素。

17.根据权利要求16所述的用于检测死像素的方法，其中，执行第一显著分析仅在像素块的标准偏差在预定义异质阈值以下时发生。

18.根据权利要求16所述的用于检测死像素的方法，其中，执行第一显著分析包括对组合色彩通道执行第一显著分析。

19.根据权利要求16所述的用于检测死像素的方法，还包括在场景变化时将候选死像素列表重置。

20.根据权利要求16所述的用于检测死像素的方法，其中，对八个、十个或十二个像素执行第二显著分析。

说明书全文

异常像素检测

[0001] 相关申请的交叉引用本申请要求来自题为“DEVICE AND METHOD FOR DEAD PIXEL DETECTION WITH VISUALLY SALIENT PIXEL TRACKING”的2015年6月11日提交的美国临时申请62/174,400的权益，该申请的内容被通过引用结合到本文中。本申请还要求题为“FAST RESIDUAL POINT NOISE DETECTION”的2015年5月22日提交的印度临时申请2011/MUM/2015的优先权，该申请的内容被通过引用结合到本文中。

技术领域

[0002] 本公开涉及视频分析，并且更特别地涉及用于检测图像发生器或其图像或视频输出的死、卡住或者另外有缺陷的像素的设备和方法。

背景技术

[0003] 死或有缺陷像素是一致地从其相邻像素突出的视频剪辑中的那些像素。有缺陷热像素被卡在强度范围的较亮末端，而有缺陷冷像素被卡在强度范围的较暗末端，两者都不能适当地捕捉场景色彩。本地照相机内容中的有缺陷像素通常具有非常陡的边缘，即与其邻点（neighbor）具有高的对比度。本地照相机内容中的有缺陷像素可由固态成像传感器的特定部分存在的问题或者由传感器表面上的灰尘或污垢引起。有时，此类有缺陷像素产生在一系列图像或帧上无变化的强度水平，并且在记录视频中引起残余点噪声（RPN）。一般地，RPN光斑包括不能适当地再现色彩的在水平和/或垂直方向上的多个数目的死或毁坏像素。如果对此类视频进行二次采样或处理，则有缺陷像素通常是模糊的，并且不如来自本地照相机输出的有缺陷像素那样锐利。

[0004] 理论上，此类有缺陷像素的辉度可以明显低于或大于其相邻像素。在暗场景中，有缺陷热像素可能看起来明显比其无缺陷邻点更亮，并且在亮场景中，有缺陷冷像素可能看起来明显比其无缺陷邻点更暗。并且，理论上，死像素的RGB值从不改变，并且每个死像素从场景或镜头的最初开始至场景结束都存在。然而，在现实世界的视频剪辑且尤其是用于广播目的的视频剪辑中，死像素的RGB值在视频的不同部分期间可以改变或者出现和消失。这可能是由于转码操作、向上变频（缩放）操作或视频内容的性质而引起的。这还可以在从超过一个源组合视频剪辑时发生，其中一个源具有第一组有缺陷像素且另一源具有第二组不同的有缺陷像素。在这种情况下，结果得到的视频可能看起来具有瞬间出现或消失的有缺陷像素。当具有有缺陷像素的视频剪辑被转码或向上变频时，结果得到的视频剪辑中的内插像素及其邻点稍微有些模糊。内插过程通常是加权平均过程，即通过确定内插点的相邻像素的平均RGB值并将此平均值分配给内插点来计算。有时，当有缺陷像素的背景非常亮时，则有缺陷像素难以注意到，并且可能在各时间段内看起来不存在。

[0005] 通常可将RPN检测定义为空间离群点和时间不变性检测问题。遍及视频上的每个位置在每个像素位置处执行此类计算使用过度的计算资源，尤其是鉴于与视频中的大量像素相比通常如此少的像素是有缺陷的事实，因此以这种方式来进行检测RPN并不是成本有效的。

[0006] 本发明的实施例解决了现有技术的这些及其它缺点。

附图说明

[0007] 对在附图中可图示出其示例的本发明的实施例进行参考。这些图意图是说明性而非限制性的。虽然在这些实施例的背景下描述了本发明，但应理解的是，本描述并不意图使本发明的范围局限于这些特定实施例。

[0008] 图1是图示出根据本发明的实施例的要分析的视频的空时表示的框图。

[0009] 图2是图示出根据本发明的实施例的用于检测视频中的残余点噪声（RPN）区域的示例性方法的示例性流程图。

[0010] 图3A和3B图示出根据本发明的实施例的图2的RPN检测系统内的细节步骤的示例性流程图。

[0011] 图4是图示出根据本发明的另一实施例的用于检测可以导致残余点噪声的有缺陷像素的另一示例性方法的示例性流程图。

[0012] 图5A、5B、5C、5D、5E、5F、5G、5H、5I以及5J是图示出根据本发明的实施例的用于与本地照相机内容的一个或多个中心目标像素相比较的各种像素层的框图。

[0013] 图6是图示出根据本发明的实施例的用于与二次采样视频内容的中心目标像素相比较的各种像素层的框图。

[0014] 图7是图示出根据本发明的实施例的示例性检测器的功能框图。

具体实施方式

[0015] 以下详细描述将参考一个或多个实施例，但本发明不限于此类实施例。相反地，提出的详细描述和（一个或多个）任何实施例仅仅意图是说明性的。本领域的技术人员将容易认识到的是，在本文中相对于各图给出的详细描述是出于说明性目的而提供的，因为本发明延伸超过这些有限实施例。

[0016] 遍及本说明书和权利要求使用某些术语以指代特定系统部件。在以下讨论和权利要求中，以开放方式使用术语“包括”和“包含”，并且因此应将其解释为意指“包括但不限于...”。诸如“被耦合到”和“被连接到”等短语在本文中用来描述两个设备、元件和/或部件之间的连接，并且（除非另外具体地限制）意图意指被以物理方式、以光学方式和/或以电学方式直接地耦合在一起，或者例如经由一个或多个中间元件或部件或者经由无线或其它连接（在适当情况下）间接地耦合在一起。术语“系统”宽泛地指代两个或更多部件的集合，并且可用来指代整个系统（例如，通信系统、接收系统、测试系统、计算机系统或此类设备/系统的网络）、作为较大系统的一部分提供的子系统和/或关于此类系统或子系统的操作的过程或方法。

[0017] 使用特定示例性细节来解释本文所述的发明以便更好地理解。然而，本领域的技术人员可以在不使用这些特定细节的情况下对公开的发明继续工作。本发明可以用硬件来实现并利用软件应用程序。此类硬件可以是具体设计的专用集成电路（ASIC）、专用处理器或被用软件编程的通用处理器。其它实施例可包括此类硬件和软件的组合。本领域的技术人员通晓从在本文中提供的公开的水平创造功能设备。用框图示出的部件和设备说明本发明的示例性实施例，并且意图避免使本发明含糊难懂。并且，各种元件之间的连接可能不一定是直接的且各种元件之间的数据传输可以经受修改。

[0018] 在本说明书中对“一个实施例”或“实施例”的提及意指结合该实施例所述的特定特征、结构、特性或功能被包括在本发明的至少一个实施例中。短语“在一个实施例中”在本说明书中的各种位置上的出现不一定全部指代同一实施例。

[0019] 参考图1-3给出了使用RPN来检测有缺陷像素的第一实施例，同时参考图4-6给出了检测有缺陷像素的第二实施例。

[0020] 图1是图示出根据本发明的实施例的要分析的视频的空时表示的框图。要分析的示例性视频100由许多单独帧102-108构成。实际上，视频100中的帧的数目可包括非常多数目的帧；图1的视频100仅仅是代表性的。正常地，视频的每秒帧数约为每秒20-300帧，但是在某些专用慢动作视频中可达到每秒数以万计的帧。每个帧（例如帧102）包括被集合成宏块的许多像素。帧102包括布置成行和列的十六个宏块，其中每个宏块包括相同数目的像素。通常，每个块可以是16×16，但是块中可以有其它数目的像素。对于特定帧而言存在比宏块行更多的宏块列也是可能的。

[0021] 图2是图示出根据本发明的实施例的用于检测视频中的残余点噪声（RPN）区域的示例性流程200的示例性流程图。流程200在操作205处通过输入要分析的视频序列（诸如图1中所示的视频100）开始。然后，在操作210中，从视频中选择单独的帧，诸如图1的帧102。操作215在必要时将所选帧从YUV转换成RGB。

[0022] 接下来，在操作220中将该帧划分成宏块（也称为块），如图1中所示。在某些实施例中，对于每个色彩通道Red（红色）、Green（绿色）和Blue（蓝色）而言可存在各组宏块，因此每个色彩通道被独立地处理和考虑。确立帧内的每个块位置与数据结构相关联以存储关于每个块的特定数据。换言之，该数据结构跨视频的多个帧存储用于特定块位置的数据，使得帧的特定位置被针对RPN进行评估。例如，数据结构可包括指示是否要处理块的标志、用以存储RPN置信度度量的字段、用以存储严重性度量的字段、用以存储强度窗口度量的字段以及用以存储表现出RPN的像素位置列表的一个或多个字段。在某些实施例中，此数据结构随着过程继续而被连续地更新和检查。下面更详细地阐述填充和使用数据结构的细节。

[0023] 操作225开始用以处理每个块的循环，该循环首先检查当前块的块处理标志的状态，该状态最初对于所有宏块而言都被设置成TRUE（真）。如果用于当前块的块处理标志状态是TRUE，则在操作235中针对RPN检查该块，如下面参考图3A和3B更详细地描述的。如果替代地，块处理标志状态是FALSE（假），则流程200前进至操作240，其获得下一块以进行处理。

[0024] 操作225和240之间的块处理继续直至在操作245中到达处理结束条件。如果例如到达视频的结尾或者如果已经处理了视频的用户指定长度，则可满足该处理结束条件。例如，可以帧数或视频的时间指定该长度。

[0025] 操作250用特殊情况来处理各块。特殊情况的一个示例是当块处理标志遍及视频的整个运行长度保持为TRUE时。例如，这可能在块是帧的静态区域（例如信箱、邮筒、色标、黑色帧或静态场景）的一部分时发生。当RPN像素计数主导该块时，其也可能是保持为TRUE。在这两种情况下，操作250可调用特殊处理。在特殊处理的一个示例中，检查遍及视频处理的长度具有TRUE块处理标志的块的连接区。将此类区域的其总面积与正在处理的帧的尺寸相比较。当遍及视频处理的长度具有TRUE块处理标志的块的连接区域的总面积低于全帧尺寸的0.01%时，倘若未观察到场景变化，则将该块标记为包含RPN。

[0026] 可例如通过跟踪块的平均强度的时间变化来宣布场景变化已发生。如果平均强度穿过强度范围（例如对于8位像素表示而言0至255）的5%，则宣布场景变化。

[0027] 图3A和3B图示出根据本发明的实施例的用于检测残余点噪声的示例性方法的示例性流程图。换言之，图3A和3B的流程图中图示出在图2的操作235中执行RPN检测的某些方法。

[0028] 流程300在起始操作305处开始，并且然后前进至在操作310中确定是否发生场景变化，如上文详细描述的。在确定场景变化之后，过程315生成用于RPN检测的候选，这在图3B中进行详述。空间离群点检测过程315A可以是基于RMS（均方根）的，或者可涉及到产生中值滤波型式，并且然后从已滤波型式区别存在的像素。例如，在任何时刻或帧处，假设每个块在强度方面具有非常小的偏差。考虑到较小的块尺寸将使得像素表现出与少数相邻像素相比在统计上突出的RPN（这与当被视为较大邻域的一部分时相反）。使用较小块尺寸可能将导致更准确的空间离群点检测。然而，使用小的块尺寸的一个风险是RPN像素可主导该块的统计性质，尤其是当在极少的情况下许多RPN像素被集束时。一般地，使用16×16的块尺寸是有益的，因为该尺寸的块典型用于视频压缩操作。

[0029] 另一过程315B使用时间不变性检测，其是基于时间差。尤其是在块级场景变化时存在RPN像素显得从其邻点突出的可能性，因此在这种情况下应用时间不变性检测。换言之，例如使用差分化方法将穿过场景变化边界的帧的各块内的像素相互比较，并搜索零或接近于零的值。RPN像素趋向于在场景变化中突出。换言之，此类像素的强度水平基本上不改变，即使块中的许多其它像素由于场景变化而改变。

[0030] 在某些实施例中，只有使用空间离群点检测方法和时间不变性检测方法两者都被怀疑为RPN的候选才被添加到RPN候选像素列表，如用操作315C和315D举例说明的。在其它实施例中，可使用来自空间离群点检测模式或时间不变性检测模式的候选，不过这种方法可能区别性较低，并且可能产生比前一种联合方法更高数目的假阳性响应。

[0031] 返回参考图3A，接下来，过程320累积数据以帮助确定块内的特定像素是否表现出RPN。上文简要地介绍了此类数据，但在本文中进行了更详细的解释。可通过使用等式1针对每个块确定RPN检测置信度度量。

[0032] 等式1：Max(1, (强度窗口度量 / (强度范围 * 强度窗口阈值)) 。

[0033] 可通过使用等式2针对每个块确定严重性度量。

[0034] 等式2：检测到的RPN像素的数目/块中的总像素的数目。

[0035] 强度窗口度量可跟踪在场景变化期间由每个块所看到的平均强度水平的动态范围。如果块被测量为已显示出充分的动态范围，并且还具有RPN存在，则受影响像素更有可能是RPN像素，并被照此标志。在操作325中可确定强度窗口度量的一个方式是使用针对块计算的平均强度水平的时间最大值和最小值的差。具有大于例如用于该块的强度水平范围的40%的强度窗口度量的块使其块处理标志在操作345中被设置成假。

[0036] 在操作325之后，流程继续至操作330，在那里，当前块中的每个像素在操作335中被标记为RPN像素或者在操作340中被标记为不是RPN像素。为了进行此类确定，检查在数据结构中累积的数据并将该数据与各种阈值相比较。当数据超过阈值时，当前块内的像素在操作335中被标记为RPN像素，并且当数据不超过阈值时，则像素在操作340中被标记为不是RPN。流程然后恢复回到图2中所示的流程200。针对被识别为是用于RPN的潜在源的每个像素，在操作255中生成报告以输出给用户。由操作255生成的报告可包括来自上述数据存储器的数据，包括关于被识别为具有RPN的像素和/或用于像素的每个块的数据。例如，该报告可包括RPN像素位置的列表、块中的像素有多少表现出RPN特性的严重性度量、用于每个块的RPN检测置信度度量以及用于每个块的强度窗口度量。当然，还可向用户提供由检测器系统生成的其它数据。

[0037] 图4、5A-5J和6图示出根据本发明的另一实施例的用于检测可以导致残余点噪声的有缺陷像素的另一示例性方法。如上所述，死像素的最重要的两个特征包括空间离群点特性和时间离群点特性。空间离群点特性表现出死像素与其相邻像素之间的高对比度，而时间离群点特性通过在场景内的大部分时间死像素保持存在来表现出自身。这两个特征吸引人眼的注意，并且还被用来检测死像素。

[0038] 一般地，此检测包括识别某些候选视觉显著点，这被称为1级检测，并且然后遍及整个场景跟踪所识别像素的显著性，这被称为2级。跟踪结果被存储在跟踪图中，其中视频帧的每个像素都具有条目。在镜头或场景变化结束时，分析该跟踪图并检查用于每个像素的视觉显著性的发生频率。如果像素在超过例如场景中的70%的时间内在视觉上是显著的，则将其标记为死像素。该特定百分比可根据操作环境调整，并且可在例如40%-90%之间。

[0039] 为了首先生成1级视觉显著性，针对每个块确定平均RGB和标准绝对偏差。不同于上文给出的示例，在本实施例中，将RGB通道组合而不是单独地考虑。在一个示例中，通过首先分别地将用于每个通道（R、G、B）的色值加和以获得和值sumR、sumG、sumB来确定块或一组像素的平均RGB。然后，将sumR、sumG和sumB值除以块或群组内的像素的总数。对这些值求平均给出平均RGB值。在某些实施例中，对已被转换成RGB24或BGR24的像素值执行RGB计算。

[0040] 可使用等式3来计算标准偏差。

[0041] Σ是标准偏差的标量值。如果特定块的标准偏差Σ大于异质阈值，则可忽视该块，因为在此值以上的标准偏差可能指示该块在其中像素彼此差别显著的视频帧的异质区中。可凭经验来确定该阈值。例如，异质阈值可在24-32之间，并且更特别地为28。

[0042] 针对本地照相机内容，如果当前块的标准偏差Σ小于1级显著性阈值水平（诸如20），则块中的每个像素的1级视觉显著性被计算为像素的特定RGB值与块平均RGB值的绝对偏差。可以使用下面阐述的等式5将该绝对偏差计算为像素的RGB值与块平均RGB之间的差。
可凭经验来确定1级显著性阈值水平，并且该1级显著性阈值水平可例如在从15至22的范围。然后可对照例如3倍的块Σ的阈值经由阈值确定操作来重新调整实际显著性值。该重新调整可包括如果Σ水平大于1级显著性阈值，则将其驱动至16，否则将其驱动至0。

[0043] 接下来，检查当前像素与其1层邻点之间的差。参考图5A，将此7×7块的最中心像素视为被其周围的像素的三个同心层围绕的目标像素。在本描述中，直接地围绕目标像素的八个像素被标记为1层，直接地围绕1层像素的十六个像素被标记为2层像素，并且最外面的二十四个像素被标记为3层像素。当然，本发明的实施例适用于任何块尺寸，并且图5A仅仅是示例。如果目标像素与其八个1层邻点之中的至少五个差别显著（诸如相差大于24的差值），则图案匹配操作可以开始。可如在等式4中所阐述的那样计算2个RGB像素P（1 r1, g1, b1）和P（2 r2, g2, b2）之间的差，并且可凭经验确定阈值差值。

[0044] 在图5A-5J中图示出要在图案匹配操作中检查的图案。上文描述了图5A。图案5B和5C由块尺寸7×8构成，其中两个最内侧像素被突出显示。图案5D-5J的其余部分是块尺寸8×8，其中两至四个最内侧像素处于各种突出显示组合中。对图案匹配的检查可包括多个子步骤。为了开始模式匹配，在某些实施例中，如果当前像素Pcur的显著性大于或等于64，则其被忽视，因为其已被完全处理。否则，使用上述差计算将每个1层邻点与目标像素相比较。如果明显不同于目标像素的1层邻点的数目是八个，则那意味着其1层邻点中没有一个与其本身“类似”。这样，如果八个1层像素全部明显不同于目标像素，则它拟合图5A中所示的图案。

[0045] 如果明显不同于目标像素的1层像素的数目是七个，则它意味着其1层邻点中的仅1个与其本身“类似”。如果标记为Pcur的目标像素的唯一类似邻点是其右侧邻点像素Prigh，并且Pright明显不同于除Pcur之外的Pright的所有邻点，则像素群组拟合图5B的图案。同样地，如果Pcur的唯一类似邻点是其底部邻点像素Pbottom，并且Pbottom明显不同于除Pcur之外的Pbottom的所有邻点，则像素群组拟合图5C的图案。继续此过程以确定对于图5D和5E中所示的图案而言是否存在匹配。

[0046] 如果明显不同于目标像素的1层像素的数目是六个或五个，则过程继续，只是图案将与图5F-5J中所示的图案中的一个匹配。只要该差始终大于24，如上所述，则该图案将与图5F-5J中的图案中的一个匹配。

[0047] 如果由当前像素及其类似1层像素形成的像素群组明显不同于此群组的所有邻点，则此群组被确定为是1级显著像素群组，其中每个像素是1级显著像素。

[0048] 接下来，中央目标像素及其类似邻点形成一组候选1级显著像素，并且然后计算用于这组像素的显著性值作为此群组与其1层/2层邻点之间的平均差。对照24的阈值经由阈值确定操作对此显著性值进行重新调整。如果显著性值大于该阈值，则将其显著性设置成64；否则将其设置成0。如果目标像素的显著性值先前已被计算为与块平均值的RGB绝对偏差，则将两个重新调整值中的较大的一个视为适当的值。

[0049] 检查二次采样或已处理内容可使用与检查上述本地照相机内容不同的技术，不过存在某些类似之处。更详细地，如果二次采样或已处理内容的当前块的Σ（标准偏差）小于20，则可使用例如等式5将像素的1级视觉显著性定义为像素的RGB值与块平均RGB值的绝对偏差。

[0050] 否则，如果目标像素与如图6中所示的其8个1层邻点之中的至少5个明显不同（差值大于24），则将其1级显著性定义为目标像素与其1层/2层邻点之间的平均差。这可通过将差值加和并且将该值除以相加邻点的数目来确定。

[0051] 不同于上文所述的用于本地照相机内容的方法，不需要在一次处理一组像素，即使候选像素具有与其本身非常类似的邻点。相反地，重新调整1级显著性值就足够了。

[0052] 可相对于1级显著性与二次采样内容不同地处理本地照相机内容，因为在本地照相机内容中，死像素通常具有非常锐利的边缘，而在二次采样视频内容中它们通常跨边缘是模糊的。用于本地照相机内容的方法更加严格，并且因此具有较低的假阳性率。然而，其也可具有较低的真阳性率。用于二次采样内容的方法更加放松，以便捕捉那些模糊死像素，并且因此具有较高的真阳性率。然而，其具有较高的假阳性率。在某些实施例中，为用户给出用以选择的至少两个选项。他们可以选择前一种技术，无论是正在评估本地内容还是二次采样内容，以保持假警报尽可能少，这可能意味着错过某些死像素，或者用户可以选择后一种技术，如果他们想要捕捉尽可能多的死像素的话（具有可能存在增加的假警报率的警告）。

[0053] 在已执行1级视觉显著性之后，执行2级视觉显著性。

[0054] 2级视觉显著性被定义为可能显著像素区与其最近邻点之间的RGB值的差。针对独立候选显著像素，2级视觉显著性是目标候选像素与其1层/2层邻点之间的RGB值的差。针对分组候选显著像素，2级视觉显著性是候选像素与其2层/3层邻点之间的RGB值的差。经由上文所述的阈值确定操作对照24的阈值来重新调整所计算的显著性值。计算两个RGB像素P1 (r1, g1, b1)和P2 (r2, g2, b2)之间的RGB值的差的一个方法是使用如上文在等式4中阐述的均方值。

[0055] 可使用PSNR（峰值信噪比）、SSIM（结构相似性）和仿射变换来执行场景（或镜头）检测以检测场景变化。针对每个帧，首先在标记为帧A的当前帧与标记为帧B的其前一帧之间计算PSNR。如果PSNR值小于24，则计算SSIM并生成帧A与帧B之间的SSIM映射图。SSIM映射图是用于本地11×11图像块（patch）的本地SSIM值的矩阵。每个像素在SSIM映射图中具有相应元素，因为对于每个像素而言，针对此像素的11×11邻域计算SSIM。如果满足在等式6中阐述的条件，则已发现候选场景边界。

[0056] 等式6：(PSNRvalue < PSNR_thres1 && SSIMvalue < SSIM_thres1) ||(PSNRvalue < PSNR_thres2 && SSIMvalue < SSIM_thres2) || (SSIMvalue < SSIM_thres3)。

[0057] 用于等式6中的不等式的以下参数设置已被证明很适用：PSNR_thres1 = 14, PSNR_thres2 = 22, SSIM_thres1 = 0.64, SSIM_thres2 = 0.52以及SSIM_thres3 = 0.35。

[0058] 如果将SSIM_thres1_pct定义为具有大于0.98的局部SSIM的局部图像块的百分比，并将SSIM_thres2_pct定义为具有大于0.85的局部SSIM的局部图像块的百分比，并且如果满足在等式7中阐述的条件，则确定具有大于50的局部PSNR的局部图像块的百分比（用PSNR_thres1_pct来表示）。

[0059] 等式7：(SSIM_thres1_pct > 0.0001 && SSIM_thres2_pct > 0.2 ) ||(SSIM_thres1_pct > 0.003 && SSIM_thres2_pct > 0.17) ||(SSIM_thres1_pct > 0.02 && SSIM_thres2_pct > 0.15) ||
(SSIM_thres1_pct > 0.03 && SSIM_thres2_pct > 0.12) || (SSIM_thres1_pct > 0.04) (3)。

[0060] 如果PSNR_thres1_pct大于0.4，则已发生场景变化的可能性是最小的，并且处理当前帧可以结束。在这种情况下可能场景包括人像和/或对象的快速移动。

[0061] 如果不满足在等式7中阐述的条件，或者如果PSNR_thres1_pct不大于0.4，则进行检查以确定是否存在正在进行中的快速照相机运动，这可以在帧A和帧B实际上在同一场景内的同时导致PSNR和SSIM的小的值。为了执行检查，首先估计帧A和B之间的最佳仿射变换矩阵M。如果该估计失败，并且产生空矩阵M，则非常有可能已经发生场景边界，并且帧的处理完成。否则，使用仿射变换矩阵M对帧B进行翘曲（warp）以获得结果得到的图像B'。然后在当前帧A与图像B'之间计算PSNR和SSIM，并且该过程针对帧A和图像B'重复。如果满足等式6的条件且不满足等式7的条件，则非常有可能已经发生场景变化边界。

[0062] 在检测到场景变化之后，处理刚刚完成的前一场景。

[0063] 为了保持低的假阳性率，最初某些类型的块被排除。已排除块包括在例如40%的时间阈值内被冻结的块。并且，其候选死像素的平均邻域（9的核心尺寸）Σ大于30的那些块也被排除。

[0064] 为了确定场景中的在40%或更多的时间内被冻结的块，首先将在连续帧中计算的MSE（均方差）和MSE值相加。在场景结束时，将MSE的和除以场景长度（以帧的形式），以获得用于每个块的平均MSE。如果块的平均MSE小于68，则将其视为冻结块。为了降低计算强度，仅仅对包含候选死像素的块执行冻结块分析。

[0065] 为了确定块是否具有大于30的其候选死像素的平均邻域（9的核心尺寸）Σ，计算候选死像素的9×9邻域的Σ（标准偏差）。再次地，可只有当在块内发现候选死像素时执行此分析以减少资源。然后，针对每个块，添加Σ值，并且在场景结束时将该和除以当前块内的候选死像素的总发生次数。此平均Σ描述块内的候选死像素的邻域的平滑度。如果平滑度过大，则此块内的候选死像素可能在异质区中。

[0066] 最后，将具有超过场景持续时间的70%的累积视觉显著性发生频率的像素确定为是有缺陷像素，并且可进行报告。

[0067] 接下来，针对检测可以导致残余点噪声的有缺陷像素描述图4的示例性流程图。流程图400通过输入视频剪辑以用于分析而在操作405处开始。在操作410中检索新的帧。如果按照查询操作415中的确定其并非视频的结尾，则查询操作440确定该帧是否是新场景的第一帧。查询操作可使用上述技术来进行该确定，诸如通过使用PSNR、SSIM和仿射变换技术。

[0068] 如果帧并不是新场景的开始，则在操作460中将该帧划分成块。块尺寸可根据视频的质量和尺寸而不同。例如，针对HD和SD视频剪辑及m×n的块尺寸，m＝8且n＝8。针对4K视频剪辑，m＝16、n＝16（其它块尺寸也是可能的）。

[0069] 针对每个单独块，首先在操作465中如上所述地识别1级视觉显著像素。将1级显著像素取作候选视觉显著像素。然后，在操作470中，针对每个块中的每个1级显著像素，检查2级视觉显著性。如上所述，1级视觉显著性是相对粗的，尤其是对于上文参考二次采样内容所述的方法而言，而2级视觉显著性细得多。在操作470中，如上所述，将候选显著像素的RGB值与其最近邻点的RGB值相比较并计算差。如果该差在阈值以上，则将显著性设置成1，并且否则将其设置成0。然后使用设定显著性水平针对正在分析的块的每个像素更新像素显著性跟踪图。

[0070] 在已经分析了场景中的最后一个帧之后，查询操作440在YES方向上退出，并且在过程445中分析最后场景的像素显著性跟踪图。当有缺陷像素的视觉显著性发生频率大于例如场景持续时间（以帧的形式）的70%时，在操作450中将有缺陷像素报告为错误像素。如果任何块被冻结或几乎被冻结超过场景持续时间的40%，或者如果当前块内的候选死像素的平均邻域（9的核心尺寸）Σ大于30，则终止块处理并检索下一块。在操作450中报告有缺陷像素之后，在操作455中将像素映射图重置。然后，处理继续至下一块。

[0071] 当已分析了视频中的最后一帧时，查询操作415在YES方向上退出，并在操作420、425和430中针对视频剪辑的最终镜头进行相同的报告。

[0072] 可在有缺陷像素检测器（诸如在图7的功能框图中所示的示例性检测器）中体现如上所述的所有实施例。有缺陷像素检测器520从视频源510接收输入，并生成有缺陷像素报告580作为输出。例如，该报告可采取各种形式，诸如书面报告、有缺陷像素的映射图或有缺陷像素列表。

[0073] 在一个实施例中，检测器520包括用以执行上述操作的处理器522。数据存储器523和程序存储器524被耦合到处理器522，并且可临时存储关于有缺陷像素和/或程序的数据以促使处理器522在其已执行有缺陷像素分析之后生成有缺陷像素报告580。像素检测器520还可包括用于各种阈值530和/或数据结构532存储如上所述的块数据的单独储存器。

[0074] 在其它实施例中，用可以是专业化处理器或具体编程的处理器的专业化硬件来执行特定功能。例如，空间离群点检测器540可执行上文所述的空间离群点检测功能。时间不变性检测器550可执行上述时间不变性检测。检测器520也可包括其它专业化处理器，诸如强度处理器560，其可执行强度窗口测量和强度范围处理。强度处理器560还可处理强度窗口阈值操作。

[0075] 虽然在检测器520中图示出许多功能块，但在所示功能与物理硬件块之间不一定存在一一对应关系。一些功能可由处理器522或与处理器522相结合地操作的其它硬件块或硬件块的组合执行。

[0076] 用户接口590允许用户控制像素检测器520的操作，包括将计算机程序加载到程序存储器524中以及控制像素检测器520的操作。用户接口590通常包括诸如键盘和/或按钮之类的一个或多个用户输入设备以及诸如显示器之类的至少一个输出设备。在操作中，用户操作用户接口590以开始有缺陷像素检测。由用户选择一个或多个视频源510，并且如上所述的像素检测操作使用检测器520继续进行以执行上述有缺陷像素检测操作。在所述检测操作结束时（或在其它时间），所述像素检测器520产生所述有缺陷像素报告530。

[0077] 本领域的技术人员应很好地理解的是，本发明不限于任何特定的一个或多个标准，而是在不违背本发明的范围的情况下适用于具有类似架构的系统。

[0078] 已出于清楚和理解的目的进行了前文的描述。鉴于对本文所述实施例的多种多样的替换，本描述仅仅意图是说明性的，而不应理解为限制本发明的范围。虽然已出于举例说明的目的图示出并描述了本发明的特定实施例，但在不脱离本发明的精神和范围的情况下可进行各种修改。因此，本发明不应受到除所附权利要求之外的限制。

标题	发布/更新时间	阅读量
像素-专利编号CN110364554A	2020-05-12	849
像素-专利编号CN106486060A	2020-05-11	694
像素结构-专利编号CN109686299B	2020-05-13	213
像素结构-专利编号CN111090198A	2020-05-13	77
像素阵列-专利编号CN111009185A	2020-05-13	400
像素-专利编号CN104834141A	2020-05-11	548
像素-专利编号CN101183196B	2020-05-11	648
像素-专利编号CN104834141B	2020-05-12	550
像素-专利编号CN107038999A	2020-05-12	508
像素-专利编号CN108231001A	2020-05-11	557

异常像素检测

异常像素检测

技术领域

背景技术

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式