提供了一种用于捕捉运动图像和静止图像的方法和装置。当产生静止图像捕捉请求时，停止运动图像捕捉。在图像传感器中设置静止图像捕捉操作参数。曝光图像传感器以产生静止图像数据。当静止图像数据的产生完成时，在图像传感器中设置运动图像捕捉操作参数。曝光图像传感器以产生运动图像数据。对静止图像数据进行质量处理和压缩以产生静止图像帧数据。连接和压缩通过对运动图像数据进行质量处理和尺寸调整产生的运动图像帧数据，以便产生运动图像流。使用静止图像数据产生经过质量处理的虚拟运动图像帧数据。将该经过质量处理的虚拟运动图像帧数据插入运动图像流的、与停止运动图像捕捉的时段相对应的损失部分。
1.一种用于通过数字图像捕捉装置捕捉运动图像和静止图像的方法，该方法包括以下步骤：当在运动图像捕捉模式期间产生静止图像捕捉请求时，在运动图像捕捉模式中停止运动图像数据的图像传感器输出和运动图像捕捉；
在图像传感器中设置静止图像捕捉操作参数，以便建立静止图像捕捉模式；
当建立了静止图像捕捉模式时，曝光图像传感器用于静止图像捕捉，以产生静止图像数据；
当完成静止图像数据的产生时，在图像传感器中设置运动图像捕捉操作参数，以便重新建立运动图像捕捉模式；
当建立了运动图像捕捉模式时，曝光图像传感器用于运动图像捕捉，以产生运动图像数据并且重新开始运动图像捕捉；
对静止图像数据进行质量处理和压缩以便产生与静止图像捕捉对应的静止图像帧数据；
连接和压缩通过对运动图像数据进行质量处理和尺寸调整产生的运动图像帧数据，以便产生运动图像流；以及通过使用静止图像数据产生经过质量处理的虚拟运动图像帧数据，并且将该经过质量处理的虚拟运动图像帧数据插入运动图像流的、与停止运动图像捕捉以进行静止图像捕捉的时段相对应的损失部分，其中，建立静止图像捕捉模式包括：
当完成从图像传感器输出运动图像数据时，重置图像传感器或者将图像传感器切换到待机模式；以及在图像传感器中设置静止图像捕捉操作参数，
其中，当完成静止图像捕捉操作参数的设置时，立即开始用于静止图像捕捉的图像传感器的曝光。
2.如权利要求1所述的方法，其中，重新建立运动图像捕捉模式包括：当完成静止图像数据的产生时，重置图像传感器或者将图像传感器切换到待机模式；
3.如权利要求2所述的方法，其中，当完成运动图像捕捉操作参数的设置时，立即开始用于运动图像捕捉的图像传感器的曝光。
4.如权利要求2所述的方法，其中，当完成运动图像捕捉操作参数的设置时，在一段时间之后开始用于运动图像捕捉的图像传感器的曝光，所述一段时间大于将经过质量处理的虚拟运动图像帧数据插入运动图像流所需的时间。
5.如权利要求1所述的方法，其中，将经过质量处理的虚拟运动图像帧数据插入运动图像流的损失部分包括：通过使用静止图像数据产生具有与运动图像帧数据相同视角和相同数目的像素的经过质量处理的虚拟运动图像帧数据；
将经过质量处理的虚拟运动图像帧数据插入损失部分；以及
当损失部分长于与经过质量处理的虚拟运动图像帧数据相对应的时间时，将多个经过质量处理的虚拟运动图像帧数据插入损失部分。
6.如权利要求1所述的方法，其中，将经过质量处理的虚拟运动图像帧数据插入运动图像流的损失部分包括：通过使用静止图像数据产生具有与运动图像帧数据相同视角和相同数目的像素的经过质量处理的虚拟运动图像帧数据；
将经过质量处理的虚拟运动图像帧数据插入损失部分；以及
当静止图像数据的帧速率小于运动图像数据的帧速率的1/2时，将多个经过质量处理的虚拟运动图像帧数据插入损失部分。
7.如权利要求1所述的方法，其中，将经过质量处理的虚拟运动图像帧数据插入运动图像流的损失部分包括：通过使用静止图像数据产生具有与运动图像帧数据相同视角和相同数目的像素的经过质量处理的虚拟运动图像帧数据；
当损失部分长于与经过质量处理的虚拟运动图像帧数据相对应的时间时，基于在产生静止图像数据之前最后产生的第一运动图像帧数据和所述经过质量处理的虚拟运动图像帧数据之间检测到的运动向量，产生第一附加运动图像帧数据；
基于在产生静止图像数据之后最先产生的第二运动图像帧数据和所述经过质量处理的虚拟运动图像帧数据之间检测到的运动向量，产生第二附加运动图像帧数据；以及将第一附加运动图像帧数据、经过质量处理的虚拟运动图像帧数据、以及第二附加运动图像帧数据依序插入损失部分。
8.如权利要求1所述的方法，其中，将经过质量处理的虚拟运动图像帧数据插入运动图像流的损失部分包括：通过使用静止图像数据产生具有与运动图像帧数据相同视角和相同数目的像素的经过质量处理的虚拟运动图像帧数据；
将经过质量处理的虚拟运动图像帧数据插入损失部分；以及
当损失部分长于与经过质量处理的虚拟运动图像帧数据相对应的时间时，将在产生静止图像数据之前最后产生的第一运动图像帧数据、经过质量处理的虚拟运动图像帧数据、以及在产生静止图像数据之后最先产生的第二运动图像帧数据依序插入损失部分。
9.如权利要求1所述的方法，其中，将经过质量处理的虚拟运动图像帧数据插入运动图像流的损失部分包括：由图像信号处理器ISP从静止图像数据产生具有与运动图像帧数据相同视角和相同数目的像素的经过质量处理的虚拟运动图像帧数据；
由ISP通过将静止图像帧数据和经过质量处理的虚拟运动图像帧数据相组合来产生交织帧，并且将该交织帧输出到控制器；以及由控制器分解该交织帧，以便将经过质量处理的虚拟运动图像帧数据插入运动图像流，并且将静止图像帧数据存储在存储单元中。
10.如权利要求1所述的方法，其中，将经过质量处理的虚拟运动图像帧数据插入运动图像流的损失部分包括：由图像信号处理器ISP从静止图像数据产生具有与运动图像帧数据相同视角和相同数目的像素的经过质量处理的虚拟运动图像帧数据；以及由ISP将静止图像数据存储在ISP的内部帧缓冲器中，并且输出经过质量处理的虚拟运动图像帧数据，以便将该虚拟运动图像帧数据插入运动图像流，其中，当完成运动图像捕捉时，ISP处理存储在帧缓冲器中的静止图像数据，并且输出静止图像帧数据。
11.如权利要求1所述的方法，其中，将经过质量处理的虚拟运动图像帧数据插入运动图像流的损失部分包括：由图像信号处理器ISP从静止图像数据产生具有与运动图像帧数据相同视角和相同数目的像素的经过质量处理的虚拟运动图像帧数据；以及由ISP将静止图像数据存储在存储单元中，并且由控制器将经过质量处理的虚拟运动图像帧数据插入运动图像流，其中，当完成运动图像捕捉时，ISP对存储在存储单元中的静止图像数据进行质量处理和压缩，以便产生静止图像帧数据，并且将该静止图像帧数据存储在存储单元中。
图像信号处理器ISP，用于当在运动图像捕捉模式期间产生静止图像捕捉请求时，在运动图像捕捉模式中停止运动图像数据的图像传感器输出和运动图像捕捉；在图像传感器中设置静止图像捕捉操作参数，以便建立静止图像捕捉模式；当建立了静止图像捕捉模式时，曝光图像传感器用于静止图像捕捉，以产生静止图像数据；当完成静止图像数据的产生时，在图像传感器中设置运动图像捕捉操作参数，以便重新建立运动图像捕捉模式；当建立了运动图像捕捉模式时，曝光图像传感器用于运动图像捕捉，以产生运动图像数据并且重新开始运动图像捕捉；对静止图像数据进行质量处理和压缩以便产生与静止图像捕捉对应的静止图像帧数据；连接和压缩通过对运动图像数据进行质量处理和尺寸调整产生的运动图像帧数据，以便产生运动图像流；并且通过使用静止图像数据产生经过质量处理的虚拟运动图像帧数据，并且将该经过质量处理的虚拟运动图像帧数据插入运动图像流的、与停止运动图像捕捉以进行静止图像捕捉的时段相对应的损失部分，其中，为了建立静止图像捕捉模式，ISP在完成从图像传感器输出运动图像数据时重置图像传感器或者将图像传感器切换到待机模式，在图像传感器中设置静止图像捕捉操作参数，并且在完成静止图像捕捉操作参数的设置时立即开始用于静止图像捕捉的图像传感器的曝光。
13.如权利要求12所述的数字图像捕捉装置，其中，为了重新建立运动图像捕捉模式，ISP在完成静止图像数据的产生时重置图像传感器或者将图像传感器切换到待机模式，并且在图像传感器中设置运动图像捕捉操作参数。
数字图像捕捉方法和装置
技术领域
[0001] 本发明总体涉及图像捕捉方法，并且更具体地，涉及一种用于在连续捕捉运动图像时捕捉静止图像的方法和装置。
背景技术
[0002] 数字图像捕捉装置可以提供运动－静止捕捉和静止图像捕捉二者。而且已经提供了双重记录功能，其中，在捕捉运动图像的同时根据用户的请求产生静止图像。运动图像捕捉自动地继续进行。
[0003] 通常，在双重记录中，数字图像捕捉装置记录具有与运动图像捕捉中的像素相同像素的静止图像。
[0004] 为了获取具有高于运动图像的分辨率的静止图像，数字图像捕捉装置的图像传感器在运动图像捕捉期间连续输出具有全像素或高像素的图像数据。从图像传感器接收到图像数据的图像信号处理器（ISP）处理该图像数据的质量，以便针对运动图像捕捉像素适当地减少图像数据的像素，并且输出运动图像帧数据。一旦在运动图像捕捉期间用户按下静止图像捕捉按钮，ISP就将图像数据的质量处理为全像素或高像素，从而输出具有全像素或高像素的静止图像。
[0005] 如果在ISP中提供了运动图像传感器和静止图像传感器，则可以同时处理运动图像和静止图像。始终以全像素或高像素驱动图像传感器，使得在运动图像捕捉期间的静止图像捕捉中，不需要图像传感器的模式改变，并且不出现屏幕停止或时间损失（loss）现象。
[0006] 在捕捉高分辨率静止图像的传统双重记录中，在运动图像捕捉期间以全像素或高像素驱动图像传感器，因此图像传感器输出图像数据。ISP接收和处理图像数据，从而功耗大于以部分像素驱动图像传感器的普通运动图像捕捉。
[0007] 特别是当图像传感器的像素数目增大并且运动图像捕捉帧速率增大时，需要图像传感器和ISP以高速操作，功耗增大，并且质量劣化由于热量的产生而变得更严重。由于这一原因，全像素操作帧速率达不到运动图像捕捉帧速率。
[0008] 为了解决这一问题，可以以小像素数目驱动图像传感器，并且可以通过按比例增加而增大静止图像像素数目。然而，所得到的实质性分辨率增大效果并不令人满意。
发明内容
[0009] 已经做出了本发明以便解决至少以上问题和/或缺点，并且提供至少下面所述的优点。因此，本发明的一个方面提供一种用于在双重记录中以低功率捕捉具有比运动图像像素更多数目的像素的静止图像的方法和装置，在所述双重记录中，在运动图像捕捉期间，根据用户的指令同时捕捉静止图像。
[0010] 根据本发明的一个方面，提供了一种用于通过数字图像捕捉装置捕捉运动图像和静止图像的方法。当在运动图像捕捉模式期间产生静止图像捕捉请求时，在运动图像捕捉模式中停止运动图像数据的图像传感器输出和运动图像捕捉。在图像传感器中设置静止图像捕捉操作参数，以便建立静止图像捕捉模式。当建立了静止图像捕捉模式时，曝光图像传感器用于静止图像捕捉，以产生静止图像数据。当静止图像数据的产生完成时，在图像传感器中设置运动图像捕捉操作参数，以便重新建立运动图像捕捉模式。当建立了运动图像捕捉模式时，曝光图像传感器用于运动图像捕捉，以产生运动图像数据并且重新开始运动图像捕捉。对静止图像数据进行质量处理和压缩以便产生与静止图像捕捉对应的静止图像帧数据。连接和压缩通过对运动图像数据进行质量处理和尺寸调整产生的运动图像帧数据，以便产生运动图像流。通过使用静止图像数据产生经过质量处理的虚拟运动图像帧数据，并且将该经过质量处理的虚拟运动图像帧数据插入运动图像流的、与停止运动图像捕捉以进行静止图像捕捉的时段相对应的损失部分。
[0011] 根据本发明的另一方面，提供了一种数字图像捕捉装置，其包括图像传感器和ISP。当在运动图像捕捉模式期间产生静止图像捕捉请求时，ISP在运动图像捕捉模式中停止图像传感器输出运动图像数据以及运动图像捕捉。ISP在图像传感器中设置静止图像捕捉操作参数，以便建立静止图像捕捉模式，并且当建立了静止图像捕捉模式时，曝光图像传感器用于静止图像捕捉，以产生静止图像数据。当静止图像数据的产生完成时，ISP在图像传感器中设置运动图像捕捉操作参数，以便重新建立运动图像捕捉模式，并且当建立了运动图像捕捉模式时，曝光图像传感器用于运动图像捕捉，以产生运动图像数据并且重新开始运动图像捕捉。ISP对静止图像数据进行质量处理和压缩以便产生与静止图像捕捉对应的静止图像帧数据，并且连接和压缩通过对运动图像数据进行质量处理和尺寸调整产生的运动图像帧数据，以便产生运动图像流。ISP通过使用静止图像数据产生经过质量处理的虚拟运动图像帧数据，并且将该经过质量处理的虚拟运动图像帧数据插入运动图像流的、与停止运动图像捕捉以进行静止图像捕捉的时段相对应的损失部分。
附图说明
[0012] 当结合附图阅读时，根据以下详细描述，本发明的上述和其他方面、特征和优点将更加清楚，在附图中：
[0013] 图1是图示根据本发明实施例的数字图像捕捉装置的框图；
[0014] 图2是图示根据本发明实施例的数字图像捕捉装置的操作的流程图；
[0015] 图3是图示在普通的运动图像捕捉期间图像传感器的子采样方案的部分像素操作方案的图；
[0016] 图4是图示在普通的运动图像捕捉期间图像传感器的剪切方案的部分像素操作方案的图；
[0017] 图5是图示根据本发明实施例的基于图像传感器的通常模式改变的双重记录过程的图；
[0018] 图6是图示根据本发明实施例的基于图像传感器的高速模式改变的双重记录过程的图；
[0019] 图7是图示根据本发明实施例的运动图像帧数据的补足过程的图；以及[0020] 图8和图9图示根据本发明另一实施例的数字图像捕捉装置的框图。
具体实施方式
[0021] 参照附图详细描述本发明的实施例。可以通过相同或相似的参考标号来指示相同或相似的组件，尽管它们是在不同的图中图示的。可能省略在本领域中已知的构造或过程的详细描述，以避免使得本发明的主题变得不清楚。
[0022] 本发明的实施例提供了一种用于在双重记录中使用低功率捕捉具有比运动图像的像素更多数目的像素的静止图像的方法和装置，在所述双重记录中，在运动图像捕捉期间，根据用户的指令捕捉静止图像。
[0023] 因此，当在运动图像捕捉期间产生静止图像捕捉请求时，本发明的实施例在完成连续运动图像数据输出之后将图像传感器的操作参数设置为用于静止图像捕捉的参数，从而以高速将图像传感器的操作模式改变为静止图像捕捉模式。紧接在将图像传感器设置为静止图像捕捉模式之后，开始用于静止图像捕捉的曝光，从而减少用于静止图像捕捉的时间。
[0024] 当完成静止图像捕捉时，将图像传感器的操作参数设置为用于运动图像捕捉的参数，以便以高速将图像传感器的操作模式改变为运动图像捕捉模式。紧接在将图像传感器设置为运动图像捕捉模式之后，开始用于运动图像捕捉的曝光，从而继续进行运动图像捕捉。使用所捕捉的静止图像产生经过质量处理的运动图像帧，并且将其插入在静止图像捕捉期间的运动图像流的时段。
[0025] 首先参照图1，框图图示了根据本发明实施例的数字图像捕捉装置的结构。参照图1，数字图像捕捉装置包括图像传感器10、ISP20、控制器30、存储单元40、用户输入单元50和显示单元60。可以利用独立设备来配置数字图像捕捉装置，或者数字图像捕捉装置可以包括在各种便携终端中。例如，数字图像捕捉装置可以包括在便携电话、个人数字助理（PDA）、智能电话、便携游戏控制台或便携音乐播放器中。
[0026] 作为用于将用户输入传递给控制器30的设备的用户输入单元50可以包括各种输入部件，诸如例如多个键和/或触摸屏。用户输入单元50可以被包括在显示单元60中。用户通过用户输入单元50选择适当的捕捉模式或者输入捕捉请求。
[0027] 存储单元40可以包括被用作工作存储器的动态随机存取存储器（DRAM）单元、以及能够在断电状态下保持数据的闪存单元。DRAM单元存储数字图像捕捉装置的操作控制和数据处理所需的各种程序和数据。闪存单元存储压缩的静止图像数据或压缩的运动图像流。
[0028] 控制器30控制数字图像捕捉装置的整体状态和操作，并且执行数字图像捕捉装置的应用程序的驱动和ISP20的操作控制。控制器30可以用例如微处理器或数字信号处理器（DSP）来实现。控制器30适当地处理输入到ISP20的图像数据，以便将其存储在存储单元40中或者将其显示在显示单元60上。例如，一旦输入了YUV格式的非压缩静止图像数据，控制器30就压缩该静止图像数据并且将其存储在存储单元40中。如果输入了压缩的静止图像数据，则控制器30可以将其存储在存储单元40中。可替换地，如果输入了YUV格式的运动图像帧数据，则控制器30压缩输入的运动图像帧数据，以便产生运动图像流，并且将其存储在存储单元40中。如果输入了压缩的运动图像流，则可以将其存储在存储单元40中。
[0029] 在控制器30的控制下，ISP20控制图像传感器10的操作。ISP20对图像传感器10获取的图像数据进行质量处理，并且改变图像数据的格式以便将其输出到控制器30。例如，对图像传感器10产生的RAW格式的静止图像数据或运动图像数据进行质量处理和尺寸调整，然后将其改变为YUV格式的静止图像帧数据或运动图像帧数据以便输出到控制器30。可替换地，将YUV格式的静止图像帧数据改变为压缩的静止图像帧数据以便输出到控制器30，或者压缩YUV格式的运动图像帧数据以产生运动图像流，以便输出到控制器30。根据数字图像捕捉装置的操作模式或其他设置值来确定ISP20的这种图像数据处理。
[0030] 在ISP20的控制下，图像传感器10在互补金属氧化物半导体（CMOS）晶体管或电荷耦合器件（CCD）存储器的阵列上形成图像，并且电子地扫描每个单元（cell）（作为最小单元的电路元件）的输出，以便将图像转换为电信号，从而将图像数据输出到ISP20。
[0031] 尽管在本发明的前述实施例中，ISP20和控制器30是分离的独立组件，但是在本发明的另一实施例中，ISP20可以被包括在控制器30中以便形成单个图像处理模块。当执行根据本发明实施例的双重（dual）记录时，如上所述构造的数字图像捕捉装置在运动图像捕捉期间根据部分像素驱动方案驱动图像传感器10，并且在静止图像捕捉期间根据全部像素驱动方案驱动图像传感器10。具体地，数字图像捕捉装置在运动图像捕捉期间将图像传感器10的操作模式设置为运动图像捕捉模式，并且当产生静止图像捕捉事件时，将图像传感器
10的操作模式改变为静止图像捕捉模式以便产生静止图像。当完成静止图像捕捉时，数字图像捕捉装置将图像传感器10的操作模式改变为运动图像捕捉模式以继续进行运动图像捕捉。
[0032] 现在参照图2，流程图图示了根据本发明实施例的数字图像捕捉装置的操作过程。在图2中，假设在运动图像捕捉期间产生静止图像捕捉请求时，数字图像捕捉装置被设置为双重记录模式，在该模式中，可以同时执行基于运动图像捕捉的运动图像帧的记录和基于静止图像捕捉的静止图像的记录。还假设在运动图像捕捉期间，根据诸如子采样方案或剪切（crop）方案之类的部分像素驱动方案来驱动图像传感器10，并且在运动图像捕捉过程中的静止图像捕捉期间根据全部像素驱动方案驱动图像传感器10。
[0033] 参照图2，在步骤101中，数字图像捕捉装置在双重记录模式下执行运动图像捕捉。具体地，图像传感器10的操作模式是运动图像捕捉。因此，根据部分像素驱动方案驱动图像传感器10。
[0034] 图像传感器10的部分像素驱动方案通过使用与图像传感器10的全部像素中的部分像素相对应的传感器值作为有效值，来产生图像数据。例如，该部分像素驱动方案可以是子采样方案或剪切方案。子采样方案在图3中示出，剪切方案在图4中示出。
[0035] 参照图3，子采样方案通过使用图像传感器10的全部像素200中位于预定位置的部分像素的传感器值作为有效值来产生运动图像帧数据。
[0036] 参照图4，剪切方案从图像传感器10的全部像素300中剪切部分区域310作为运动图像区域，以便通过使用部分区域310中包括的像素的传感器值作为有效值来产生运动图像数据。
[0037] 在静止图像捕捉期间，可以使用全部像素200或300的传感器值作为有效值。
[0038] 返回参照图2，当在运动图像捕捉期间用户想要捕捉静止图像时，用户通过用户输入单元50输入静止图像快门键以请求静止图像捕捉。因此，在步骤103，控制器30感测到静止图像捕捉事件的产生。在步骤105，控制器控制ISP 20将图像传感器10的操作模式设置为静止图像捕捉模式。当产生静止图像捕捉事件时在图像传感器10中正在输出的运动图像数据的输出完成时，ISP 20重置图像传感器10或者将图像传感器10的操作模式改变为待机模式。
[0039] 一旦重置了图像传感器10，就在尝试重置时停止运动图像数据的输出。因此，理想的是当产生静止图像捕捉事件时在图像传感器10中正在输出的运动图像数据的输出完成之后，尝试图像传感器10的重置。一旦重置了图像传感器10，图像传感器10中设置的操作参数值也被重置，使得必须重新设置所有操作参数。
[0040] 在尝试模式改变时在图像传感器10中正在输出的运动图像的输出完成之后，进行图像传感器10向待机模式的模式改变。图像传感器10的操作参数值保持先前设置的值，使得只设置需要改变的参数。ISP 20在图像传感器10中设置用于静止图像捕捉的操作参数，以便设置静止图像捕捉模式。用于静止图像捕捉的操作参数是例如确定通过实际捕捉产生的静止图像的尺寸、曝光时间、增益和/或帧速率的值。为了产生高清晰度静止图像，可以将静止图像的尺寸（即图像传感器10的有效像素）设置为全部像素。可替换地，可以针对用户指定的分辨率设置有效像素。可替换地，可以设置图像传感器10的有效像素以产生比运动图像更高质量的静止图像。在以下实施例中，假设在静止图像捕捉中将图像传感器10的有效像素设置为全部像素。
[0041] 在步骤107，ISP20在完成静止图像捕捉模式的设置时对于图像传感器10开始用于静止图像捕捉的曝光，并且对从图像传感器10输出的静止图像数据进行质量处理。
[0042] 下面参照图5和图6更详细地描述上述静止图像捕捉模式设置过程和静止图像捕捉过程。图5是图示根据本发明实施例的基于图像传感器10的通常模式改变的双重记录过程的图。图6是图示根据本发明实施例的基于图像传感器10的高速模式改变的双重记录过程的图。通常，运动图像产生需要30帧/秒（fps），静止图像产生需要15fps。因此，假设产生单个运动图像所需的时间是t，产生单个静止图像所需的时间是2t。在时间T中存在实际输出数据的时段和不输出数据的空时段二者，然而为了便于理解，没有示出空时段。
[0043] 可以根据通常的方案改变图像传感器10的操作模式，如图5所示。参照图5，当在运动图像捕捉期间（0到t的时段）产生静止图像捕捉请求时，保持图像传感器10的操作，直到运动图像数据410的输出完成为止。当运动图像数据410的输出完成时，在时段t到2t中，在图像传感器10中设置用于静止图像捕捉的参数。在通过从静止图像的时段（2t）中减去曝光时间（假设为t）而得到的时间过去之后，ISP20对于图像传感器10开始用于静止图像捕捉的曝光，以完成静止图像数据420的输出（3t到6t的时段）。因此，传统上，改变图像传感器10的操作模式，并且在6t完成静止图像捕捉，而与曝光时间（0-2t）无关。
[0044] 然而，在本发明实施例的高速模式改变中，如图6所示，在将图像传感器10重置或模式改变为待机模式之后设置操作参数。在参数设置操作完成时，对于图像传感器10开始用于静止图像捕捉的曝光，从而减少用于模式改变和静止图像捕捉的时间。
[0045] 参照图6，如果在运动图像捕捉期间（0到t的时段）产生静止图像捕捉请求时，维持图像传感器10的操作，直到运动图像数据510的输出完成为止。当运动图像数据510的输出完成时，图像传感器10被重置或模式改变为待机模式，此后，在图像传感器10中设置用于静止图像捕捉的操作参数。由于图像传感器10被重置或处于待机模式，因此当与图5的情况相比时，减少了用于操作参数设置的时间。
[0046] 当完成用于静止图像捕捉的操作参数设置时，即，当完成图像传感器10中的静止图像捕捉模式设置时，从完成时间点起开始对于图像传感器10的用于静止图像捕捉的曝光，而不经过任何等待。因此，根据本发明的实施例，缩短了直到静止图像捕捉完成为止的时间。
[0047] 返回参照图2，当在短时间内完成静止图像捕捉时，在步骤109，ISP 20在图像传感器10中设置运动图像捕捉模式。按照与设置静止图像捕捉模式的方式相似的方式执行运动图像捕捉模式的设置。具体地，如果图像传感器10完成静止图像数据的输出，则ISP 20重置图像传感器10或者将图像传感器10模式改变为待机模式。ISP 20在图像传感器10中设置用于运动图像捕捉的操作参数，以便设置运动图像捕捉模式。用于运动图像捕捉的操作参数是例如确定通过实际捕捉产生的运动图像的尺寸、曝光时间、增益和/或帧速率的值。因此，可以将图像传感器10的有效像素设置为如图3或4所示的部分像素。
[0048] 然后，在步骤111，ISP 20从运动图像捕捉模式设置的完成时间点起，对于图像传感器10开始用于运动图像捕捉的曝光，从而重新开始运动图像捕捉。
[0049] 再次参照图6，一旦图像传感器10完成静止图像数据520的输出，ISP 20就重置图像传感器10或者将图像传感器10模式改变为待机模式，并且设置用于运动图像捕捉的操作参数，使得用于模式改变的时间短于1t。此外，由于ISP 20从操作参数设置完成时间点（5t）起不经任何等待而开始用于运动图像捕捉的曝光，因此完成从运动图像捕捉重新开始起的第一个运动图像数据530的输出。具体地，到完成从运动图像捕捉重新开始起的第一个运动图像数据530的输出为止的时间可以减少。
[0050] 另一方面，在图5所示的通常的模式改变中，在从模式改变完成时间点（8t）起经过预定时间之后又开始用于运动图像捕捉的曝光，从而在重新开始运动图像捕捉之后，需要3t的时间来完成第一个运动图像数据430的输出。结果，在根据本发明实施例的高速模式改变中，当与通常的模式改变中相比时，缩短了用于在图像传感器10中设置运动图像捕捉模式并且实际重新开始运动图像捕捉的时间。
[0051] 返回参照图2，在步骤113，在控制器30的控制下，ISP20通过使用在步骤107中产生的静止图像数据，产生在暂停运动图像捕捉时的运动图像帧，并且将该运动图像帧插入运动图像流。具体地，在产生静止图像数据期间，暂停运动图像帧数据的产生。因此，在运动图像流中的特定部分中缺少运动图像帧。因此，ISP20和控制器30合作，以便通过使用静止图像数据产生要插入运动图像流的运动图像帧。
[0052] 图7是图示根据本发明实施例的运动图像帧数据的补足过程的图。
[0053] 参照图7，在图2的步骤101中，ISP20对从图像传感器10接收的数据进行质量处理和尺寸调整，以便输出运动图像帧数据f1和运动图像帧数据f2。ISP20基于图2的步骤107中的静止图像捕捉输出静止图像帧数据s1，并且基于图2的步骤111中的运动图像捕捉，输出运动图像帧数据f3和运动图像帧数据f4。
[0054] 由运动图像帧数据组成的运动图像流包括运动图像帧数据f1、运动图像帧数据f2、运动图像帧数据f3和运动图像帧数据f4。然而，由于静止图像捕捉，在运动图像帧数据f2和运动图像帧数据f3之间没有运动图像帧。
[0055] 由于这一原因，控制器30从静止图像帧数据中提取与运动图像帧数据相同视角和相同像素的数据。由此，产生虚拟运动图像帧数据fs，并且将其插入运动图像帧数据f2和运动图像帧数据f3之间。
[0056] 如果静止图像帧速率是运动图像帧速率的1/2，则可以将从静止图像数据提取的虚拟运动图像帧数据插入运动图像流两次。
[0057] 如果在静止图像捕捉之前和之后的运动图像捕捉的时间损失由于模式改变而超过基准时间间隔，则可以将多个虚拟运动图像帧数据插入运动图像流以使时间损失最少。基准时间间隔例如可以是与至少一个虚拟运动图像帧数据相对应的时间。可替换地，也可以将产生静止图像数据之前的最后的运动图像帧数据和产生静止图像数据之后的第一个运动图像帧数据（例如图7中的运动图像帧数据f2和运动图像帧数据f3）插入运动图像流的损失部分。
[0058] 可以基于在虚拟运动图像帧数据和它前后的运动图像帧数据（即，运动图像帧数据f2和运动图像帧数据f3）之间的对象运动来产生附加运动图像帧数据，并且可以将其插入损失部分。具体地，计算运动图像帧数据f2和虚拟运动图像帧数据fs之间的运动向量，并且基于所计算的运动向量确定运动图像帧数据上的对象位置，然后基于该对象位置产生第一个附加运动图像帧数据。还计算虚拟运动图像帧数据fs和运动图像帧数据f3之间的运动向量，并且基于所计算的运动向量确定运动图像帧数据上的对象位置，然后基于该对象位置产生第二个附加运动图像帧数据。
[0059] 将第一个附加运动图像帧数据和第二个附加插入在虚拟运动图像帧数据fs之前和之后。
[0060] 在本发明的前述实施例中，ISP20从运动图像捕捉模式设置的完成时间点起对于图像传感器10开始用于运动图像捕捉的曝光（图2的步骤111）。然而，根据本发明的另一实施例，ISP20可以被配置为当输出静止图像数据之后的运动图像捕捉模式重置完成时，在等待一段时间之后开始用于运动图像捕捉的曝光，所述一段时间大于将虚拟运动图像帧数据插入运动图像流所需的时间。
[0061] 具体地，响应于在运动图像捕捉期间产生的请求，以高速对图像传感器10进行模式改变，以输出静止图像数据。随后，将图像传感器10重置为运动图像捕捉模式。当设置运动图像捕捉模式完成时，代替不经任何等待而开始用于运动图像捕捉的曝光，将使用静止图像数据产生的虚拟运动图像帧数据插入运动图像流，然后开始用于运动图像捕捉的曝光。可以根据ISP20的操作特性以各种方式执行虚拟运动图像帧数据的这种产生，如图8和图9所示。图8和图9所示的数字图像捕捉装置的图像传感器610和710、ISP620和720、控制器630和730以及存储单元640和740的操作和角色与上文所述的那些相似。然而，在产生虚拟运动图像帧数据时，它们具有下述特性。
[0062] 图8示出了当ISP620包括行缓冲器621时的数字图像捕捉装置。总地来说，具有行缓冲器621的ISP620对从图像传感器610输入的数据进行质量处理，并且在短时间（1ms）内~将其输出到控制器630，使得在ISP620的输入和输出之间没有时间延迟。ISP620可以包括交织处理器622，其对在静止图像捕捉模式中从图像传感器610输入的静止图像数据执行质量处理、压缩和尺寸调整。交织处理器622将压缩的全部像素静止图像数据和未压缩的部分像素数据组合在单个交织帧中，并且将该单个交织帧传递到控制器630中。在图8中，包括交织处理器622的ISP620通过使用小尺寸内部行缓冲存储器，对在静止图像捕捉模式中从图像传感器610输入的静止图像数据执行质量处理并且同时进行压缩。当对静止图像数据进行质量处理时，ISP 620缩减静止图像数据以具有与运动图像帧数据相同的视角和像素，从而产生虚拟运动图像帧数据以用作未压缩的部分像素数据。通常，未压缩的虚拟运动图像帧数据的格式是YUV格式，压缩的静止图像数据的格式是联合摄影专家组（JPEG）格式。
[0063] 控制器630从交织帧中分离虚拟运动图像帧数据，并且将该虚拟运动图像帧数据插入运动图像流的适当位置。然后，控制器630分离压缩的静止图像数据以将其存储在存储单元640中。
[0064] 图9示出了当ISP 720包括帧缓冲器721时的数字图像捕捉装置。总的来说，具有帧缓冲器721的ISP 720将从图像传感器710输入的图像数据存储在帧缓冲器721中，以便提高质量处理的质量，然后稍后执行质量处理。结果，在图像传感器710的输出和ISP 720的输出之间存在一帧或两帧的时间延迟。
[0065] 在这种情况下，当在运动图像捕捉期间接收到静止图像捕捉请求时，ISP720对此时正从图像传感器710输出的运动图像帧数据进行质量处理，并且将经过质量处理的运动图像帧数据输出。图像传感器710完成正在进行的运动图像数据输出，并且快速地模式改变为静止图像捕捉模式以便输出全像素或高像素的静止图像数据。
[0066] ISP 720对从图像传感器710输入的运动图像数据进行质量处理，以便将其改变为运动图像帧数据A，并且将运动图像帧数据A输出到控制器730。从图像传感器710输入的静止图像数据被存储在帧缓冲器721中，并且同时被像素缩减和质量处理以便产生虚拟运动图像帧数据并输出到控制器730。
[0067] 当完成静止图像输出时，图像传感器710被快速地模式改变为运动图像捕捉模式，以便重新开始运动图像数据的输出，使得ISP 720将运动图像帧数据B输出到控制器730。
[0068] 控制器730将虚拟运动图像帧数据插入运动图像流的运动图像帧数据A和运动图像帧数据B之间。此时，可以插入多个相同的虚拟运动图像帧数据，或者可以参照运动图像帧数据A和运动图像帧数据B而额外产生和插入虚拟运动图像帧数据。
[0069] 当完成运动图像捕捉时，ISP 720对存储在帧缓冲器721中的静止图像数据进行质量处理并且在必要时进行压缩，以便将该数据输出到控制器730。控制器730将输入的静止图像数据存储在存储单元740中。
[0070] 当具有帧缓冲器721的ISP 720可以按照上述交织方式在单个帧中输出压缩的静止图像数据和未压缩的运动图像帧数据时，控制器730可以从交织帧中提取运动图像帧数据，并且将所提取的运动图像帧数据插入运动图像流。
[0071] 如根据上文的描述显而易见的，根据本发明的实施例，在运动图像捕捉期间根据用户的指令捕捉静止图像的双重记录中，可以以低功率实现具有比运动图像更多数目的像素的静止图像的捕捉。
[0072] 尽管已经参照本发明的某些实施例示出和描述了本发明，但是本领域技术人员将理解，可以在其中进行各种形式和细节上的改变，而不背离由所附权利要求限定的本发明的精神和范围。
