一种视频录制的控制方法、装置和同步控制单元转让专利
申请号 : CN200710118918.6
文献号 : CN101076099B
文献日 : 2010-06-09
发明人 : 李志刚
申请人 : 北京中星微电子有限公司
摘要 :
本发明公开了一种视频录制的控制方法、装置和同步控制单元，用以解决有声录像过程中由于图像传感器帧率降低或者定时器中断处理延迟而使视频文件的实际录像帧率低于设定录像帧率，导致音视频不同步的问题；该控制方法包括：记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时，根据设定中断频率、中断触发时的录像累计时间和图像总帧数确定本次中断处理中应该写入视频文件的图像帧数；根据所述应该写入视频文件的图像帧数获取相应帧图像数据并写入视频文件后退出本次中断处理。
权利要求 :
1.一种视频录制的控制方法，其特征在于，包括：记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时：根据公式或者确定本次中断处理中应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数；
根据所述应该写入视频文件的图像帧数获取相应帧图像数据并写入视频文件后退出本次中断处理，所述获取相应帧图像数据包括：如果在获取图像数据时图像传感器传来新的图像数据，则截取一帧新图像数据，将其缓存后获取缓存的该帧新图像数据，如果在获取图像数据时图像传感器没有传来新的图像数据，则获取缓存的上一帧图像数据。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
当采用计算时，在计算出后，判断是否大于X，如果是则进一步确定Z，否则退出本次中断处理。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
当采用计算时，计算出T中断间隔*X后，判断T录像累计时间是否大于T中断间隔*X，如果是则进一确定Z，否则退出本次中断处理。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
计算出Z后，判断Z的正负，如果Z为正则确定Z为本次中断处理中应该写入视频文件的图像帧数，否则退出本次中断处理。
5.一种视频录制的控制装置，包括图像传感器，用于采集视频图像数据并输出，其特征在于，还包括：同步控制单元，用于记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时根据公式或者公式确定本次中断处理中应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数；根据所述应该写入视频文件的图像帧数获取从图像传感器输出的数据中截取的相应帧图像数据并写入视频文件后退出本次中断处理；
缓存器，所述同步控制单元在获取相应帧图像数据时，如果图像传感器传来新的图像数据，则截取传来的一帧新图像数据，将其缓存至所述缓存器后获取缓存的该帧新图像数据；反之，从所述缓存器中获取缓存的上一帧图像数据。
6.如权利要求5所述的装置，其特征在于，所述同步控制单元进一步包括控制子单元、中断触发子单元、帧数记录子单元、时间记录子单元及中断处理子单元，其中：所述控制子单元用于设定中断触发子单元的中断频率，并在所述图像传感器开始采集图像数据的同时，启动所述中断触发子单元、帧数记录子单元及时间记录子单元开始工作；
所述中断触发子单元用于按设定中断频率产生中断，每次中断时触发所述中断处理子单元进行中断处理；
所述帧数记录子单元用于记录视频文件存储的图像总帧数；
所述时间记录子单元用于记录录像累计时间；
所述中断处理子单元用于在所述中断触发子单元每次触发其进行中断处理时，获取中断触发时视频文件存储的图像总帧数及录像累计时间，并根据视频文件存储的图像总帧数、录像累计时间及所述设定中断频率计算本次中断处理应该写入视频文件的图像帧数，根据所述图像帧数获取相应帧图像数据并写入视频文件，每写入一帧图像数据后控制帧数记录子单元的记录结果加1，将相应帧缓存的图像数据全部写入视频文件后退出本次中断处理。
7.如权利要求6所述的装置，其特征在于，所述中断触发子单元为定时器、所述帧数记录子单元为计数器、所述时间记录子单元为计时器。
8.一种视频录制的同步控制单元，其特征在于，包括：
控制子单元、中断触发子单元、帧数记录子单元、时间记录子单元，中断处理子单元及缓存器，其中：所述控制子单元用于设定中断触发子单元的中断频率，并在图像传感器开始采集图像数据的同时，启动所述中断触发子单元、帧数记录子单元及时间记录子单元开始工作；
所述中断触发子单元用于按设定中断频率产生中断，每次中断时触发所述中断处理子单元进行中断处理；
所述帧数记录子单元用于记录视频文件存储的图像总帧数；
所述时间记录子单元用于记录录像累计时间；
所述中断处理子单元用于在所述中断触发子单元每次触发其进行中断处理时，获取中断触发时视频文件存储的图像总帧数及录像累计时间，并根据公式或者公式计算本次中断处理应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数，根据所述图像帧数获取相应帧图像数据并写入视频文件，每写入一帧图像数据后控制帧数记录子单元的记录结果加1，将相应帧缓存的图像数据全部写入视频文件后退出本次中断处理；
所述缓存器用于在所述中断处理子单元在获取相应帧图像数据时，如果图像传感器传来新的图像数据，则截取传来的一帧新图像数据，将其缓存至所述缓存器后获取缓存的该帧新图像数据；反之，从所述缓存器中获取缓存的上一帧图像数据。
说明书 :
技术领域
本发明涉及多媒体领域的录像技术，尤其涉及一种视频录制的控制方法、装置和同步控制单元。
背景技术
现有技术中，在嵌入式平台上，特别是在一些底端的平台上进行有声录像，音频和视频的录制是分别进行的，音频和视频必须通过相应同步合成操作才能呈现给观看者同步的音视频。
音频视频同步又称为“唇同步”。在音视频的采集、压缩、传输、接收、解压、播放途径中每个环节都会对通过的音视频信号引入不同程度的延迟，而且延迟通常不相等。整个音视频失步是这个链条中每一个环节失步的代数和。由于编解码算法的复杂度不同，视频信号通常承受比音频信号大的延迟，造成视频滞后于音频，音视频不同步。
以采用现有AV(Audio Video，音频视频)录制算法进行视频录制的工作过程为例，视频录制包括两个同时启动的步骤：
1、图像传感器采集图像数据并将其输出；
图像传感器的视频信号的采集帧率是由程序设定的，一般是15～30帧/秒；
2、定时器按照与设定录像帧率一样的中断频率触发中断处理，每次中断处理截取图像传感器传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息；在上述录制视频的同时进行音频的录制，并将其录制结果存储为音频文件；
上述视频文件的索引信息包括：帧标记，指明是视频还是音频；帧的偏移地址，指明在文件中的位置；帧的长度，指明数据长度；
上述对截取的一帧新图像数据进行缓存时，只缓存一帧图像数据，最新传来的一帧图像数据自动覆盖缓存的上一帧图像数据。
在录制视频的过程中，如果每次中断处理都能截取图像传感器传来的一帧新图像数据，将该帧新图像数据缓存后写入视频文件并修改视频文件的索引信息，则视频文件的实际录像帧率与设定录像帧率相同。
如果在进行中断处理时图像传感器由于环境光线较暗等因素的影响而没有在中断处理时传来新的图像数据，中断处理就一直等待，直到图像传感器传来新的图像数据，截取图像传感器传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息，这种处理方式会造成本次中断处理运行很长时间，即延长了获取一帧图像数据所需的时间，甚至于当本次中断处理运行时间大于中断间隔时，有可能使下一次中断处理丢失，使获取的图像数据比预期的少，造成视频文件的实际录像帧率低于设定录像帧率。现举例进行说明：如图1所示的现有技术视频录制示意图，假设定时器每秒中断30次，以第10s后的第一次中断处理为例，若图像传感器因环境较暗而没有采集到新的图像数据并输出，中断处理就一直等待，如果在a时刻图像传感器传来新的图像数据，则截取图像传感器传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息，此操作仅造成第一次中断处理获取到了比触发时刻延迟的图像数据，不会使视频文件的实际录像帧率低于设定录像帧率；但是如果在b时刻图像传感器才传来新的图像数据，即定时器触发第3次中断处理后图像传感器才传来新的图像数据，则截取图像传感器传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息后继续进行第3次中断处理，此操作使得定时器触发的第10s后的第1次和第2次中断处理丢失，获取的图像数据比预期的少了两帧，由此造成视频文件的实际录像帧率低于设定录像帧率。
另外，在嵌入式平台上，有时定时器触发的中断处理会由于高优先级的处理而延迟，即在定时器触发本次中断处理时，如果有更高优先级的处理需要执行，则优先进行更高优先级的处理，然后继续进行获取图像数据的操作，这样就会造成定时器触发的中断处理不能按照预期时间发生，即中断处理时获取到了比触发时刻延迟的图像数据，甚至于在定时器触发下一次中断处理时，更高优先级的处理还没有完成或者刚好完成，就会使得本次中断处理丢失，获取的图像数据比预期的少，由此也会造成视频文件的实际录像帧率低于设定录像帧率。
由于视频文件和音频文件是按照设定录像帧率进行合成处理的，当视频文件的实际录像帧率低于设定录像帧率时，会造成音视频的不同步，影响录制文件的视听效果。
音频视频同步又称为“唇同步”。在音视频的采集、压缩、传输、接收、解压、播放途径中每个环节都会对通过的音视频信号引入不同程度的延迟，而且延迟通常不相等。整个音视频失步是这个链条中每一个环节失步的代数和。由于编解码算法的复杂度不同，视频信号通常承受比音频信号大的延迟，造成视频滞后于音频，音视频不同步。
以采用现有AV(Audio Video，音频视频)录制算法进行视频录制的工作过程为例，视频录制包括两个同时启动的步骤：
1、图像传感器采集图像数据并将其输出；
图像传感器的视频信号的采集帧率是由程序设定的，一般是15～30帧/秒；
2、定时器按照与设定录像帧率一样的中断频率触发中断处理，每次中断处理截取图像传感器传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息；在上述录制视频的同时进行音频的录制，并将其录制结果存储为音频文件；
上述视频文件的索引信息包括：帧标记，指明是视频还是音频；帧的偏移地址，指明在文件中的位置；帧的长度，指明数据长度；
上述对截取的一帧新图像数据进行缓存时，只缓存一帧图像数据，最新传来的一帧图像数据自动覆盖缓存的上一帧图像数据。
在录制视频的过程中，如果每次中断处理都能截取图像传感器传来的一帧新图像数据，将该帧新图像数据缓存后写入视频文件并修改视频文件的索引信息，则视频文件的实际录像帧率与设定录像帧率相同。
如果在进行中断处理时图像传感器由于环境光线较暗等因素的影响而没有在中断处理时传来新的图像数据，中断处理就一直等待，直到图像传感器传来新的图像数据，截取图像传感器传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息，这种处理方式会造成本次中断处理运行很长时间，即延长了获取一帧图像数据所需的时间，甚至于当本次中断处理运行时间大于中断间隔时，有可能使下一次中断处理丢失，使获取的图像数据比预期的少，造成视频文件的实际录像帧率低于设定录像帧率。现举例进行说明：如图1所示的现有技术视频录制示意图，假设定时器每秒中断30次，以第10s后的第一次中断处理为例，若图像传感器因环境较暗而没有采集到新的图像数据并输出，中断处理就一直等待，如果在a时刻图像传感器传来新的图像数据，则截取图像传感器传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息，此操作仅造成第一次中断处理获取到了比触发时刻延迟的图像数据，不会使视频文件的实际录像帧率低于设定录像帧率；但是如果在b时刻图像传感器才传来新的图像数据，即定时器触发第3次中断处理后图像传感器才传来新的图像数据，则截取图像传感器传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息后继续进行第3次中断处理，此操作使得定时器触发的第10s后的第1次和第2次中断处理丢失，获取的图像数据比预期的少了两帧，由此造成视频文件的实际录像帧率低于设定录像帧率。
另外，在嵌入式平台上，有时定时器触发的中断处理会由于高优先级的处理而延迟，即在定时器触发本次中断处理时，如果有更高优先级的处理需要执行，则优先进行更高优先级的处理，然后继续进行获取图像数据的操作，这样就会造成定时器触发的中断处理不能按照预期时间发生，即中断处理时获取到了比触发时刻延迟的图像数据，甚至于在定时器触发下一次中断处理时，更高优先级的处理还没有完成或者刚好完成，就会使得本次中断处理丢失，获取的图像数据比预期的少，由此也会造成视频文件的实际录像帧率低于设定录像帧率。
由于视频文件和音频文件是按照设定录像帧率进行合成处理的，当视频文件的实际录像帧率低于设定录像帧率时，会造成音视频的不同步，影响录制文件的视听效果。
发明内容
本发明实施例提供一种视频录制的控制方法、装置和同步控制单元，用以解决有声录像过程中由于图像传感器帧率降低或者定时器中断处理延迟而使视频文件的实际录像帧率低于设定录像帧率，导致音视频不同步的问题。
一种视频录制的控制方法，包括：记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时：
根据公式确定本次中断处理中应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数；
根据所述应该写入视频文件的图像帧数获取相应帧图像数据并写入视频文件后退出本次中断处理，所述获取相应帧图像数据包括：如果在获取图像数据时图像传感器传来新的图像数据，则截取一帧新图像数据，将其缓存后获取缓存的该帧新图像数据，如果在获取图像数据时图像传感器没有传来新的图像数据，则获取缓存的上一帧图像数据。
一种视频录制的控制装置，包括图像传感器，用于采集视频图像数据并输出，还包括：
同步控制单元，用于记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时根据公式或者公式确定本次中断处理中应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数；根据所述应该写入视频文件的图像帧数获取从图像传感器输出的数据中截取的相应帧图像数据并写入视频文件后退出本次中断处理；
缓存器，所述同步控制单元在获取相应帧图像数据时，如果图像传感器传来新的图像数据，则截取传来的一帧新图像数据，将其缓存至所述缓存器后获取缓存的该帧新图像数据；反之，从所述缓存器中获取缓存的上一帧图像数据。
一种视频录制的同步控制单元，包括：
控制子单元、中断触发子单元、帧数记录子单元、时间记录子单元，中断处理子单元及缓存器，其中：
所述控制子单元用于设定中断触发子单元的中断频率，并在图像传感器开始采集图像数据的同时，启动所述中断触发子单元、帧数记录子单元及时间记录子单元开始工作；
所述中断触发子单元用于按设定中断频率产生中断，每次中断时触发所述中断处理子单元进行中断处理；
所述帧数记录子单元用于记录视频文件存储的图像总帧数；
所述时间记录子单元用于记录录像累计时间；
所述中断处理子单元用于在所述中断触发子单元每次触发其进行中断处理时，获取中断触发时视频文件存储的图像总帧数及录像累计时间，并根据公式或者公式计算本次中断处理应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数，根据所述图像帧数获取相应帧图像数据并写入视频文件，每写入一帧图像数据后控制帧数记录子单元的记录结果加1，将相应帧缓存的图像数据全部写入视频文件后退出本次中断处理；
所述缓存器用于在所述中断处理子单元在获取相应帧图像数据时，如果图像传感器传来新的图像数据，则截取传来的一帧新图像数据，将其缓存至所述缓存器后获取缓存的该帧新图像数据；反之，从所述缓存器中获取缓存的上一帧图像数据。
本发明实施例在进行有声录像时，通过采用按设定中断频率触发中断、记录录像累计时间和视频文件存储的图像总帧数结合控制的同步录制机制，避免了有声录像过程中由于图像传感器帧率降低或者定时器中断处理延迟而使视频文件的实际录像帧率低于设定录像帧率，进一步采用在中断触发时若图像传感器未传来新图像数据则用缓存的上一帧图像数据代替的插帧机制，减小了音频和视频的不同步。
一种视频录制的控制方法，包括：记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时：
根据公式确定本次中断处理中应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数；
根据所述应该写入视频文件的图像帧数获取相应帧图像数据并写入视频文件后退出本次中断处理，所述获取相应帧图像数据包括：如果在获取图像数据时图像传感器传来新的图像数据，则截取一帧新图像数据，将其缓存后获取缓存的该帧新图像数据，如果在获取图像数据时图像传感器没有传来新的图像数据，则获取缓存的上一帧图像数据。
一种视频录制的控制装置，包括图像传感器，用于采集视频图像数据并输出，还包括：
同步控制单元，用于记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时根据公式或者公式确定本次中断处理中应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数；根据所述应该写入视频文件的图像帧数获取从图像传感器输出的数据中截取的相应帧图像数据并写入视频文件后退出本次中断处理；
缓存器，所述同步控制单元在获取相应帧图像数据时，如果图像传感器传来新的图像数据，则截取传来的一帧新图像数据，将其缓存至所述缓存器后获取缓存的该帧新图像数据；反之，从所述缓存器中获取缓存的上一帧图像数据。
一种视频录制的同步控制单元，包括：
控制子单元、中断触发子单元、帧数记录子单元、时间记录子单元，中断处理子单元及缓存器，其中：
所述控制子单元用于设定中断触发子单元的中断频率，并在图像传感器开始采集图像数据的同时，启动所述中断触发子单元、帧数记录子单元及时间记录子单元开始工作；
所述中断触发子单元用于按设定中断频率产生中断，每次中断时触发所述中断处理子单元进行中断处理；
所述帧数记录子单元用于记录视频文件存储的图像总帧数；
所述时间记录子单元用于记录录像累计时间；
所述中断处理子单元用于在所述中断触发子单元每次触发其进行中断处理时，获取中断触发时视频文件存储的图像总帧数及录像累计时间，并根据公式或者公式计算本次中断处理应该写入视频文件的图像帧数Z，所述T中断间隔表示相邻两次中断处理的时间间隔，所述T录像累计时间表示中断触发时的录像累计时间，X表示中断触发时视频文件存储的图像总帧数，根据所述图像帧数获取相应帧图像数据并写入视频文件，每写入一帧图像数据后控制帧数记录子单元的记录结果加1，将相应帧缓存的图像数据全部写入视频文件后退出本次中断处理；
所述缓存器用于在所述中断处理子单元在获取相应帧图像数据时，如果图像传感器传来新的图像数据，则截取传来的一帧新图像数据，将其缓存至所述缓存器后获取缓存的该帧新图像数据；反之，从所述缓存器中获取缓存的上一帧图像数据。
本发明实施例在进行有声录像时，通过采用按设定中断频率触发中断、记录录像累计时间和视频文件存储的图像总帧数结合控制的同步录制机制，避免了有声录像过程中由于图像传感器帧率降低或者定时器中断处理延迟而使视频文件的实际录像帧率低于设定录像帧率，进一步采用在中断触发时若图像传感器未传来新图像数据则用缓存的上一帧图像数据代替的插帧机制，减小了音频和视频的不同步。
附图说明
图1为现有技术视频录制示意图；
图2为本发明实施例同步录制机制示意图；
图3为本发明实施例视频录制的控制方法流程图；
图4为本发明实施例中断处理时根据公式3确定应该写入视频文件的图像帧数的示意图；
图5为本发明实施例中断处理时根据公式2确定应该写入视频文件的图像帧数的示意图；
图6为本发明实施例进行中断处理时根据图像帧数分多次操作的示意图；
图7、图8为本发明实施例提供的视频录制控制装置结构示意图；
图9为本发明实施例提供的视频录制控制装置的一种具体结构示意图。
图2为本发明实施例同步录制机制示意图；
图3为本发明实施例视频录制的控制方法流程图；
图4为本发明实施例中断处理时根据公式3确定应该写入视频文件的图像帧数的示意图；
图5为本发明实施例中断处理时根据公式2确定应该写入视频文件的图像帧数的示意图；
图6为本发明实施例进行中断处理时根据图像帧数分多次操作的示意图；
图7、图8为本发明实施例提供的视频录制控制装置结构示意图；
图9为本发明实施例提供的视频录制控制装置的一种具体结构示意图。
具体实施方式
为了解决有声录像过程中由于图像传感器帧率降低或者定时器中断处理延迟而使视频文件的实际录像帧率低于设定录像帧率，导致音视频不同步的问题，本发明实施例提供同步录制机制，保证了视频文件的实际录像帧率等于设定录像帧率，进一步采用插帧机制，尽可能减小了有声录像过程中音频和视频的不同步。下面分别对同步录制机制和插帧机制进行详细说明：
一、同步录制机制
根据设定录像帧率，可以确定相邻两次中断处理的时间间隔，即中断间隔T中断间隔，记录录像累计时间为T录像累计时间和视频文件中存储的图像总帧数实际值X。理想情况下，每一次中断处理都可以获得一帧图像数据时，在每次中断处理完成后视频文件中应该存储的图像总帧数理想值可以通过公式1确定：
其中表示向下取整，即M为T录像累计时间/T中断间隔的整数部分。
理想状态下，M-X＝1，一次中断处理中只需要写入一帧图像数据，如果一次中断触发之前发生中断处理丢失，为消除中断处理丢失对录像帧率的影响，除本次中断处理应该写入的一帧图像数据外，还可以补齐之前中断处理丢失时没有写入视频文件的图像帧数，则在本次中断处理应该写入视频文件的图像帧数通过公式2确定：
公式2还可以变形为公式3：
参阅图2所示，公式3中：T参考时间等于T中断间隔和X的乘积，ΔT为T录像累计时间和T参考时间之间的时间差。ΔT/T中断间隔的整数部分Z即为本次中断处理应该写入视频文件的图像帧数；ΔT/T中断间隔的小数部分Δz由计时器误差引起，理想情况下，Δz为零。
这样，在每次中断处理时确定本次中断处理应该写入视频文件的图像帧数Z，并连续获取Z帧图像数据并写入视频文件，则可以补齐之前因中断丢失减少的图像帧数，从而及时消除了中断丢失对录像帧率的影响，保证了实际录像帧率等于设定录像帧率。
本发明实施例提供的同步控制机制基于上述原理实现，记录录像累计时间T录像累计时间和视频文件存储的图像总帧数X，在每一次中断触发后，获取中断触发时录像累计时间T录像累计时间和图像总帧数X，根据公式2或公式3计算Z，根据图像帧数Z，进行一次操作或分多次连续操作，每次操作都获取缓存的一帧图像数据写入视频文件，直到将应该写入视频文件的图像数据全部写入视频文件后停止本次中断处理，从而补齐应该写入视频文件的图像总帧数。
采用上述同步录制机制，即使由于图像传感器帧率降低或者执行更高优先级的处理而使中断处理延迟甚至丢失，也可以在下一次执行的中断处理中补齐需要的图像总帧数，使视频文件的实际录像帧率等于设定录像帧率。
二、插帧机制
在上述根据图像帧数分一次操作或分多次连续操作，每次操作都获取一帧图像数据写入视频文件的过程中，如果在获取图像的时候图像传感器没有传来新的图像数据，则获取缓存的上一帧图像数据，将缓存的上一帧图像数据作为当前帧图像数据再次写入到视频文件中，这样，可以使视频文件和音频文件尽量保持同步，尽可能减少了因中断处理丢失引起的音频和视频的不同步。
参阅图3所示，本发明实施例提供的视频录制的控制方法具体流程如下：
步骤S01、在图像传感器开始采集图像数据的同时，按照与设定录像帧率一样的中断频率触发中断处理，并开始记录视频文件存储的图像总帧数和录像累计时间；
步骤S02、每次中断处理时，根据设定中断频率、中断触发时的录像累计时间和视频文件存储的图像总帧数确定本次中断处理中应该写入视频文件的图像帧数；
步骤S03、每次中断处理根据所述应该写入视频文件的图像帧数获取相应帧图像数据并写入视频文件后退出本次中断处理。
参阅图4所示，当根据公式3确定本次中断处理中应该写入视频文件的图像帧数时，所述步骤S02进一步包括以下步骤：
s021、按中断频率触发中断处理；
s022、进行中断处理时，获取中断触发时的录像累计时间和视频文件存储的图像总帧数；
将中断触发时的录像累计时间记作T录像累计时间；
将中断触发时视频文件存储的图像总帧数记作X；
s023、根据上述公式3，首先计算中断间隔和视频文件存储的图像总帧数的乘积；
即计算T中断间隔*X，将其值记作T参考时间，将其作为参考时间；
上述T中断间隔表示由中断频率确定的中断间隔，即按照中断频率触发相邻两次中断处理的时间间隔；
s024、判断中断触发时的录像累计时间T录像累计时间是否大于参考时间T参考时间；
如果T录像累计时间大于T参考时间，则继续执行步骤s025；
如果T录像累计时间小于或等于T参考时间，如图2所示，由于按设定中断间隔获取X帧图像数据的时间T参考时间应该限制于录像累计时间T录像累计时间内而不应超出T录像累计时间，但是在实际记录录像累计时间的操作中，不可避免地会出现计时误差，所以当T录像累计时间小于或等于T参考时间时，说明此时录像累计时间的记录出现误差，此时退出本次中断处理；
s025、计算T录像累计时间与T参考时间之间的时间差ΔT，并计算ΔT/T中断间隔，取ΔT/T中断间隔的值的整数部分Z即为本次中断处理应该写入视频文件的图像帧数。
上述根据公式3确定本次中断处理中应该写入视频文件的图像帧数时也可以不执行步骤s024以判断T录像累计时间是否大于T参考时间；而可以在按照公式3计算得到Z值后判断Z的正负，如果Z为正则确定Z为本次中断处理中应该写入视频文件的图像帧数，否则退出本次中断处理。
参阅图5所示，当根据公式2确定本次中断处理中应该写入视频文件的图像帧数时，所述步骤S02进一步包括以下步骤：
t021、按中断频率触发中断处理；
t022、进行中断处理时，获取中断触发时的录像累计时间和视频文件存储的图像总帧数；
将中断触发时的录像累计时间记作T录像累计时间；
将中断触发时视频文件存储的图像总帧数记作X；
t023、根据上述公式2，首先计算T录像累计时间/T中断间隔并取该值的整数部分M；
上述T中断间隔表示由中断频率确定的中断间隔，即按照中断频率触发相邻两次中断处理的时间间隔；
t024、判断M是否大于X；
如果M大于X，则继续执行步骤t025；
如果M小于或等于X，则退出本次中断处理；
t025、计算M与X的差值Z，该差值Z即为本次中断处理应该写入视频文件的图像帧数。
上述根据公式2确定本次中断处理中应该写入视频文件的图像帧数时也可以不执行步骤t024以判断T录像累计时间是否大于T参考时间；而可以在按照公式2计算得到Z值后判断Z的正负，如果Z为正则确定Z为本次中断处理中应该写入视频文件的图像帧数，否则退出本次中断处理。
上述确定本次中断处理应该写入视频文件的图像帧数Z的方法，不限于上述公式(2)和(3)，实际操作中也可以根据本发明实施例对公式(2)或(3)进行相应的改进或变型。
参阅图6所示，所述步骤S03进一步包括以下步骤：
s031、每次中断处理先获取一帧图像数据，将其写入视频文件并修改视频文件的索引信息；
如果在获取图像数据时图像传感器传来了新的图像数据，则截取传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息；此时，视频文件存储的图像总帧数的记录结果加一，在本次中断处理中应该写入视频文件的图像帧数减一；
如果在获取图像数据时，图像传感器没有传来新的图像数据，则获取缓存的上一帧图像数据，将其写入视频文件并修改视频文件的索引信息；此时，视频文件存储的图像总帧数的记录结果加一，在本次中断处理中应该写入视频文件的图像帧数减一；
s032、判断本次中断处理中还应该写入视频文件的图像帧数是否为零，如果是则退出本次中断处理；否则返回步骤s031；
如果Z大于1，则循环执行步骤s031，直到在本次中断处理中还应该写入视频文件的图像帧数为零时退出本次中断处理。
参阅图7所示为本发明实施例提供的视频录制的控制结构示意图，包括：
视频录制模块1及存储处理模块2，视频录制模块1与存储处理模块2连接，其中：
视频录制模块1用于录制视频并将视频数据写入存储处理模块2；
存储处理模块2用于存储视频数据为视频文件，并对视频文件进行处理。
参阅图8所示，视频录制模块1可以进一步包括：
图像传感器11及同步控制单元12，其中：
图像传感器11用于采集视频图像数据并输出；
同步控制单元12用于记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时根据设定中断频率、中断触发时的录像累计时间和视频文件存储的图像总帧数确定本次中断处理中应该写入视频文件的图像帧数；根据所述应该写入视频文件的图像帧数获取从图像传感器11输出的数据中截取的相应帧图像数据并写入视频文件后退出本次中断处理。
其中，同步控制单元12可以进一步包括：
控制子单元121、中断触发子单元122、帧数记录子单元123、时间记录子单元124、中断处理子单元125及缓存器126，其中：
控制子单元121用于设定中断触发子单元122的中断频率与设定录像帧率保持一致，并在图像传感器11开始采集图像数据的同时，启动中断触发子单元122、帧数记录子单元123及时间记录子单元124开始工作；
中断触发子单元122用于按设定中断频率产生中断，每次中断时触发中断处理子单元125进行中断处理；
帧数记录子单元123用于记录写入存储处理模块2中的视频文件的图像总帧数；
时间记录子单元124用于记录录像累计时间；
中断处理子单元125用于在中断触发子单元122每次触发其进行中断处理时，获取中断触发时视频文件存储的图像总帧数及录像累计时间，并根据视频文件存储的图像总帧数、录像累计时间及由所述设定中断频率确定的中断间隔计算本次中断处理应该写入视频文件的图像帧数，根据所述图像帧数获取相应帧图像数据并写入视频文件，每写入一帧图像数据后控制帧数记录子单元123的记录结果加1，将相应帧缓存的图像数据全部写入视频文件后退出本次中断处理；
缓存器126，所述中断处理子单元125在获取相应帧图像数据时，如果图像传感器11传来新的图像数据，则截取传来的一帧新图像数据，将其缓存至缓存器126后获取缓存的该帧新图像数据；反之，从缓存器126中获取缓存的上一帧图像数据。
实施例一
结合图7、图8所示的本发明实施例提供的视频录制控制装置结构示意图，本实施例的视频录制的控制方法具体流程如下：
步骤S101、图像传感器11开始采集图像数据的同时，同步控制单元12中的控制子单元121设置中断触发子单元122的中断频率与设定录像帧率一样，并控制中断触发子单元122、帧数记录子单元123及时间记录子单元124开始工作；
步骤S102、中断触发子单元122按设定中断频率触发中断处理子单元125进行中断处理；
步骤S103、中断处理子单元125从时间记录子单元124获取中断触发时的录像累计时间，从帧数记录子单元123获取中断触发时视频文件存储的图像总帧数为D；
步骤S104、中断处理子单元125根据视频文件存储的图像总帧数D、录像累计时间及由所述设定中断频率确定的中断间隔，利用上述公式2或公式3确定本次中断处理应该写入视频文件的图像帧数为P；
步骤S105、中断处理子单元125获取一帧图像数据，将其写入存储处理模块2，存储处理模块2将其存入视频文件并修改视频文件的索引信息；
如果在中断处理子单元125获取图像数据时，图像传感器11传来新的图像数据，则中断处理子单元125截取传来的一帧新图像数据并将其缓存至缓存器126，获取缓存的该帧新图像数据，将其写入存储处理模块2，存储处理模块2将其存入视频文件并修改视频文件的索引信息，此时，中断处理子单元125控制帧数记录子单元123的记录结果加一，成为D+1，在本次中断处理中应该写入视频文件的图像帧数减一，成为P-1；
如果在中断处理子单元125获取图像数据时，图像传感器11没有传来新的图像数据，则中断处理子单元125从缓存器126获取上一帧图像数据，将其写入存储处理模块2，存储处理模块2将其存入视频文件并修改视频文件的索引信息，此时，中断处理子单元125控制帧数记录子单元123的记录结果加一，成为D+1，在本次中断处理中应该写入视频文件的图像帧数减一，成为P-1；
步骤S106、判断本次中断处理中还应该写入视频文件的图像帧数是否为零，如果是则退出本次中断处理；否则返回步骤S105；
步骤S107、循环执行步骤S102-S106进行下一次中断处理；
步骤S108、控制子单元121控制视频录制模块1停止录像。
实施例二
Timer控件又称为定时器，可按一定的时间间隔触发事件，定时器最重要的属性是Interval属性，它用于设置定时器事件之间的时间间隔，单位为毫秒。本实施例一采用定时器作为中断触发子单元，用来按与设定录像帧率一样的中断频率触发中断处理。
图9所示为本实施例的视频录制的控制装置示意图，其采用定时器322作为中断触发子单元，采用计时器324作为时间记录子单元，采用计数器323作为帧数记录子单元，其它结构和图8所示装置相同。结合上述控制装置对视频录制进行控制的具体过程与实施例一的具体过程一样，这里不再赘述。
本发明实施例在进行有声录像时，通过采用同步录制机制，避免了有声录像过程中由于图像传感器帧率降低或者定时器中断处理延迟而使视频文件的实际录像帧率低于设定录像帧率，进一步采用插帧机制，尽可能减小了有声录像过程中音频和视频的不同步。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
一、同步录制机制
根据设定录像帧率，可以确定相邻两次中断处理的时间间隔，即中断间隔T中断间隔，记录录像累计时间为T录像累计时间和视频文件中存储的图像总帧数实际值X。理想情况下，每一次中断处理都可以获得一帧图像数据时，在每次中断处理完成后视频文件中应该存储的图像总帧数理想值可以通过公式1确定：
其中表示向下取整，即M为T录像累计时间/T中断间隔的整数部分。
理想状态下，M-X＝1，一次中断处理中只需要写入一帧图像数据，如果一次中断触发之前发生中断处理丢失，为消除中断处理丢失对录像帧率的影响，除本次中断处理应该写入的一帧图像数据外，还可以补齐之前中断处理丢失时没有写入视频文件的图像帧数，则在本次中断处理应该写入视频文件的图像帧数通过公式2确定：
公式2还可以变形为公式3：
参阅图2所示，公式3中：T参考时间等于T中断间隔和X的乘积，ΔT为T录像累计时间和T参考时间之间的时间差。ΔT/T中断间隔的整数部分Z即为本次中断处理应该写入视频文件的图像帧数；ΔT/T中断间隔的小数部分Δz由计时器误差引起，理想情况下，Δz为零。
这样，在每次中断处理时确定本次中断处理应该写入视频文件的图像帧数Z，并连续获取Z帧图像数据并写入视频文件，则可以补齐之前因中断丢失减少的图像帧数，从而及时消除了中断丢失对录像帧率的影响，保证了实际录像帧率等于设定录像帧率。
本发明实施例提供的同步控制机制基于上述原理实现，记录录像累计时间T录像累计时间和视频文件存储的图像总帧数X，在每一次中断触发后，获取中断触发时录像累计时间T录像累计时间和图像总帧数X，根据公式2或公式3计算Z，根据图像帧数Z，进行一次操作或分多次连续操作，每次操作都获取缓存的一帧图像数据写入视频文件，直到将应该写入视频文件的图像数据全部写入视频文件后停止本次中断处理，从而补齐应该写入视频文件的图像总帧数。
采用上述同步录制机制，即使由于图像传感器帧率降低或者执行更高优先级的处理而使中断处理延迟甚至丢失，也可以在下一次执行的中断处理中补齐需要的图像总帧数，使视频文件的实际录像帧率等于设定录像帧率。
二、插帧机制
在上述根据图像帧数分一次操作或分多次连续操作，每次操作都获取一帧图像数据写入视频文件的过程中，如果在获取图像的时候图像传感器没有传来新的图像数据，则获取缓存的上一帧图像数据，将缓存的上一帧图像数据作为当前帧图像数据再次写入到视频文件中，这样，可以使视频文件和音频文件尽量保持同步，尽可能减少了因中断处理丢失引起的音频和视频的不同步。
参阅图3所示，本发明实施例提供的视频录制的控制方法具体流程如下：
步骤S01、在图像传感器开始采集图像数据的同时，按照与设定录像帧率一样的中断频率触发中断处理，并开始记录视频文件存储的图像总帧数和录像累计时间；
步骤S02、每次中断处理时，根据设定中断频率、中断触发时的录像累计时间和视频文件存储的图像总帧数确定本次中断处理中应该写入视频文件的图像帧数；
步骤S03、每次中断处理根据所述应该写入视频文件的图像帧数获取相应帧图像数据并写入视频文件后退出本次中断处理。
参阅图4所示，当根据公式3确定本次中断处理中应该写入视频文件的图像帧数时，所述步骤S02进一步包括以下步骤：
s021、按中断频率触发中断处理；
s022、进行中断处理时，获取中断触发时的录像累计时间和视频文件存储的图像总帧数；
将中断触发时的录像累计时间记作T录像累计时间；
将中断触发时视频文件存储的图像总帧数记作X；
s023、根据上述公式3，首先计算中断间隔和视频文件存储的图像总帧数的乘积；
即计算T中断间隔*X，将其值记作T参考时间，将其作为参考时间；
上述T中断间隔表示由中断频率确定的中断间隔，即按照中断频率触发相邻两次中断处理的时间间隔；
s024、判断中断触发时的录像累计时间T录像累计时间是否大于参考时间T参考时间；
如果T录像累计时间大于T参考时间，则继续执行步骤s025；
如果T录像累计时间小于或等于T参考时间，如图2所示，由于按设定中断间隔获取X帧图像数据的时间T参考时间应该限制于录像累计时间T录像累计时间内而不应超出T录像累计时间，但是在实际记录录像累计时间的操作中，不可避免地会出现计时误差，所以当T录像累计时间小于或等于T参考时间时，说明此时录像累计时间的记录出现误差，此时退出本次中断处理；
s025、计算T录像累计时间与T参考时间之间的时间差ΔT，并计算ΔT/T中断间隔，取ΔT/T中断间隔的值的整数部分Z即为本次中断处理应该写入视频文件的图像帧数。
上述根据公式3确定本次中断处理中应该写入视频文件的图像帧数时也可以不执行步骤s024以判断T录像累计时间是否大于T参考时间；而可以在按照公式3计算得到Z值后判断Z的正负，如果Z为正则确定Z为本次中断处理中应该写入视频文件的图像帧数，否则退出本次中断处理。
参阅图5所示，当根据公式2确定本次中断处理中应该写入视频文件的图像帧数时，所述步骤S02进一步包括以下步骤：
t021、按中断频率触发中断处理；
t022、进行中断处理时，获取中断触发时的录像累计时间和视频文件存储的图像总帧数；
将中断触发时的录像累计时间记作T录像累计时间；
将中断触发时视频文件存储的图像总帧数记作X；
t023、根据上述公式2，首先计算T录像累计时间/T中断间隔并取该值的整数部分M；
上述T中断间隔表示由中断频率确定的中断间隔，即按照中断频率触发相邻两次中断处理的时间间隔；
t024、判断M是否大于X；
如果M大于X，则继续执行步骤t025；
如果M小于或等于X，则退出本次中断处理；
t025、计算M与X的差值Z，该差值Z即为本次中断处理应该写入视频文件的图像帧数。
上述根据公式2确定本次中断处理中应该写入视频文件的图像帧数时也可以不执行步骤t024以判断T录像累计时间是否大于T参考时间；而可以在按照公式2计算得到Z值后判断Z的正负，如果Z为正则确定Z为本次中断处理中应该写入视频文件的图像帧数，否则退出本次中断处理。
上述确定本次中断处理应该写入视频文件的图像帧数Z的方法，不限于上述公式(2)和(3)，实际操作中也可以根据本发明实施例对公式(2)或(3)进行相应的改进或变型。
参阅图6所示，所述步骤S03进一步包括以下步骤：
s031、每次中断处理先获取一帧图像数据，将其写入视频文件并修改视频文件的索引信息；
如果在获取图像数据时图像传感器传来了新的图像数据，则截取传来的一帧新图像数据并将其缓存，获取缓存的该帧新图像数据，将其写入视频文件并修改视频文件的索引信息；此时，视频文件存储的图像总帧数的记录结果加一，在本次中断处理中应该写入视频文件的图像帧数减一；
如果在获取图像数据时，图像传感器没有传来新的图像数据，则获取缓存的上一帧图像数据，将其写入视频文件并修改视频文件的索引信息；此时，视频文件存储的图像总帧数的记录结果加一，在本次中断处理中应该写入视频文件的图像帧数减一；
s032、判断本次中断处理中还应该写入视频文件的图像帧数是否为零，如果是则退出本次中断处理；否则返回步骤s031；
如果Z大于1，则循环执行步骤s031，直到在本次中断处理中还应该写入视频文件的图像帧数为零时退出本次中断处理。
参阅图7所示为本发明实施例提供的视频录制的控制结构示意图，包括：
视频录制模块1及存储处理模块2，视频录制模块1与存储处理模块2连接，其中：
视频录制模块1用于录制视频并将视频数据写入存储处理模块2；
存储处理模块2用于存储视频数据为视频文件，并对视频文件进行处理。
参阅图8所示，视频录制模块1可以进一步包括：
图像传感器11及同步控制单元12，其中：
图像传感器11用于采集视频图像数据并输出；
同步控制单元12用于记录录像累计时间和视频文件存储的图像总帧数，并在每次进行中断处理时根据设定中断频率、中断触发时的录像累计时间和视频文件存储的图像总帧数确定本次中断处理中应该写入视频文件的图像帧数；根据所述应该写入视频文件的图像帧数获取从图像传感器11输出的数据中截取的相应帧图像数据并写入视频文件后退出本次中断处理。
其中，同步控制单元12可以进一步包括：
控制子单元121、中断触发子单元122、帧数记录子单元123、时间记录子单元124、中断处理子单元125及缓存器126，其中：
控制子单元121用于设定中断触发子单元122的中断频率与设定录像帧率保持一致，并在图像传感器11开始采集图像数据的同时，启动中断触发子单元122、帧数记录子单元123及时间记录子单元124开始工作；
中断触发子单元122用于按设定中断频率产生中断，每次中断时触发中断处理子单元125进行中断处理；
帧数记录子单元123用于记录写入存储处理模块2中的视频文件的图像总帧数；
时间记录子单元124用于记录录像累计时间；
中断处理子单元125用于在中断触发子单元122每次触发其进行中断处理时，获取中断触发时视频文件存储的图像总帧数及录像累计时间，并根据视频文件存储的图像总帧数、录像累计时间及由所述设定中断频率确定的中断间隔计算本次中断处理应该写入视频文件的图像帧数，根据所述图像帧数获取相应帧图像数据并写入视频文件，每写入一帧图像数据后控制帧数记录子单元123的记录结果加1，将相应帧缓存的图像数据全部写入视频文件后退出本次中断处理；
缓存器126，所述中断处理子单元125在获取相应帧图像数据时，如果图像传感器11传来新的图像数据，则截取传来的一帧新图像数据，将其缓存至缓存器126后获取缓存的该帧新图像数据；反之，从缓存器126中获取缓存的上一帧图像数据。
实施例一
结合图7、图8所示的本发明实施例提供的视频录制控制装置结构示意图，本实施例的视频录制的控制方法具体流程如下：
步骤S101、图像传感器11开始采集图像数据的同时，同步控制单元12中的控制子单元121设置中断触发子单元122的中断频率与设定录像帧率一样，并控制中断触发子单元122、帧数记录子单元123及时间记录子单元124开始工作；
步骤S102、中断触发子单元122按设定中断频率触发中断处理子单元125进行中断处理；
步骤S103、中断处理子单元125从时间记录子单元124获取中断触发时的录像累计时间，从帧数记录子单元123获取中断触发时视频文件存储的图像总帧数为D；
步骤S104、中断处理子单元125根据视频文件存储的图像总帧数D、录像累计时间及由所述设定中断频率确定的中断间隔，利用上述公式2或公式3确定本次中断处理应该写入视频文件的图像帧数为P；
步骤S105、中断处理子单元125获取一帧图像数据，将其写入存储处理模块2，存储处理模块2将其存入视频文件并修改视频文件的索引信息；
如果在中断处理子单元125获取图像数据时，图像传感器11传来新的图像数据，则中断处理子单元125截取传来的一帧新图像数据并将其缓存至缓存器126，获取缓存的该帧新图像数据，将其写入存储处理模块2，存储处理模块2将其存入视频文件并修改视频文件的索引信息，此时，中断处理子单元125控制帧数记录子单元123的记录结果加一，成为D+1，在本次中断处理中应该写入视频文件的图像帧数减一，成为P-1；
如果在中断处理子单元125获取图像数据时，图像传感器11没有传来新的图像数据，则中断处理子单元125从缓存器126获取上一帧图像数据，将其写入存储处理模块2，存储处理模块2将其存入视频文件并修改视频文件的索引信息，此时，中断处理子单元125控制帧数记录子单元123的记录结果加一，成为D+1，在本次中断处理中应该写入视频文件的图像帧数减一，成为P-1；
步骤S106、判断本次中断处理中还应该写入视频文件的图像帧数是否为零，如果是则退出本次中断处理；否则返回步骤S105；
步骤S107、循环执行步骤S102-S106进行下一次中断处理；
步骤S108、控制子单元121控制视频录制模块1停止录像。
实施例二
Timer控件又称为定时器，可按一定的时间间隔触发事件，定时器最重要的属性是Interval属性，它用于设置定时器事件之间的时间间隔，单位为毫秒。本实施例一采用定时器作为中断触发子单元，用来按与设定录像帧率一样的中断频率触发中断处理。
图9所示为本实施例的视频录制的控制装置示意图，其采用定时器322作为中断触发子单元，采用计时器324作为时间记录子单元，采用计数器323作为帧数记录子单元，其它结构和图8所示装置相同。结合上述控制装置对视频录制进行控制的具体过程与实施例一的具体过程一样，这里不再赘述。
本发明实施例在进行有声录像时，通过采用同步录制机制，避免了有声录像过程中由于图像传感器帧率降低或者定时器中断处理延迟而使视频文件的实际录像帧率低于设定录像帧率，进一步采用插帧机制，尽可能减小了有声录像过程中音频和视频的不同步。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。