一种事件相机的数据模拟方法和装置

摘要

本公开的实施例公开了事件相机的数据模拟方法和装置。该方法的一具体实施方式包括：对待处理视频进行解码处理，得到视频帧序列；将视频帧序列中的目标视频帧输入至全卷积网络UNet，得到事件相机阈值分布信息；对目标视频帧中的每个像素进行采样，得到事件相机阈值集合；对事件相机阈值集合和视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；将仿真事件相机数据，与事件相机拍摄数据进行生成对抗式学习，得到更新后的事件相机阈值分布信息；基于更新后的事件相机阈值分布信息、视频帧序列和预设噪声信号，生成仿真事件相机数据。本发明能够广泛应用于国防军事、影视制作、公共安全等领域的计算机视觉系统。

权利要求

1.一种事件相机的数据模拟方法，包括：

对所获取的待处理视频进行解码处理，得到视频帧序列；

将所述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取所述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息，其中，所述事件相机阈值分布信息包括均值矩阵和标准差矩阵，所述事件相机阈值分布信息是指两个宽为图像宽，高为图像高的矩阵，一个矩阵为均值矩阵，另外一个矩阵为标准差矩阵；

基于所述事件相机阈值分布信息，对所述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；

对所述事件相机阈值集合和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；

将所述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；

基于所述更新后的事件相机阈值分布信息、所述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，所述仿真事件相机数据是与所述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据；

其中，所述基于所述事件相机阈值分布信息，对所述目标视频帧中的每个像素进行采样以生成事件相机阈值，包括：对于所述目标视频帧中的每个像素p，从预设标准正态分布 中采样阈值

噪声z(p)，其中， 是均值为0、标准差为1的正态分布，z(p)表示p的采样阈值噪声；

根据所述事件相机阈值分布信息 对所述采样阈值噪声进行修正，得到所述像素的事件相机采样阈值θ(p)＝μ(p)+z(p)×σ(p)，其中，p表示所述像素，θ(p)表示p的事件相机采样阈值，θ()表示所述事件相机采样阈值，μ(p)表示p的均值，μ()表示均值，z(p)表示p的采样阈值噪声，z()表示采样阈值噪声，σ(p)表示p的标准差，σ()表示标准差；

对所述事件相机采样阈值进行截断处理，得到事件相机阈值θ(p)＝maX(θ(p)，∈)，其中，max(，)表示求两个数中的最大值，∈表示事件相机采样阈值的下限，∈的取值为∈＝

0.01；

其中，所述伪并行的事件数据仿真生成处理是对输入的所述视频帧序列中的相邻的视频帧进行处理，以生成正事件累积图和负事件累积图的处理，并将所得到的正事件累积图集合和负事件累积图集合确定为仿真事件相机数据，其中，对输入的所述视频帧序列中的相邻的视频帧通过如下处理，以生成正事件累积图和负事件累积图：pos

其中，p表示像素，N 表示正事件累积图，k表示所述视频帧序列中的视频帧的序号，tk表示第k个视频帧的事件累计图的时间点，tk+1表示第k+1个视频帧的事件累计图的时间点，表示tk到tk+1时间段内的正事件累积图， 表示p在tk到tk+1时间段内的正事件累积图，h()表示取正数函数， 表示在tk到tk+1时间段内的事件累计数， 表示p在tk到tk+1时间段内的事件累计数， 为正数，表示p处为neg

正事件累计数， 为负数，表示p处为负事件累计数，N 表示负事件累积图，表示tk到tk+1时间段内的负事件累积图， 表示p在tk到tk+1时间段内的负事件累积图， 表示0～tk+1时间段内的事件累计数， 表示p在0～

tk+1时间段内的事件累计数， 表示0～tk时间段内的事件累计数， 表示p在

0～tk时间段内的事件累计数，其中， 通过以下公式得到：

其中，floor()表示向0取整函数， 表示在0～tk+1时间段内的通过计算第k+1帧的 和第0帧的 的亮度变化得到的事件累计数， 表示p在0～tk+1时间段内的通过计算第k+1帧的 和第0帧的 的亮度变化得到的事件累计数，表示对 向0取整， 表示tk+1时刻的事件修正函数，表示p在tk+1时刻的事件修正值，log()表示对数函数， 表示tk+1时刻的亮度值， 表示tk+1时刻的帧中p的亮度值， 表示t0时刻的亮度值， 表示t0时刻的帧中p的亮度值，θ(p)表示p的事件相机采样阈值，其中， 通过以下公式得到：其中， 表示在0～tk时间段内的通过计算第k帧的 和第0帧的 亮度变

化得到的事件累计数， 表示p在0～tk时间段内的通过计算第k帧的 和第0帧的 亮度变化得到的事件累计数， 表示对 向0取整， 表示tk时刻的事件修正函数， 表示p在tk时刻的事件修正值，∧表示逻辑“与”操作，当即0～tk+1时间段内的累计事件为负事件时，如果在tk～tk+1时间段内产生了正事件 则由于floor()函数的作用会产生正错误，所述正错误为多记录一个正事件，设置 修正所述正错误；当

时，如果在tk～tk+1时间段内产生了负事件，则会产生负错误，所述负错误为多记录一个负事件，设置 修正所述负错误；当在0～tk+1时间段内未产生事件时，若上一段时间内进行了修正，则进行修正，若上一段时间内未进行修正，则不进行修正；

其他情况下不进行修正，即

其中，所述将所述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，包括：对所述仿真事件相机数据和所述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，其中，所述对所述仿真事件相机数据和所述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，包括：确定所述预先获取的事件相机拍摄数据在预定时间段内的第一正事件累计图 和第一负事件累计图 确定所述仿真事件相机数据在所述预定时间段内的第二正事件累计图 和第二负事件累计图 利用以下公式，对所述第一正事件累计图、所述第一负事件累计图、所述第二正事件累计图和所述第二负事件累计图分别求梯度，得到第一事件表征信息和第二事件表征信息作为事件表征信息：G＝|gx(M)|+|gy(M)|，其中，G表示事件表征信息，gx()表示在坐标轴的x方向求梯度，M表示事件累积图，即所述第一正事件累积图、第一负事件累积图、第二正事件累积图和第二负事件累积图的总称，gx(M)表示M在坐标轴x方向上求梯度，x表示坐标轴的横方向，gy()表示在坐标轴的y方向求梯度，gy(M)表示M在坐标轴y方向上求梯度，y表示坐标轴的纵方向，所述坐标轴是以帧的左上角为原点，以帧的宽向右的方向为x轴的正半轴，以帧的高向下的方向为y轴的正半轴的坐标轴，其中，所述事件表征信息为：其中，Er表示所述第一事件表征信息，E表示事件表征信息，r表示预先获取的事件相机拍摄数据， 表示所述第一正事件累计图， 表示所述第一负事件累计图， 表示的梯度， 表示 的梯度，Eg表示所述第二事件表征信息，g表示所述仿真事件相机数据， 表示所述第二正事件累计图， 表示所述第二负事件累计图， 表示 的梯度， 表示 的梯度，R表示实数集，H表示特征的高度，W表示特征的宽度；

对所述事件表征信息进行分治处理，得到分治处理后的事件表征信息，其中，所述分治处理包括以下步骤：对所述事件表征信息进行分块，得到多个表征块；对所述多个表征块中的每个表征块进行特征分析以生成特征哈希键值，得到特征哈希键值集合；根据所述特征哈希键值集合和预设哈希表，确定与所述多个表征块对应的多个判别器网络模型；利用所述多个判别器网络模型判别所述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述特征分析中的特征包括：梯度角度，梯度强度和特征散度；

其中，所述对所述事件表征信息进行分治处理，得到分治处理后的事件表征信息，包括：通过网格分块将事件表征信息E分成4×4共16块，得到表征块 其中，表示表征块，R表示实数集，H表示特征的高度，W表示特征的宽度；

对所述多个表征块利用哈希函数进行结构分析，并根据哈希值选择相应的判别器网络模型进行后续处理， 对应的判别器网络模型的输出结果用如下公式表示：其中， 表示表征块，D()表示所述判别器网络模型， 表示 对应的判别器网络模型的输出结果，k表示判别器网络模型的序号，ind()表示示性函数，当条件成立时值为1，当条件不成立时值为0，s()表示哈希函数， 表示 输入到哈希函数中的返回值，Dk()表示第k个判别器网络模型， 表示 输入到第k个判别器网络模型的输出结果， 表示对所有判别器网络模型的输出结果进行求和；

梯度角度和梯度强度的分析步骤如下：

确定每个表征块的梯度，得到梯度矩阵；

确定所述梯度矩阵的特征值{λ1，λ2}和特征向量{φ1，φ2}；

通过如下公式计算梯度角度 和梯度强度γ：

其中， 表示梯度角度，arctan(，)表示反正切函数，arctan(φ1，φ2)表示φ1和φ2的反正切函数，φ1表示坐标轴x方向上特征向量，φ2表示坐标轴y方向上特征向量，γ表示所述梯度强度， 表示坐标轴x方向上的特征值的平方根， 表示坐标轴y方向上的特征值的平方根，c(m)表示m的特征散度，m表示表征块，c()表示特征散度，q表示像素p的相邻像素，P()表示表征块中所有像素的集合，P(m)表示第m个表征块中所有像素的集合，N()表示2

像素的4邻域，N(p)表示像素p的4邻域， 表示像素p与相邻像素q的梯度，|| || 表示范数的平方，O[]表示概率， 表示 的概率；

其中，所述利用所述多个判别器网络模型判别所述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，包括：对梯度角度、梯度强度和特征散度分别量化成24、3和3共三个等级；

设置216个判别器网络模型，其中，所述216个判别器网络模型中的每个判别器网络模型由一个多层感知器网络结构构成，所述多层感知器网络结构由三层线性层构成，所述三层线性层中的每层线性层的通道数分别为256，128和1，其中，所述216个判别器网络模型由于训练的数据量不同，置信度也不同，通过如下公式对所述事件相机阈值分布信息进行更新：其中，ωk表示第k个判别器网络模型的置信度，k表示判别器网络模型的序号，ω表示判别器网络模型的置信度，α表示平衡参数，α的取值为α＝0.5，K表示判别器网络模型训练的数据，K的取值为K＝216，S表示判别器网络模型训练的数据量，Sk表示第k个判别器网络模型训练的数据量，∑kSk表示对所述216个判别器网络模型训练的数据量求和，即求总数据量，LD表示判别器网络模型的对抗式学习损失函数，L表示损失函数，D表示判别器网络模型的对抗式学习，Er表示所述第一事件表征信息，E表示事件表征信息，r表示预先获取的事件相机拍摄数据，Pr()表示预先获取的事件相机拍摄数据的数据分布，Pr(Er)表示符合Er的预先获取的事件相机拍摄数据的数据分布，P表示数据分布，D()表示所述判别器网络模型，Eg表示所述第二事件表征信息，g表示所述仿真事件相机数据，Pg()表示所述仿真事件相机数据的数据分布，Pg(Mg)表示符合Eg的仿真事件相机拍摄数据的数据分布；

其中，所述基于所述更新后的事件相机阈值分布信息、所述视频帧序列和预设噪声信号，生成仿真事件相机数据，包括：根据所述更新后的事件相机阈值分布信息，对所述视频帧序列中的各个视频帧中的每个像素进行事件相机阈值采样以生成事件相机阈值，得到事件相机阈值组序列；

对所述事件相机阈值组序列和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到事件相机数据；

将预设噪声信号添加至所述事件相机数据，得到仿真事件相机数据。

2.根据权利要求1所述的方法，其中，所述UNet由一个共享编码器和两个独立解码器构成，所述共享编码器与所述两个独立解码器之间以短连接相连。

3.一种事件相机的数据模拟装置，包括：

解码处理单元，被配置成对所获取的待处理视频进行解码处理，得到视频帧序列；

输入单元，被配置成将所述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取所述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息，其中，所述事件相机阈值分布信息包括均值矩阵和标准差矩阵，所述事件相机阈值分布信息是指两个宽为图像宽，高为图像高的矩阵，一个矩阵为均值矩阵，另外一个矩阵为标准差矩阵；

采样单元，被配置成基于所述事件相机阈值分布信息，对所述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；

伪并行的事件数据仿真生成处理单元，被配置成对所述事件相机阈值集合和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；

生成对抗式学习单元，被配置成将所述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；

生成单元，被配置成基于所述更新后的事件相机阈值分布信息、所述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，所述仿真事件相机数据是与所述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据；

其中，所述采样单元，进一步被配置成，包括：

对于所述目标视频帧中的每个像素p，从预设标准正态分布 中采样阈值

噪声z(p)，其中， 是均值为0、标准差为1的正态分布，z(p)表示p的采样阈值噪声；

根据所述事件相机阈值分布信息 对所述采样阈值噪声进行修正，得到所述像素的事件相机采样阈值θ(p)＝μ(p)+z(p)×σ(p)，其中，p表示所述像素，θ(p)表示p的事件相机采样阈值，θ()表示所述事件相机采样阈值，μ(p)表示p的均值，μ()表示均值，z(p)表示p的采样阈值噪声，z()表示采样阈值噪声，σ(p)表示p的标准差，σ()表示标准差；

对所述事件相机采样阈值进行截断处理，得到事件相机阈值θ(p)＝max(θ(p)，∈)，其中，max(，)表示求两个数中的最大值，∈表示事件相机采样阈值的下限，∈的取值为∈＝

0.01；

其中，伪并行的事件数据仿真生成处理单元，进一步被配置成：所述伪并行的事件数据仿真生成处理是对输入的所述视频帧序列中的相邻的视频帧进行处理，以生成正事件累积图和负事件累积图的处理，并将所得到的正事件累积图集合和负事件累积图集合确定为仿真事件相机数据，其中，对输入的所述视频帧序列中的相邻的视频帧通过如下处理，以生成正事件累积图和负事件累积图：pos

其中，p表示像素，N 表示正事件累积图，k表示所述视频帧序列中的视频帧的序号，tk表示第k个视频帧的事件累计图的时间点，tk+1表示第k+1个视频帧的事件累计图的时间点，表示tk到tk+1时间段内的正事件累积图， 表示p在tk到tk+1时间段内的正事件累积图，h()表示取正数函数， 表示在tk到tk+1时间段内的事件累计数， 表示p在tk到tk+1时间段内的事件累计数， 为正数，表示p处为neg

正事件累计数， 为负数，表示p处为负事件累计数，N 表示负事件累积图，表示tk到tk+1时间段内的负事件累积图， 表示p在tk到tk+1时间段内的负事件累积图， 表示0～tk+1时间段内的事件累计数， 表示p在0～

tk+1时间段内的事件累计数， 表示0～tk时间段内的事件累计数， 表示p在

0～tk时间段内的事件累计数，其中， 通过以下公式得到：

其中，floor()表示向0取整函数， 表示在0～tk+1时间段内的通过计算第k+1帧的 和第0帧的 的亮度变化得到的事件累计数， 表示p在0～tk+1时间段内的通过计算第k+1帧的 和第0帧的 的亮度变化得到的事件累计数，表示对 向0取整， 表示tk+1时刻的事件修正函数，表示p在tk+1时刻的事件修正值，log()表示对数函数， 表示tk+1时刻的亮度值， 表示tk+1时刻的帧中p的亮度值， 表示t0时刻的亮度值， 表示t0时刻的帧中p的亮度值，θ(p)表示p的事件相机采样阈值，其中， 通过以下公式得到：其中， 表示在0～tk时间段内的通过计算第k帧的 和第0帧的 亮度变

化得到的事件累计数， 表示p在0～tk时间段内的通过计算第k帧的 和第0帧的 亮度变化得到的事件累计数， 表示对 向0取整， 表示tk时刻的事件修正函数， 表示p在tk时刻的事件修正值，∧表示逻辑“与”操作，当即0～tk+1时间段内的累计事件为负事件时，如果在tk～tk+1时间段内产生了正事件 则由于floor()函数的作用会产生正错误，所述正错误为多记录一个正事件，设置 修正所述正错误；当

时，如果在tk～tk+1时间段内产生了负事件，则会产生负错误，所述负错误为多记录一个负事件，设置 修正所述负错误；当在0～tk+1时间段内未产生事件时，若上一段时间内进行了修正，则进行修正，若上一段时间内未进行修正，则不进行修正；其他情况下不进行修正，即其中，生成对抗式学习单元，进一步被配置成，包括：

对所述仿真事件相机数据和所述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，其中，所述对所述仿真事件相机数据和所述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，包括：确定所述预先获取的事件相机拍摄数据在预定时间段内的第一正事件累计图 和第一负事件累计图 确定所述仿真事件相机数据在所述预定时间段内的第二正事件累计图 和第二负事件累计图 利用以下公式，对所述第一正事件累计图、所述第一负事件累计图、所述第二正事件累计图和所述第二负事件累计图分别求梯度，得到第一事件表征信息和第二事件表征信息作为事件表征信息：G＝|gx(M)|+|gy(M)|，其中，G表示事件表征信息，gx()表示在坐标轴的x方向求梯度，M表示事件累积图，即所述第一正事件累积图、第一负事件累积图、第二正事件累积图和第二负事件累积图的总称，gx(M)表示M在坐标轴x方向上求梯度，x表示坐标轴的横方向，gy()表示在坐标轴的y方向求梯度，gy(M)表示M在坐标轴y方向上求梯度，y表示坐标轴的纵方向，所述坐标轴是以帧的左上角为原点，以帧的宽向右的方向为x轴的正半轴，以帧的高向下的方向为y轴的正半轴的坐标轴，其中，所述事件表征信息为：其中，Er表示所述第一事件表征信息，E表示事件表征信息，r表示预先获取的事件相机拍摄数据， 表示所述第一正事件累计图， 表示所述第一负事件累计图， 表示的梯度， 表示 的梯度，Eg表示所述第二事件表征信息，g表示所述仿真事件相机数据， 表示所述第二正事件累计图， 表示所述第二负事件累计图， 表示 的梯度， 表示 的梯度，R表示实数集，H表示特征的高度，W表示特征的宽度；

对所述事件表征信息进行分治处理，得到分治处理后的事件表征信息，其中，所述分治处理包括以下步骤：对所述事件表征信息进行分块，得到多个表征块；对所述多个表征块中的每个表征块进行特征分析以生成特征哈希键值，得到特征哈希键值集合；根据所述特征哈希键值集合和预设哈希表，确定与所述多个表征块对应的多个判别器网络模型；利用所述多个判别器网络模型判别所述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述特征分析中的特征包括：梯度角度，梯度强度和特征散度；其中，所述对所述事件表征信息进行分治处理，得到分治处理后的事件表征信息，包括：通过网格分块将事件表征信息E分成4×4共16块，得到表征块 其中， 表示表征块，R表示实数集，H表示特征的高度，W表示特征的宽度；

对所述多个表征块利用哈希函数进行结构分析，并根据哈希值选择相应的判别器网络模型进行后续处理， 对应的判别器网络模型的输出结果用如下公式表示：其中， 表示表征块，D()表示所述判别器网络模型， 表示 对应的判别器网络模型的输出结果，k表示判别器网络模型的序号，ind()表示示性函数，当条件成立时值为1，当条件不成立时值为0，s()表示哈希函数， 表示 输入到哈希函数中的返回值，Dk()表示第k个判别器网络模型， 表示 输入到第k个判别器网络模型的输出结果， 表示对所有判别器网络模型的输出结果进行求和；

梯度角度和梯度强度的分析步骤如下：

确定每个表征块的梯度，得到梯度矩阵；

确定所述梯度矩阵的特征值{λ1，λ2}和特征向量{φ1，φ2}；

通过如下公式计算梯度角度 和梯度强度γ：

其中， 表示梯度角度，arctan(，)表示反正切函数，arctan(φ1，φ2)表示φ1和φ2的反正切函数，φ1表示坐标轴x方向上特征向量，φ2表示坐标轴y方向上特征向量，γ表示所述梯度强度， 表示坐标轴x方向上的特征值的平方根， 表示坐标轴y方向上的特征值的平方根，c(m)表示m的特征散度，m表示表征块，c()表示特征散度，q表示像素p的相邻像素，P()表示表征块中所有像素的集合，P(m)表示第m个表征块中所有像素的集合，N()表示2

像素的4邻域，N(p)表示像素p的4邻域， 表示像素p与相邻像素q的梯度，|| || 表示范数的平方，O[]表示概率， 表示 的概率；

其中，所述生成对抗式学习单元，进一步被配置成，包括：

对梯度角度、梯度强度和特征散度分别量化成24、3和3共三个等级；

设置216个判别器网络模型，其中，所述216个判别器网络模型中的每个判别器网络模型由一个多层感知器网络结构构成，所述多层感知器网络结构由三层线性层构成，所述三层线性层中的每层线性层的通道数分别为256，128和1，其中，所述216个判别器网络模型由于训练的数据量不同，置信度也不同，通过如下公式对所述事件相机阈值分布信息进行更新：其中，ωk表示第k个判别器网络模型的置信度，k表示判别器网络模型的序号，ω表示判别器网络模型的置信度，α表示平衡参数，α的取值为α＝0.5，K表示判别器网络模型训练的数据，K的取值为K＝216，S表示判别器网络模型训练的数据量，Sk表示第k个判别器网络模型训练的数据量，∑kSk表示对所述216个判别器网络模型训练的数据量求和，即求总数据量，LD表示判别器网络模型的对抗式学习损失函数，L表示损失函数，D表示判别器网络模型的对抗式学习，Er表示所述第一事件表征信息，E表示事件表征信息，r表示预先获取的事件相机拍摄数据，Pr()表示预先获取的事件相机拍摄数据的数据分布，Pr(Er)表示符合Er的预先获取的事件相机拍摄数据的数据分布，P表示数据分布，D()表示所述判别器网络模型，Eg表示所述第二事件表征信息，g表示所述仿真事件相机数据，Pg()表示所述仿真事件相机数据的数据分布，Pg(Mg)表示符合Eg的仿真事件相机拍摄数据的数据分布；

其中，所述生成单元，进一步被配置成，包括：

根据所述更新后的事件相机阈值分布信息，对所述视频帧序列中的各个视频帧中的每个像素进行事件相机阈值采样以生成事件相机阈值，得到事件相机阈值组序列；

对所述事件相机阈值组序列和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到事件相机数据；

将预设噪声信号添加至所述事件相机数据，得到仿真事件相机数据。

说明书

一种事件相机的数据模拟方法和装置

技术领域

[0001] 本发明涉及计算机视觉与多模态生成领域，具体涉及事件相机的数据模拟方法和装置。

背景技术

[0002] 事件相机由于其成像原理，相较于传统彩色相机，具有高动态范围、低时间延迟等优势。在国防军事、影视制作、公共安全等领域具有广泛应用前景。但是，现在事件相机由于其价格高昂且商业化产品尚未普及。利用事件数据仿真生成算法快速、廉价的仿真生成大量事件相机数据，在图像修复、视频监控、智慧城市等应用领域具有重大意义。

发明内容

[0003] 本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

[0004] 根据上述实际需求和关键问题，本发明的目的在于：提出一种事件相机的数据模拟方法，输入待处理视频帧序列，方法自适应生成事件相机阈值分布信息，并通过伪并行的事件数据仿真生成处理，输出仿真事件相机数据。

[0005] 本公开的一些实施例提供了一种事件相机的数据模拟方法，该方法包括：对所获取的待处理视频进行解码处理，得到视频帧序列；将上述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取上述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息；基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；对上述事件相机阈值集合和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，上述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，上述仿真事件相机数据是与上述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。

[0006] 本公开的一些实施例提供了一种事件相机的数据模拟装置，装置包括：解码处理单元，被配置成对所获取的待处理视频进行解码处理，得到视频帧序列；输入单元，被配置成将上述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取上述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息；采样单元，被配置成基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；伪并行的事件数据仿真生成处理单元，被配置成对上述事件相机阈值集合和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；生成对抗式学习单元，被配置成将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，上述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；生成单元，被配置成基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，上述仿真事件相机数据是与上述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。

[0007] 本发明所公开的方法利用彩色相机数据进行事件相机数据仿真生成。相比上述仿真方法的表现过度依赖人工调整的仿真参数优劣，具有如下有益的特点：1)无需依赖人为设定的仿真事件相机阈值与阈值噪声分布，通过少量真实事件相机数据，即可得到贴合实际的仿真事件相机阈值分布。2)无需复杂的参数调整和算法模拟，在仿真生成事件数据过程中不增加额外的参数量和计算量，通过对阈值噪声的估计，实现对事件相机数据的可靠仿真，并且利用真实事件数据本身信息进行自适应学习，避免了不同场景下仿真域事件相机数据与目标域事件相机数据分布差异过大。

附图说明

[0008] 结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

[0009] 图1是根据本公开的事件相机的数据模拟方法的一些实施例的流程图；

[0010] 图2是根据本公开的事件相机的数据模拟方法的另一些实施例的流程图；

[0011] 图3是根据本公开的提取事件相机阈值分布信息的示意图；

[0012] 图4是根据本公开的一些实施例的事件相机的数据模拟方法的一个应用场景的示意图。

具体实施方式

[0013] 下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

[0014] 另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

[0015] 需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

[0016] 下面将参考附图并结合实施例来详细说明本公开。

[0017] 图1是根据本公开的事件相机的数据模拟方法的一些实施例的流程图。

[0018] 步骤101，对所获取的待处理视频进行解码处理，得到视频帧序列。

[0019] 在一些实施例中，事件相机的数据模拟方法的执行主体可以对所获取的待处理视频进行解码处理，得到视频帧序列。上述执行主体可以通过有线连接方式或者无线连接方式获取待处理视频。待处理视频可以是一个连续时间段内的视频。若获取的视频帧较多，可以对获取的视频进行截取，得到待处理视频。对于仿真事件相机数据的生成，视频帧序列的帧率要达到预定阈值，由此可以保证事件仿真的效果。若待处理视频的帧率未达到预定阈值，可以通过插帧算法等方法提升解码后的视频帧序列的帧率。

[0020] 事件相机是一种新型的视觉传感器。与传统的彩色相机通过记录一定曝光时间内感光元件接受的亮度拍摄图像不同，事件相机记录的是亮度的变化情况。当某一像素亮度变化超过事件相机阈值的时候，事件相机会记录该阈值产生的像素坐标，时间，以及该事件的极性(亮度增强为正极性，亮度减弱为负极性)。仿真事件相机数据的基本原理就是模拟真实事件相机记录数据的方式，对视频序列前后帧进行比较，对应像素亮度变化超过阈值便记录发生事件。目前已有部分工作尝试利用彩色相机数据仿真生成事件相机数据。例如，2018年，苏黎世联邦理工学院的Rebecq首次提出了一种可靠的事件相机数据仿真方法。该方法首次提出事件相机的阈值，并不是固定不变的而是存在噪声的，并使用高斯分布拟合该噪声。并提出仿真事件发生的时间应该分布在仿真视频帧序列之间，而不是视频帧的发生时间。2020年，苏黎世联邦理工学院的Hu提出了一种更精细的事件相机数据仿真方法。该方法指出了在暗光条件下的事件相机，由于光传感带宽有限，出现一些事件可能不会被记录的现象。并设计了一个低通滤波器来模拟光传感带宽限制。并且，该方法还提出了一种基于泊松分布的事件相机时间噪声模型和一种事件相机泄露噪声模型，进一步增强了仿真事件数据的可靠性。

[0021] 步骤102，将视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息。

[0022] 在一些实施例中，上述执行主体可以将上述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取上述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息。

[0023] 图3是根据本公开的提取事件相机阈值分布信息的示意图。如图3所示。对事件相机阈值分布信息的提取，可以具有如下特征：针对输入的视频帧序列，选取每10帧为一组输入到全卷积网络UNet中。全卷积网络UNet是一个U型神经网络结构的网络。将选取的一组视频帧输入到全卷积网络UNet中，最终输出得到事件相机阈值分布信息(例如，高斯分布)，即均值μθ和标准差σθ。均值μθ可以是一个矩阵。标准差σθ可以是一个矩阵。θ表示事件相机阈值分布信息。

[0024] 在一些实施例的一些可选的实现方式中，上述事件相机阈值分布信息包括均值矩阵和标准差矩阵。上述UNet由一个共享编码器和两个独立解码器构成。上述共享编码器与上述两个独立解码器之间以短连接相连。

[0025] 作为示例，上述事件相机阈值分布信息，具体可以是指两个宽为图像宽，高为图像高的矩阵。一个矩阵为均值矩阵，另外一个矩阵为标准差矩阵。然后取两个矩阵对应坐标位置(例如坐标为1，1的位置)中的值，组成一个正态分布 即为该位置的事件相机阈值分布信息。上述事件相机阈值分布信息包含两个矩阵中所有坐标位置的事件相机阈值分布信息。

[0026] 步骤103，基于事件相机阈值分布信息，对目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合。

[0027] 在一些实施例中，上述执行主体可以基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合。其中，上述目标视频帧可以是视频帧序列中的第一个视频帧。

[0028] 在一些实施例的一些可选的实现方式中，上述基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，可以包括以下步骤：

[0029] 第一步，对于上述目标视频帧中的每个像素p，从预设标准正态分布中采样阈值噪声z(p)。其中， 是均值为0、标准差为1的正态分布。z(p)表示p的
采样阈值噪声。

[0030] 第二步，根据上述事件相机阈值分布信息 对上述采样阈值噪声进行修正，得到上述像素的事件相机采样阈值θ(p)＝μ(p)+z(p)×σ(p)。其中，p表示上述像素。θ(p)表示p的事件相机采样阈值。θ()表示上述事件相机采样阈值。μ(p)表示p的均值。μ()表示均值。z(p)表示p的采样阈值噪声。z()表示采样阈值噪声。σ(p)表示p的标准差。σ()表示标准差。

[0031] 第三步，对上述事件相机采样阈值进行截断处理，得到事件相机阈值θ(p)＝max(θ(p)，∈)。其中，max(，)表示求两个数中的最大值。∈表示事件相机采样阈值的下限。∈的取值为∈＝0.01。事件相机采样阈值可以是正数。事件相机采样阈值低于预定阈值，可能会产生不贴合实际的事件相机仿真结果。故设置事件相机采样阈值的下限，以确保采样阈值合理性。

[0032] 步骤104，对事件相机阈值集合和视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据。

[0033] 在一些实施例中，上述执行主体可以对上述事件相机阈值集合和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据。

[0034] 在一些实施例的一些可选的实现方式中，上述伪并行的事件数据仿真生成处理是对输入的上述视频帧序列中的相邻的视频帧进行处理，以生成正事件累积图和负事件累积图的处理。并将所得到的正事件累积图集合和负事件累积图集合确定为仿真事件相机数据。其中，对输入的上述视频帧序列中的相邻的视频帧通过如下处理，以生成正事件累积图和负事件累积图：

[0035]

[0036] 其中，p表示像素。Npos表示正事件累积图。k表示上述视频帧序列中的视频帧的序号。tk表示第k个视频帧的事件累计图的时间点。tk+1表示第k+1个视频帧的事件累计图的时间点。 表示tk到tk+1时间段内的正事件累积图。 表示p在tk到tk+1时间段内的正事件累积图。h()表示取正数函数。 表示在tk到tk+1时间段内的事件累
计数。 表示p在tk到tk+1时间段内的事件累计数。若 为正数，表示
neg
p处为正事件累计数。若 为负数，表示p处为负事件累计数。N 表示负事件累
积图。 表示tk到tk+1时间段内的负事件累积图。 表示p在tk到tk+1
时间段内的负事件累积图。 表示0～tk+1时间段内的事件累计数。 表示
p在0～tk+1时间段内的事件累计数。 表示0～tk时间段内的事件累计数。
表示p在0～tk时间段内的事件累计数。其中， 通过以下公式得到：

[0037]

[0038] 其中，floor()表示向0取整函数。 表示在0～tk+1时间段内的通过计算第k+1帧的 和第0帧的 的亮度变化得到的事件累计数。 表示p在0～
tk+1时间段内的通过计算第k+1帧的 和第0帧的 的亮度变化得到的事件累
计数。 表示对 向0取整。 表示tk+1时刻的事件修正函
数。 表示p在tk+1时刻的事件修正值。log()表示对数函数。 表示tk+1时刻的
亮度值。 表示tk+1时刻的帧中p的亮度值。 表示t0时刻的亮度值。 表示t0
时刻的帧中p的亮度值。θ(p)表示p的事件相机采样阈值。其中， 通过以下公式得到：

[0039]

[0040] 其中， 表示在0～tk时间段内的通过计算第k帧的 和第0帧的 亮度变化得到的事件累计数。 表示p在0～tk时间段内的通过计算第k帧的 和第
0帧的 亮度变化得到的事件累计数。 表示对 向0取整。
表示tk时刻的事件修正函数。 表示p在tk时刻的事件修正值。∧表示逻辑“与”操作。当即0～tk+1时间段内的累计事件为负事件时，如果在tk～tk+1时间段内产生
了正事件 则由于floor()函数的作用会产生正
错误。上述正错误为多记录一个正事件。设置 修正上述正错误。当
时，如果在tk～tk+1时间段内产生了负事件，则会产生负错误。上述负错误为多记录一个负事件。设置 修正上述负错误。当在0～tk+1时间段内未产生事件时，若上一段
时间内进行了修正，则进行修正。若上一段时间内未进行修正，则不进行修正。其他情况下不进行修正，即

[0041] 步骤105，将仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息。

[0042] 在一些实施例中，上述执行主体可以将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习，并通过梯度下降算法，对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息。其中，上述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值。

[0043] 在一些实施例的一些可选的实现方式中，上述将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，可以包括以下步骤：

[0044] 如图2所示，图2是根据本公开的事件相机的数据模拟方法的另一些实施例的流程图。

[0045] 步骤201，对上述仿真事件相机数据和上述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息。

[0046] 可选的，对上述仿真事件相机数据和上述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，可以包括以下步骤：

[0047] 确定上述预先获取的事件相机拍摄数据在预定时间段内的第一正事件累计图和第一负事件累计图 其中，上述预定时间段可以是50毫秒。

[0048] 确定上述仿真事件相机数据在上述预定时间段内的第二正事件累计图 和第二负事件累计图

[0049] 利用以下公式，对上述第一正事件累计图、上述第一负事件累计图、上述第二正事件累计图和上述第二负事件累计图分别求梯度，得到第一事件表征信息和第二事件表征信息作为事件表征信息：

[0050] G＝|gx(M)|+|gy(M)|。

[0051] 其中，G表示事件表征信息。gx()表示在坐标轴的x方向求梯度。M表示事件累积图。即上述第一正事件累积图、第一负事件累积图、第二正事件累积图和第二负事件累积图的总称。gx(M)表示M在坐标轴x方向上求梯度。x表示坐标轴的横方向。gy()表示在坐标轴的y方向求梯度。gy(M)表示M在坐标轴y方向上求梯度。y表示坐标轴的纵方向。上述坐标轴是以帧的左上角为原点，以帧的宽向右的方向为x轴的正半轴，以帧的高向下的方向为y轴的正半轴的坐标轴。其中，上述事件表征信息为：

[0052]

[0053] 其中，Er表示上述第一事件表征信息。E表示事件表征信息。r表示预先获取的事件相机拍摄数据。 表示上述第一正事件累计图。 表示上述第一负事件累计图。表示 的梯度。 表示 的梯度。Eg表示上述第二事件表征信息。g表示上述
仿真事件相机数据。 表示上述第二正事件累计图。 表示上述第二负事件累计图。
表示 的梯度。 表示 的梯度。R表示实数集。H表示特征的高度。W表示特
征的宽度。

[0054] 步骤202，对上述事件表征信息进行分治处理，得到分治处理后的事件表征信息。其中，上述分治处理包括以下步骤：对上述事件表征信息进行分块，得到多个表征块。对上述多个表征块中的每个表征块进行特征分析以生成特征哈希键值，得到特征哈希键值集合。根据上述特征哈希键值集合和预设哈希表，确定与上述多个表征块对应的多个判别器网络模型，如图4所示，根据上述特征哈希键值集合，查找预设哈希表，确定判别器网络模型。利用上述多个判别器网络模型判别上述多个表征块的事件表征信息是否满足预设条件。并根据预先获取的数据分布对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息。其中，上述特征分析中的特征包括：梯度角度，梯度强度和特征散度。

[0055] 作为示例，预设哈希表可以是{k1：d1，k2：d2}这里的k1和k2即为哈希键值。d1和d2即为不同的判别器网络模型。得到的特征哈希键值集合可以是{k1，k1，k2，k2}。即可通过查找哈希表，得到对应的判别器网络模型为{d1，d1，d2，d2}。

[0056] 可选的，上述对上述事件表征信息进行分治处理，得到分治处理后的事件表征信息，可以包括以下步骤：

[0057] 通过网格分块将事件表征信息E分成4×4共16块，得到表征块 其中， 表示表征块。R表示实数集。H表示特征的高度。W表示特征的宽度。

[0058] 对上述多个表征块利用哈希函数进行结构分析。并根据哈希值选择相应的判别器网络模型进行后续处理。 对应的判别器网络模型的输出结果用如下公式表示：

[0059]

[0060] 其中， 表示表征块。D()表示上述判别器网络模型。 表示 对应的判别器网络模型的输出结果。k表示判别器网络模型的序号。ind()表示示性函数。当条件成立时值为1。当条件不成立时值为0。s()表示哈希函数。 表示 输入到哈希函数中的返回值。Dk()表示第k个判别器网络模型。 表示 输入到第k个判别器网络模型的输出结果。 表示对所有判别器网络模型的输出结果进行求和。

[0061] 作为示例，对于任意输入的表征块，哈希函数会返回一个哈希值，等于k。也就是第k个判别器对应的示性函数的取值会是1，其他的示性函数的取值都是0。对所有判别器网络模型的输出结果求和，可以等价于最终得到的总体判别器网络模型，即将表征块输出到第k个判别器得到的结果。

[0062] 判别器网络模型的数量可以是216个，可以从0‑215对判别器网络模型进行编号。每当输入一个表征块 会得到一个值，该值在0～215之间。比如是10，那么
的值为1。对于k等于其他值，则示性函数的取值都是0。

[0063] 梯度角度和梯度强度的分析步骤如下：

[0064] 确定每个表征块的梯度，得到梯度矩阵。

[0065] 确定上述梯度矩阵的特征值{λ1，λ2}和特征向量{φ1，φ2}。

[0066] 通过如下公式计算梯度角度 和梯度强度γ。

[0067]

[0068] 其中， 表示梯度角度。arctan(，)表示反正切函数。arctan(φ1，φ2)表示φ1和φ2的反正切函数。φ1表示坐标轴x方向上特征向量。φ2表示坐标轴y方向上特征向量。γ表示上述梯度强度。 表示坐标轴x方向上的特征值的平方根。 表示坐标轴y方向上的特征值的平方根。c(m)表示m的特征散度。特征散度表征事件的聚集程度。m表示表征块。c()表示特征散度。q表示像素p的相邻像素。P()表示表征块中所有像素的集合。P(m)表示第m个表征块中所有像素的集合。N()表示像素的4邻域。N(p)表示像素p的4邻域。 表示像2
素p与相邻像素q的梯度。||||表示范数的平方。O[]表示概率。 表示 的
概率。

[0069] 步骤203，上述利用上述多个判别器网络模型判别上述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，可以包括以下步骤：

[0070] 对梯度角度、梯度强度和特征散度分别量化成24、3和3共三个等级。

[0071] 设置216个判别器网络模型。其中，上述216个判别器网络模型中的每个判别器网络模型由一个多层感知器网络结构构成。上述多层感知器网络结构由三层线性层构成。上述三层线性层中的每层线性层的通道数分别为256，128和1。通道数可以是每层线性层输出的特征向量的大小。即三层线性层中第一层输出的特征向量大小为256×1。第二层输出特征向量大小为128×1。最终输出特征向量大小为1×1，即一个值，该值是0～1之间的一个值。四舍五入后为0代表事件表征图不是来自于真实数据，四舍五入后为1代表事件表征图来自于真实数据。其中，上述216个判别器网络模型由于训练的数据量不同，置信度也不同。通过如下公式对上述事件相机阈值分布信息进行更新：

[0072]

[0073] 其中，ωk表示第k个判别器网络模型的置信度。k表示判别器网络模型的序号。ω表示判别器网络模型的置信度。α表示平衡参数。α的取值为α＝0.5。K表示判别器网络模型训练的数据。K的取值为K＝216。S表示判别器网络模型训练的数据量。Sk表示第k个判别器网络模型训练的数据量。∑kSk表示对上述216个判别器网络模型训练的数据量求和，即求总数据量。LD表示判别器网络模型的对抗式学习损失函数。L表示损失函数。D表示判别器网络模型的对抗式学习。Er表示上述第一事件表征信息。E表示事件表征信息。r表示预先获取的事件相机拍摄数据。Pr()表示预先获取的事件相机拍摄数据的数据分布。Pr(Er)表示符合Er的预先获取的事件相机拍摄数据的数据分布。P表示数据分布。D()表示上述判别器网络模型。Eg表示上述第二事件表征信息。g表示上述仿真事件相机数据。Pg()表示上述仿真事件相机数据的数据分布。Pg(Mg)表示符合Eg的仿真事件相机拍摄数据的数据分布。

[0074] 步骤106，基于更新后的事件相机阈值分布信息、视频帧序列和预设噪声信号，生成仿真事件相机数据。

[0075] 在一些实施例中，上述执行主体可以基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据。其中，上述仿真事件相机数据是与上述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。

[0076] 生成仿真事件相机数据的过程包括两个阶段：训练阶段和测试阶段(使用阶段)。其中，训练阶段：将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息。
测试阶段(使用阶段)：基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据。

[0077] 在一些实施例的一些可选的实现方式中，上述基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据，可以包括以下步骤：

[0078] 第一步，根据上述更新后的事件相机阈值分布信息，对上述视频帧序列中的各个视频帧中的每个像素进行事件相机阈值采样以生成事件相机阈值，得到事件相机阈值组序列。

[0079] 第二步，对上述事件相机阈值组序列和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到事件相机数据。

[0080] 第三步，将预设噪声信号添加至上述事件相机数据，得到仿真事件相机数据。

[0081] 可以理解的是，一种事件相机的数据模拟装置中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于一种事件相机的数据模拟装置及其中包含的单元，在此不再赘述。

[0082] 尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术邻域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。