基于区块链的数据处理方法及系统转让专利
申请号 : CN202010603381.8
文献号 : CN111754267B
文献日 : 2021-04-20
发明人 : 谭小敢 , 邢文超
申请人 : 浙江德塔森特数据技术有限公司
摘要 :
权利要求 :
1.基于区块链的数据处理方法,其特征在于,所述方法包括:S1、服务器获取待投放的广告视频数据,并将广告视频数据进行预处理后生成广告特征提取任务发布至区块链中,其中,广告特征提取任务包括三个子任务:文字广告特征提取任务、语音广告特征提取任务以及图像广告特征提取任务;
S2、节点根据预设的约束规则从区块链获取一个子任务,节点通过对文字广告特征提取任务进行处理生成文字特征弹幕,通过对语音广告特征提取任务进行处理生成语音特征弹幕,通过对图像广告特征提取任务进行处理生成图像特征弹幕;
S3、服务器获取视频直播数据,所述直播视频数据包括视频数据、弹幕数据、用户标识和用户特征数据,服务器通过预设的分类规则对用户进行分类,生成针对不同类别用户的广告弹幕输出策略;
S4、服务器计算直播活跃分数H,若直播活跃分数H大于阈值,则通过预测模型对直播视频的下一突变帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出,所述广告弹幕为S2获得的文字特征弹幕、语音特征弹幕或图像特征弹幕。
2.根据权利要求1所述的方法,其特征在于,所述S1将广告视频数据进行预处理具体包括:
S11、服务器获取的广告视频数据,对所述广告视频数据进行音频分离,获得广告视频和广告音频;
S12、对所述广告视频进行抽帧处理,获得广告视频帧图像。
3.根据权利要求2所述的方法,其特征在于,所述通过对文字广告特征提取任务进行处理生成文字特征弹幕,具体包括:S21、对广告视频帧图像的字幕进行提取;
S22、对提取的字幕进行重复度判断,并将重复次数大于次数阈值的选定字幕生成文字特征弹幕;
S23、若重复次数不大于次数阈值,则对提取的字幕分别进行特征值Q判断,将特征值大于预设阈值的的选定字幕生成文字特征弹幕,其中,特征值Q通过如下公式进行计算:f1是选定字幕在提取的字幕中出现的频率,f0是选定字幕在标准语料库中出现的频率;
所述通过对语音广告特征提取任务进行处理生成语音特征弹幕具体包括:S24、将广告音频进行文字转换;
S25、对文字进行重复度判断,并将重复次数大于次数阈值的选定文字所对应的语音生成语音特征弹幕;
S26、若重复次数不大于次数阈值,则对文字进行特征值Q判断,将特征值大于预设阈值的选定文字所对应的语音生成语音特征弹幕,其中,特征值Q通过如下公式进行计算:f1是选定文字在转换文字中出现的频率,f0是选定文字在标准语料库中出现的频率;
所述通过对图像广告特征提取任务进行处理生成图像特征弹幕具体包括:S27、获取广告视频帧图像集合;
S28、获取广告视频帧图像的灰度图像,使用Prewitt边缘检测算子对所述灰度图像进行边缘检测,生成广告视频帧图像的对象轮廓图像;
S29、对对象轮廓图像进行二值化处理,生成二值化图像,并进行形态学闭运算处理,生成广告视频帧图像的闭运算处理图像;
S30、获取闭运算处理图像的多个初始曲线;
S31、将初始曲线的信息代入总能量泛函E,总能量泛函E公式如下:其中,f表示图像强度,a和b表示空间变量,Ω代表初始曲线的内部, 代表初始曲线的外部,χ代表以b为中心的局部圆;
S32、通过最速下降法求解总能量泛函E的最小值,得到水平集函数的演化方程;
S33、通过有限差分法对演化方程进行不断迭代直到水平集函数达到稳定状态,选取零水平集上的点组成对象轮廓;
S34、提取广告视频帧图像集合中对象轮廓,根据对象轮廓判断对象是否相同,选取数量大于数量阈值所对应的对象进行对象图像分割,基于对象图像生成图像特征弹幕。
4.根据权利要求3所述的方法,其特征在于,所述S21具体包括:S211、对每个广告视频帧图像进行预处理提取字幕投放区域,其中,预处理包括:通过如下公式对每个广告视频帧图像进行亮度转换:Pm(x,y)=0.3·CR(x,y)+0.59·CG(x,y)+0.11·CB(x,y);
其中,R,G和B是红色分量、绿色分量、蓝色分量,Pm(x,y)是亮度图像,x和y是每个图像中的像素位置;
然后,通过如下公式进行噪声处理得到去噪图像Pn(x,y):然后,通过如下公式创建提取图像:P1(x,y)=Pn(x,y)-Pn(x-1,y+1)P2(x,y)=Pn(x,y)-Pn(x,y+1)P3(x,y)=Pn(x,y)-Pn(x+1,y+1)P4(x,y)=Pn(x,y)-Pn(x-1,y)P5(x,y)=Pn(x,y)-Pn(x+1,y)P6(x,y)=Pn(x,y)-Pn(x-1,y-1)P7(x,y)=Pn(x,y)-Pn(x,y-1)P8(x,y)=Pn(x,y)-Pn(x+1,y-1)然后,将提取图像垂直投影到字幕串获得字幕投放区域;
S212、逐帧判断的字幕投放区域与前一广告视频帧图像的字幕投放区域是否相同,若相同且当前广告视频帧图像与前一广告视频帧图像的像素值差的绝对值小于特定值,则归为同一字幕帧组;
S213、通过如下公式计算同一字幕帧组中每个广告视频帧图像的简化分数:其中,K为简化分数,fi为广告视频帧图像中第i个取样点的像素值,m为广告视频帧图像的取样点总数;
S214、对简化分数最低的广告视频帧图像的字幕投放区域的图像进行提取,去除背景后进行字符识别,得到字幕文本。
5.根据权利要求1所述的方法,其特征在于,所述约束规则具体包括:根据节点数量M0,为文字广告特征提取任务设定分配次数阈值M1,为语音广告特征提取任务设定分配次数阈值M2,为图像广告特征提取任务设定分配次数阈值M3,其中M1
节点随机获取一个子任务,且对应子任务被分配次数达到阈值,则节点选择获取其他子任务;
在节点完成任一子任务后,在区块链中广播,按比例更新其他子任务的分配次数阈值,完成任务节点随机获取一个其他子任务,且对应其他子任务被分配次数达到阈值,则节点选择获取剩余子任务;
在节点完成两个子任务后,在区块链中广播,更新剩余子任务的分配次数阈值,完成任务节点获取剩余子任务,直至剩余子任务被完成。
6.根据权利要求1所述的方法,其特征在于,所述服务器通过预设的分类规则对用户进行分类,具体包括:
用户特征数据包括用户注册信息、用户弹幕历史数据和用户付费数据,服务器根据用户注册信息对用户进行一级分类,分为新用户和老用户;
根据用户付费数据对老用户进行二级分类,分为会员用户和非会员用户;
根据弹幕数据和用户弹幕历史数据计算用户活跃分数G,通过与活跃分数阈值比较对非会员用户进行三级分类,分为非会员高活跃度用户和非会低活跃度用户,其中,用户活跃分数G的计算公式如下:
其中,x1为弹幕数据中文字弹幕的数量,y1为弹幕数据中语音弹幕的数量,z1为弹幕数据中图像弹幕的数量,x2为用户弹幕历史数据中文字弹幕的数量,y2为用户弹幕历史数据中语音弹幕的数量,z2为用户弹幕历史数据中图像弹幕的数量,a1为弹幕数据中文字弹幕的重复数量,b1为弹幕数据中语音弹幕的重复数量,c1为弹幕数据中图像弹幕的重复数量,a2为用户弹幕历史数据中文字弹幕的重复数量,b2为用户弹幕历史数据中语音弹幕的重复数量,c2为用户弹幕历史数据中图像弹幕的重复数量,A为文字弹幕的权重,B为语音弹幕的权重,C为图像弹幕的权重,W1为第一修正参数,W2为第二修正参数,W3为第一修正参数,W4为第四修正参数;
所述广告弹幕输出策略,具体包括:针对新用户,进行文字特征弹幕、语音特征弹幕和图像特征弹幕输出;
针对会员用户,不进行广告弹幕输出;
针对非会员高活跃度用户,进行文字特征弹幕和语音特征弹幕输出;
针对非会低活跃度用户,进行文字特征弹幕和图像特征弹幕输出。
7.根据权利要求6所述的方法,其特征在于,所述直播活跃分数H的计算公式如下:其中,α(t)为t时刻发布过弹幕的用户数量,γ(t)为t时刻用户总数量,Gγ为第γ个用户的活跃分数,T0(t)为t时刻直播总时长,T1(t)为t时刻主播沉默总时长。
8.根据权利要求1所述的方法,其特征在于,所述通过预测模型对直播视频的下一突变帧进行预测,具体包括:
获取视频数据视频帧的DC图像的直方图按如下公式进行归一化处理,按照比例分为训练数据和测试数据,
其中, 为归一化处理后的第i个时间序列对应的真实视频帧的DC图像的直方图,xi为第i个时间序列对应的真实视频帧的DC图像的直方图,u为真实视频帧的DC图像的直方图的均值,σ为标准差;
构建基于预测模型的LSTM神经网络,并通过训练数据进行训练;
通过训练完成的LSTM神经网络预测t时刻视频帧的突变状态,从而完成对下一突变帧的预测;
其中,所述LSTM神经网络包括一个输入层、一个LSTM细胞层、一个输出层;所述LSTM细胞层的内部设置有若干门限,包含遗忘门f(t)、输入门i(t)、输出门o(t);并且LSTM神经网络的前向传播在每个序列索引位置的过程为:更新遗忘门输出:
f(t)=σ(W(fx)x(t)+W(fh)h(t-1)+b(f));
更新输入门两部分输出:
i(t)=σ(W(ix)x(t)+W(ih)h(t-1)+b(i)),g(t)=tanh(W(gx)x(t)+W(gh)h(t-1)+b(g));
更新细胞状态:
更新输出门输出:
o(t)=σ(W(ox)x(t)+W(oh)h(t-1)+b(o)),引入入时间注意力机制:
定义LSTM神经网络的损失函数如下:其中,σ表示sigma函数,⊙表示Hadamard乘积,W(fx)、W(fh)、W(ix)、W(ih)、W(gx)、W(gh)、W(ox)、W(oh)、W(cc)、W(ch)表示权重,b(f)、b(i)、b(g)、b(o)、 表示偏置, 为t时刻细胞状态,h(t)为t时刻隐藏状态,N为训练样本的数量,yt为t时刻真实突变信息, 为t时刻预测突变信息,通过 计算,W(s)表示权重,b(s)表示偏置,T(n)为第n个突变预测训练样本所选择的位置数。
9.根据权利要求8所述的方法,其特征在于,通过如下公式对损失函数进行扩充以进行持续学习:
其中,i为神经网络参数,θi为神经网络参数集合,θA,i为前一任务权重,LB(θ)为后一任务损失函数,λ为折扣因子,Fi为Fisher信息矩阵。
10.基于区块链的数据处理系统,其特征在于,所述系统包括:服务器,服务器包括:
接收单元,用于获取待投放的广告视频数据;
处理单元,用于将广告视频数据进行预处理,用于获取视频直播数据,所述直播视频数据包括视频数据、弹幕数据、用户标识和用户特征数据,根据弹幕数据、用户标识和用户特征数据通过深度学习模型对用户进行分类,生成针对不同类别用户的广告弹幕输出策略;
用于根据视频数据和弹幕数据计算直播活跃分数H,若直播活跃分数H大于阈值,则通过预测模型对下一重点帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出,所述广告弹幕为发送模块发送的文字特征弹幕、语音特征弹幕或图像特征弹幕;
发布单元,用于将广告特征提取任务发布至区块链中,其中,广告特征提取任务包括三个子任务:文字广告特征提取任务、语音广告特征提取任务以及图像广告特征提取任务;
主播端,用于视频直播,发送和接收弹幕,并与服务器进行数据交互;
用户端,用于观看视频直播,发送和接收弹幕,并与服务器进行数据交互;
多个节点,所述节点包括:
获取模块,用于根据预设的约束规则从区块链获取一个子任务;
处理模块,用于通过对文字广告特征提取任务进行处理生成文字特征弹幕,通过对语音广告特征提取任务进行处理生成语音特征弹幕,通过对图像广告特征提取任务进行处理生成图像特征弹幕;
发送模块,用于文字特征弹幕、语音特征弹幕或图像特征弹幕发送至服务器;
区块链,所述区块链包括:
存储层,用于记录节点数据和服务器数据;
交互层,用于和节点、服务器进行数据交互;
处理层,用于节点达成共识,基于约束层进行奖励区块的生成、交易与记录;
约束层,用于建立区块链约束规则。
说明书 :
基于区块链的数据处理方法及系统
【技术领域】
因此,在视频直播行业中拥有巨大的商机,而广告的投放则是视频直播行业面临的一个重
要课题。
告投放效果较差。
【发明内容】
提取任务、语音广告特征提取任务以及图像广告特征提取任务;
特征弹幕,通过对图像广告特征提取任务进行处理生成图像特征弹幕;
户的广告弹幕输出策略;
策略对不同用户进行广告弹幕输出。
值,则归为同一字幕帧组;
节点选择获取剩余子任务;
活跃分数G的计算公式如下:
据中语音弹幕的数量,z2为用户弹幕历史数据中图片弹幕的数量,a1为弹幕数据中文字弹幕
的重复数量,b1为弹幕数据中语音弹幕的重复数量,c1为弹幕数据图片字弹幕的重复数量,
a2为用户弹幕历史数据中文字弹幕的重复数量,b2为用户弹幕历史数据中语音弹幕的重复
数量,c2为用户弹幕历史数据中图像弹幕的重复数量,A为文字弹幕的权重,B为语音弹幕的
权重,C为图片弹幕的权重,W1为第一修正参数,W2为第二修正参数,W3为第一修正参数,W4为
第四修正参数;
图的均值,σ为标准差;
网络的前向传播在每个序列索引位置的过程为:
为t时刻隐藏状态,N为训练样本的数量,yt为t时刻真实突变信息, 为t时刻预测突变信
息, 通过 计算,W(s)表示权重,b(s)表示偏置,T(n)为第n个突变预
测训练样本所选择的位置数。
户特征数据通过深度学习模型对用户进行分类,生成针对不同类别用户的广告弹幕输出策
略;用于根据视频数据和弹幕数据计算直播活跃分数H,若直播活跃分数H大于阈值,则通过
预测模型对下一重点帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插
播策略对不同用户进行广告弹幕输出;
务;
处理生成图像特征弹幕;
征弹幕、语音特征弹幕和图像特征弹幕,然后生成针对不同类别用户的广告弹幕输出策略,
最后在直播活跃分数H大于阈值,则通过预测模型对直播视频的下一突变帧进行预测,若预
测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出。
本发明实施例将广告视频以弹幕的形式插入直播视频中,不会干扰用户正常观看直播视
频,广告通过弹幕使得内容也更容易引起用户注意而进行浏览,因此,针对直播视频广告投
放效果更佳。
【附图说明】
普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附
图。
实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创
造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
提取任务、语音广告特征提取任务以及图像广告特征提取任务;
特征弹幕,通过对图像广告特征提取任务进行处理生成图像特征弹幕;
户的广告弹幕输出策略;
策略对不同用户进行广告弹幕输出。
征弹幕、语音特征弹幕和图像特征弹幕,然后生成针对不同类别用户的广告弹幕输出策略,
最后在直播活跃分数H大于阈值,则通过预测模型对直播视频的下一突变帧进行预测,若预
测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出。
本发明实施例将广告视频转换成以弹幕的形式插入直播视频中,不会干扰用户正常观看直
播视频,广告通过弹幕使得内容也更容易引起用户注意而进行浏览,因此,针对直播视频广
告投放效果更佳;通过区块链进行多任务同步处理,提高了任务处理效率,降低了服务器产
生的冗余,减少了服务器负担;通过预设的分类规则对用户进行分类,生成针对不同类别用
户的广告弹幕输出策略,实现最优的广告投放效果;根据直播活跃分数进行广告投放,增加
了广告的曝光率,而同时,通过预测模型对直播视频的下一突变帧预测,可预测接下来一段
直播视频的场景中是否存在着视频突变,避免了因广告投放干扰了精彩的直播内容。
次数阈值的选定字幕生成文字特征弹幕。而若重复次数不大于次数阈值,则对提取的字幕
分别进行特征值Q判断,通过特征值Q进行广告词或者广告语筛选,进而转换成文字特征弹
幕。通过上述方法提高了字幕提取广告词或者广告语的准确性。
值,则归为同一字幕帧组;
频帧图像的字幕投放区域的图像进行提取,避免了大量运算,因此,字幕提取高效且准确率
高。
将广告对象准确的提取出来,用于生成图像特征弹幕。
数达到阈值,则节点选择获取剩余子任务;
能接近同步被完成,而在任一子任务被完成后,其他未完成任务会被再次分配,充分发挥了
各个节点的算力,提高了任务完成的效率。
活跃分数G的计算公式如下:
据中语音弹幕的数量,z2为用户弹幕历史数据中图片弹幕的数量,a1为弹幕数据中文字弹幕
的重复数量,b1为弹幕数据中语音弹幕的重复数量,c1为弹幕数据图片字弹幕的重复数量,
a2为用户弹幕历史数据中文字弹幕的重复数量,b2为用户弹幕历史数据中语音弹幕的重复
数量,c2为用户弹幕历史数据中图像弹幕的重复数量,A为文字弹幕的权重,B为语音弹幕的
权重,C为图片弹幕的权重,W1为第一修正参数,W2为第二修正参数,W3为第一修正参数,W4为
第四修正参数;
幕、语音特征弹幕和图像特征弹幕输出,无论用户观看不显眼的文字弹幕还是显眼的图像
弹幕,或者出于好奇心点击语音弹幕,从而实现最大的广告曝光度;针对会员用户,不进行
广告弹幕输出,实现会员用户更好的体验;针对非会低活跃度用户,进行文字特征弹幕和图
像特征弹幕输出,使得广告可以更直接进行曝光;针对非会员高活跃度用户,进行文字特征
弹幕和语音特征弹幕输出,因为非会员高活跃度用户会基于主播与观众之间,观众与观众
之间的交流,会主动浏览文字特征弹幕和语音特征弹幕,而且频率较高,因此,通过文字特
征弹幕和语音特征弹幕即可实现广告充分曝光,而且避免因图像弹幕体验存在而影响弹幕
交流。
图的均值,σ为标准差;
网络的前向传播在每个序列索引位置的过程为:
为t时刻隐藏状态,N为训练样本的数量,yt为t时刻真实突变信息, 为t时刻预测突变信
息, 通过 计算,W(s)表示权重,b(s)表示偏置,T(n)为第n个突变预
测训练样本所选择的位置数。
户特征数据通过深度学习模型对用户进行分类,生成针对不同类别用户的广告弹幕输出策
略;用于根据视频数据和弹幕数据计算直播活跃分数H,若直播活跃分数H大于阈值,则通过
预测模型对下一重点帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插
播策略对不同用户进行广告弹幕输出;
务;
处理生成图像特征弹幕;
14,在硬件层面,该系统包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储
器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括
非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该系统还可能
包括其他业务所需要的硬件。
Component Interconnect,外设部件互连标准)总线或EISA(Extended Industry Standard
Architecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总
线等。为便于表示,图14中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的
总线。
装置。处理器,执行存储器所存放的程序,以通过执行的程序实现本发明任一实施例中提供
的广告插入方法。
能够使该系统执行本发明任一实施例中提供的广告插入方法。
的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理
器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器
(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,
DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门
阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶
体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及
逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的
存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方
法的步骤。
能够使该系统执行本发明任一实施例中提供的系统工作方法。
施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产
品的形式。
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
示例。
计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动
态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除
可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、
数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备
或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算
机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要
素的过程、方法、商品或者设备中还存在另外的相同要素。
件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由
通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以
位于包括存储设备在内的本地和远程计算机存储介质中。
例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的
部分说明即可。
替换、改进等,均应包含在本发明的权利要求范围之内。