一种被动式数字电视终端的人机交互方法和装置转让专利
申请号 : CN202110991561.2
文献号 : CN113438530B
文献日 : 2021-11-12
发明人 : 邓艳 , 廖佳秋
申请人 : 深圳佳力拓科技有限公司
摘要 :
权利要求 :
1.一种被动式数字电视终端的人机交互方法,其特征在于,包括:S1、数字电视终端在播放视频之前,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;再通过预设的双向通信网络,以终端播放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的整数;
S2、数字电视终端获取所述m个移动终端分别对应的m个播放参数序列,并以播放参数发生变化的筛选规则,对所述m个播放参数序列分别进行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是播放所述指定视频的播放参数;
S3、数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;
S4、数字电视终端根据时间点与发生变化后的播放参数的对应关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;
S5、数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数;
S6、数字电视终端在播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成员、…、第n成员处时,将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、…、第n+1播放参数;
S7、数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像;
S8、数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;
其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;
S9、若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频;
所述数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像的步骤S7,包括:
S701、数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部的局部区域进行第一图像采集处理,以得到仅包括鼻子和嘴部的第一面部图像;
所述数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;
其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到的步骤S8之前,包括:
S71、获取预先收集的样本图像集;其中,所述样本图像是在对观看视频时的自然人进行图像采集得的,并且所述样本图像仅包括自然人的鼻子和嘴部;所述样本图像集包括第一样本图像和第二样本图像,所述第一样本图像是在自然人进行手动修改播放参数时采集得到的,所述第二样本图像是在自然人未进行手动修改播放参数时采集得到的;
S72、对所述样本图像集中的第一样本图像标记上否定标识,同时对所述样本图像集中的第二样本图像标记上肯定标识;
S73、将所述样本图像集划分为训练图像集和验证图像集;其中,所述训练图像集中的标记有否定标识的图像所占比例,等于所述验证图像集中的标记有否定标识的图像所占比例;
S74、调取预设的深度卷积神经网络模型,并将所述训练图像集中的数据输入所述深度卷积神经网络模型中进行训练,以得到初步预测模型;
S75、采用所述验证图像集中的数据对所述初步预测模型进行验证处理,以得到验证结果,并判断所述验证结果是否为合格;
S76、若所述验证结果为合格,则将所述初步预测模型作为否定信息预测模型;
其中,第一样本图像标记上否定标识,是指自然人对当前的播放参数不满意;
所述第一预测结果不为否定,指第一面部图像不为不满意表情。
2.根据权利要求1所述的被动式数字电视终端的人机交互方法,其特征在于,所述数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心的步骤S3中的聚类算法为k‑means聚类算法。
3.根据权利要求1所述的被动式数字电视终端的人机交互方法,其特征在于,所述数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数的步骤S5,包括:S501、数字电视终端根据公式:
计算出对应于一个播放参数集合的偏移数值P,从而获取对应于所述n个播放参数集合的n个偏移数值;其中,被计算的播放参数集合的成员为t个,Bi为被计算的播放参数集合的第i个成员,Ai为对应于Bi的初始播放参数;
S502、根据公式:Q2=(1+P1)·Q1、Q3=(1+P2)·Q2、…、Qn+1=(1+Pn)·Qn,计算出第二播放参数、第三播放参数、…、第n+1播放参数;其中,Q1为第一播放参数,Q2为第二播放参数,Q3为第三播放参数,Qn+1为第n+1播放参数;P1为对应于第一个播放参数集合的第一偏移数值,P2为对应于第二个播放参数集合的第二偏移数值、…、Pn为对应于第n个播放参数集合的第n偏移数值。
4.根据权利要求1所述的被动式数字电视终端的人机交互方法,其特征在于,所述数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到的步骤S8之后,包括:
S81、若所述第一预测结果为否定,则数字电视终端将播放参数调整回所述第一播放参数,以继续播放所述指定视频;
S82、数字电视终端采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第二图像采集处理,以得到第二面部图像;
S83、数字电视终端将所述第二面部图像输入所述否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第二预测结果,并判断所述第二预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;
S84、若所述第二预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据所述第一播放参数继续播放所述指定视频。
5.一种被动式数字电视终端的人机交互装置,其特征在于,包括:第一播放参数获取单元,用于指示数字电视终端在播放视频之前,获取第一播放参数,并以所述第一播放参数为依据播放指定视频;再通过预设的双向通信网络,以终端播放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的整数;
播放参数序列获取单元,用于指示数字电视终端获取所述m个移动终端分别对应的m个播放参数序列,并以播放参数发生变化的筛选规则,对所述m个播放参数序列分别进行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是播放所述指定视频的播放参数;
时间点聚类获取单元,用于指示数字电视终端汇总所述m个时间点序列中的所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;
播放参数集合建立单元,用于指示数字电视终端根据时间点与发生变化后的播放参数的对应关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;
偏移数值计算单元,用于指示数字电视终端根据预设的偏移数值计算方法,对所述n个播放参数集合分别进行偏移数值计算处理,以对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数;
播放参数修改单元,用于指示数字电视终端在播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成员、…、第n成员处时,将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放参数、…、第n+1播放参数;
第一面部图像采集单元,用于指示数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像;
第一预测结果判断单元,用于指示数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到;
继续播放指令生成单元,用于指示若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频;
所述数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面部图像,包括:数字电视终端在修改完播放参数的预设时间长度内,采用预设的图像传感器,对数字电视终端的观看者的面部的局部区域进行第一图像采集处理,以得到仅包括鼻子和嘴部的第一面部图像;
所述数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;
其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练得到之前,包括:
获取预先收集的样本图像集;其中,所述样本图像是在对观看视频时的自然人进行图像采集得的,并且所述样本图像仅包括自然人的鼻子和嘴部;所述样本图像集包括第一样本图像和第二样本图像,所述第一样本图像是在自然人进行手动修改播放参数时采集得到的,所述第二样本图像是在自然人未进行手动修改播放参数时采集得到的;
对所述样本图像集中的第一样本图像标记上否定标识,同时对所述样本图像集中的第二样本图像标记上肯定标识;
将所述样本图像集划分为训练图像集和验证图像集;其中,所述训练图像集中的标记有否定标识的图像所占比例,等于所述验证图像集中的标记有否定标识的图像所占比例;
调取预设的深度卷积神经网络模型,并将所述训练图像集中的数据输入所述深度卷积神经网络模型中进行训练,以得到初步预测模型;
采用所述验证图像集中的数据对所述初步预测模型进行验证处理,以得到验证结果,并判断所述验证结果是否为合格;
若所述验证结果为合格,则将所述初步预测模型作为否定信息预测模型;
其中,第一样本图像标记上否定标识,是指自然人对当前的播放参数不满意;
所述第一预测结果不为否定,指第一面部图像不为不满意表情。
6.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
说明书 :
一种被动式数字电视终端的人机交互方法和装置
技术领域
背景技术
制信号的输入。但是,数字电视终端具有自身的特性,即,数字电视终端的观看者一般是坐
或躺在沙发上观看节目,此时观看者的姿态并不适合输入控制信号,尤其是输入复杂的控
制信号,而传统的遥控器控制方案或者语音识别的控制方案,都不能有效解决数字电视终
端的人机交互问题。因此,涉及数字电视终端的人机交互方案有待改进。
发明内容
选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的
整数;
选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的
m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是
播放所述指定视频的播放参数;
一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;
个播放参数集合;
偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数;
数、第三播放参数、…、第n+1播放参数;
否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式
训练得到;
类和n个第一聚类中心的步骤S3中的聚类算法为k‑means聚类算法。
上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数的步骤S5,包
括:
个偏移数值;其中,被计算的播放参数集合的成员为t个,Bi为被计算的播放参数集合的第i
个成员,Ai为对应于Bi的初始播放参数;
第二播放参数, 为第三播放参数, 为第n+1播放参数。
部图像的步骤S7,包括:
子和嘴部的第一面部图像;
否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式
训练得到的步骤S8之前,包括:
括第一样本图像和第二样本图像,所述第一样本图像是在自然人进行手动修改播放参数时
采集得到的,所述第二样本图像是在自然人未进行手动修改播放参数时采集得到的;
占比例;
果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学
习的方式训练得到的步骤S8之后,包括:
定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训
练得到;
放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播
放所述指定视频,m为大于2的整数;
行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与
所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序
列,播放参数序列的每个成员均是播放所述指定视频的播放参数;
得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一
一对应,n为大于1的整数;
述n个时间点聚类分别对应的n个播放参数集合;
放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放
参数;
应修改为所述第二播放参数、第三播放参数、…、第n+1播放参数;
理,以得到第一面部图像;
断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模
型,并采用有监督学习的方式训练得到;
播放参数序列,得到m个筛选后参数序列,生成m个时间点序列;生成时间点集合,再根据预
设的聚类算法,对所述时间点集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中
心;调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间点
聚类分别对应的n个播放参数集合;对应得到n个偏移数值;将所述第一播放参数对应叠加
上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数;将数字电视
终端的播放参数对应修改为所述第二播放参数、第三播放参数、…、第n+1播放参数;得到第
一面部图像;得到否定信息预测模型输出的第一预测结果,并判断第一预测结果是否为否
定;若第一预测结果不为否定,则数字电视终端生成继续播放指定视频,实现了无需观看者
进行复杂控制,也能实现包括播放参数调节在内的人机交互的目的。
附图说明
具体实施方式
用于限定本申请。
选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指定视频,m为大于2的
整数;
选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列对应的
m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的每个成员均是
播放所述指定视频的播放参数;
一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一一对应,n为大于1的整数;
个播放参数集合;
偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数;
数、第三播放参数、…、第n+1播放参数;
否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式
训练得到;
电视终端所播放的节目,不仅可以为传统的电视台所发送的电视节目,也可以为从其他任
意可行来源发送的视频节目,例如通过双向通信网络(互联网)获取的视频节目。
整,例如对于不讨喜的某些片段,人们会考虑以两倍速的播放参数来快速略过。而这些播放
参数的调整,在传统技术中是需要观看者手动输入控制信号来与数字电视终端进行人机交
互的,操作繁琐不便;并且由于缺少例如鼠标或者键盘之类的快速输入设备(因为数字电视
终端不适合布设这些输入设备),因此若依靠观看者手动调节播放参数,则更进一步地增加
了操作繁琐程度。
模型,以确定观看者是否有否定的倾向,因此对于观看者而言,只需要被动输出肯定或者否
定的信息即可。其中更具体的实施细节,将结合具体步骤详细阐述。
否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播放所述指
定视频,m为大于2的整数;数字电视终端获取所述m个移动终端分别对应的m个播放参数序
列,并以播放参数发生变化的筛选规则,对所述m个播放参数序列分别进行参数筛选处理,
以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与所述m个筛选后参
数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序列,播放参数序列的
每个成员均是播放所述指定视频的播放参数;数字电视终端汇总所述m个时间点序列中的
所有成员,从而生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处
理,以得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中
心一一对应,n为大于1的整数;数字电视终端根据时间点与发生变化后的播放参数的对应
关系,调取与所述n个时间点聚类中的所有成员对应的播放参数,从而建立与所述n个时间
点聚类分别对应的n个播放参数集合。
定,但实际上,本申请在实施过程中,可以针对一种播放参数进行实施,也可以针对一种以
上的播放参数进行实施。所述指定视频可为任意可行视频,优选为来自于互联网络的视频。
第一播放参数的获取可为任意可行方式,例如为默认播放参数,或者观看者在指定视频的
播放之初手动控制遥控器修改而生成。
通信网络,与其他终端进行通信。所述双向通信网络指的,在网络中的任意两个终端之间均
能进行双向通信的网络。以终端播放内容是否为所述指定视频为选取标准,其含义在于,移
动终端必须是播放了指定视频,也即,所述m个移动终端正在播放所述指定视频。
实现),因此移动终端的持有者能够相对容易地进行播放参数的调整。而本申请的一个特点
就在于此,即利用移动终端相对于数字电视终端而言更易进行人机交互的特性,借助移动
终端的播放参数的调整,间接实现数字电视终端的播放参数的调整,以使数字电视终端的
被动式人机交互的实现成为可能。
的播放参数序列的每个成员均是相等的。以播放参数发生变化的筛选规则,目的在于将发
生变化的播放参数筛选出来,以构成筛选后参数序列。例如,对于A移动终端(以播放速度作
为播放参数来举例说明)的播放参数序列(1,1,1,1.2,1.2,1.2,1,1,1…),其第四和七个成
员发生了变化,因此筛选后得到的序列为(1.2,1),当然,此处是略去了对应的时间点,但是
可以确知的是,无论是筛选前的序列还是筛选后的序列,均是与时间相关的,因此能够得到
对应的时间点序列,即“根据播放参数发生变化的时间点,生成与所述m个筛选后参数序列
对应的m个时间点序列”。其中,对于播放参数无变化的播放参数序列而言,筛选后的序列则
为空集。
任意可行算法,例如为k‑means聚类算法。k‑means聚类算法,是通过计算不同时间点之间的
距离来判断他们的相近关系的,相近的就会放到同一个类别中去。最终得到n个时间点聚类
和n个第一聚类中心,而n个第一聚类中心即为应当对数字电视终端进行播放参数调节的时
间点。所述n个时间点聚类和n个第一聚类中心一一对应,指的是,每个聚类中心均为一个时
间点聚类的中心。
合。而之所以建立n个播放参数集合,是为了确定应当如何调整播放参数。
对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数;数
字电视终端在播放所述指定视频的进度到达所述n个第一聚类中心的第一成员、第二成
员、…、第n成员处时,将数字电视终端的播放参数对应修改为所述第二播放参数、第三播放
参数、…、第n+1播放参数;数字电视终端在修改完播放参数的预设时间长度内,采用预设的
图像传感器,对数字电视终端的观看者的面部区域进行第一图像采集处理,以得到第一面
部图像;数字电视终端将所述第一面部图像输入预设的否定信息预测模型中进行处理,以
得到所述否定信息预测模型输出的第一预测结果,并判断所述第一预测结果是否为否定;
其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训练
得到;若所述第一预测结果不为否定,则数字电视终端生成继续播放指令,以指示根据修改
后的播放参数继续播放所述指定视频。
题,本申请采用偏移数值计算的方式,再在第一播放参数的基础上,对应叠加上所述n个偏
移数值,从而得到应当调整的播放参数。其中,叠加的方式与偏移数值的计算方式对应,例
如可以采用加和法,或者比例法进行叠加。偏移数值是衡量发生变化的播放参数与原始参
数之间的偏移程度,而只需要对数字电视终端的第一播放参数也相应进行对应的偏移调
整,即可得到对应的播放参数。
定视频的初始播放时间),而并非是绝对时间,这是因为不同人观看指定视频的速度有快有
慢,以及观看时间点有先有后(虽然前文有提及所述m个移动终端正在播放所述指定视频,
但这与开始观看指定视频的时间点存在一定程度的差异,并不矛盾)。
所述第二播放参数、第三播放参数、…、第n+1播放参数。由于这些修改并非是观看者主动进
行的,因此本申请通过特别的方式,来确定这些修改是否适应于观看者。
数修改,属于间接人机交互)。
者的观看行为特征(观看习惯)与数字电视终端的观看者相同。
础,来预测出观看者对于调整后的播放参数的接受程度。其中,所述否定信息预测模型基于
深度卷积神经网络模型,并采用有监督学习的方式训练得到。所述深度卷积神经网络模型
适合于对图像信息的处理,进行预测或分类的任务。若所述第一预测结果不为否定,则数字
电视终端生成继续播放指令,以指示根据修改后的播放参数继续播放所述指定视频。这表
明观看者接受修改后的播放参数,因此维持修改后的播放参数即可。
上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放参数的步骤S5,包
括:
合的第i个成员,Ai为对应于Bi的初始播放参数;
第二播放参数, 为第三播放参数, 为第n+1播放参数。
据越丰富的情况下,计算得到的偏移数值越合适准确。其中,Ai为对应于Bi的初始播放参
数,指的是第i个移动终端在播放指定视频时之初的播放参数。
部图像的步骤S7,包括:
子和嘴部的第一面部图像;
否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式
训练得到的步骤S8之前,包括:
括第一样本图像和第二样本图像,所述第一样本图像是在自然人进行手动修改播放参数时
采集得到的,所述第二样本图像是在自然人未进行手动修改播放参数时采集得到的;
占比例;
的状态。当修改后的播放参数不被观看者接受时,观看者的呼吸状态会不自觉得发生改变,
这就是本申请得到仅包括鼻子和嘴部的第一面部图像的原因。对应地,采用的训练图像也
应是仅包括自然人的鼻子和嘴部。相对于普通的人脸识别模型需要整个面部图像,本申请
只需要仅包括鼻子和嘴部的图像即可,从而效率得到了提高。对所述样本图像集中的第一
样本图像标记上否定标识,同时对所述样本图像集中的第二样本图像标记上肯定标识,使
得本申请的训练方式,采用的是有监督学习的方式。
述第一样本图像是在自然人进行手动修改播放参数时采集得到的,所述第二样本图像是在
自然人未进行手动修改播放参数时采集得到的。这与预测模型在正式使用时,将不接受修
改后的播放参数的面部图像预测为否定,是不矛盾的,反而应当说是正好匹配。因为第一样
本图像标记上否定标识,是指第一样本图像输出的是否定信息,即自然人意图进行手动修
改播放参数,表明自然人对当前的播放参数不满意。而预测模型在正式使用时,若观看者不
满意修改后的播放参数,这会体现在面部图像上,从而预测模型正好输出否定信息,因此是
相互匹配的。
果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学
习的方式训练得到的步骤S8之后,包括:
定;其中,所述否定信息预测模型基于深度卷积神经网络模型,并采用有监督学习的方式训
练得到;
数,并继续利用否定信息预测模型,以确定观看者是否认可第一播放参数。若认可,则生成
继续播放指令,以指示根据所述第一播放参数继续播放所述指定视频。
申请限定在特定时间点(即修改播放参数时)才进行面部图像采集和否定信息预测模型的
使用,而此时人会发生误操作的可能性就降低了,从而提高了整体方案的可靠性。
后参数序列,生成m个时间点序列;生成时间点集合,再根据预设的聚类算法,对所述时间点
集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;调取与所述n个时间点聚类
中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集
合;对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二
播放参数、第三播放参数、…、第n+1播放参数;将数字电视终端的播放参数对应修改为所述
第二播放参数、第三播放参数、…、第n+1播放参数;得到第一面部图像;得到否定信息预测
模型输出的第一预测结果,并判断第一预测结果是否为否定;若第一预测结果不为否定,则
数字电视终端生成继续播放指定视频,实现了无需观看者进行复杂控制,也能实现包括播
放参数调节在内的人机交互的目的。
放内容是否为所述指定视频为选取标准,获取m个移动终端;其中,所述m个移动终端正在播
放所述指定视频,m为大于2的整数;
行参数筛选处理,以得到m个筛选后参数序列,并根据播放参数发生变化的时间点,生成与
所述m个筛选后参数序列对应的m个时间点序列;其中,所述m个播放参数序列均是时间序
列,播放参数序列的每个成员均是播放所述指定视频的播放参数;
得到n个时间点聚类和n个第一聚类中心;其中,所述n个时间点聚类和n个第一聚类中心一
一对应,n为大于1的整数;
述n个时间点聚类分别对应的n个播放参数集合;
放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参数、…、第n+1播放
参数;
应修改为所述第二播放参数、第三播放参数、…、第n+1播放参数;
理,以得到第一面部图像;
断所述第一预测结果是否为否定;其中,所述否定信息预测模型基于深度卷积神经网络模
型,并采用有监督学习的方式训练得到;
后参数序列,生成m个时间点序列;生成时间点集合,再根据预设的聚类算法,对所述时间点
集合进行聚类处理,以得到n个时间点聚类和n个第一聚类中心;调取与所述n个时间点聚类
中的所有成员对应的播放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集
合;对应得到n个偏移数值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二
播放参数、第三播放参数、…、第n+1播放参数;将数字电视终端的播放参数对应修改为所述
第二播放参数、第三播放参数、…、第n+1播放参数;得到第一面部图像;得到否定信息预测
模型输出的第一预测结果,并判断第一预测结果是否为否定;若第一预测结果不为否定,则
数字电视终端生成继续播放指定视频,实现了无需观看者进行复杂控制,也能实现包括播
放参数调节在内的人机交互的目的。
口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储
器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和
数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计
算机设备的数据库用于存储被动式数字电视终端的人机交互方法所用数据。该计算机设备
的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一
种被动式数字电视终端的人机交互方法。
此不再赘述。
点序列;生成时间点集合,再根据预设的聚类算法,对所述时间点集合进行聚类处理,以得
到n个时间点聚类和n个第一聚类中心;调取与所述n个时间点聚类中的所有成员对应的播
放参数,从而建立与所述n个时间点聚类分别对应的n个播放参数集合;对应得到n个偏移数
值;将所述第一播放参数对应叠加上所述n个偏移数值,以得到第二播放参数、第三播放参
数、…、第n+1播放参数;将数字电视终端的播放参数对应修改为所述第二播放参数、第三播
放参数、…、第n+1播放参数;得到第一面部图像;得到否定信息预测模型输出的第一预测结
果,并判断第一预测结果是否为否定;若第一预测结果不为否定,则数字电视终端生成继续
播放指定视频,实现了无需观看者进行复杂控制,也能实现包括播放参数调节在内的人机
交互的目的。
骤分别与执行前述实施方式的被动式数字电视终端的人机交互方法的步骤一一对应,在此
不再赘述。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有
的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该
要素的过程、装置、物品或者方法中还存在另外的相同要素。
的技术领域,均同理包括在本申请的专利保护范围内。