本发明涉及数码相框交互的技术领域，揭露了一种感官联动情景式数码相框交互方法与系统，所述方法包括：对二值化的人脸图像中的面部姿态进行检测，若检测到倾斜的面部，则对数码相框中的图片进行旋转处理，并检测图片尺寸与数码相框显示屏尺寸，对尺寸小于数码相框显示屏尺寸的图片进行全屏显示；基于瞳孔检测算法检测到瞳孔的位置；利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，若用户长时间注视，则对注视区域进行放大处理；数码相框自动选取与图片放大区域场景相似的图片进行推送。本发明所述方法实现实现基于面部姿态感知的数码相框图片自适应旋转处理，以及基于眼部瞳孔感知的观看者兴趣焦点图片区域放大处理。
一种感官联动情景式数码相框交互方法与系统
技术领域
[0001] 本发明涉及数码相框交互的技术领域，尤其涉及一种感官联动情景式数码相框交互方法与系统。
背景技术
[0002] 数码相框作为消费类终端已经深入到很多用户家庭。数码相框的基本功能是用于图片的显示、播放。目前数码相框的图片播放等是通过触摸按键或者机械按键等来实现，通过手动精确定位操作，人机交互操作体验有限。现有的数码相框仅支持电子相片的自动化展示，缺乏对观看者兴趣焦点的监控识别并智能进行相框调整和优化展示能力。因此，针对该问题本专利提出一种感官联动情景式数码相框交互方法与系统。
发明内容
[0003] 有鉴于此，本发明提供一种感官联动情景式数码相框交互方法，目的在于(1)结合人脸区域图像、摄像头以及世界坐标系确定拍摄模型，借助眼部区域图像确定人脸面部姿态的左右摆头角度，当人脸面部姿态的左右摆头角度较大时，说明用户面部存在倾斜，表示用户在倾斜着看数码相框中的图片，因此对图片进行自适应旋转处理，旋转角度即为用户的倾斜角，实现基于面部姿态感知的数码相框图片自适应旋转处理；(2)基于孔检测算法检测到人眼区域图像中瞳孔的位置，并基于瞳孔中光斑的位置坐标，建立光斑交并点与人眼注视区域中心点的对应关系，得到人眼注视区域，从而基于眼部瞳孔感知的观看者兴趣焦点图片区域放大处理。
[0004] 实现上述目的，本发明提供的一种感官联动情景式数码相框交互方法，包括以下步骤：
[0005] S1：数码相框利用摄像头拍摄得到人脸图像，并对人脸图像进行预处理，得到预处理后的人脸图像，所述预处理方法包括二值化处理以及人眼区域图像提取；
[0006] S2：对二值化的人脸图像中的面部姿态进行检测，若检测到倾斜的面部，则对数码相框中的图片进行旋转处理，并检测图片尺寸与数码相框显示屏尺寸，对尺寸小于数码相框显示屏尺寸的图片进行全屏显示；
[0007] S3：基于瞳孔检测算法检测到人眼区域图像中瞳孔的位置；
[0008] S4：利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，当用户注视该区域的时间超过预设阈值，则对该区域的图片进行放大处理；
[0009] S5：数码相框自动选取与图片放大区域场景相似的图片进行推送。
[0010] 作为本发明的进一步改进方法：
[0011] 可选地，所述S1步骤中数码相框利用摄像头拍摄得到人脸图像，包括：
[0012] 所述数码相框包括显示屏、摄像头以及无线通信模块，其中所述显示屏用于显示电子图片，摄像头用于拍摄并捕捉人眼图像，无线通信模块用于从云端获取电子图片数据、将捕捉到的人眼图像上传到计算机终端；数码相框的四个顶点位置具有红外光源，可发出红外光；
[0013] 在本发明具体实施例中，所述计算机终端可以向数码相框发送控制指令，计算机终端基于接收到的人脸图像以及数码相框所显示的电子图片确定面部姿态以及人眼注视区域，基于控制指令控制数码相框对人眼注视区域进行放大处理或对数码相框中的图片进行旋转处理；
[0014] 用户可自行控制摄像头是否开启，当用户选择开启摄像头，位于数码相框四个顶点的红外光源则发出红外光，数码相框利用摄像头拍摄得到人脸图像，所拍摄的人脸图像为时序图像，人脸图像集合为{It|t∈[t0,te]}，其中It为任意t时刻所拍摄的人脸图像，t0表示摄像头拍摄的初始时刻，te表示摄像头拍摄的截止时刻，所述相邻时刻的时间间隔为Δt。
[0015] 可选地，所述S1步骤中对人脸图像进行二值化处理，得到二值化的人脸图像，包括：
[0016] 所述任意人脸图像It的二值化处理流程为：
[0017] S11：对人脸图像It的所有像素点进行灰度化处理，得到像素点的灰度值，并将像素点的灰度值作为像素值，得到灰度化处理后的人脸图像，所述灰度化处理的公式为：
[0018]
[0019] 其中：
[0020] It,g(x,y)表示人脸图像It中第x行第y列像素点It(x,y)的灰度值，即像素点It(x,y)的像素值；
[0021] Rt(x,y),Gt(x,y),Bt(x,y)分别表示像素点It(x,y)在R,G,B颜色通道上的值；
[0022] S12：对灰度化处理后的人脸图像进行灰度拉伸处理，所述灰度拉伸处理的公式为：
[0023]
[0024] 其中：
[0025] gt(x,y)表示灰度拉伸后像素点It(x,y)的像素值；
[0026] I′t,min(x,y)表示灰度化处理后的人脸图像I′t的最小像素值，I′t,max(x,y)表示灰度化处理后的人脸图像I′t的最大像素值；
[0027] S13：初始化阈值
[0028] S14：将灰度拉伸后人脸图像I″t的像素划分为前景像素以及背景像素，其中像素值小于阈值的像素被划分为前景像素，像素值大于等于阈值的像素被划分为背景像素；
[0029] 分别计算前景像素以及背景像素的平均像素值，所述前景像素的平均像素值为m1，
[0030] 背景像素的平均像素值为m2；
[0031] S15：更新阈值
[0032] S16：重复步骤S14‑S15，直到更新阈值与原始阈值相同，得到最终的二值化阈值将灰度拉伸后人脸图像I″t中低于二值化阈值 的像素值设置为0，高于二值化阈值的像素值设置为255，得到二值化处理后的人脸图像。
[0033] 可选地，所述S1步骤中对二值化的人脸图像进行人眼区域图像提取，得到人眼区域图像，包括：
[0034] 对二值化处理后的人脸图像进行人眼区域图像提取，得到人眼区域图像，所述人眼区域图像提取流程为：
[0035] 构建人眼区域图像提取模型，其中人眼区域图像提取模型由n个人眼区域检测分类模型级联而成，所述人眼区域检测分类模型的输入为图像区域，输出为图像区域的检测分类结果{‑1,+1}，当人眼区域检测分类模型输出结果为‑1，则表示输入的图像区域不为人眼图像区域，当人眼区域检测分类模型输出结果为+1，则表示输入的图像区域为人眼图像区域，所述人眼区域检测分类模型的训练流程为：
[0036] 采集若干人眼区域图像样本以及非人眼区域图像样本对人眼区域检测分类模型进行训练，所述人眼区域检测分类模型提取样本特征，并对样本特征进行检测分类，以样本分类的均方误差最小为目标进行模型的参数优化，在本发明具体实施例中，所述人眼区域检测分类模型为决策树分类器，样本特征为Haar‑like特征；
[0037] 根据参数优化后的人眼区域检测分类模型，计算任意第i个人眼区域检测分类模型的权重wi：
[0038]
[0039] 其中：
[0040] erri表示参数优化后的第i个人眼区域检测分类模型的分类错误样本数，all表示样本总数，i∈[1,n]；
[0041] 并对权重wi进行归一化处理，所述归一化处理的公式为：
[0042]
[0043] 其中：
[0044] wmin表示n个人眼区域检测分类模型的最小权重，wmax表示n个人眼区域检测分类模型的最大权重；
[0045] 表示第i个人眼区域检测分类模型的归一化权重；
[0046] 对所述n个人眼区域检测分类模型进行上述参数优化以及权重计算，得到n个人眼区域检测分类模型以及对应的归一化权重集合 其中fi(·)表示第i个人眼区域检测分类模型；
[0047] 按照下式进行人眼区域检测分类模型的级联组合：
[0048]
[0049]
[0050] 其中：
[0051] H(x)表示级联组合后的人眼区域图像提取模型；
[0052] I表示输入的图像数据；
[0053] 将二值化的人脸图像划分为若干子图像，其中每个子图像的大小为正常眼部区域大小；将所划分的子图像输入到人眼区域图像提取模型中，若模型输出为+1，则表示该子图像为所述人眼区域图像，所述人眼区域图像为二值化图像。
[0054] 可选地，所述S2步骤中对二值化的人脸图像中的面部姿态进行检测，若检测到倾斜的面部，则对数码相框中的图片进行自适应旋转处理，并对尺寸小于数码相框显示屏尺寸的图片进行全屏显示，包括：
[0055] 对二值化的人脸图像中的面部姿态进行检测，所述面部姿态检测流程为：
[0056] S21：选取人眼区域图像的所有像素点，得到人眼区域图像的像素点集合：
[0057] {(xj,yj)|j∈[1,N]}
[0058] 其中：
[0059] (xj,yj)表示人眼区域图像中第j个像素点的坐标，N表示人眼区域图像中像素点的总数；
[0060] S22：构建摄像头拍摄模型：
[0061]
[0062] 其中：
[0063] (fX,fY)表示摄像头的焦距，fX表示摄像头在水平方向的焦距，fY表示摄像头在竖直方向的焦距，(cX,cY)分别为对应水平方向以及竖直方向的焦点；
[0064] (x′,y′)表示拍摄物体在图像中的像素坐标，(X,Y,Z)表示拍摄物体在世界坐标系的坐标；
[0065] 表示旋转矩阵， 表示平移矩阵，所述模型中旋转矩阵以及平移矩阵为待求解变量；
[0066] S23：将所采集的人眼区域图像像素点集合以及对应的世界坐标系下的坐标代入摄像头拍摄模型中，得到人眼区域图像的旋转矩阵r′：
[0067]
[0068]
[0069] 其中：
[0070] α表示面部姿态的俯仰角，所述俯仰角反映面部的仰视或俯视；
[0071] β表示面部姿态的偏航角，所述偏航角反映面部的左右转头；
[0072] γ表示面部姿态的滚转角，所述滚转角反映面部的左右摆头；
[0073] S24：求解得到面部姿态的滚转角γ：
[0074]
[0075] 若γ>15°，则表示用户面部向右倾斜，数码相框自动将所显示图片逆时针旋转γ°；
[0076] 若γ<‑15°，则表示用户面部向左倾斜，数码相框自动将所显示图片顺时针旋转γ°；
[0077] 所述数码相框实时检测待显示电子图片的尺寸格式，若对尺寸小于数码相框显示屏尺寸的图片进行全屏显示，所述全屏显示的流程为：将待显示电子图片放大到与数码相框显示屏尺寸，利用最临近点插值算法对放大后电子图片中的缺失像素进行填充。
[0078] 可选地，所述S3步骤中利用瞳孔检测算法检测到所提取到人眼区域图像中瞳孔的位置，包括：
[0079] 当用户面部的滚转角在[‑15°,15°]之间时，表示摄像头所拍摄的图像为面部无偏移的人脸图像，利用瞳孔检测算法检测到所提取到人眼区域图像中瞳孔的位置，所述瞳孔位置的检测流程为：
[0080] S31：计算人眼区域图像中任意像素点(xj,yj)的梯度gj：
[0081]
[0082] 其中：
[0083] g′(xj,yj)表示预处理后人眼区域图像中像素点(xj,yj)的像素值；
[0084] S32：构建如下瞳孔位置中心求解的目标函数，得到使得 达到最大的像素点坐标(xL,yL)作为瞳孔中心：
[0085]
[0086] hjL＝(xj‑xL,yj‑yL)
[0087] 其中：
[0088] hjL为待检测瞳孔的位移向量；
[0089] (xL,yL)为眼部瞳孔中心的位置坐标；
[0090] T表示转置，Ω表示人眼区域图像中的像素点集合；
[0091] 将(xL,yL)作为圆心，设定眼部瞳孔半径为ξ，得到以(xL,yL)为圆心，ξ为半径的圆形区域作为眼部瞳孔位置区域。
[0092] 可选地，所述S4步骤中利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，包括：
[0093] 利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，所述电子图片兴趣区域检测算法的人眼注视区域确定流程为：
[0094] S41：将所述眼部瞳孔位置区域对应到原始人脸图像中，原始人脸图像中的眼部瞳孔位置区域即为原始眼部瞳孔区域，数码相框四个顶点的红外光源所发出红外光在原始眼部瞳 孔 位 置 区 域 形 成四 个 光 斑 ，所 述四 个 光 斑的 位 置 坐 标分 别 为其中 表示原始眼部瞳孔区域中较上方的两个光斑坐标， 表示左光斑坐标， 表示右光斑坐标，
表示原始眼部瞳孔区域中较下方的两个光斑坐标， 表示左光
斑坐标， 表示右光斑坐标；
[0095] S42：分别计算 以及 的交比值V12,V23，进而得* *
到显示屏中人眼注视区域的中心坐标(x ,y)：
[0096]
[0097] 其中：
[0098] W表示数码相框显示屏的长，H表示数码相框显示屏的宽；
[0099] S43：在显示屏所显示的电子图片中，以(x*,y*)为矩形中心，构建长为 宽为 的矩形区域，将所构建的矩形区域作为人眼注视区域。
[0100] 可选地，所述S4步骤中当用户注视该区域的时间超过预设阈值，则对该区域的图片进行放大处理，包括：
[0101] 若相邻时刻所拍摄的人脸图像中的人眼注视区域相同，则表示用户注视该区域的时间超过预设阈值Δt，数码相框对该人眼注视区域进行放大处理。
[0102] 可选地，所述S5步骤中数码相框选取与图片放大区域场景相似的图片进行推送，包括：
[0103] 数码相框将放大的图片区域上传到云端，云端提取图片区域的SIFT特征，将所述SIFT特征作为表示该图片区域的特征向量；
[0104] 分别提取云端中不同电子图片的特征向量，计算云端电子图片特征向量与放大图片特征向量的相似度，选取云端中相似度最高的电子图片进行推送，所述相似度计算方法为余弦相似度算法。
[0105] 为了解决上述问题，本发明提供一种感官联动情景式数码相框交互系统，其特征在于，所述系统包括：
[0106] 图像采集模块，用于拍摄得到人脸图像，并对人脸图像进行预处理，得到预处理后的人脸图像；
[0107] 检测装置，用于对二值化的人脸图像中的面部姿态进行检测，基于瞳孔检测算法检测到人眼区域图像中瞳孔的位置，利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域；
[0108] 图片交互装置，用于对数码相框中的图片进行旋转以及放大处理，并检测图片尺寸与数码相框显示屏尺寸，对尺寸小于数码相框显示屏尺寸的图片进行全屏显示，自动选取与图片放大区域场景相似的图片进行推送。
[0109] 为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
[0110] 存储器，存储至少一个指令；及
[0111] 处理器，执行所述存储器中存储的指令以实现上述所述的感官联动情景式数码相框交互方法。
[0112] 为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的感官联动情景式数码相框交互方法。
[0113] 相对于现有技术，本发明提出一种感官联动情景式数码相框交互方法，该技术具有以下优势：
[0114] 首先，本方案提出一种基于面部姿态交互的图片旋转方法，通过对二值化的人脸图像中的面部姿态进行检测，所述面部姿态检测流程为：选取人眼区域图像的所有像素点，得到人眼区域图像的像素点集合：
[0115] {(xj,yj)|j∈[1,N]}
[0116] 其中：(xj,yj)表示人眼区域图像中第j个像素点的坐标，N表示人眼区域图像中像素点的总数；构建摄像头拍摄模型：
[0117]
[0118] 其中：(fX,fY)表示摄像头的焦距，fX表示摄像头在水平方向的焦距，fY表示摄像头在竖直方向的焦距，(cX,cY)分别为对应水平方向以及竖直方向的焦点；(x′,y′)表示拍摄物体在图像中的像素坐标，(X,Y,Z)表示拍摄物体在世界坐标系的坐标；
[0119] 表示旋转矩阵， 表示平移矩阵，所述模型中旋转矩阵以及平移矩阵为待求解变量；将所采集的人眼区域图像像素点集合以及对应的世界坐标系下的坐标代入摄像头拍摄模型中，得到人眼区域图像的旋转矩阵r′：
[0120]
[0121]
[0122] 其中：α表示面部姿态的俯仰角，所述俯仰角反映面部的仰视或俯视；β表示面部姿态的偏航角，所述偏航角反映面部的左右转头；γ表示面部姿态的滚转角，所述滚转角反映面部的左右摆头；S24：求解得到面部姿态的滚转角γ：
[0123]
[0124] 若γ>15°，则表示用户面部向右倾斜，数码相框自动将所显示图片逆时针旋转γ°；若γ<‑15°，则表示用户面部向左倾斜，数码相框自动将所显示图片顺时针旋转γ°。本方案通过结合人脸区域图像、摄像头以及世界坐标系确定拍摄模型，借助眼部区域图像确定人脸面部姿态的左右摆头角度，当人脸面部姿态的左右摆头角度较大时，说明用户面部存在倾斜，表示用户在倾斜着看数码相框中的图片，因此对图片进行自适应旋转处理，旋转角度即为用户的倾斜角，实现基于面部姿态感知的数码相框图片自适应旋转处理。
[0125] 同时，本方案提出一种观看者兴趣焦点图片区域放大处理方法，当用户面部的滚转角在[‑15°,15°]之间时，表示摄像头所拍摄的图像为面部无偏移的人脸图像，此时利用瞳孔检测算法检测到所提取到人眼区域图像中瞳孔的位置，所述瞳孔位置的检测流程为：计算人眼区域图像中任意像素点(xj,yj)的梯度gj：
[0126]
[0127] 其中：g′(xj,yj)表示预处理后人眼区域图像中像素点(xj,yj)的像素值；构建如下瞳孔位置中心求解的目标函数，得到使得 达到最大的像素点坐标(xL,yL)作为瞳孔中心：
[0128]
[0129] hjL＝(xj‑xL,yj‑yL)
[0130] 其中：hjL为待检测瞳孔的位移向量；(xL,yL)为眼部瞳孔中心的位置坐标；T表示转置，Ω表示人眼区域图像中的像素点集合；将(xL,yL)作为圆心，设定眼部瞳孔半径为ξ，得到以(xL,yL)为圆心，ξ为半径的圆形区域作为眼部瞳孔位置区域。利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，所述电子图片兴趣区域检测算法的人眼注视区域确定流程为：将所述眼部瞳孔位置区域对应到原始人脸图像中，原始人脸图像中的眼部瞳孔位置区域即为原始眼部瞳孔区域，数码相框四个顶点的红外光源所发出红外光在原始眼部瞳孔位置区域形成四个光斑 ，所述四个光斑的位置坐标分别为其中 表示原始眼部瞳孔区域中
较上方的两个光斑坐标， 表示左光斑坐标， 表示右光斑坐标，
表示原始眼部瞳孔区域中较下方的两个光斑坐标， 表示左光斑
坐标， 表示右光斑坐标；分别计算 以及 的交
* *
比值V12,V23，进而得到显示屏中人眼注视区域的中心坐标(x ,y)：
[0131]
[0132] 其中：W表示数码相框显示屏的长，H表示数码相框显示屏的宽；在显示屏所显示的* *电子图片中，以(x ,y)为矩形中心，构建长为 宽为 的矩形区域，将所构建的矩形区域作为人眼注视区域。若相邻时刻所拍摄的人脸图像中的人眼注视区域相同，则表示用户注视该区域的时间超过预设阈值Δt，数码相框对该人眼注视区域进行放大处理。本方案基于孔检测算法检测到人眼区域图像中瞳孔的位置，并基于瞳孔中光斑的位置坐标，建立光斑交并点与人眼注视区域中心点的对应关系，得到人眼注视区域，从而基于眼部瞳孔感知的观看者兴趣焦点图片区域放大处理。
附图说明
[0133] 图1为本发明一实施例提供的一种感官联动情景式数码相框交互方法的流程示意图；
[0134] 图2为本发明一实施例提供的感官联动情景式数码相框交互系统的功能模块图；
[0135] 图3为本发明一实施例提供的实现感官联动情景式数码相框交互方法的电子设备的结构示意图。
[0136] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0137] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0138] 本申请实施例提供一种感官联动情景式数码相框交互方法。所述感官联动情景式数码相框交互方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述感官联动情景式数码相框交互方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
[0139] 实施例1：
[0140] S1：数码相框利用摄像头拍摄得到人脸图像，并对人脸图像进行预处理，得到预处理后的人脸图像，所述预处理方法包括二值化处理以及人眼区域图像提取。
[0141] 所述S1步骤中数码相框利用摄像头拍摄得到人脸图像，包括：
[0142] 所述数码相框包括显示屏、摄像头以及无线通信模块，其中所述显示屏用于显示电子图片，摄像头用于拍摄并捕捉人眼图像，无线通信模块用于从云端获取电子图片数据、将捕捉到的人眼图像上传到计算机终端；数码相框的四个顶点位置具有红外光源，可发出红外光；
[0143] 需要解释的是，用户可自行控制摄像头是否开启，若用户选择开启摄像头，位于数码相框四个顶点的红外光源则发出红外光，数码相框可进行人脸图像的拍摄以及上传，并识别得到面部姿态以及人眼注视区域，数码相框自动进行图片的旋转、人眼注视区域的放大处理以及选取与人眼注视区域场景相似的图片进行推送；
[0144] 用户可自行控制摄像头是否开启，当用户选择开启摄像头，位于数码相框四个顶点的红外光源则发出红外光，数码相框利用摄像头拍摄得到人脸图像，所拍摄的人脸图像为时序图像，人脸图像集合为{It|t∈[t0,te]}，其中It为任意t时刻所拍摄的人脸图像，t0表示摄像头拍摄的初始时刻，te表示摄像头拍摄的截止时刻。
[0145] 所述S1步骤中对人脸图像进行二值化处理，得到二值化的人脸图像，包括：
[0146] 所述任意人脸图像It的二值化处理流程为：
[0147] S11：对人脸图像It的所有像素点进行灰度化处理，得到像素点的灰度值，并将像素点的灰度值作为像素值，得到灰度化处理后的人脸图像，所述灰度化处理的公式为：
[0148]
[0149] 其中：
[0150] It,g(x,y)表示人脸图像It中第x行第y列像素点It(x,y)的灰度值，即像素点It(x,y)的像素值；
[0151] Rt(x,y),Gt(x,y),Bt(x,y)分别表示像素点It(x,y)在R,G,B颜色通道上的值；
[0152] S12：对灰度化处理后的人脸图像进行灰度拉伸处理，所述灰度拉伸处理的公式为：
[0153]
[0154] 其中：
[0155] gt(x,y)表示灰度拉伸后像素点It(x,y)的像素值；
[0156] I′t,min(x,y)表示灰度化处理后的人脸图像I′t的最小像素值，I′t,max(x,y)表示灰度化处理后的人脸图像I′t的最大像素值；
[0157] S13：初始化阈值
[0158] S14：将灰度拉伸后人脸图像I″t的像素划分为前景像素以及背景像素，其中像素值小于阈值的像素被划分为前景像素，像素值大于等于阈值的像素被划分为背景像素；
[0159] 分别计算前景像素以及背景像素的平均像素值，所述前景像素的平均像素值为m1，背景像素的平均像素值为m2；
[0160] S15：更新阈值
[0161] S16：重复步骤S14‑S15，直到更新阈值与原始阈值相同，得到最终的二值化阈值将灰度拉伸后人脸图像I′t中低于二值化阈值 的像素值设置为0，高于二值化阈值的像素值设置为255，得到二值化处理后的人脸图像。
[0162] 所述S1步骤中对二值化的人脸图像进行人眼区域图像提取，得到人眼区域图像，包括：
[0163] 对二值化处理后的人脸图像进行人眼区域图像提取，得到人眼区域图像，所述人眼区域图像提取流程为：
[0164] 构建人眼区域图像提取模型，其中人眼区域图像提取模型由n个人眼区域检测分类模型级联而成，所述人眼区域检测分类模型的输入为图像区域，输出为图像区域的检测分类结果{‑1,+1}，当人眼区域检测分类模型输出结果为‑1，则表示输入的图像区域不为人眼图像区域，当人眼区域检测分类模型输出结果为+1，则表示输入的图像区域为人眼图像区域，所述人眼区域检测分类模型的训练流程为：
[0165] 采集若干人眼区域图像样本以及非人眼区域图像样本对人眼区域检测分类模型进行训练，所述人眼区域检测分类模型提取样本特征，并对样本特征进行检测分类，以样本分类的均方误差最小为目标进行模型的参数优化，在本发明具体实施例中，所述人眼区域检测分类模型为决策树分类器，样本特征为Haar‑like特征；
[0166] 根据参数优化后的人眼区域检测分类模型，计算任意第i个人眼区域检测分类模型的权重wi：
[0167]
[0168] 其中：
[0169] erri表示参数优化后的第i个人眼区域检测分类模型的分类错误样本数，all表示样本总数，i∈[1,n]；
[0170] 并对权重wi进行归一化处理，所述归一化处理的公式为：
[0171]
[0172] 其中：
[0173] wmin表示n个人眼区域检测分类模型的最小权重，wmax表示n个人眼区域检测分类模型的最大权重；
[0174] 表示第i个人眼区域检测分类模型的归一化权重；
[0175] 对所述n个人眼区域检测分类模型进行上述参数优化以及权重计算，得到n个人眼区域检测分类模型以及对应的归一化权重集合 其中fi(·)表示第i个人眼区域检测分类模型；
[0176] 按照下式进行人眼区域检测分类模型的级联组合：
[0177]
[0178]
[0179] 其中：
[0180] H(x)表示级联组合后的人眼区域图像提取模型；
[0181] I表示输入的图像数据；
[0182] 将二值化的人脸图像划分为若干子图像，其中每个子图像的大小为正常眼部区域大小；将所划分的子图像输入到人眼区域图像提取模型中，若模型输出为+1，则表示该子图像为所述人眼区域图像，所述人眼区域图像为二值化图像。
[0183] S2：对二值化的人脸图像中的面部姿态进行检测，若检测到倾斜的面部，则对数码相框中的图片进行旋转处理，并检测图片尺寸与数码相框显示屏尺寸，对尺寸小于数码相框显示屏尺寸的图片进行全屏显示。
[0184] 所述S2步骤中对二值化的人脸图像中的面部姿态进行检测，若检测到倾斜的面部，则对数码相框中的图片进行自适应旋转处理，并对尺寸小于数码相框显示屏尺寸的图片进行全屏显示，包括：
[0185] 对二值化的人脸图像中的面部姿态进行检测，所述面部姿态检测流程为：
[0186] S21：选取人眼区域图像的所有像素点，得到人眼区域图像的像素点集合：
[0187] {(xj,yj)|j∈[1,N]}
[0188] 其中：
[0189] (xj,yj)表示人眼区域图像中第j个像素点的坐标，N表示人眼区域图像中像素点的总数；
[0190] S22：构建摄像头拍摄模型：
[0191]
[0192] 其中：
[0193] (fX,fY)表示摄像头的焦距，fX表示摄像头在水平方向的焦距，fY表示摄像头在竖直方向的焦距，(cX,cY)分别为对应水平方向以及竖直方向的焦点；
[0194] (x′,y′)表示拍摄物体在图像中的像素坐标，(X,Y,Z)表示拍摄物体在世界坐标系的坐标；
[0195] 表示旋转矩阵， 表示平移矩阵，所述模型中旋转矩阵以及平移矩阵为待求解变量；
[0196] S23：将所采集的人眼区域图像像素点集合以及对应的世界坐标系下的坐标代入摄像头拍摄模型中，得到人眼区域图像的旋转矩阵r′：
[0197]
[0198]
[0199] 其中：
[0200] α表示面部姿态的俯仰角，所述俯仰角反映面部的仰视或俯视；
[0201] β表示面部姿态的偏航角，所述偏航角反映面部的左右转头；
[0202] γ表示面部姿态的滚转角，所述滚转角反映面部的左右摆头；
[0203] S24：求解得到面部姿态的滚转角γ：
[0204]
[0205] 若γ>15°，则表示用户面部向右倾斜，数码相框自动将所显示图片逆时针旋转γ°；
[0206] 若γ<‑15°，则表示用户面部向左倾斜，数码相框自动将所显示图片顺时针旋转γ°；
[0207] 所述数码相框实时检测待显示电子图片的尺寸格式，若对尺寸小于数码相框显示屏尺寸的图片进行全屏显示，所述全屏显示的流程为：将待显示电子图片放大到与数码相框显示屏尺寸，利用最临近点插值算法对放大后电子图片中的缺失像素进行填充。
[0208] S3：基于瞳孔检测算法检测到人眼区域图像中瞳孔的位置。
[0209] 所述S3步骤中利用瞳孔检测算法检测到所提取到人眼区域图像中瞳孔的位置，包括：
[0210] 当用户面部的滚转角在[‑15°,15°]之间时，表示摄像头所拍摄的图像为面部无偏移的人脸图像，利用瞳孔检测算法检测到所提取到人眼区域图像中瞳孔的位置，所述瞳孔位置的检测流程为：
[0211] S31：计算人眼区域图像中任意像素点(xj,yj)的梯度gj：
[0212]
[0213] 其中：
[0214] g′(xj,yj)表示预处理后人眼区域图像中像素点(xj,yj)的像素值；
[0215] S32：构建如下瞳孔位置中心求解的目标函数，得到使得 达到最大的像素点坐标(xL,yL)作为瞳孔中心：
[0216]
[0217] hjL＝(xj‑xL,yj‑yL)
[0218] 其中：
[0219] hjL为待检测瞳孔的位移向量；
[0220] (xL,yL)为眼部瞳孔中心的位置坐标；
[0221] T表示转置，Ω表示人眼区域图像中的像素点集合；
[0222] 将(xL,yL)作为圆心，设定眼部瞳孔半径为ξ，得到以(xL,yL)为圆心，ξ为半径的圆形区域作为眼部瞳孔位置区域。
[0223] S4：利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，当用户注视该区域的时间超过预设阈值，则对该区域的图片进行放大处理。
[0224] 所述S4步骤中利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，包括：
[0225] 利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，所述电子图片兴趣区域检测算法的人眼注视区域确定流程为：
[0226] S41：将所述眼部瞳孔位置区域对应到原始人脸图像中，原始人脸图像中的眼部瞳孔位置区域即为原始眼部瞳孔区域，数码相框四个顶点的红外光源所发出红外光在原始眼部瞳 孔 位 置 区 域 形 成四 个 光 斑 ，所 述四 个 光 斑的 位 置 坐 标分 别 为其中 表示原始眼部瞳孔区域中较上方的两个光斑坐标， 表示左光斑坐标， 表示右光斑坐标，
表示原始眼部瞳孔区域中较下方的两个光斑坐标， 表示左光斑
坐标， 表示右光斑坐标；
[0227] S42：分别计算 以及 的交比值V12,V23，进而得* *
到显示屏中人眼注视区域的中心坐标(x ,y)：
[0228]
[0229] 其中：
[0230] W表示数码相框显示屏的长，H表示数码相框显示屏的宽；
[0231] S43：在显示屏所显示的电子图片中，以(x*,y*)为矩形中心，构建长为 宽为 的矩形区域，将所构建的矩形区域作为人眼注视区域。
[0232] 所述S4步骤中当用户注视该区域的时间超过预设阈值，则对该区域的图片进行放大处理，包括：
[0233] 若相邻时刻所拍摄的人脸图像中的人眼注视区域相同，则表示用户注视该区域的时间超过预设阈值Δt，数码相框对该人眼注视区域进行放大处理。
[0234] S5：数码相框自动选取与图片放大区域场景相似的图片进行推送。
[0235] 所述S5步骤中数码相框选取与图片放大区域场景相似的图片进行推送，包括：
[0236] 数码相框将放大的图片区域上传到云端，云端提取图片区域的SIFT特征，将所述SIFT特征作为表示该图片区域的特征向量；
[0237] 分别提取云端中不同电子图片的特征向量，计算云端电子图片特征向量与放大图片特征向量的相似度，选取云端中相似度最高的电子图片进行推送，所述相似度计算方法为余弦相似度算法。
[0238] 实施例2：
[0239] 如图2所示，是本发明一实施例提供的感官联动情景式数码相框交互系统的功能模块图，其可以实现实施例1中的感官联动情景式数码相框交互方法。
[0240] 本发明所述感官联动情景式数码相框交互系统100可以安装于电子设备中。根据实现的功能，所述感官联动情景式数码相框交互系统可以包括图像采集模块101、检测装置102及图片交互装置103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0241] 图像采集模块101，用于拍摄得到人脸图像，并对人脸图像进行预处理，得到预处理后的人脸图像；
[0242] 检测装置102，用于对二值化的人脸图像中的面部姿态进行检测，基于瞳孔检测算法检测到人眼区域图像中瞳孔的位置，利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域；
[0243] 图片交互装置103，用于对数码相框中的图片进行旋转以及放大处理，并检测图片尺寸与数码相框显示屏尺寸，对尺寸小于数码相框显示屏尺寸的图片进行全屏显示，自动选取与图片放大区域场景相似的图片进行推送。
[0244] 详细地，本发明实施例中所述感官联动情景式数码相框交互系统100中的所述各模块在使用时采用与上述的图1中所述的感官联动情景式数码相框交互方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
[0245] 实施例3：
[0246] 如图3所示，是本发明一实施例提供的实现感官联动情景式数码相框交互方法的电子设备的结构示意图。
[0247] 所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。
[0248] 其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0249] 所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(用于执行数码相框交互的程序12等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
[0250] 所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0251] 图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0252] 例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转移器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi‑Fi模块等，在此不再赘述。
[0253] 进一步地，所述电子设备1还可以包括通信接口13，可选地，所述通信接口13可以包括有线接口和/或无线接口(如WI‑FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
[0254] 可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light‑Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
[0255] 应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0256] 所述电子设备1中的所述存储器11存储的程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
[0257] 数码相框利用摄像头拍摄得到人脸图像，并对人脸图像进行预处理，得到预处理后的人脸图像；
[0258] 对二值化的人脸图像中的面部姿态进行检测，若检测到倾斜的面部，则对数码相框中的图片进行旋转处理，并检测图片尺寸与数码相框显示屏尺寸，对尺寸小于数码相框显示屏尺寸的图片进行全屏显示；
[0259] 基于瞳孔检测算法检测到人眼区域图像中瞳孔的位置；
[0260] 利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，当用户注视该区域的时间超过预设阈值，则对该区域的图片进行放大处理；
[0261] 数码相框自动选取与图片放大区域场景相似的图片进行推送。
[0262] 具体地，所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述，在此不赘述。
[0263] 需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0264] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0265] 以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
