终端的控制方法、处理装置、存储介质及终端

摘要

本申请实施例提供了一种终端的控制方法，包括：构建目标检测模型，所述目标检测模型用于标记图像中实体；基于目标检测模型获取相邻帧图像同一标记区域的变化差异；根据变化差异分析标记区域中实体的运动情况信息；基于实体运动情况信息进行终端操作控制。相对于现有技术而言，可以提升操作效率。

权利要求

1.一种终端的控制方法，其特征在于，包括：

采集目标图片，所述目标图片包括不同的实体图片；

对所述不同的实体图片进行矩形框标记；

将矩形框标记对角两点信息和类别信息记录为标签数据；

采用神经卷积网络将标签数据训练成目标检测模型，所述目标检测模型用于通过标记区域标记图像中不同的实体；

基于目标检测模型获取相邻帧图像同一标记区域的变化差异，其中，所述变化差异是经过所述目标检测模型标记区域对应的实体在同一标记区域内的相邻帧的位置变化和类别变化，根据当前帧图像和下一帧图像中的实体生成目标框，根据图像采集窗口尺寸生成第一类扫描框，根据所述第一类扫描框和所述目标框的重合率得到第二类扫描框，将所述第二类扫描框中的图像输入分类器，确定包括目标实体的扫描框作为第三类扫描框，将所述第三类扫描框和所述目标框整合，得到最终标记区域；

根据变化差异分析所述最终标记区域中实体的运动情况信息，其中，所述运动情况信息包括所述实体运动方向信息和实体类别信息；

基于所述实体运动方向信息和所述实体类别信息进行终端操作控制。

2.根据权利要求1所述的终端的控制方法，其特征在于，所述基于目标检测模型获取相邻帧图像同一标记区域的变化差异包括：获取实体运动信息；

基于实体运动信息将相邻帧图像信号处理出的图片进行缩小、减均值；

将处理后的图像信号经过目标检测模型得到实体边框信息；

根据实体边框信息记录实体的变化差异。

3.根据权利要求1所述的终端的控制方法，其特征在于，所述根据变化差异分析实体运动情况信息包括：获取实体的变化差异；

基于实体的变化差异分析实体运动情况信息。

4.根据权利要求1所述的终端的控制方法，其特征在于，所述基于实体运动情况信息进行终端操作控制包括：预设终端操作控制信息；

将实体运动情况信息和终端操作控制信息匹配，实现终端操作控制。

5.一种终端的控制装置，其特征在于，包括：

采集模块，用于构建目标检测模型，所述目标检测模型用于通过标记区域标记图像中不同的实体；其中，采集模块包括：采取子模块，用于采集目标图片；标记子模块，用于对所述不同的实体图片进行矩形框标记；记录子模块，用于将矩形框标记对角两点信息和类别信息记录为标签数据；组建子模块，用于采用神经卷积网络将标签数据训练成目标检测模型；

获取模块，用于基于目标检测模型获取相邻帧图像同一标记区域的变化差异,其中，所述变化差异是经过所述目标检测模型标记区域对应的实体在同一标记区域内的相邻帧的位置变化和类别变化，根据当前帧图像和下一帧图像中的实体生成目标框，根据图像采集窗口尺寸生成第一类扫描框，根据所述第一类扫描框和所述目标框的重合率得到第二类扫描框，将所述第二类扫描框中的图像输入分类器，确定包括目标实体的扫描框作为第三类扫描框，将所述第三类扫描框和所述目标框整合，得到最终标记区域；

分析模块，用于据变化差异分析标记区域中实体的运动情况信息,其中，所述运动情况信息包括所述实体运动方向信息和实体类别信息；

控制模块，用于基于所述实体运动方向信息和所述实体类别信息进行终端操作控制。

6.如权利要求5所述的终端的控制装置，其特征在于，所述获取模块还包括：检测子模块，用于获取实体运动信息；

处理子模块：用于基于实体运动信息将相邻帧图像信号处理出的图片进行缩小、减均值操作；

获取第一子模块：用于将处理后的图像信号经过目标检测模型得到实体边框信息；

获取第二子模块，用于根据实体边框信息记录实体的变化差异。

7.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至权利要求4任一项所述的终端的控制方法的步骤。

8.一种终端，其特征在于，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1至权利要求4任一项所述的终端的控制方法。

说明书

终端的控制方法、处理装置、存储介质及终端

技术领域

[0001] 本申请涉及终端技术领域，具体涉及一种终端的控制方法、处理装置、存储介质及终端。

背景技术

[0002] 随着终端技术的快速发展，人与终端之间的交互活动变得越来越普遍，同时人与终端之间的交互方式也越来越多样化。

[0003] 当前人机交互比较成熟的方式主要是基于鼠标、键盘等外设的交互方式和基于触摸屏技术的交互方式。尽管这些交互方式已经非常成熟，能很好地实现人与机器之间的交互，但是这些交互方式属于接触式交互方式，具有一定的局限性，并不能完全释放手的操作能力。

[0004] 因此，越来越多的研究者开始研究基于视觉的非接触式人机交互，通过利用摄像头扑捉到人的手部活动，识别手势的含义，实现人与机器的交互。

发明内容

[0005] 本申请实施例提供一种终端的控制方法、装置及终端及存储介质，可以提升操作效率。

[0006] 本申请实施例提供一种终端的控制方法，包括：

[0007] 构建目标检测模型，所述目标检测模型用于标记图像中实体；

[0008] 基于目标检测模型获取相邻帧图像同一标记区域的变化差异；

[0009] 根据变化差异分析标记区域中实体的运动情况信息；

[0010] 基于实体运动情况信息进行终端操作控制。

[0011] 相应的，本申请实施例还提供一种终端的控制装置，包括：

[0012] 采集模块，用于构建目标检测模型，所述目标检测模型用于标记图像中实体；

[0013] 获取模块，用于基于目标检测模型获取相邻帧图像同一标记区域的变化差异；

[0014] 分析模块，用于据变化差异分析标记区域中实体的运动情况信息；

[0015] 控制模块，用于基于实体运动情况信息进行终端操作控制。

[0016] 本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请实施例提供的任一种终端的控制方法的步骤。

[0017] 本申请实施例提供了一种终端，包括：

[0018] 存储有可执行程序代码的存储器；

[0019] 与所述存储器耦合的处理器；

[0020] 所述处理器调用该存储器中存储的该可执行程序代码，执行本申请实施例提供的任一种终端的控制方法。

[0021] 本申请实施例提供一种终端的控制方法、装置、存储介质及终端，首先构建目标检测模型，所述目标检测模型用于标记图像中实体，然后基于目标检测模型获取相邻帧图像同一标记区域的变化差异，从而根据变化差异分析标记区域中实体的运动情况信息，最后基于实体运动情况信息进行终端操作控制。即用户在控制终端时，实体与终端无需接触，只需要检测实体运动最终控制终端，这种终端的控制方法，操作时更加方便，提高了操作体验。

附图说明

[0022] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0023] 图1为本申请实施例提供的终端控制的场景示意图。

[0024] 图2是本申请实施例提供的终端的控制方法的流程示意图。

[0025] 图3为本申请实施例提供的终端的控制方法的另一流程示意图。

[0026] 图4为本申请实施例提供的终端的控制方法的再一个流程示意图。

[0027] 图5为本申请实施例提供的终端的控制方法的还一个流程示意图。

[0028] 图6为本申请实施例提供的终端的控制方法的又一个流程示意图。

[0029] 图7为本申请实施例提供的终端的控制装置的模块示意图。

[0030] 图8为本申请实施例提供的终端的控制装置的另一模块示意图。

[0031] 图9为本申请实施例提供的终端结构示意图。

具体实施方式

[0032] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0033] 本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块或单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。

[0034] 本申请实施例提供一种终端的控制方法、装置及终端，以下将分别进行详细说明。

[0035] 在一个优选的实施例中，上述处理装置可以集成在终端中，该终端可以是智能手机、平板电脑等设备。

[0036] 请参阅图1，图1为本申请实施例提供的终端控制的场景示意图。其中，终端100包括显示屏101和实体运动检测装置102，在一些实施方式中，该显示屏101可以为全面屏或者异形屏。

[0037] 需要说明的是，实体运动检测装置可以为摄像头或者采集装置。摄像头和采集装置主要是为了采集实体的运动图像信息，其中，实体可以是手势，也可以是操作笔等。在控制终端时，用户首先启动目标检测模型，用户通过实体运动，终端的摄像头捕捉到实体的运动图像信息，运动图像信息经过目标检测模型得到相邻帧图像在同一标记区域的变化差异，其中，变化差异可以包括位置差异、样式差异。根据变化差异确认标识区域中实体的运动情况信息，其中运动情况信息可以包括实体的上、下、左、右方向的运动情况，根据这个运动情况，与预设的终端操作信息匹配，比如，控制手机翻页、播放下一首歌曲等操作。

[0038] 以下进行具体分析说明。

[0039] 请继续参阅图2，图2是本申请实施例提供的终端的控制方法的流程示意图。具体而言，该方法包括：

[0040] 在步骤S101中，构建目标检测模型，目标检测模型用于标记图像中实体。

[0041] 在步骤S102中，基于目标检测模型获取相邻帧图像同一标记区域的变化差异。

[0042] 其中，所述步骤S101与步骤S102可具体为：

[0043] 比如，当终端开启手势控制时，当接受到手势的运动变化，手势运动图像信息输入到目标检测模型，目标检测模型标记出手势图像，终端一帧一帧扫描手势图像，从而得到相邻帧图像的变化差异，并将变化差异记录下来。

[0044] 本实施例中，手势的运动变化可以是多种方式的改变，比如，手势向上、下、左、右等方向运动，也可以是手势动作的变化，比如，将手势演变成剪刀、石头、布等，此处不做具体限定。

[0045] 需要说明的是，运动图像信息由手势的运动变化获得。处理的方式可以采用终端的摄像头或者采集装置获得。其中采集装置可以是传感器，传感器获取手势运动图像信息。

[0046] 在步骤S103中，根据变化差异分析标记区域中实体的运动情况信息。

[0047] 需要说明的是，所述变化差异可以是经过目标检测模型处理的获得的手势在同一标记区域内的相邻帧的变化，通过计算相邻两个手势的变化差异，可以获取运动情况信息。其中，运动情况信息可以为手势上、下、左、右方向的运动情况，也可以是手势石头、剪刀、布等形式的变化。

[0048] 在步骤S104中，基于实体运动情况信息进行终端操作控制。

[0049] 需要说明的是，通过预置手势匹配表，记录不同应用界面下手势与控制功能的对应关系，使得当终端在特定应用界面下接收到用户的隔空手势后，可以对用户手势进行识别，并与预置的手势匹配表中的手势数据进行匹配，在手势匹配的前提下，触发该手势在当前应用界面下对应的控制功能。

[0050] 比如，在终端的菜单界面，通过手势向上运动，可以触发上拉菜单界面，通过手势的向下运动可以触发下拉菜单界面，通过手势的向左运动，可以触发向菜单的左侧翻页，通过手势的向右运动，可以触发向菜单的右侧翻页。

[0051] 又比如，在音乐播放装置应用中，通过“握拳”的手势可以触发音乐播放装置暂停，通过“摊掌”的手势可以触发音乐播放装置打开，通过手势向右运动可以触发音乐播放装置进行下一曲的播放，通过手势向左运动可以触发音乐播放装置进行上一曲的播放，当然还可以预设多种控制信息与手势匹配进行控制，在此不多做赘述。

[0052] 由上述可知，首先构建目标检测模型，所述目标检测模型用于标记图像中实体，然后基于目标检测模型获取相邻帧图像同一标记区域的变化差异，从而根据变化差异分析标记区域中实体的运动情况信息，最后基于实体运动情况信息进行终端操作控制。即用户在控制终端时，实体与终端无需接触，只需要检测实体运动最终控制终端，这种终端的控制方法，操作时更加方便，提高了操作体验。

[0053] 根据上述实施例所描述的方法，以下将举例作进一步详细说明。

[0054] 请参阅图3，图3是本申请实施例提供的终端的控制方法的另一流程示意图。

[0055] 具体而言，该方法还包括：

[0056] 在步骤S201中，采集目标图片。

[0057] 需要说明的是，收集大量的关于手势、手指实体的图片作为目标图片，比如手势的运动轨迹的图片，手势的形式变化图片，或者触控笔、指挥棒的多种实体形式，根据需要去收集，对于实体的内容不做限定。

[0058] 其中，目标图片的来源可以有很多种方式，比如从网络上收集或自行拍摄，目标图片需要包含目标的50％以上。

[0059] 在步骤S202中，对目标图片进行矩形框标记。

[0060] 需要说明的是，将采集到的大量关于手势的、手指灯实体的目标图片。其中，进行矩形框标记可以是，记录目标图片样本中的外接矩形框坐标。

[0061] 在步骤S203中，将矩形框标记对角两点信息和类别信息记录为标签数据。

[0062] 需要说明的是，将矩形框标记的坐标标记出对角信息和类别信息，同时将矩形框的对角信息和类别信息记录为标签数据。

[0063] 在步骤S204中，采用神经卷积网络将标签数据训练成目标检测模型。

[0064] 需要说明的是，卷积神经网络(Convolutional Neural Networks，简称CNN)是一种为了处理二维图像而设计的人工神经网络，对翻转、平移和比例缩放等具有扭曲不变性，将卷积神经网络应用在在手势识别领域。可以成功地提高目标检测和图像分类的精度。

[0065] 上述卷积神经网络的训练过程可以参考现有技术，本实施例中不做具体赘述。

[0066] 参考图4，在一些实施例中，基于目标检测模型获取相邻帧图像同一标记区域的变化差异包括：

[0067] 步骤S301中，获取实体运动信息。

[0068] 需要说明的是，，运动图像信息由手势的运动变化获得。获取实体运动图像信息的方式可以为采用终端的摄像头或者采集装置获得。其中采集装置可以是传感器，传感器获取手势运动图像信息。

[0069] 比如，手势在摄像头前进行挥动，摄像头将手势的运动轨迹进行步骤，并记录为多个连续的图片，又或者通过红外线传感器的装置获取手势的运动估计变化，从而掌握实体的运动图像信息。

[0070] 在步骤S302中，基于实体运动信息将相邻帧图像信号处理出的图片进行缩小、减均值。

[0071] 可以理解的，实体运动信息的相邻帧的扫描过程可以采用的方式为，基于实体的运动图像信息，预计实体目标在下一帧图片中的位置，并根据目标图像当前帧和下一帧图片中的位置，生成目标框，再根据图像采集窗口尺寸生成大小不同的第一类扫描框，计算第一类扫描框与目标框的重合率，选取超过预设重合率的扫描框，作为第二类扫描框，将第二类扫描框中的图像区域输入分类器，确定含有目标的扫描框，作为第三类扫描框，对目标框和第三类扫描框进行加权整合，得出最终的目标框，根据所述最终的目标框对高速物体进行实时跟踪。计算目标框附近区域产生检测框的方式，来缩小目标检测区域。

[0072] 需要说明的是，这种方式可以提高最终目标框选定效率，实时跟踪时准确率高，能够对高速目标进行实施跟踪。

[0073] 其中，将扫描后得到的图片进行缩小、减均值等操作。

[0074] 在步骤S303中，将处理后的图像信号经过目标检测模型得到实体边框信息。

[0075] 其中，实体边框信息为经过目标检测模型输出的手势类别和边信息。

[0076] 在步骤S304中，根据实体边框信息记录实体的变化差异。

[0077] 其中，根据实体边框信息确认实体的变化差异，其中，所述变化差异可以是经过目标检测模型处理的获得的手势在同一标记区域内的相邻帧的手势的位置变化和类别变化，通过计算相邻两个手势的变化差异，可以获取运动情况信息。其中，运动情况信息可以为手势上、下、左、右方向的运动情况，也可以是手势石头、剪刀、布等形式的变化。

[0078] 参考图5，在一些实施例中，所述根据变化差异分析实体运动情况信息包括：

[0079] 在步骤S401中，获取实体的变化差异。

[0080] 在步骤S402中，基于实体的变化差异分析实体运动情况信息。

[0081] 其中，基于手势的变化差异，计算出手势的运动情况信息。其中，运动情况信息可以为手势上、下、左、右方向的运动情况，也可以是手势石头、剪刀、布等形式的类别变化。

[0082] 参考图6，在一些实施例中，所述基于实体运动情况信息进行终端操作控制包括：

[0083] 在步骤S501中，预设终端操作控制信息。

[0084] 其中，控制信息可以是手势也可以是其他实体运动形式，终端还可以接收用户输入的手势，然后将接收到的手势与预存的手势进行匹配，若预存的手势中存在与接收到的手势匹配的手势，则进一步获取与手势对应的手势命令。

[0085] 该预存的手势命令可以是终端出厂就设置好的，也可以是用户预先设置的，也可以是从网络下载保存到终端中的。下面详细说明，本申请实施例中涉及的几种手势的操作过程。

[0086] 在步骤S502中，将实体运动情况信息和终端操作控制信息匹配，实现终端操作控制。

[0087] 其中，实体运动情况信息可以是手势运动，控制信息为预存的手势。

[0088] 在此说明，将预存的手势与接收到的手势进行比较，可以采用现有的图,形匹配算法计算预存的手势与接收到的手势的相似度，例如Shape matching算法。判断预存的手势与接收到的手势是否相同或相似，并对图形的相似程度进行度量，返回一个图形之间的相似度值。图形匹配方法对于平移、旋转、比例改变等几何变换具有不变性，图形的相似程度应是可度量且易于计算的，根据匹配算法得出的判断应与人的直觉相吻合。

[0089] 由上述可知，本实施例提供终端的控制方法，通过首先构建目标检测模型，所述目标检测模型用于标记图像中实体，然后基于目标检测模型获取相邻帧图像同一标记区域的变化差异，从而根据变化差异分析标记区域中实体的运动情况信息，最后基于实体运动情况信息进行终端操作控制。即用户在控制终端时，实体与终端无需接触，只需要检测实体运动最终控制终端，这种终端的控制方法，操作时更加方便，提高了操作体验。

[0090] 为便于更好的实施本申请实施例提供的终端的控制方法，本申请实施例还提供一种基于上述终端的控制方法的装置。其中名词的含义与上述终端的控制方法中相同，具体实现细节可以参考方法实施例中的说明。

[0091] 请参阅7，图7为本申请实施例提供的处理装置的模块示意图。具体而言，该处理装置300，包括：采集模块31，获取模块32，分析模块33，控制模块34。

[0092] 该采集模块31，用于构建目标检测模型，所述目标检测模型用于标记图像中实体。

[0093] 进一步的，在终端开启手势控制时，该采集模块接受到手势的运动变化，手势运动图像信息输入到目标检测模型，目标检测模型标记出手势图像，终端一帧一帧扫描手势图像，从而得到相邻帧图像的变化差异，并将变化差异记录下来。

[0094] 该获取模块32，用于基于目标检测模型获取相邻帧图像同一标记区域的变化差异。

[0095] 进一步的，根据实体边框信息确认实体的变化差异，其中，所述变化差异可以是经过目标检测模型处理的获得的手势在同一标记区域内的相邻帧的手势的位置变化和类别变化，通过计算相邻两个手势的变化差异，可以获取运动情况信息。其中，运动情况信息可以为手势上、下、左、右方向的运动情况，也可以是手势石头、剪刀、布等形式的变化。

[0096] 该分析模块33，用于据变化差异分析标记区域中实体的运动情况信息。

[0097] 进一步的，该分析模块需要说明的是，基于手势的变化差异，计算出手势的运动情况信息。其中，运动情况信息可以为手势上、下、左、右方向的运动情况，也可以是手势石头、剪刀、布等形式的类别变化。

[0098] 该控制模块34，用于基于实体运动情况信息进行终端操作控制。

[0099] 进一步的，该控制模块，控制信息可以是手势也可以是其他实体运动形式，终端还可以接收用户输入的手势，然后将接收到的手势与预存的手势进行匹配，若预存的手势中存在与接收到的手势匹配的手势，则进一步获取与手势对应的手势命令。

[0100] 该预存的手势命令可以是终端出厂就设置好的，也可以是用户预先设置的，也可以是从网络下载保存到终端中的。下面详细说明，本申请实施例中涉及的几种手势的操作过程。

[0101] 在一实施方式中，请参考图8，所述采集模块31还包括：采取子模块311、标记子模块312、记录子模块313以及组建子模块314。

[0102] 具体而言，该采取子模块311，用于采集目标图片。标记子模块312，用于对目标图片进行矩形框标记。记录子模块313，用于将矩形框标记对角两点信息和类别信息记录为标签数据。组建子模块314，用于采用神经卷积网络将标签数据训练成目标检测模型。

[0103] 在一些实施方式中，所述获取模块32还包括：检测子模块321、处理子模块322、获取第一子模块323以及获取第二子模块324。

[0104] 具体而言，检测子模块321，用于获取实体运动信息。处理子模块322：用于基于实体运动信息将相邻帧图像信号处理出的图片进行缩小、减均值操作。获取第一子模块323：用于将处理后的图像信号经过目标检测模型得到实体边框信息。获取第二子模块324，用于根据实体边框信息记录实体的变化差异。

[0105] 本申请实施例还提供一种终端，如图9所示，该终端400可以包括有一个或一个以上计算机可读存储介质的存储器401、传感器402、输入单元403、显示屏404、以及包括有一个或者一个以上处理核心的处理器405等部件。本领域技术人员可以理解，图9中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0106] 存储器401可用于存储应用程序和数据。存储器401存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器405通过运行存储在存储器401的应用程序，从而执行各种功能应用以及数据处理。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器401还可以包括存储器控制器，以提供处理器405和输入单元403对存储器401的访问。

[0107] 终端还可包括至少一种传感器402，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

[0108] 输入单元403可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元403可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器405，并能接收处理器405发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元403还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、指纹识别模组、轨迹球、鼠标、操作杆等中的一种或多种。

[0109] 显示屏404可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示屏404可包括显示面板。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器405以确定触摸事件的类型，随后处理器405根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图9中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

[0110] 处理器405是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器401内的应用程序，以及调用存储在存储器401内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器405可包括一个或多个处理核心；优选的，处理器405可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等。

[0111] 尽管图9中未示出，终端还可以包括摄像头、蓝牙模块、电源等，在此不再赘述。

[0112] 具体在本实施例中，终端中的处理器405会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器401中，并由处理器405来运行存储在存储器401中的应用程序，从而实现各种功能：

[0113] 通过处理器405构建目标检测模型，所述目标检测模型用于标记图像中实体。

[0114] 通过处理器405基于目标检测模型获取相邻帧图像同一标记区域的变化差异。

[0115] 通过处理器405根据变化差异分析标记区域中实体的运动情况信息。

[0116] 当处理器405基于实体运动情况信息进行终端操作控制。

[0117] 处理器405在构建目标检测模型时，包括：采集目标图片；对目标图片进行矩形框标记；将矩形框标记对角两点信息和类别信息记录为标签数据；采用神经卷积网络将标签数据训练成目标检测模型。

[0118] 处理器405在执行基于目标检测模型获取相邻帧图像同一标记区域的变化差异时，包括：获取实体运动信息；基于实体运动信息将相邻帧图像信号处理出的图片进行缩小、减均值；将处理后的图像信号经过目标检测模型得到实体边框信息；根据实体边框信息记录实体的变化差异。

[0119] 处理器405在执行根据变化差异分析实体运动情况信息时，包括：获取实体的变化差异；基于实体的变化差异分析实体运动情况信息。

[0120] 处理器405在执行基于实体运动情况信息进行终端操作控制时，包括：预设终端操作控制信息；将实体运动情况信息和终端操作控制信息匹配，实现终端操作控制。

[0121] 由于该终端可以执行发明实施例所提供的任一种终端的控制方法，因此，可以实现发明实施例所提供的任一种终端的控制方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

[0122] 具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

[0123] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对终端的控制方法的详细描述，此处不再赘述。

[0124] 本申请实施例提供的终端的控制方法、装置、存储介质及终端，譬如为手机、平板电脑、掌上电脑(PDA，Personal Digital Assistant)等等，该终端、终端的控制装置及终端的控制方法属于同一构思，在该终端的控制装置上可以运行该终端的控制方法实施例中提供的任一方法，其具体实现过程详见该终端的控制方法实施例，此处不再赘述。

[0125] 需要说明的是，对本申请该终端的控制方法而言，本领域普通测试人员可以理解实现本申请实施例终端的控制方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，如存储在终端的存储器中，并被该终端内的至少一个处理器执行，在执行过程中可包括如该终端的控制方法的实施例的流程。其中，该存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

[0126] 对本申请实施例的该终端的控制装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，该存储介质譬如为只读存储器，磁盘或光盘等。

[0127] 以上对本申请实施例所提供的一种终端的控制方法、装置、存储介质及终端进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上该，本说明书内容不应理解为对本申请的限制。