基于图样中标志图形点坐标的转换关系定位终端屏幕

摘要

一种基于图样中标志图形点坐标的转换关系定位终端屏幕的方法，解决终端屏幕定位准确率较低的问题。该方法包括：获取第一图像，并确定第一坐标与第二坐标之间的转换关系，并根据转换关系，确定第一图像中屏幕的区域。其中，第一图像为拍摄的终端的图像，终端设置有屏幕，屏幕显示图样，图样包括规则分布的标志图形；第一坐标用于表示标志图形在屏幕上的位置，第二坐标用于表示标志图形在第一图像中的位置。

权利要求

1.一种终端屏幕的定位方法，其特征在于，所述方法包括：

获取第一图像，所述第一图像为拍摄的终端的图像，所述终端设置有屏幕，所述屏幕显示图样，所述图样包括规则分布的标志图形；

确定第一坐标与第二坐标之间的转换关系，所述第一坐标用于表示所述标志图形在所述屏幕上的位置，所述第二坐标用于表示所述标志图形在所述第一图像中的位置；

根据所述转换关系，确定所述第一图像中所述屏幕的区域；

所述图样包括至少三个标志图形，所述规则分布包括所述标志图形的中心点等间距按行、列呈矩阵式分布；

所述标志图形包括常规标志图形和特殊标志图形，所述常规标志图形完全相同，所述特殊标志图形异于所述常规标志图形，且所述特殊标志图形用于区分所述终端在拍摄时的放置方向。

2.根据权利要求1所述的方法，其特征在于，所述根据所述转换关系，确定所述第一图像中所述屏幕的区域，包括：根据所述转换关系及第三坐标，确定第四坐标，所述第三坐标用于表示所述屏幕上各个角点在所述屏幕上的位置，所述第四坐标用于表示所述各个角点在所述第一图像中的位置；

在所述第一图像中，确定以所述第四坐标对应的所述各个角点的位置为端点所构成的区域为所述屏幕在所述第一图像中的区域。

3.根据权利要求1所述的方法，其特征在于，所述标志图形为黑色，所述图样中除所述标志图形以外的区域为白色。

4.根据权利要求1或3所述的方法，其特征在于，所述标志图形因拍摄角度的变化而发生形变后，所述标志图形的中心点位置不变。

5.根据权利要求4所述的方法，其特征在于，所述标志图形为圆形或椭圆形。

6.根据权利要求1或5所述的方法，其特征在于，所述图样的分辨率与所述屏幕的分辨率相同。

7.一种终端屏幕的定位方法，其特征在于，所述方法包括：

终端通过屏幕显示图样，所述图样包括规则分布的标志图形，第一坐标用于表示所述标志图形在所述屏幕上的位置；

工业相机获取第一图像并确定第二坐标，所述第二坐标用于表示所述标志图形在所述第一图像中的位置，所述第一图像为拍摄的所述终端的图像；

测试设备获取所述第一坐标与所述第二坐标，并确定所述第一坐标与所述第二坐标之间的转换关系；

所述测试设备根据所述转换关系，确定所述第一图像中所述屏幕的区域；

所述图样包括至少三个标志图形，所述规则分布包括所述标志图形的中心点等间距按行、列呈矩阵式分布；

所述标志图形包括常规标志图形和特殊标志图形，所述常规标志图形完全相同，所述特殊标志图形异于所述常规标志图形，且所述特殊标志图形用于区分所述终端在拍摄时的放置方向。

8.根据权利要求7所述的方法，其特征在于，在所述测试设备确定所述第一坐标与所述第二坐标之间的转换关系之后，所述方法进一步包括：所述测试设备获取第五坐标，所述第五坐标用于表示所述屏幕上的待测试位置；

所述测试设备按照所述转换关系对所述第五坐标进行转换，得到第六坐标，并向机械臂发送，所述第六坐标用于表示所述待测试位置在所述第一图像中的位置；

所述机械臂响应于所述测试设备发送的消息，在所述第一图像中所述第六坐标的位置执行操作。

9.一种终端屏幕的定位装置，其特征在于，所述装置包括：

获取模块，用于获取第一图像，所述第一图像为拍摄的终端的图像，所述终端设置有屏幕，所述屏幕显示图样，所述图样包括规则分布的标志图形；

确定模块，用于确定第一坐标与第二坐标之间的转换关系，所述第一坐标用于表示显示模块显示的所述标志图形在所述屏幕上的位置，所述第二坐标用于表示所述标志图形在所述获取模块获取的所述第一图像中的位置；

所述确定模块，还用于根据所述转换关系，确定所述第一图像中所述屏幕的区域；

所述图样包括至少三个标志图形；所述规则分布包括所述标志图形的中心点等间距按行、列呈矩阵式分布；

所述标志图形包括常规标志图形和特殊标志图形，所述常规标志图形完全相同，所述特殊标志图形异于所述常规标志图形，且所述特殊标志图形用于区分所述终端在拍摄时的放置方向。

10.根据权利要求9所述的装置，其特征在于，所述确定模块，还用于：根据所述转换关系及第三坐标，确定第四坐标，所述第三坐标用于表示所述屏幕上各个角点在所述屏幕上的位置，所述第四坐标用于表示所述各个角点在所述第一图像中的位置；

在所述第一图像中，确定以所述第四坐标对应的所述各个角点的位置为端点所构成的区域为所述屏幕在所述第一图像中的区域。

11.根据权利要求9所述的装置，其特征在于，所述标志图形为黑色，所述图样中除所述标志图形以外的区域为白色。

12.根据权利要求9或11所述的装置，其特征在于，所述标志图形因拍摄角度的变化而发生形变后，所述标志图形的中心点位置不变。

13.根据权利要求12所述的装置，其特征在于，所述标志图形为圆形或椭圆形。

14.根据权利要求9或13所述的装置，其特征在于，所述图样的分辨率与所述屏幕的分辨率相同。

15.一种终端，包括显示屏，存储器，一个或多个处理器，多个应用程序，以及一个或多个程序；其中，所述一个或多个程序被存储在所述存储器中；其特征在于，所述一个或多个处理器在执行所述一个或多个程序时，使得所述终端实现如权利要求1至6中任意一项所述的方法。

16.一种可读存储介质，其特征在于，所述可读存储介质中存储有指令，当所述指令在终端上运行时，使得所述终端执行上述权利要求1至6中任意一项所述的方法。

17.一种终端屏幕的定位系统，其特征在于，所述系统包括：终端，用于通过屏幕显示图样并确定第一坐标，所述图样包括规则分布的标志图形，所述第一坐标用于表示所述标志图形在所述屏幕上的位置；

工业相机，用于获取第一图像并确定第二坐标，所述第二坐标用于表示所述标志图形在所述第一图像中的位置，所述第一图像为拍摄的所述终端的图像；

测试设备，用于获取所述第一坐标与所述第二坐标，并确定所述第一坐标与所述第二坐标之间的转换关系；

所述测试设备，还用于根据所述转换关系，确定所述第一图像中所述屏幕的区域；

所述图样包括至少三个标志图形，所述规则分布包括所述标志图形的中心点等间距按行、列呈矩阵式分布；

所述标志图形包括常规标志图形和特殊标志图形，所述常规标志图形完全相同，所述特殊标志图形异于所述常规标志图形，且所述特殊标志图形用于区分所述终端在拍摄时的放置方向。

18.根据权利要求17所述的系统，其特征在于，在所述测试设备确定所述第一坐标与所述第二坐标之间的转换关系之后，所述测试设备，还用于获取第五坐标，所述第五坐标用于表示所述屏幕上的待测试位置；

所述测试设备，还用于按照所述转换关系对所述第五坐标进行转换，得到第六坐标，并向机械臂发送，所述第六坐标用于表示所述待测试位置在所述第一图像中的位置；

所述机械臂，用于响应于所述测试设备发送的消息，在所述第一图像中所述第六坐标的位置执行操作。

说明书

基于图样中标志图形点坐标的转换关系定位终端屏幕

技术领域

[0001] 本申请涉及图像处理技术领域，尤其涉及一种终端屏幕的定位方法、装置及终端。

背景技术

[0002] 随手手机、平板电脑等触屏终端的普及，用户对于终端触屏的灵敏度等也有了更高的要求。目前为了给用户提供更加优质的触屏体验，可以通过机械臂等设备模拟用户对触屏终端的点击、滑动等操作，从而通过测试设备完成触屏准确度、灵敏度等测试，并依据测试结果对触屏终端进行改进。

[0003] 在实际测试过程中，工业相机可以将拍摄的终端的图像进行处理，以实现终端屏幕边界的定位，之后依据识别出的4条边界找到交点，以确定终端屏幕的角点，最终从采集到的图像中定位终端屏幕，并将定位结果传递至机械臂。即，对拍摄的图像某一点实施点击、滑动等操作，机械臂会在该点对应的终端屏幕的位置进行点击、滑动实测。由于图像处理过程中，主要是依据阈值对图像中的终端屏幕区域和非终端屏幕区域进行划分，而阈值大小的不同，往往会影响到边界的定位结果，因此，上述实现过程往往不能准确定位出终端屏幕的边界，从而使机械臂无法准确模拟出用户的实际点击、滑动等操作，以点击操作为例，即机械臂在终端屏幕上执行点击操作的位置与用户实际试图点击的位置不对应，从而影响整个测试过程，最终使测试结果准确度较低。

发明内容

[0004] 本发明实施例提供一种终端屏幕的定位方法、装置及终端，能够解决终端屏幕定位准确率较低的问题。

[0005] 第一方面，本发明实施例提供一种终端屏幕的定位方法。该方法应用于一种诸如测试设备的终端。该方法包括：获取第一图像，之后确定第一坐标与第二坐标之间的转换关系，并根据转换关系，确定第一图像中屏幕的区域。其中，第一图像为拍摄的终端的图像，被拍摄的终端设置有屏幕，且该屏幕显示图样，该图样包括规则分布的标志图形；第一坐标用于表示标志图形在屏幕上的位置，第二坐标用于表示标志图形在第一图像中的位置。相比较于现有技术中依据阈值对图像中的终端屏幕区域和非终端屏幕区域进行划分，本发明实施例可以有效确定终端屏幕与图像之间的坐标转换关系，之后依据该转换关系确定出终端屏幕的区域。

[0006] 在一种可能的设计中，根据转换关系，确定第一图像中屏幕的区域，可以实现为：根据转换关系及第三坐标，确定第四坐标，并在第一图像中，确定以第四坐标对应的各个角点的位置为端点所构成的区域为屏幕在第一图像中的区域。其中，第三坐标用于表示屏幕上各个角点在屏幕中的位置，第四坐标用于表示各个角点在第一图像中的位置。本发明实施例可以采用坐标转换的方式，准确定位出图像中终端屏幕的角点位置，之后依据4个角点的位置准确确定屏幕边缘，从而在图像中准确定位终端屏幕。

[0007] 在一种可能的设计中，图样包括至少三个标志图形。考虑到工业相机在拍摄手机的图像的过程中，很可能工业相机的镜头与手机屏幕并非完全平行，即呈一定角度进行拍摄，这样得到的图像会存在一定失真，即原本呈矩形的手机屏幕很可能呈规则或是不规则的四边形。一般情况下，两点可以确定一条直线，三点可以确定一个平面，而在本发明实施例中，若图像存在失真，且试图确定图像中手机屏幕所在的区域，则可以被视为确定一个平面的过程，因此至少需要确定3个点的位置才可以推算出这个平面。而每个点的位置可以对应出一个标志图形，因此，在本发明实施例中，可以设置图样中标志图形的数量为大于或是等于3个。

[0008] 在一种可能的设计中，规则分布包括标志图形的中心点等间距按行、列呈矩阵式分布。以标志图形为圆为例，即横向上每两个相邻圆心的间距相同，纵向上每两个相邻圆心的间距相同。此外，在本发明实施例中标志图形还可以按照其他规则分布，不限于上述同一方向上相邻两个标志图形的中心点之间的间距相等的规则，还可以为在同一方向上，按照具有可变性的步长，设置各个标志图形位置的情况，比如，在同一方向上，第一个标志图形与第二个标志图形的中心点之间的间距为X，而第二个标志图形与第三个标志图形之间的间距为2X，以此类推，每增加一个标志图形，该增加的而标志图形与相邻的前一个标志图形之间的间距增加X；或者，在同一方向上，第一个标志图形与第二个标志图形的中心点之间的间距为X，而第二个标志图形与第三个标志图形之间的间距为X+2，以此类推，每增加一个标志图形，该增加的标志图形与相邻的前一个标志图形之间的间距增加2等，在此不予限定。当然，上述具有可变性的步长可以为一个自变量不断发生变化的函数，也可以为其他实现形式，在此不予限定。

[0009] 在一种可能的设计中，标志图形包括常规标志图形和特殊标志图形，常规标志图形完全相同，特殊标志图形异于常规标志图形，且特殊标志图形用于区分终端在拍摄时的放置方向。比如，特殊标志图形的面积可以明显大于或是小于图样中的常规标志图形。

[0010] 在一种可能的设计中，标志图形为黑色，图样中除标志图形以外的区域为白色。考虑到工业相机拍摄后得到的图像为有灰度的图像，因此若图样中仅存在黑白两个颜色，那么成像效果会更好。由此可见，对于图样的颜色不予限定，可以为其他色彩区分较为明显的配置方式，比如，标志图形为深色，其余部分为浅色等。

[0011] 在一种可能的设计中，标志图形因拍摄角度的变化而发生形变后，标志图形的中心点位置不变。需要说明的是，图样中的各个标志图形还可以为诸如圆形、椭圆等，即便发生形变，也不会影响中心点位置的图形，在此对于标志图形的形状不予限定。

[0012] 在一种可能的设计中，图样的分辨率与屏幕的分辨率相同。当然，图样的分辨率也可以与屏幕的分辨率成一定比例，即手机屏幕上可以根据手机屏幕的分辨率，生成一张分辨率与手机屏幕的分辨率相同或是成比例的图样。比如，手机屏幕的分辨率为1280*720，那么图样的分辨率可以为1280*720或是A*B，其中，A的取值为1280与第一比例的乘积，B的取值为720与第二比例的乘积，第一比例与第二比例可以相同或是不同，在本发明实施例中，第一比例与第二比例的取值为正数，且图样中的标志图形按照一定规则分布的图样，并显示在手机显示屏中。

[0013] 第二方面，本发明实施例提供一种终端屏幕的定位方法。该方法包括：终端通过屏幕显示图样，工业相机获取第一图像并确定第二坐标，测试设备获取第一坐标与第二坐标，并确定第一坐标与第二坐标之间的转换关系，并根据转换关系，确定第一图像中屏幕的区域。其中，图样包括规则分布的标志图形，第一坐标用于表示标志图形在屏幕中的位置；第二坐标用于表示标志图形在第一图像中的位置，第一图像为拍摄的终端的图像。

[0014] 在一种可能的设计中，在测试设备确定第一坐标与第二坐标之间的转换关系之后，该方法进一步包括：测试设备获取第五坐标，并按照转换关系对第五坐标进行转换，得到第六坐标，之后向机械臂发送；机械臂响应于测试设备发送的消息，在第一图像中第六坐标的位置执行操作。其中，第五坐标用于表示屏幕上的待测试位置，第六坐标用于表示待测试位置在第一图像中的位置。

[0015] 第三方面，本发明实施例提供一种终端清理装置。该装置可以实现上述方法实施例中终端所实现的功能，所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。

[0016] 第四方面，本发明实施例提供一种终端。该终端的结构中包括显示屏，存储器，一个或多个处理器，多个应用程序，以及一个或多个程序；其中，所述一个或多个程序被存储在所述存储器中；所述一个或多个处理器在执行所述一个或多个程序时，使得该终端实现第一方面及其各种可能的设计中任意一项所述的方法。

[0017] 第五方面，本发明实施例提供一种可读存储介质，包括指令。当该指令在终端上运行时，使得该终端执行上述第一方面及其各种可能的设计中任意一项所述的方法。

[0018] 第六方面，本发明实施例提供一种计算机程序产品，该计算机程序产品包括软件代码，该软件代码用于执行上述第一方面及其各种可能的设计中任意一项所述的方法。

附图说明

[0019] 图1为本发明实施例提供的第一种终端结构示意图；

[0020] 图2为本发明实施例提供的一种工业相机对手机进行拍摄的过程示意图；

[0021] 图3为本发明实施例提供的第一种工业相机拍摄的手机的图像；

[0022] 图4为本发明实施例提供的一种图样示意图；

[0023] 图5为本发明实施例提供的第二种工业相机拍摄的手机的图像；

[0024] 图6为本发明实施例提供的一种用于测试手机屏幕灵敏度的打点位置的示意图；

[0025] 图7为本发明实施例提供的一种直线拟合以确定手机屏幕区域的示意图；

[0026] 图8为本发明实施例提供的第一种处理后的黑白图像；

[0027] 图9为本发明实施例提供的一种手机主界面的示意图；

[0028] 图10为本发明实施例提供的一种在手机屏幕建立二维坐标系的示意图；

[0029] 图11为本发明实施例提供的第二种处理后的黑白图像；

[0030] 图12为本发明实施例提供的一种终端屏幕的定位装置的结构示意图；

[0031] 图13为本发明实施例提供的第二种终端结构示意图。

[0032] 附图标记说明：

[0033] 201-工业相机的镜头；

[0034] 202-手机；

[0035] 203-测试设备的放置区；

[0036] 204-图样中的特殊标志图形；

[0037] 205-干扰图形；

[0038] 206-手机屏幕；

[0039] 207-手机亮屏区域的边沿。

具体实施方式

[0040] 本发明实施例可以用于一种终端，该终端可以包括笔记本电脑、智能手机、工业相机、测试设备、虚拟现实(Virtual Reality，VR)设备、增强现实技术(Augmented Reality，AR)、车载设备、智能可穿戴设备等设备。该终端至少设置有显示屏、输入设备和处理器，以终端100为例，如图1所示，该终端100中包括处理器101、存储器102、摄像头103、RF电路104、音频电路105、扬声器106、话筒107、输入设备108、其他输入设备109、显示屏110、触控面板111、显示面板112、输出设备113、以及电源114等部件。其中，显示屏110至少由作为输入设备的触控面板111和作为输出设备的显示面板112组成。需要说明的是，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，在此不做限定。

[0041] 下面结合图1对终端100的各个构成部件进行具体的介绍：

[0042] 射频(Radio Frequency，RF)电路104可用于收发信息或通话过程中，信号的接收和发送，比如，若该终端100为手机，那么该终端100可以通过RF电路104，将基站发送的下行信息接收后，传送给处理器101处理；另外，将涉及上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low  Noise Amplifier，LNA)、双工器等。此外，RF电路104还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evelution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

[0043] 存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行终端100的各种功能应用以及数据处理。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如，声音播放功能、图象播放功能等)等；存储数据区可存储根据终端100的使用所创建的数据(比如，音频数据、视频数据等)等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

[0044] 其他输入设备109可用于接收输入的数字或字符信息，以及产生与终端100的用户设置以及功能控制有关的键信号输入。具体地，其他输入设备109可包括但不限于物理键盘、功能键(比如，音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)等中的一种或多种。其他输入设备109还可以包括终端100内置的传感器，比如，重力传感器、加速度传感器等，终端100还可以将传感器所检测到的参数作为输入数据。

[0045] 显示屏110可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单，还可以接受用户输入。此外，显示面板112可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板112；触控面板111，也称为触摸屏、触敏屏等，可收集用户在其上或附近的接触或者非接触操作(比如，用户使用手指、触笔等任何适合的物体或附件在触控面板111上或在触控面板111附近的操作，也可以包括体感操作；该操作包括单点控制操作、多点控制操作等操作类型)，并根据预先设定的程式驱动相应的连接装置。需要说明的是，触控面板111还可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位、姿势，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成处理器101能够处理的信息，再传送给处理器101，并且，还能接收处理器101发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板111，也可以采用未来发展的任何技术实现触控面板111。一般情况下，触控面板111可覆盖显示面板112，用户可以根据显示面板112显示的内容(该显示内容包括但不限于软键盘、虚拟鼠标、虚拟按键、图标等)，在显示面板112上覆盖的触控面板111上或者附近进行操作，触控面板111检测到在其上或附近的操作后，传送给处理器101以确定用户输入，随后处理器101根据用户输入，在显示面板112上提供相应的视觉输出。虽然在图1中，触控面板111与显示面板112是作为两个独立的部件来实现终端100的输入和输出功能，但是在某些实施例中，可以将触控面板111与显示面板112集成，以实现终端100的输入和输出功能。

[0046] RF电路104、扬声器106，话筒107可提供用户与终端100之间的音频接口。音频电路105可将接收到的音频数据转换后的信号，传输到扬声器106，由扬声器106转换为声音信号输出；另一方面，话筒107可以将收集的声音信号转换为信号，由音频电路105接收后转换为音频数据，再将音频数据输出至RF电路104以发送给诸如另一终端的设备，或者将音频数据输出至存储器102，以便处理器101结合存储器102中存储的内容进行进一步的处理。另外，摄像头103可以实时采集图像帧，并传送给处理器101处理，并将处理后的结果存储至存储器102和/或将处理后的结果通过显示面板112呈现给用户。

[0047] 处理器101是终端100的控制中心，利用各种接口和线路连接整个终端100的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行终端100的各种功能和处理数据，从而对终端100进行整体监控。需要说明的是，处理器101可以包括一个或多个处理单元；处理器101还可以集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面(User Interface，UI)和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。

[0048] 终端100还可以包括给各个部件供电的电源114(比如，电池)，在本发明实施例中，电源114可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

[0049] 此外，图1中还存在未示出的部件，比如，终端100还可以包括蓝牙模块等，在此不再赘述。

[0050] 下面，以图1中所示的终端100为手机及工业相机为例，对本发明实施例的技术方案进行阐述。其中，工业相机可以被视为测试设备的一部分，对于测试设备而言，工业相机可以将拍摄到的手机的图像传递至测试设备，由测试设备进行分析处理，同理，手机也可以将自身产生或是检测到的数据传递至测试设备，供测试设备完成后续对手机屏幕的定位等操作。

[0051] 在本发明实施例中，工业相机用于拍摄包括的手机图像，之后通过工业相机和/或手机对该图像进行处理，以定位手机的屏幕区域。需要说明的是，该方法同样适用于对手机外围轮廓的定位，或是对手机屏幕呈现的某一特定区域的定位，在此不予限定。

[0052] 如图2所示，为工业相机对手机进行拍摄的过程示意图。其中，手机202被放置于测试设备的放置区，工业相机的镜头201所在平面与手机202所在平面平行。需要说明的是，在本发明实施例中，工业相机可以被视为测试设备的一部分，即工业相机与放置区，以及其他部件共同构成测试设备，当然工业相机也可以与测试设备单独设置，之后工业相机可以将采集到的图像传递给测试设备或是手机等其他设备上进行处理，或者，工业相机可以将处理后的图像传递给测试设备，或是通过手机等其他设备传递给测试设备，在此不予限定。

[0053] 如图3所示，为工业相机拍摄的手机的图像。其中，工业相机拍摄后得到的图像为灰度图像，该图像仅作为一种可能的拍摄示例，并不作为对拍摄后得到的图像的限定。

[0054] 在实际拍摄过程中，手机的放置角度、手机与工业相机之间的距离、工业相机相对于手机的取景角度等都会对该图像产生影响，即工业相机拍摄的手机的图像根据实际拍摄的不同而不同，在此不予限定。也就意味着，在实际在拍摄手机图像的过程中，很可能由于测试设备的放置区不平滑、或是放置区所在平面与工业相机的镜头所在平面呈一定角度等，而导致工业相机并不是垂直手机所在平面进行拍摄，从而使拍摄出的图像中，手机屏幕区域存在一定误差，比如，手机屏幕区域在正常拍摄的情况下呈矩形，而当前因畸变呈不规则或是规则的四边形等。此外，畸变后手机屏幕所呈现的图形也会受到手机屏幕区域实际形状的影响。

[0055] 在本发明实施例中，如图4所示，手机屏幕上可以根据手机屏幕的分辨率，生成一张分辨率与手机屏幕的分辨率相同或是成比例的图样，比如，手机屏幕的分辨率为1280*720，那么图样的分辨率可以为1280*720或是A*B，其中，A的取值为1280与第一比例的乘积，B的取值为720与第二比例的乘积，第一比例与第二比例可以相同或是不同，在本发明实施例中，第一比例与第二比例的取值为正数，且图样中的标志图形按照一定规则分布，并显示在手机显示屏中。在图样中，规则分布着多个为圆形的标志图形。标志图形包括常规标志图形和特殊标志图形。其中，常规标志图形完全形同，特殊标志图形用于区分手机放置方向，该特殊标志图形的面积明显大于图样中的常规标志图形。

[0056] 在本发明实施例中，图样中各个圆形标志图形的圆心等间距按行、列呈矩阵式分布，即横向上每两个相邻圆心的间距相同，纵向上每两个相邻圆心的间距相同。此外，图样中圆形为黑色，图样中除标志图形以外的部分为白色。需要说明的是，图样中的各个标志图形还可以为诸如椭圆等，即便发生形变，也不会影响中心点位置的图形，在此对于标志图形的形状不予限定。

[0057] 另外，在本发明实施例中所指的规则分布，不限于上述同一方向上相邻两个标志图形的中心点之间的间距相等的规则，还可以为在同一方向上，按照具有可变性的步长，设置各个标志图形位置的情况，比如，在同一方向上，第一个标志图形与第二个标志图形的中心点之间的间距为X，而第二个标志图形与第三个标志图形之间的间距为2X，以此类推，每增加一个标志图形，该增加的而标志图形与相邻的前一个标志图形之间的间距增加X；或者，在同一方向上，第一个标志图形与第二个标志图形的中心点之间的间距为X，而第二个标志图形与第三个标志图形之间的间距为X+2，以此类推，每增加一个标志图形，该增加的而标志图形与相邻的前一个标志图形之间的间距增加2等，在此不予限定。

[0058] 当然，上述具有可变性的步长可以为一个自变量不断发生变化的函数，也可以为其他实现形式，在此不予限定。另外，对于图样中颜色的分布情况，在本发明实施例中，图样采用黑白相间的形式呈现，即标志图形为黑色，其余部分为白色。考虑到工业相机拍摄后得到的图像为有灰度的图像，因此若图样中仅存在黑白两个颜色，那么成像效果会更好。由此可见，对于图样的颜色不予限定，可以为其他色彩区分较为明显的配置方式，比如，标志图形为深色，其余部分为浅色等。

[0059] 此外，对于图样中的特殊标志图形，可以设置为一个甚至多个，其目的在于区分手机放置的方向。具体区分方式会在后文提出，在此不予赘述。在本发明实施例中，通过对标志图形大小的调整，来区分特殊标志图形和其他标志图形，在此不予限定。

[0060] 另外，在本发明实施例中，生成图样的过程可以由手机执行，或是在工业相机、测试设备或是其他设备根据手机屏幕的分辨率生成，并将生成的图样传递给手机，供手机全屏显示，在此对于生成图样的位置、方式等不予限定。

[0061] 以规则分布的图样为例，若手机屏幕的分辨率为1280*720，那么生成的图样可以被视为分辨率为1280*720的图片。例如，图样中标志图形的分布可以为15*15，即横向和纵向分布均为15个标志图形，那么横向(手机屏幕中1280个像素点对应的边所在方向)15个标志图形中每两个标志图形中心点之间的间距为80，且靠近手机屏幕纵向边缘的标志图形的中心点到该纵向边缘的垂直距离也为80，即80个像素点，其中，80个像素点的计算方式为1280/(15+1)＝80，纵向(手机屏幕中720个像素点对应的边所在方向)15个标志图像中每两个标志图形中心点之间的间距为45，且靠近手机屏幕横向边缘的标志图形的中心点到该横向边缘的垂直距离也为45，即45个像素点。其中，以特殊标志图形为例，特殊标志图形距离屏幕横向边缘的垂直距离为45，距离屏幕纵向边缘的垂直距离为80，此处所指的距离是指标志图形的中心点到边缘的距离。若特殊标志图形所在位置更靠近手机屏幕的坐标原点(手机屏幕的一个角点，即手机屏幕两条相邻的边相交后形成的交点)，且以该角点为坐标原点，手机屏幕横向边上远离该原点的方向为二维坐标系中x轴的正方向，手机屏幕纵向边上远离该原点的方向为二维坐标系中y轴的正方向，则在作为原点的角点坐标为(0，0)时，该特殊标志图形的中心点坐标为(80，45)。以此类推，可以得到图样在手机屏幕呈现时，各个标志图形的中心点的坐标。

[0062] 由此可见，在图样中存在的各个标志图形可以被视为标志图形集合，记为P＝{P1，P2，…，Pn}，其中，n为大于或等于3的整数，而各个标志图形的中心点坐标可以被视为标志图形在屏幕像素坐标上的中心点集合，记为Ps＝{Ps1，Ps2，…，Psn}。需要说明的是，考虑到工业相机在拍摄手机的图像的过程中，很可能工业相机的镜头与手机屏幕并非完全平行，即呈一定角度进行拍摄，这样得到的图像会存在一定失真，即原本呈矩形的手机屏幕很可能呈规则或是不规则的四边形。一般情况下，两点可以确定一条直线，三点可以确定一个平面，而在本发明实施例中，若图像存在失真，且试图确定图像中手机屏幕所在的区域，则可以被视为确定一个平面的过程，因此至少需要确定3个点的位置才可以推算出这个平面。而每个点的位置可以对应出一个标志图形，因此，在本发明实施例中，可以设置图样中标志图形的数量为大于或是等于3个。需要说明的是，考虑到图样中至少存在一个特殊标志图形，以区分手机的放置方向，在本发明实施例中，为了在确保能够有效区分手机放置方向的情况下，尽可能准确地确定出标志图形的中心点分别在手机屏幕及工业相机拍摄的图像中的坐标转换关系，还至少需要两个标志图形的中心点坐标对(即同一个中心点分别在手机屏幕及工业相机拍摄的图像中的坐标)作为初始参数进行计算。需要说明的是，图样中标志图形的数量越多，则得出的坐标转换关系越准确，而图样中标志图形的数量越少，则占用的用于计算坐标转换关系的资源越少。因此，在本发明实施例中，可以结合当前实际需求，权衡资源占用情况及坐标转换关系的准确度，从而确定出当前所要采用的图样中配置多少个标志图形，在此不予限定。

[0063] 如图5所示，手机屏幕显示根据分辨率确定的规则分布的图样，工业相机垂直于手机，对手机进行拍摄后得到的手机图像。其中，在拍摄得到的灰度图像中，不仅包括标志图形，还可以包括干扰图形。在本发明实施例中，干扰图形可以为光照等外界环境因素，或是工业相机的镜头不干净，或是手机显示屏不干净等原因所产生的规则或是不规则的区域、点等。由采集到的图像可以知道，图样中包括的所有标志图形未必能被工业相机全部采集到，例如图5所示的205，也就意味着，工业相机所拍摄得到的图像中很可能仅包括部分标志图形。也正是因为如此，图样中包括的标志图形越多，最终经过对采集到的图像进行处理后所得到的处理结果越精确。

[0064] 在如图5所示图像的基础上，以手机屏幕的分辨率为基础，建立二维坐标系，确定出该图像中各个标志图形的中心点坐标。需要说明的是，由于该图像中存在干扰图形，因此很可能出现部分标志图形不能准确确定的情况，而不能准确确定的各个标志图形的中心点坐标也很难从采集到的图像中确定。在本发明实施例中，可以结合已有标志图形的中心点坐标，推算出缺失或是不完整的标志图形的中心点坐标，之后得到标志图形在图像像素坐标上的中心点集合，记为Pc＝{Pc1，Pc2，…，Pcn}。

[0065] 推算缺失或是不完整的标志图形的中心点坐标的方式可以如下至少一项：

[0066] 根据横向、纵向，或是斜向已确定的标志图形的中心点坐标，计算出相邻两个标志图形的中心点坐标在横、纵两个方向上的增、减幅度，或是增、减规则，之后推算出图样中缺失或是不完整的标志图形的中心点坐标；

[0067] 若横向的标志图形数量为奇数，则确定纵向上所有位于横向中心位置的标志图形的中心点坐标，并将确定的各个中心点坐标所在的直线作为横向上两部分标志图形的对称轴，通过对称比对的方式确定图样中缺失或是不完整的标志图形的中心点坐标。

[0068] 其中，若横向的标志图形数量为奇数，则确定纵向上所有位于横向中心位置的标志图形的中心点坐标，即在每一横行确定两个标志图形的中心点坐标，之后将属于同一横行的两个标志图形的中心点坐标作为一组，确定出该属于同一横行的两个标志图形的中心点坐标之间线段的中点，之后将得到的所有中点所在的直线作为横向上两部分标志图形的对称轴，同样通过对称比对的方式确定图样中缺失或是不完整的标志图形的中心点坐标。

[0069] 需要说明的是，上述实现方式同样适用于纵向及斜项，具体实现方式可参考横向确定的方式，在此不予赘述。另外，推算缺失或是不完整的标志图形的中心点坐标的方式不仅限于上述几种例举的情况，还可以为其他基于图样分布规律而得出的推算方式，在此不予赘述。

[0070] 考虑到图样在经过拍摄后可能存在失真、缺失或是不完整等情况，因此，为了确保能够准确确定出手机的放置方向，特殊标志图形的数量可以设置为多个，或者，直接以手机屏幕的坐标原点为起始点，以扩散的方式递增或是递减标志图形的面积或半径等参数，从而使图样中虽然不存在唯一或是多个的特殊标志图形，但图样中的各个图形呈现出可直观看到的变化规律，从而便于区分手机屏幕的坐标原点在图像中的位置，在此不予限定。

[0071] 需要说明的是，上述确定标志图形在图像像素坐标上的中心点集合的操作，可以在手机、工业相机、测试设备或是其他设备上进行，在此不予限定。

[0072] 之后，可以由手机、工业相机、测试设备和其他设备中的任意一个设备，根据标志图形在图像像素坐标上的中心点集合、标志图形在屏幕像素坐标上的中心点集合，以及两个坐标系中坐标原点的位置，将图像中各个中心点坐标与图样中各个中心点坐标一一对应，从而确定图样中各个标志图形的在不同坐标系中的点坐标转换关系，即函数关系，以得到手机屏幕角点在图像中的位置坐标。

[0073] 其中，以手机屏幕的分辨率为1280*720为例，则手机屏幕的4个角点的坐标可以分别为(0，0)、(1280，0)、(0，720)和(1280，720)。之后可以依据计算得到的函数关系，确定上述4个角点在图像中的位置坐标，从而在图像中定位手机屏幕的4个角点的位置，之后通过建立相邻两个角点之间的连线，以确定出手机屏幕在图像中的位置。同样的，通过上述计算得到的点坐标转换关系，能够将手机屏幕中任意点的位置转换为图像中该任意点对应的位置，从而实现后续对手机屏幕敏感度、点击操作等的检测，在此不予限定。

[0074] 下面结合一个示例对本发明实施例所要阐述的方案进行更进一步地描述。

[0075] 在对诸如手机等终端进行屏幕检测的过程中，往往因为需要识别的内容为特定的图标或是文字，因此，对于识别精度的要求并不高。并且，对于用户的使用过程而言，用户也很难保证点击操作能够很准确地落在应用图标的中心点位置。但是，对于手机触摸屏的精准度测试等，则需要较高的精度，且与对应用图标的识别过程相比，精准度测试往往不存在特定图标模板进行匹配，所以，如何从诸如工业相机等具备拍摄功能的设备所拍摄的图像中，实现手机屏幕特定位置的识别，显得尤为重要。

[0076] 如图6所示，为对触摸屏敏感度的测试，即对手机屏幕的触摸测试，也就是测试手指按压位置和手机实际感应到的点位是否存在差异，从而判断触摸屏的好坏。在本发明实施例中，图6所示的打点位置1至9是相对于手机屏幕4条边界线的距离。由此可见，对于屏幕边界的确定精度要求很高。

[0077] 另外，对于测试设备而言，手机在测试设备上每次的放置位置可能相同或是不同，并且，在同一型号的测试设备上，每次放置的手机的屏幕尺寸也可能相同或是不同。比如，倘若手机屏幕是无方向性的，那么针对像素为1080*1920的手机而言，若用户试图点击(500，500)这个点，且手机正向放置，则可以准确获取到(500，500)这个点，若手机处于倒向放置，则用户实际应该点击的位置为(1080-500，1920-500)这个点，这样一来就会使实际的点击位置与用户试图点击的位置产生较大误差。因此，为了解决手机屏幕定位的问题，采用本发明实施例提供的技术方案，还能够减少人工通过视觉来识别手机屏幕的过程。具体区分手机屏幕放置方向的方式，可以参考前文提及的借助图样中标志图形的不同来实现，在此不予赘述。

[0078] 在将手机置于测试设备的放置区域后，若手机处于亮屏状态，则通过工业相机对手机进行拍摄，得到如图3所示的图像。其中，手机屏幕的边界即为手机屏幕206中手机亮屏区域的边沿207。由图3可知，手机屏幕206包括4条手机亮屏区域边沿207所围成的手机亮屏区域和黑边208，其中，手机亮屏区域和手机屏幕206贴合的黑边208之间的边界非常明显，可以通过视觉算法拟合的方式，拟合出手机屏幕的4条边界，而这4条边界所相交得到的交点即手机屏幕的4个角点。

[0079] 在视觉算法拟合的过程中，需要对图3所示的图像进行像素点的放大，其中，以图3右下方手机屏幕的角点为例，可以得到如图7所示的灰度图像，之后通过直线拟合的方式，得到黑白分明的图像，从而确定手机屏幕的边界轮廓，进而确定角点的位置。

[0080] 需要说明的是，由于直线拟合的方式主要是通过设置一个阈值，之后将灰度图像参考已设定的阈值生成黑白图像，进而结合黑白图像中不规则的边缘来拟合成直线。另外，阈值大小设置的不同，也会影响最终确定出的手机屏幕边界的不同。由图7可以知道，采用直线拟合的方式虽然能确定出角点的位置，但很难拟合出准确的直线，比如，对于手机屏幕而言，很可能将矩形的屏幕区域拟合成不规则的四边形区域，从而影响角点的定位。

[0081] 在本发明实施例中，采用前文提及的方式，结合手机屏幕的像素，生成图样，之后在对手机进行拍摄时，使手机全屏显示该图样。其中，图样中标志图形的数量越多，则使用最小二乘法计算转换关系后得到的用于确定其他任意点坐标转换关系的算法的鲁棒性越强。

[0082] 另外，在图样生成的过程中，生成图样的设备可以使用通用串行总线(Universal Serial Bus，USB)与手机连接，以建立手机与生成图样的设备之间的通信连接，从而在生成图样的设备确定手机屏幕像素且生成图样后，将图样推送至手机，手机可以将该图样存储在本地存储区域，之后手机可以自动全屏显示该图样，以做好测试准备。

[0083] 在本发明实施例中，工业相机采集图像时，可以使工业相机的图像传感器与手机屏幕平行，至于工业相机的物距，则以视野大小适应手机的尺寸为准，在此不予限定。其中，上述图像传感器包括但不仅限于如下中的一项：电荷藕合器件图像传感器(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)。

[0084] 需要说明的是，工业相机所拍摄到的图像为灰度图像，为了减少后续灰度图像给识别过程带来的误差，在本发明实施例中，可以预先对采集到的灰度图像进行处理，比如，采用最大类间方差法(OSTU)，结合预设或是当前自动生成的阈值对图像进行分割，从而得到黑白分明的图像。即将工业相机拍摄出的图5所示的灰度图像经过处理后，得到如图8所示的黑白图像。

[0085] 之后，用于进行图像处理的设备，比如，手机、工业相机、测试设备或是其他设备，可以通过轮廓提取的方式获取手机屏幕区域。考虑到经过OSTU自动阈值分割所得到的图像中，手机屏幕区域的边缘很可能存在诸如毛边等凹凸不平的情况，因此为了保证获取到的手机屏幕区域完全包括手机屏幕，可以通过对前面轮廓提取后得到的最大轮廓进行处理，以找到与该最大轮廓外接的最小矩形，从而初步确定手机屏幕区域的范围。

[0086] 为了方便对图像中各个标志图形的点坐标进行确定，在本发明实施例中，可以将初步确定的手机屏幕区域的范围作为查找图样中各个标志图形的范围，以从工业相机所采集的图像中初步确定的手机屏幕区域内提取轮廓信息，即该图像中各个标志图形的轮廓信息。其中，轮廓信息包括但不仅限于如下中的至少一项：标志图形的面积、半径等。之后根据轮廓信息对该图像中所能够显示出的各个标志图形进行滤除无效轮廓的处理，从而滤除因光照等原因而产生的无效标志图形。

[0087] 之后可以需选择性地恢复缺失或是不完整的标志图形，以确定出已缺失或是不完整的标志图形的中心点坐标。需要说明的是，恢复不完整标志图形的方式可以是基于标志图形本身的定义出发，比如，当前标志图形为圆形，那么可以从圆的定义触发，从中心点到周边任何一点的距离完全相等的图形即为本发明实施例图样中的标志图形，从而依据这个原理将圆形的轮廓补充完整，具体实现方式可以参照现有技术，在此不予赘述。恢复缺失的标志图形的方式，则可以先依据已有标志图形的中心点坐标之间的关系，确定出缺失的标志图形的中心点坐标，之后结合其他标志图形的轮廓信息，确定出已缺失的标志图形的轮廓特征，比如，圆的半径大小等，从而恢复已缺失的标志图形。当然在本发明实施例中，也可以直接依据已经存在的各个标志图形的中心点坐标之间的相对关系，确定出已缺失或是不完整的标志图形的中心点坐标，而并不需要补足不完整的标志图形，也无需复原出已缺失的标志图形。

[0088] 在对该图像进行处理之后，可以选择性地对各个标志图形进行进一步的处理，比如，逐个对圆形轮廓进行随机抽样一致性算法(Random Sample Consensus，RANSAC)进行圆提取，即检测圆形轮廓上各个点距离圆心的位置，通过比对，滤除圆形轮廓上偏差较大的点，之后依据未滤除的点进行最小二乘法拟合，从而得到诸如半径等精细处理后的标志图形参数。

[0089] 在本发明实施例中，为了有效定位手机屏幕的正方向，若图样为图4所示的图像，则可以结合标志图形参数，确定出最大圆形与其他各个圆形的相对位置，从而确定手机屏幕的正方向，再依据这个正方向、各个标志图形在手机屏幕及工业相机所采集的图像中分别的中心点坐标，将两个坐标系上的各个点坐标一一对应，之后可以通过最小二乘法计算两个点坐标集合之间的转换关系，即计算旋转平移缩放转换矩阵。

[0090] 其中，上文所提及的诸如最小二乘法等算法为现有技术，可以参考现有技术中的实现条件、计算方式等，在此不予赘述。

[0091] 在准确确定出转换关系之后，在已知手机屏幕角点坐标的情况下，可以结合转换关系，计算出各个手机屏幕角点在该图像中的位置，且能够确定出手机屏幕的正方向。之后通过4个角点的位置，可以在该图像中拟合出手机屏幕的4条边界线，从而确定手机屏幕的区域。此外，依据该转换关系，还能够确定出手机屏幕上任意一点经过转换后，在该图像中的位置。

[0092] 为了进一步保证转换关系的可靠性，在本发明实施例中，还可以重新依据手机屏幕的分辨率生成图样，并重复执行上述实现方式，从而得到另一个转换关系，之后将两个转换关系进行比对、调整，从而得出更加准确的转换方式，即最终用于确定两个坐标系之间对应关系的转换关系。需要说明的是，随着重新确定转换关系的次数的增多，使最终得到的转换关系更加准确。当然，也可以通过采用当前转换关系对手机屏幕上的某一个或是多个位置进行检测，从而判断当前得到的转换关系是否准确，并结合实际情况，对该转换关系进行微调等，在此不予赘述。

[0093] 由此可见，本发明实施例可以有效应用于手机屏幕的自动定位，使类似于手机屏幕内指定位置的打点划线、图标位置的准确获取等都能够更加准确的定位。另外，由于图样是基于手机屏幕的像素生成的，因此，本发明实施例所采用的实现方式能够有效适用于各个机型的手机、平板电脑等具备显示屏的电子设备的检测。并且，在本发明实施例所提供的实现方式中，对于诸如手机等待测试的设备在测试设备上的放置方向，并不做限定，也就意味着，检测过程受环境影响的几率较低，从而提高整个检测过程的实现精度。

[0094] 以手机为例，通常情况下，手机屏幕很可能由于贴合的工艺误差，而使手机屏幕的角点不一定就是手机屏幕所在坐标系的原点，但采用本发明实施例所提供的点坐标转换的实现方式，就可以有效避免因上述问题而引起的误差。此外，由于手机屏幕漏光、采集图像的质量等问题也会或多或少对测试过程产生影响，而采用本发明实施例所提供的实现方案，则排除了手机屏幕边界加工工艺的影响，且图样中的标志图形的数量越多，则用于确定转换关系的信息越丰富，也就会使确定出的转换关系更加精确，从而提高在图像中拟合出与手机屏幕所在坐标系对应位置的点坐标的精度。

[0095] 比如，在得到转换关系后，手机可以将手机屏幕呈现的界面进行切换，例如，关闭当前全屏显示的图样，呈现手机的主界面，如图9所示。

[0096] 若当前试图模拟用户点击日历图标的操作，从而检测手机屏幕中日历图标所在区域的敏感度，那么，测试设备可以预先获取用户在点击日历图标时，实际需要点击的位置，即日历图标在手机屏幕上的显示位置。在本发明实施例中，参照对手机屏幕进行定位所采取的实现方式，同样以图9所示的手机屏幕左上方的角点为二维坐标系的原点，建立基于手机屏幕的二维坐标系，其中，建立得到的坐标系与手机屏幕定位时在手机屏幕上建立的二维坐标系相同，手机屏幕的分辨率仍为1280*720。按照日历图标中心点在手机屏幕中的显示位置，以及已经建立好的二维坐标系，得到日历图标中心点坐标，即如图10所示的点坐标(288，213)。也就意味着，用户在实际操作过程中，若试图点击日历图标，则需要在该二维坐标系中的(288，213)对应的点上产生点击操作。也就意味着，上述点坐标(288，213)作为测试设备的输入。

[0097] 如图11所示，为工业相机拍摄到的手机的灰度图像经过处理后得到的黑白图像，基于之前得到的转换关系，计算(288，213)这个点坐标在图11所示的二维坐标系中对应的点坐标，即(1620，532)。也就意味着，测试设备可以根据输入的点坐标(288，213)及得到的转换关系，确定机械臂在上述工业相机采集到的图像中需要执行的点击操作的位置。对于机械臂而言，在测试设备完成上述转换关系的计算之后，会控制机械臂在坐标为(1620，532)的点上执行点击操作。

[0098] 需要说明的是，由于转换关系在确定时已经考虑到了手机放置方向会发生改变的情况，因此，得到的转换关系中已经完成了手机放置方向的转换，也就意味着，无论手机是采取怎样的方向进行放置，一旦确定转换关系之后，在手机放置位置不发生改变，且工业相机采集图像时与手机的相对位置不发生改变，则在后续根据手机屏幕上的一点找到图像中的一点的过程中，就可以直接套用已有的转换关系，而无需进行其他操作。另外，为了方便对手机屏幕上各个位置执行点击操作，减少手机与测试设备之间的数据交互，在本发明实施例中，手机可以预先将需要进行测试的界面中呈现的各个图标在手机屏幕上的坐标发送至测试设备，待测试设备需要某一图标在手机屏幕上的坐标时，可以直接将之前接收到的手机发送的该某一图标的坐标作为输入，通过坐标转换的方式得到该某一图标在图像中的位置，并将用于表示该某一图标在图像中的位置的坐标传递给机械臂，供机械臂在图像中对应的坐标上实现点击操作。

[0099] 由此可见，利用图样中的各个标志图形，可以有效确定出手机屏幕与工业相机拍摄的手机的图像之间点坐标的转换关系，而借助该转换关系不仅能够在该图像中定位出手机屏幕角点的位置，进一步地还可以定位出手机屏幕的区域，同样的，依据该转换关系，还能够在该图像中定位出手机屏幕中的任意一点或是多点的位置。

[0100] 在上述终端中可以设置有终端屏幕的定位装置，终端屏幕的定位装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0101] 本发明实施例可以根据上述方法示例对终端屏幕的定位装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

[0102] 如图12所示，为上述实施例中所涉及的终端屏幕的定位装置的一种可能的结构示意图。终端屏幕的定位装置30包括：获取模块31和确定模块32。其中，获取模块31用于支持终端屏幕的定位装置30完成第一图像的获取；确定模块32用于支持终端屏幕的定位装置30确定第一坐标与第二坐标之间的转换关系，以及依据转换关系实现在第一图像中定位终端屏幕的区域。在本发明实施例中，终端屏幕的定位装置30还可以包括存储模块33，用于存储终端的程序代码和数据；通信模块34，用于支持终端屏幕的定位装置30与终端屏幕的定位装置所在的终端，比如，测试设备中各个模块之间进行数据交互，和/或支持该测试设备与诸如手机、工业相机等其他设备之间的通信；和/或用于本文所描述的技术的其它过程。

[0103] 其中，确定模块32可以实现为处理器或控制器，例如可以是中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块34可以实现为收发器、收发电路或通信接口等。存储模块33可以实现为存储器。

[0104] 若确定模块32实现为处理器、通信模块34实现为收发器、存储模块33实现为存储器，则如图13所示，终端40包括：处理器41、收发器42、存储器43，以及总线44。其中，处理器41、收发器42和存储器43通过总线44相互连接；总线44可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

[0105] 结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read Only Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以部署在同一设备中，或者，处理器和存储介质也可以作为分立组件部署在于不同的设备中。

[0106] 以上所述的具体实施方式，对本发明实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明实施例的保护范围之内。