本发明涉及基于使用历史的GUI布局的定制，尤其涉及利用可视显示器和触摸界面的手持设备。该设备包括具有一个或多个主表面的壳体。可视显示器和触摸界面被布置在主表面中的至少一个上。处理器在工作时耦合至所述可视显示器和触摸屏。可由处理器执行的指令可以被配置成：a) 将图像呈现在包含一个或多个活动元素的所述可视显示器上；b) 将触摸界面的一个或多个活动部分与可视显示器上的所述图像中的一个或多个对应的活动元素相关联；以及c) 根据可以使用一个或多个活动元素采取的一个或多个动作的概率来调整在显示器上示出的内容的布局。根据触摸屏的类型，用户可以使用手指的触摸或通过使用触针触摸屏幕与触摸屏进行交互。
处理器，其在工作时耦合至可视显示器和触摸界面，以及
可由处理器执行的指令，其被配置从而使得当被执行时，所述指令使得所述设备：a) 将图像呈现在包含一个或多个活动元素的所述可视显示器上；
b) 将所述触摸界面的一个或多个活动部分与所述可视显示器上的所述图像中的一个或多个对应的活动元素相关联；以及c) 根据可以使用所述一个或多个活动元素采取的一个或多个动作的概率来调整在所述显示器上示出的内容的布局；
其中所述指令被进一步配置成执行所述图像的细分，从而使得所述图像被划分成充满所述显示器的一个或多个区，其中每个区对应于不同的活动元素；
其中每个区的大小取决于在给定的时间帧内用户将使用所述对应的活动元素的对应概率；
其中所述用户将使用所述对应的活动元素的所述概率取决于自前一个动作以来过去的时间；
其中所述指令被配置为反复地重复a)、b)以及c)；
其中每个区的所述对应概率随着时间的推移退化成无偏概率，从而所述图像的细分随着时间的推移退化成无偏细分。
2.根据权利要求1所述的设备，其中，所述指令被配置成随着时间的推移使所述布局退变成非预测性布局。
3.根据权利要求1所述的设备，进一步包括预测引擎，所述预测引擎被配置成基于在采用所述设备的给定类型的动作之后的用户行为的过去的模式来计算后续动作的概率。
4.根据权利要求3所述的设备，其中，所述过去的行为与在所述显示器上显示的一种类型的内容相关联。
5.根据权利要求3所述的设备，其中，所述预测引擎被配置成在所述用户使用所述设备时更新所述后续动作的所述概率。
6.根据权利要求1所述的设备，其中，所述指令被配置成以便于最有可能的一个或多个后续动作的方式来调整所述布局。
7.根据权利要求6所述的设备，其中，所述指令被配置成通过按照比默认布局中更彼此靠近的顺序定位有可能被使用的活动元素来调整所述布局。
8.根据权利要求6所述的设备，其中，所述指令被配置成调整所述活动元素的外观。
9.根据权利要求8所述的设备，其中，很可能被使用的活动元素被加亮或被比其它元素更光亮地着色。
10.根据权利要求6所述的设备，其中，所述指令被配置成调整所述活动元素中的一个或多个的操作。
11.根据权利要求1所述的设备，其中，所述细分将所述图像划分成一个或多个凸区。
12.根据权利要求11所述的设备，其中，所述细分是Voronoi分解。
13.根据权利要求1所述的设备，其中，b) 包括当第一对应概率大于第二对应概率时，使具有所述第一对应概率的第一区大于具有所述第二对应概率的第二区。
14.根据权利要求1所述的设备，其中，所述用户将使用所述对应的活动元素的所述概率取决于所述设备的使用历史。
15.根据权利要求1所述的设备，其中，所述可视显示器是包括所述触摸界面的触摸屏。
16.根据权利要求1所述的设备，其中，所述触摸界面是触摸板。
17.根据权利要求16所述的设备，其中，所述可视显示器是与所述触摸板分开的触摸屏。
18.根据权利要求17所述的设备，其中，所述可视显示器和触摸板被布置在壳体的同一侧上。
19.根据权利要求17所述的设备，其中，所述可视显示器和触摸板被布置在壳体的不同侧上。
20.根据权利要求19所述的设备，其中，所述可视显示器被布置在所述壳体的正面上，而所述触摸板被布置在所述壳体的背面上。
21.根据权利要求18所述的设备，其中，所述壳体包括第一壳体部分和第二壳体部分，其中所述可视显示器被布置在所述第一壳体部分上，并且其中所述触摸板被布置在所述第二壳体部分上。
22.根据权利要求21所述的设备，其中，所述第一壳体部分和第二壳体部分彼此滑动地连接。
23.根据权利要求21所述的设备，其中，所述第一壳体部分和第二壳体部分被以铰链结构彼此连接。
24.根据权利要求23所述的设备，其中，当所述第一部分和第二部分壳体处于接近的位置时，所述可视显示器和触摸板向内朝向。
25.根据权利要求24所述的设备，其中，当所述第一部分和第二部分处于接近的位置时，所述可视显示器和触摸板中的一个向内朝向，而所述可视显示器和触摸板中的另一个向外朝向。
26.根据权利要求24所述的设备，其中，当所述第一部分和第二部分处于接近的位置时，所述可视显示器和触摸板向内朝向。
27.根据权利要求1所述的设备，其中，所述可视显示器包括触摸屏，并且所述触摸界面包括所述触摸屏。
28.根据权利要求1所述的设备，其中，所述指令进一步包括下述指令，其响应于不同于不激活所述一个或多个活动元素的正常触摸模式的不同的触摸模式来激活所述元素中的一个或多个元素。
29.根据权利要求28所述的设备，其中，所述不同的触摸模式是双指触摸，并且其中所述正常的触摸模式是单指触摸。
30.根据权利要求1所述的设备，其中，所述指令被进一步配置成响应于对所述触摸界面的活动部分中的对应的一个的触摸来激活所述一个或多个活动元素中的一个活动元素。
31.根据权利要求1所述的设备，其中，所述指令被进一步配置成响应于与所述触摸界面的用户交互将变换的元素呈现在所述显示器上，其中所述变换的元素以与其变换之前的所述对应的活动元素的操作模式不同的操作模式与所述触摸界面进行交互。
32.根据权利要求31所述的设备，其中，与在变换成所述变换的活动元素之前的所述活动元素相比较，所述变换的元素被放大地出现在所述可视显示器上。
33.根据权利要求32所述的设备，其中，所述指令被配置成根据在所述触摸界面上的触摸模式来控制所述变换的元素的放大程度。
34.根据权利要求31所述的设备，其中，所述指令进一步包括下述指令，其被配置成响应于来自所述触摸界面的信号或在完成与所述变换的元素的交互之后将所述变换的元素还原成所述活动元素在被变换成所述变换的元素之前具有的形式。
35.根据权利要求34所述的设备，其中，所述指令被配置成响应于所述触摸界面上的触摸的移除来还原所述变换的活动元素。
36.根据权利要求34所述的设备，其中，所述指令进一步包括用于将最近被变换的活动元素进行加亮的指令。
37.根据权利要求36所述的设备，其中，所述可视显示器是触摸屏，并且其中所述指令被配置成将在所述触摸屏上任何地方的触摸解释为对所述最近变换的活动元素的激活。
38.根据权利要求31所述的设备，其中，所述可视显示器是触摸屏，并且其中所述指令进一步包括下述指令，该指令用于对在所述变换的元素外部的所述触摸屏的一个或多个部分进行重新计划以充当与所述变换的元素相关联的命令的输入。
39.一种用于操作手持电子设备的方法，所述手持电子设备具有在工作时耦合至可视显示器和触摸界面的处理器；以及可由所述处理器执行以实现所述方法的指令，所述方法包括：a) 将图像呈现在包含一个或多个活动元素的所述可视显示器上；
b) 将所述触摸界面的一个或多个活动部分与所述可视显示器上的所述图像中的一个或多个对应的活动元素相关联；以及c) 根据可以使用所述一个或多个活动元素采取的一个或多个动作的概率来调整在所述显示器上示出的内容的布局；
其中所述指令被进一步配置成执行所述图像的细分，从而使得所述图像被划分成充满所述显示器的一个或多个区，其中每个区对应于不同的活动元素；
其中每个区的大小取决于在给定的时间帧内用户将使用所述对应的活动元素的对应概率；
其中所述用户将使用所述对应的活动元素的所述概率取决于自前一个动作以来过去的时间；
其中所述指令被配置为反复地重复a)、b)以及c)；
其中每个区的所述对应概率随着时间的推移退化成无偏概率，从而所述图像的细分随着时间的推移退化成无偏细分。
40.根据权利要求39所述的方法，其中，所述一个或多个动作的概率取决于自前一个动作以来过去的时间。
41.根据权利要求39所述的方法，其中，所述一个或多个动作的概率取决于所述设备的使用历史。
42.根据权利要求39所述的方法，其中，所述一个或多个动作的概率包括基于在采用所述设备的给定类型的动作之后的用户行为的过去的模式的后续动作的概率。
43.根据权利要求42所述的方法，其中，所述过去的行为与在所述显示器上显示的一种类型的内容相关联。
44.根据权利要求42所述的方法，进一步包括在所述用户使用所述设备时更新所述后续动作的所述概率。
45.根据权利要求39所述的方法，其中c) 包括以便于最有可能的一个或多个后续动作的方式来调整所述布局。
46.根据权利要求45所述的方法，其中，调整所述布局包括按照比默认布局中更彼此靠近的顺序定位有可能被使用的活动元素。
47.根据权利要求45所述的方法，其中，调整所述布局包括调整所述活动元素的外观。
48.根据权利要求47所述的方法，其中有可能被使用的一个或多个活动元素被加亮或被比其它元素更光亮地着色。
49.根据权利要求45所述的方法，其中调整所述布局包括调整所述活动元素中的一个或多个的操作。
50.根据权利要求39所述的方法，其中，所述细分将所述图像划分成一个或多个凸区。
51.根据权利要求50所述的方法，其中，所述细分是Voronoi分解。
52.根据权利要求39所述的方法，进一步包括响应于对所述触摸界面的所述活动部分中的对应的一个活动部分的触摸来激活所述一个或多个活动元素中的一个活动元素。
53.根据权利要求39所述的方法，进一步包括响应于与所述触摸界面的活动部分中的对应的一个或多个活动部分的用户交互将所述活动元素中的一个或多个变换成变换的元素。
54.根据权利要求53所述的方法，其中，所述变换的元素以与在其变换之前所述对应的活动元素的操作模式不同的操作模式与所述触摸界面进行交互。
55.根据权利要求53所述的方法，其中，与在变换成所述变换的活动元素之前的所述活动元素相比较，所述变换的元素被放大地出现在所述可视显示器上。
56.根据权利要求55所述的方法，其中，所述触摸界面上的触摸模式控制所述变换的元素的放大程度。
57.根据权利要求53所述的方法，进一步包括响应于来自所述触摸界面的信号将所述变换的元素还原成所述活动元素在被变换成所述变换的元素之前具有的形式。
58.根据权利要求57所述的方法，其中，所述触摸界面上的触摸的移除触发还原所述变换的元素。
59.根据权利要求53所述的方法，进一步包括将最近被变换的活动元素加亮。
60.根据权利要求59所述的方法，其中，在所述触摸界面上任何地方的触摸都激活所述最近变换的活动元素。
61.根据权利要求39所述的方法，进一步包括针对所述一个或多个活动元素中的每一个活动元素，确定在给定的时间帧内用户将使用所述活动元素的所述对应概率。
处理器，其在工作时耦合至可视显示器和触摸界面，以及
可由处理器执行的指令，其被配置从而使得当被执行时，所述指令使得所述设备：a) 将图像呈现在包含一个或多个活动元素的所述可视显示器上；
b) 将所述触摸界面的一个或多个活动部分与所述可视显示器上的所述图像中的一个或多个对应的活动元素相关联；以及c) 根据可以使用所述一个或多个活动元素采取的一个或多个动作的概率来调整在所述显示器上示出的内容的布局。
63.根据权利要求62所述的设备，其中，所述指令被配置成随着时间的推移使所述布局退变成非预测性布局。
64.根据权利要求62所述的设备，进一步包括预测引擎，所述预测引擎被配置成基于在采用所述设备的给定类型的动作之后的用户行为的过去的模式来计算后续动作的概率。
65.根据权利要求64所述的设备，其中，所述过去的行为与在所述显示器上显示的一种类型的内容相关联。
66.根据权利要求64所述的设备，其中，所述预测引擎被配置成在所述用户使用所述设备时更新所述后续动作的所述概率。
67.根据权利要求62所述的设备，其中，所述指令被配置成以便于最有可能的一个或多个后续动作的方式来调整所述布局。
68.根据权利要求67所述的设备，其中，所述指令被配置成通过按照比默认布局中更彼此靠近的顺序定位有可能被使用的活动元素来调整所述布局。
69.根据权利要求67所述的设备，其中，所述指令被配置成调整所述活动元素的外观。
70.根据权利要求69所述的设备，其中，很可能被使用的活动元素被加亮或被比其它元素更光亮地着色。
71.根据权利要求67所述的设备，其中，所述指令被配置成调整所述活动元素中的一个或多个的操作。
72.根据权利要求62所述的设备，其中所述指令被进一步配置成执行所述图像的细分，从而使得所述图像被划分成充满所述显示器的一个或多个区，其中每个区对应于不同的活动元素。
73.根据权利要求72所述的设备，其中，所述细分将所述图像划分成一个或多个凸区。
74.根据权利要求73所述的设备，其中，所述细分是Voronoi分解。
75.根据权利要求72所述的设备，其中，每个区的大小取决于在给定的时间帧内用户将使用所述对应的活动元素的对应概率。
76.根据权利要求75所述的设备，其中，b) 包括当第一对应概率大于第二对应概率时，使具有第一对应概率的第一区大于具有第二对应概率的第二区。
77.根据权利要求75所述的设备，其中，所述用户将使用所述对应的活动元素的所述概率取决于所述设备的使用历史。
78.根据权利要求75所述的设备，其中，所述用户将使用所述对应的活动元素的所述概率取决于自前一个动作以来过去的时间。
79.根据权利要求78所述的设备，其中，所述指令被配置为反复地重复a)、b)以及c)。
80.根据权利要求62所述的设备，其中，所述可视显示器是包括所述触摸界面的触摸屏。
81.根据权利要求62所述的设备，其中，所述触摸界面是触摸板。
82.根据权利要求81所述的设备，其中，所述可视显示器是与所述触摸板分开的触摸屏。
83.根据权利要求82所述的设备，其中，所述可视显示器位于壳体的第一表面上，而所述触摸板位于在所述第一表面对面的所述壳体的第二表面上。
84.根据权利要求83所述的设备，其中，所述可视显示器和触摸板被布置在所述壳体的同一侧上。
85.根据权利要求83所述的设备，其中，所述可视显示器和触摸板被布置在所述壳体的不同侧上。
86.根据权利要求85所述的设备，其中，所述可视显示器被布置在所述壳体的正面上，而所述触摸板被布置在所述壳体的背面上。
87.根据权利要求83所述的设备，其中，所述壳体包括第一壳体部分和第二壳体部分，其中所述可视显示器被布置在所述第一壳体部分上，并且其中所述触摸板被布置在所述第二壳体部分上。
88.根据权利要求87所述的设备，其中，所述第一壳体部分和第二壳体部分彼此滑动地连接。
89.根据权利要求87所述的设备，其中，所述第一壳体部分和第二壳体部分被以铰链结构彼此连接。
90.根据权利要求89所述的设备，其中，当所述第一部分和第二壳体部分处于接近的位置时，所述可视显示器和触摸板向内朝向。
91.根据权利要求90所述的设备，其中，当所述第一部分和第二部分处于接近的位置时，所述可视显示器和触摸板中的一个向内朝向，而所述可视显示器和触摸板中的另一个向外朝向。
92.根据权利要求90所述的设备，其中，当所述第一部分和第二部分处于接近的位置时，所述可视显示器和触摸板向内朝向。
93.根据权利要求62所述的设备，其中，所述可视显示器包括触摸屏，并且所述触摸界面包括所述触摸屏。
94.根据权利要求62所述的设备，其中，所述指令进一步包括下述指令，其响应于不同于不激活所述一个或多个活动元素的正常触摸模式的不同的触摸模式来激活所述元素中的一个或多个元素。
95.根据权利要求94所述的设备，其中，所述不同的触摸模式是双指触摸，并且其中所述正常的触摸模式是单指触摸。
96.根据权利要求62所述的设备，其中，所述指令被进一步配置成响应于对所述触摸界面的活动部分中的对应的一个的触摸来激活所述一个或多个活动元素中的一个活动元素。
97.根据权利要求62所述的设备，其中，所述指令被进一步配置成响应于与所述触摸界面的用户交互将变换的元素呈现在所述显示器上，其中所述变换的元素以与其变换之前的所述对应的活动元素的操作模式不同的操作模式与所述触摸界面进行交互。
98.根据权利要求97所述的设备，其中，与在变换成所述变换的活动元素之前的所述活动元素相比较，所述变换的元素被放大地出现在所述可视显示器上。
99.根据权利要求98所述的设备，其中，所述指令被配置成根据在所述触摸界面上的触摸模式来控制所述变换的元素的放大程度。
100.根据权利要求97所述的设备，其中，所述指令进一步包括下述指令，其被配置成响应于来自所述触摸界面的信号或在完成与所述变换的元素的交互之后将所述变换的元素还原成所述活动元素在被变换成所述变换的元素之前具有的形式。
101.根据权利要求100所述的设备，其中，所述指令被配置成响应于所述触摸界面上的触摸的移除来还原所述变换的活动元素。
102.根据权利要求100所述的设备，其中，所述指令进一步包括用于将最近被变换的活动元素进行加亮的指令。
103.根据权利要求102所述的设备，其中，所述可视显示器是触摸屏，并且其中所述指令被配置成将在所述触摸屏上任何地方的触摸解释为对所述最近变换的活动元素的激活。
104.根据权利要求97所述的设备，其中，所述可视显示器是触摸屏，并且其中所述指令进一步包括下述指令，该指令用于对在所述变换的元素外部的所述触摸屏的一个或多个部分进行重新计划以充当与所述变换的元素相关联的命令的输入。
105.一种用于操作手持电子设备的方法，所述手持电子设备具有在工作时耦合至可视显示器和触摸界面的处理器；以及可由所述处理器执行以实现所述方法的指令，所述方法包括：a) 将图像呈现在包含一个或多个活动元素的所述可视显示器上；
b) 将所述触摸界面的一个或多个活动部分与所述可视显示器上的所述图像中的一个或多个对应的活动元素相关联；以及c) 根据可以使用所述一个或多个活动元素采取的一个或多个动作的概率来调整在所述显示器上示出的内容的布局。
106.根据权利要求105所述的方法，其中，所述一个或多个动作的概率取决于自前一个动作以来过去的时间。
107.根据权利要求105所述的方法，其中，所述一个或多个动作的概率取决于所述设备的使用历史。
108.根据权利要求105所述的方法，其中，所述一个或多个动作的概率包括基于在采用所述设备的给定类型的动作之后的用户行为的过去的模式的后续动作的概率。
109.根据权利要求108所述的方法，其中，所述过去的行为与在所述显示器上显示的一种类型的内容相关联。
110.根据权利要求108所述的方法，进一步包括在所述用户使用所述设备时更新所述后续动作的所述概率。
111.根据权利要求105所述的方法，其中c) 包括以便于最有可能的一个或多个后续动作的方式来调整所述布局。
112.根据权利要求111所述的方法，其中，调整所述布局包括按照比默认布局中更彼此靠近的顺序定位有可能被使用的活动元素。
113.根据权利要求111所述的方法，其中，调整所述布局包括调整所述活动元素的外观。
114.根据权利要求113所述的方法，其中有可能被使用的一个或多个活动元素被加亮或被比其它元素更光亮地着色。
115.根据权利要求111所述的方法，其中调整所述布局包括调整所述活动元素中的一个或多个的操作。
116.根据权利要求105所述的方法，其中，所述指令被进一步配置成执行所述图像的细分，从而使得所述图像被划分成充满所述显示器的一个或多个区，其中每个区对应于不同的活动元素。
117.根据权利要求116所述的方法，其中，所述细分将所述图像划分成一个或多个凸区。
118.根据权利要求117所述的方法，其中，所述细分是Voronoi分解。
119.根据权利要求118所述的方法，其中每个区的大小取决于在给定的时间帧内用户将使用所述对应的活动元素的对应概率。
120.根据权利要求119所述的方法，其中每个区的所述对应概率随着时间的推移退化成无偏概率，从而所述图像的细分随着时间的推移退化成无偏细分。
121.根据权利要求105所述的方法，进一步包括响应于与所述触摸界面的活动部分中的对应的一个或多个活动部分的用户交互将所述活动元素中的一个或多个变换成变换的元素。
122.根据权利要求121所述的方法，其中，所述变换的元素以与在其变换之前所述对应的活动元素的操作模式不同的操作模式与所述触摸界面进行交互。
123.根据权利要求121所述的方法，其中，与在变换成所述变换的活动元素之前的所述活动元素相比较，所述变换的元素被放大地出现在所述可视显示器上。
124.根据权利要求123所述的方法，其中，所述触摸界面上的触摸模式控制所述变换的元素的放大程度。
125.根据权利要求121所述的方法，进一步包括响应于来自所述触摸界面的信号将所述变换的元素还原成所述活动元素在被变换成所述变换的元素之前具有的形式。
126.根据权利要求125所述的方法，其中，所述触摸界面上的触摸的移除触发还原所述变换的元素。
127.根据权利要求121所述的方法，进一步包括将最近被变换的活动元素加亮。
128.根据权利要求127所述的方法，其中，在所述触摸界面上任何地方的触摸都激活所述最近变换的活动元素。
129.根据权利要求105所述的方法，进一步包括针对所述一个或多个活动元素中的每一个活动元素，确定在给定的时间帧内用户将使用所述活动元素的对应概率。
基于使用历史的GUI布局的定制
[0001] 本申请是于2011年11月21日进入中国国家阶段的申请号为201080022116.5且发明名称为“基于使用历史的GUI布局的定制”的中国发明专利申请的分案申请。
[0002] 优先权权益的要求
[0003] 本申请要求于2009年5月21日提交的美国临时专利申请号 61/180,400的优先权权益，其全部内容被通过引用结合到本文中。
[0004] 本申请要求于2009年10月07日提交的美国专利申请号 12/574,887的优先权权益，其全部内容被通过引用结合到本文中。
[0005] 相关申请的交叉引用
[0006] 本申请涉及共同转让给Charles Nicholson和Gary M. Zalewski的、共同未决的申请号12/574,828(代理人案号SCEA09019US00)，其于2009年10月07日提交，标题为“CONTINUOUS AND DYNAMIC SCENE DECOMPOSITION FOR USER INTERFACE”，其全部内容被通过引用结合到本文中。
[0007] 本申请涉及共同转让给Charles Nicholson和Gary M. Zalewski的、共同未决的申请号12/574,838 (代理人案号SCEA09020US00)，其于2009年10月07日提交，标题为“HAND-HELD DEVICE WITH ANCILLARY TOUCH ACTIVATED ZOOM”，其全部内容被通过引用结合到本文中。
[0008] 本申请涉及共同转让给Charles Nicholson和Gary M. Zalewski的、共同未决的申请号12/574,846 (代理人案号SCEA09021US00)，其于2009年10月07日提交，标题为“HAND-HELD DEVICE WITH ANCILLARY TOUCH ACTIVATED TRANSFORMATION OF ACTIVE ELEMENT”，其全部内容被通过引用结合到本文中。
[0009] 本申请涉及共同转让给Charles Nicholson和Gary M. Zalewski的、共同未决的申请号12/574,851 (代理人案号SCEA09022US00)，其于2009年10月07日提交，标题为“TOUCH SCREEN DISAMBIGUATION BASED ON PRIOR ANCILLARY TOUCH INPUT”，其全部内容被通过引用结合到本文中。
[0010] 本申请涉及共同转让给Charles Nicholson和Gary M. Zalewski的、共同未决的申请号12/574,857 (代理人案号SCEA09023US00)，其于2009年10月07日提交，标题为“TOUCH CONTROL WITH DYNAMICALLY DETERMINED BUFFER REGION AND ACTIVE PERIMETER”，其全部内容被通过引用结合到本文中。
[0011] 本申请涉及共同转让给Charles Nicholson和Gary M. Zalewski的、共同未决的申请号12/574,860 (代理人案号SCEA09024US00)，其于2009年10月07日提交，标题为“TOUCH SCREEN DISAMBIGUATION BASED ON PRIOR ANCILLARY TOUCH INPUT HAND-HELD DEVICE WITH TWO-FINGER TOUCH TRIGGERED SELECTION AND TRANSFORMATION OF ACTIVE ELEMENTS”，其全部内容被通过引用结合到本文中。
[0012] 本申请涉及共同转让给Charles Nicholson和Gary M. Zalewski的、共同未决的申请号12/574,869 (代理人案号SCEA09043US00)，其于2009年10月07日提交，标题为“DYNAMIC RECONFIGURATION OF GUI DISPLAY DECOMPOSITION BASED ON PREDICTIVE MODEL”，其全部内容被通过引用结合到本文中。
技术领域
[0013] 本发明的实施例涉及手持设备，并且更具体地涉及利用可视显示器和触摸界面的手持设备。
背景技术
[0014] 诸如蜂窝电话、便携互联网设备、便携音乐播放器以及手持游戏设备之类的手持消费类电子设备常常包括某种形式的可视显示器，诸如平面屏幕视频显示器或触摸屏显示器。触摸屏是还具有检测在显示区域内的触摸位置的能力的显示器。这允许显示器被用作输入设备，去掉作为用于与显示器的内容进行交互的主要输入设备的键盘和/或鼠标。这样的显示器能够被附连到计算机、或作为终端附连到网络。触摸屏也有助于在个人数字助理(PDA)、卫星导航以及移动电话设备的设计中的最新的变化，使这些设备更加便于使用。
[0015] 自1971年Samuel C. Hurst博士的电子触摸界面的发明以来，触摸屏已经变得很平常了。它们在零售装置中、在销售系统的点上、在自动柜员机(ATM)上以及在其中有时使用触针来操纵图形用户界面(GUI)并且输入数据的PDA上变得很常见。智能电话、PDA、便携游戏控制台以及许多类型的信息设备的普及正在推动对触摸屏的需求和接受。
[0016] 与计算机屏幕或电视屏幕相比较，手持设备中所使用的可视显示器是相对小的。这常常使得难以看见在屏幕上显示的信息。一些手持设备允许显示器在较大图像的选择的部分上放大，从而使得该选择的部分可以被放大并且被更详细地查看。为了实现这样的缩放特征通常要求手持设备实施选择待放大的部分的某种方式。现有技术解决方案包括使用作为可视显示器的触摸屏和允许用户使用他的手指或触针来选择待放大的显示器的所述部分的软件。遗憾的是，因为屏幕是小的，所以用户的手指常常弄混将要被选择的部分从而使得选择困难。
[0017] 正是在这种背景下出现了本发明的实施例。
附图说明
[0018] 通过与附图相结合地考虑以下详细描述能够容易地理解本发明的教导，其中：
[0019] 图1A是图示了在手持设备的可视显示器上的、包含活动元素的一部分内容的示意图。
[0020] 图1B是示出了依照本发明的实施例的、在图1A中的设备上所显示的所述部分内容到与活动元素相对应的敏感区的分解的示意图。
[0021] 图1C-1I是可以被与本发明的实施例相结合地使用的可能的手持设备的示意图。
[0022] 图2A是根据本发明的实施例的手持设备的侧视图。
[0023] 图2B是根据本发明的实施例的手持设备的方框图。
[0024] 图3A是图示了根据本发明的实施例的手持设备的操作的流程图。
[0025] 图3B是手持设备的三维示意图，其示出了根据本发明实施例的所选择的显示的活动元素的放大。
[0026] 图4A是图示了根据本发明的实施例的手持设备的操作的流程图。
[0027] 图4B是图示了根据本发明的实施例使用手持设备上的触摸板来选择活动元素的三维示意图。
[0028] 图4C是图示了响应于触摸板的对应区域的激活来放大活动元素的平面图示意图。
[0029] 图4D是图示了在根据本发明的实施例的使用触摸板的手持设备的显示器上呈现的内容的一部分的选择性放大的三维示意图。
[0030] 图5是手持设备的平面图示意图，其图示了依照本发明的实施例的、在可视显示器上呈现的活动元素的变换的示例。
[0031] 图6A-6E是根据本发明的实施例的、在操作的不同阶段的手持设备的平面图示意图。
[0032] 图7A-7E是根据本发明的实施例的、在操作的不同阶段的手持设备的平面图示意图。
[0033] 图8A-8C是根据本发明的实施例的、在操作的不同阶段的具有触摸屏的手持设备的平面图示意图。
[0034] 图9A是图示了根据本发明的实施例的手持设备的操作的流程图。
[0035] 图9B是图示了随着后续动作的概率改变所显示内容的分解可能如何改变的示例的平面图示意图。
[0036] 图10A是图示了根据本发明的实施例的手持设备的操作的流程图。
[0037] 图10B-10C是根据本发明的实施例的、在操作的不同阶段的手持设备的平面图示意图。
具体实施方式
[0038] 尽管以下的详细描述包含许多用于说明的目的的特定细节，但是本领域的普通技术人员中的任何一个将了解对以下细节的许多变化和修改都在本发明的范围内。因此，在不失本要求保护的发明的通用性并且不将限制强加于本要求保护的发明的情况下，对在下文中所描述的本发明的示例性实施例进行了阐述。
[0039] 用于用户界面的连续且动态的画面分解
[0040] 根据本发明的特定实施例，待呈现在手持设备上的内容可以被分解成充满显示屏的区域的多个区。每个区都可以与被显示在屏幕上的内容的不同活动元素相关联。这些区可以被映射至设备上的用户界面的对应触敏区。每个触敏区都对应于不同的活动元素。在某些实施例中，用户界面可以是与显示屏分开的触摸板。在其它实施例中，显示屏可以是触摸屏并且用户界面因此可以是显示屏的一部分。根据触摸屏的类型，用户可以使用用户的手指的触摸或通过使用触针触摸屏幕与触摸屏进行交互。
[0041] 通过示例的方式而不是通过限制的方式，在手持设备上呈现的诸如网页之类的内容被分解成多个区。每个区可以与所显示的不同的活动元素相关联。在设备的背面上的触摸板的整个区域可以被划分成多个触敏区。每个触敏区可以对应于不同的活动元素。能够通过在浏览器呈现的html画布上执行Voronoi分解而将所显示的网页分割成用于背面触摸的活动区。用户然后能够通过触摸在背面触摸上的对应的区来“选择”在正面屏幕上示出的活动元素中的一个。由于背面触摸上的每个区域比所显示的活动元素大得多，所以使用背面触摸比采用正面触摸屏更容易选择活动元素。
[0042] 通过更详细的示例的方式，诸如网页之类的具有html文档的形式的内容可以被通过对浏览器呈现的html画布执行一般被称为细分的数学分解而分解成用于背面触摸的活动区。html画布确定html文档如何被显示在屏幕上。细分将待显示的文档的一部分划分成分割屏幕区域的有限数量的区。每个区对应于将要被显示在屏幕上的文档的所述部分中的活动元素。根据一个实施例，这些区可以被映射至触摸板的对应的触敏区。用户然后能够通过触摸在触摸板上的对应的触敏区来“选择”在正面屏幕上示出的活动元素。由于该细分，所以每个触敏区都可以显著地大于在屏幕上显示的对应的活动元素。因此，在屏幕是触摸屏的情况下，使用触摸板比采用触摸屏更容易选择活动元素。
[0043] 存在采用其可以执行细分的多种不同的方式。一般而言，细分优选地将文档的所显示部分分割成凸区。通过示例的方式而不是通过限制的方式，所显示部分到凸区的细分可以被实施为Dirichlet细分或Voronoi分解，所述Voronoi分解有时也被称作Voronoi细分、Voronoi图。Voronoi分解是一种通过到空间中的对象的指定离散组的距离（例如通过点的离散组）所确定的度量空间的分解。在最简单的情况下，平面包含一组被称为Voronoi位点的点S。每个Voronoi位点s都具有Voronoi单元，也被称作Dirichlet单元，V(s)包括比靠近任何其它位点更靠近s的所有的点。Voronoi图的各段(即，Voronoi单元的边缘)是与两个位点等距离的平面中的所有点。Voronoi节点(即，在两个边缘相遇处的单元的转角)是与三个(或更多个)位点等距离的点。
[0044] 活动元素的变换可以是上下文相关的。例如，其可以使简单地放大按钮以使其更容易与触摸屏一起使用变得有意义。然而，其可以更方便的将滚动条变换成更方便为用户在触摸屏上操纵的形式。
[0045] 作为示例，网页可以正常地出现在设备的屏幕上，如图1A中所描绘的那样。在这个示例中，网页101的一部分被显示在设备102的可视显示器上。网页101包括活动元素。如在本文中使用的那样，活动元素指的是用户可以通过适当的用户界面与其进行交互的所显示的网页的一部分。活动元素的非限制性示例包括单选按钮104、文本输入框106、链接108(例如，html链接或网页链接)以及滚动条110。网页还可以包括不活动的内容，诸如正常文本112或图像。
[0046] 如图1B中所描绘的那样，所显示的网页101的区域可以被分解成对应于单选按钮104的单选按钮区114、与文本输入框106相对应的文本输入框区116、与链接108相对应的链接区118、以及与滚动条110相对应的滚动条区120。要注意的是，由于在这个示例中文本112不是活动元素所以不存在与文本112相对应的区。根据本发明的某些实施例，单选按钮区
114、文本输入框区116以及链接区118可以被映射至触敏界面上的对应的区。
[0047] 在某些实施例中，触敏界面可以是作为可视显示器的一部分的触摸屏。可替换地，触敏界面可以是与可视显示器分开且远离的触摸板。针对可视显示器和触摸板存在很多可能的配置。此类配置的可能示例包括这样的一个，其中可视显示器V和触摸板T是：在壳体C的同一侧面上，如图1C中所示出的那样；在壳体C的相邻侧面上，如图1D中所示出的那样；或在壳体C的相反侧面上，如图1E中所示出的那样。其它示例包括其中可视显示器V和触摸板T分别位于单独的壳体部分C1和C2上的配置。通过示例的方式而不是通过限制的方式，壳体部分C1、C2可以采用如图1F中所示出的滑动配置、采用如例如图1G、图1H或图1I中所示出的铰链配置相互连接。在图1F中，当壳体部分C1和C2处在接近的（closed）位置时可视显示器V和触摸板T向内朝向。可替换地，如图1G中所示出的那样，当壳体部分C1和C2处在接近的位置时可视显示器V可以向外朝向而触摸板T可以向内朝向(或反之亦然)。此外如图1H中所示出的那样，当壳体部分C1和C2处在接近的位置时可视显示器V和触摸板T向外朝向。
[0048] 根据本发明的实施例，如图2A中所示出的那样，手持电子设备200可以包括具有位于在本文中被称为前表面的壳体201的主表面225A上的可视显示器202的壳体201。触摸板204可以位于与前表面相反的壳体201的另一主表面225B(在本文中被称为后表面)上。壳体可以具有足够小的尺寸以至于其能够被拿在用户的手中。
[0049] 如图2B中所见的那样，设备可以包括控制器203，其各部件可以位于壳体201的内部。控制器203包括在工作时耦合至可视显示器202和触摸板204的处理器207。在某些实施例中，如果将实施并行处理，则设备200可以包括多个处理器207。设备200可以被配置成用作游戏设备、电话、便携媒体播放器、电子邮件设备、网络浏览器设备等等。
[0050] 手持设备200还可以包括公知的支持功能，诸如输入/输出(I/O)元件211、电源(P/S)213、时钟(CLK)215以及高速缓存217。设备200可以可选地包括诸如磁盘驱动器、CD-ROM驱动器、闪存驱动器等等的大容量存储设备219以存储程序和/或数据。如图2B中所示出的那样，设备200的触摸屏202、触摸板204、处理器207、存储器208以及其它部件可以经由系统总线220与彼此交换信号(例如，代码指令和数据)。在某些实施例中，设备200可以包括被配置成允许设备通过网络与其它设备交换信号的网络接口216。此外，手持设备200可以包括一个或多个传感器218。这样的传感器可以包括例如诸如加速计或倾斜传感器之类的惯性传感器、光学传感器、诸如麦克风或麦克风阵列之类的声学传感器。传感器可以生成到程序指令210的输入，其反映手持设备所工作在的环境。
[0051] 可视显示器202可以是能呈现可视符号和/或图形图像的任何适当形式的显示器。通过示例的方式，可视显示器202可以包括平板显示器，诸如液晶显示器(LCD)或发光二极管(LED)显示器。在某些实施例中，在前表面上的可视显示器202还可以结合触摸板以提供用于接收用户命令的界面。在某些实施例中，触摸板204可以可选地包括可视显示器。在后表面上的触摸板204可以基于任何适当的触摸屏技术，诸如电阻的、声表面波(SAW)电容的、红外、应变计、光学成像、分散信号技术、声脉冲识别、受抑全内反射或基于响应于用户的手指的接近的磁致伸缩技术的图形输入板。如有需要，这些相同的技术中的任何一个还可以被结合到在前表面上的可视显示器202中。在优选实施例中，可视显示器202包括被耦合至控制器203的电阻触摸屏而触摸板204包括电容触摸屏。
[0052] 通过示例的方式，电阻触摸屏面板可以由包括由薄空间隔离的两个薄金属导电和电阻层的若干层构成。当某些物体触摸这类触摸面板时，各层被连接在某个点上。面板然后类似于具有连接的输出的两个分压器那样在电学上起作用。这引起电流的变化，其被记录为触摸事件，其可以被发送给处理器207以便处理。
[0053] 表面声波技术使用穿过触摸屏面板的超声波。当面板被触摸时，声波的一部分被吸收。超声波的这个变化记录触摸事件的位置并且将该信息发送至控制器以便处理。
[0054] 电容触摸屏面板可以被涂上材料，例如跨越传感器传导持续电流的铟锡氧化物。因此，传感器在水平轴和垂直轴两者上展示了存储的电子的精确控制的场。当电容触摸屏的‘正常’电容场(其参考状态)被外部施加的电场(例如，来自用户的手指)改变时，位于面板的每个转角处的电子电路测量参考场的特性的合成‘畸变’，并且将关于该事件的信息发送至处理器207进行数学处理。
[0055] 红外触摸屏面板可以采用两种不同的方法中的一种。一种方法使用表面电阻的热感应改变。另一方法是检测在屏幕表面附近的调制光束的遮断的垂直及水平IR传感器的阵列。
[0056] 在应变计配置中，屏幕在四个转角上被用弹簧安装，并且当屏幕被触摸时，应变计用来确定挠曲。该技术还可以测量沿着Z-轴的屏幕202的移动。
[0057] 在基于光学成像的触摸屏技术中，可以将两个或更多个图像传感器放置在屏幕的边缘(通常为转角)周围。红外背光可以被放置在屏幕的其它侧上的相机的视场中。触摸显露为影子，并且然后能够对每对相机作三角测量以定位该触摸。
[0058] 分散信号技术可以使用传感器来检测由于触摸而发生的玻璃中的机械能。复杂算法然后解释这个信息并且提供触摸的实际位置。
[0059] 基于声脉冲识别的触摸屏可以使用超过两个的位于屏幕的某些位置处的压电换能器来将触摸(振动)的机械能变成电子信号。这个信号然后可以被转换成音频文件，并且然后与事先存在的针对屏幕上的每个位置的音频简档相比较。
[0060] 基于受抑全内反射的触摸屏使用全内反射的原理来用光填充折射介质。当手指或其它软物体压住表面时，内反射光路被中断，使光反射到介质的外部，并且因此对在该介质背后的相机而言是可视的。
[0061] 在某些实施例中，设备200可以包括被耦合至控制器203的一个或多个可选按钮以提供额外的输入源。存在用于可选按钮206的多个不同的可能位置。通过示例的方式而不失一般性，一个或多个可选按钮206可以位于前表面225A、后表面225B上、沿着设备200的侧边缘222或在斜边缘224上。
[0062] 手持设备200可以进一步包括存储器208(例如，RAM、DRAM、ROM等等)。诸如存储器208的计算机可读介质可以存储用于在处理器207上执行的程序指令210。程序指令210可以被配置成响应于来自设备上的一个或多个输入源(例如，可视显示器202、触摸板204、或按钮206)或来自被耦合至设备的远程输入源的输入。程序指令210可以包括被配置成生成在可视显示器202上显示的图像的显示驱动器指令212。程序210可以包括响应于从触摸板204所接收的输入的触摸板驱动器指令213。要注意的是，在某些实施例中，可视显示器202和触摸板204的功能可以被结合到可以充当输入和输出设备两者的单个触摸屏界面中。
[0063] 具有活动元素的辅助触摸激活的变换的手持设备
[0064] 通过示例的方式而不是通过限制的方式，在此实施例的一种变形中，手持电子设备可以具有带有一个或多个主表面的壳体。可视显示器可以被布置在主表面中的至少一个上。触摸界面可以被布置在主表面中的至少一个上。处理器可以在工作时耦合至显示器和触摸界面。可以将包含内容的图像呈现在显示器上。可以将内容划分成多个区。每个区可以与所显示的诸如链接或复选框之类的不同的活动元素相关联。可以将触摸界面的整个区域划分成多个触敏区。每个触敏区可以对应于在显示器上所示出的不同的活动元素。用户可以通过触摸在触摸界面上的对应区来选择活动元素。当活动元素被选择时，其外观和/或操作可以变换，从而使得更容易用触摸界面来操纵该元素。可以对变换进行动画制作，从而使得用户能够容易地看到哪个活动元素正在被变换。在用户与变换的活动元素交互之后，该元素可以通过相反的动画制作还原成其原始形式。
[0065] 存在采用其可以触发变换的元素的还原的多种不同方式。通过示例的方式而不是通过限制的方式，如果通过与活动元素相对应的触摸界面204的区上的用户的触摸来触发变换，则可以通过该触摸的消除来触发还原。
[0066] 通过示例的方式而不是通过限制的方式，程序210可以进一步包括变换指令214，其可以被例如通过适当的软件编程配置成根据图3A中通常所图示的方法来操作设备200。如图3A中的302处所指示的那样，可以例如通过Voronoi合成来分解待显示在显示器202上的一部分内容，如上文中所讨论的那样。在所显示的部分内的活动元素可以与触摸界面的对应的部分相关联，如在304处所指示的那样。触摸界面可以是触摸板204或可视显示器
202，如果其包括触摸屏的话。当用户操纵触摸界面时，程序210可以确定用户是否已经选择了对应于活动元素的触摸界面的任何部分，如在306处所指示的那样。如果用户选择了这些活动部分中的一个，则然后可以将对应的活动元素的变换视图呈现在可视显示器202上，如在308处所指示的那样。
[0067] 存在采用其可以变换活动元素的多种方式。例如，如图3B中所图示的那样，可以简单地以放大的形式314来呈现代表活动元素的图标312。如果可视显示器202是触摸屏，则这允许用户更容易地操纵放大的形式314。可以对所选择的活动元素的变换进行动画制作，从而使得用户能够容易地看到哪个活动元素正在被变换。在用户与变换的活动元素交互之后，该元素可以通过相反的动画制作来还原成其原始形式。也可以对再变换进行动画制作。在本发明的实施例的范围内，存在有关活动元素的变换的多个变化。在下文中讨论了这些中的多个。
[0068] 具有辅助触摸激活缩放的手持设备
[0069] 在这个实施例中，手持电子设备可以具有带有一个或多个主表面的壳体。可视显示器可以被布置在至少一个主表面上。触摸板可以被布置在主表面中的至少一个上。处理器可以在工作时耦合至可视显示器和触摸屏。可由处理器执行的指令可以被配置成：a)将图像呈现在可视显示器上；b)响应于与触摸板的用户交互，识别触摸板的活动部分；c)将触摸板的活动部分与显示器的对应区相关联；并且d)将对应区的放大的视图呈现在可视显示器上。作为示例，用户可以在设备的背面上的触摸板之上滑动他的手指。用户的手指的位置可以被映射至在正面上的显示器的对应区。可以将这个区的放大的视图显示在显示器上的窗口中。
[0070] 在这个实施例的某些变形中，变换指令214可以被配置成跟踪在后表面上的触摸板204的用户的操纵，如图4A中的402处所指示的那样。可以将图像的对应部分的放大的视图呈现在可视显示器202上。例如，如图4A的流程图中所示出的那样，程序210可以例如使用触摸板驱动器213来跟踪触摸板204的用户的操纵，如在402处所指示的那样。具体地，触摸板驱动器213可以确定触摸板204的哪个部分412已经被用户的触摸激活，如图4B中所示出的那样。可以将活动部分412与可视显示器202的对应区相关联，如在404处所指示的那样。可以将对应区414内的内容的放大的视图显示在显示器202上，如在406处所指示的那样。
[0071] 在某些实施例中，可以将触摸板204细分成对应于在显示器202上示出的活动元素的多个区。当用户激活对应于活动元素的触摸板204的区中的一个时，该活动元素可以被放大在触摸屏上，如图4B中所描绘的那样。例如，参照在上文中针对图1A-1B所描述的示例，如果用户按压与链接108相对应的背面触摸区118，则放大的链接418可以被显示在触摸屏上，如图4C中所示出的那样。
[0072] 在针对图4A-4B所描述的实施例的替代性变形中，不必严格地执行内容的显示部分的细分或类似分解。作为替代，程序210可以简单地跟踪触摸板204的一部分的用户的激活、将所激活的部分与在屏幕上显示的内容的对应区关联，并且将内容的放大的视图414呈现在对应区中，如图4D中所示出的那样。这使得更容易看到并且使用在屏幕上所示出的所选择的活动元素。这也允许在可视显示器也是触摸屏的情况下增强可视显示器202的可用性。
[0073] 要注意的是，在本发明的实施例的背景之内，存在一旦活动元素已经被通过激活触摸界面的对应区而选择就可以采用其变换活动元素的许多替代性方式。例如，除了或代替改变活动元素的所显示的大小之外，可以通过变换来改变活动元素的操作的性质和或外观。
[0074] 通过示例的方式，考虑图1A-1B中所示出的情况。放大滚动条110可能是不切实际的。通过移动小框或“点击”滚动条的端部处的向上或向下箭头来以常规方式操纵在小触摸屏上显示的滚动条也可能是难使用的。代替放大滚动条110，可以进行如图5中所描绘的那样的变换。在这个示例中，滚动条110可以被变换成可以与常规滚动条不同地操作的变换的滚动条130。例如，变换的滚动条130的滚动速度和方向可以取决于用户例如使用触针将光标132放置在滚动条内的位置。这使得在触摸屏上使用滚动条容易得多。存在可以采用其变换活动元素的操作的性质和/或外观的多种方式。例如，复选框可以被变换成拨动开关，对在手持设备上操作来说其可以更加直观的。
[0075] 基于现有辅助触摸输入的触摸屏歧义消除
[0076] 在这个实施例中，手持电子设备可以具有带有如在上文中所描述的第一和第二主表面的壳体。触摸屏显示器可以被布置在第一主表面上并且触摸板可以被布置在另一主表面上。将包含内容的图像呈现在显示器上。能够将内容划分成多个区。每个区可以与不同的活动元素相关联，例如，如在上文中所讨论的那样。触摸板的整个区域可以被划分成触敏区。每个触敏区对应于在触摸屏上所示出的不同的活动元素。用户可以通过触摸在触摸板上的对应区来选择活动元素。
[0077] 如在上文中所讨论的那样，当选择活动元素时，其外观和/或操作可以被变换从而使得更容易使用触摸屏来操纵该元素。如在上文中所指出的那样，能够对变化进行动画制作，从而使得用户能够容易地看见哪个活动元素正在被变换。在用户与变换的活动元素交互之后，该元素可以通过相反的动画制作还原成其原始形式。例如，当用户通过按压触摸板上的对应区来选择活动元素时，活动元素可以被放大在还充当触摸屏的正面显示器上。在用户已经操纵变换的活动元素之后，变换的元素可以还原成其正常外观。然而，可以将被操纵的活动元素在触摸屏上加亮，从而使得用户能够辨别哪个活动元素最近被改变过。如果用户想再使用加亮的活动元素，则能够通过在正面触摸屏上的元素的一般区域上的按压来选择这个元素。如果用户的手指触摸了若干活动元素，则这个动作可以被歧义消除为激活加亮的活动元素。
[0078] 通过示例的方式而不是通过限制的方式，如通常所显示的那样，诸如包含多个活动元素的网页的内容（例如复选框602）可以出现在触摸屏显示器202上，如图6A中所示出的那样。所显示的页面的区域可以被分割成九个不同的区612，如6B中所示出的那样。
[0079] 在这个示例中，每个复选框区612被映射至触摸板(未示出)的不同的对应区。触摸板可以位于设备的不同部分上，例如在壳体201的后表面上或在某其它配置中，例如，如图1C-1I中所描绘的那样。用户可以通过触摸在触摸板上的对应区来“选择”在触摸屏上所示出的九个复选框中的一个。由于背面触摸上的每个区域都比所显示的复选框要大得多，所以对用户而言更容易选择复选框。当用户通过按压触摸板上的对应区来选择活动元素时，活动元素可以被放大或被以其他方式在触摸屏上加以变换。用户然后能够更容易地看到活动元素和/或使用触摸屏202与其更容易地进行交互。
[0080] 例如，如果用户按压与中心复选框602C相对应的触摸板区612C，则放大的中心复选622C框可以被显示在触摸屏202上，如图6C中所示出的那样。与例如相关的文本624C的文本框相关联的所显示内容的各部分也可以被放大从而使得它们更易于阅读。
[0081] 如果用户想选取中心复选框602C，则能够通过例如使用触针或用户的手指在触摸屏202上的对应的放大复选框622C上按压来选择这个框。在用户已经选择放大的中心复选框622C之后，放大的复选框622C可以在所显示的内容内上还原成其正常外观。然而，中心复选框602C可以被在显示器202上加亮，从而使得用户可以容易地察觉到中心复选框是最近被改变过的那一个，如图6D中所示出的那样。
[0082] 变换指令214可以基于中心复选框602C是最近被修改过的活动元素这一事实过滤来自触摸屏驱动器213的输入。例如，与显示的活动元素相对应的细分的区可以被映射至触摸屏202以及触摸板204。变换指令214可以被配置成过滤与这些区的触摸激活相对应的信号，从而使得这些区中的任何一个或多个区的用户的触摸被解释为所显示的最近被修改过的活动元素的触摸。这样，可以基于前面的与所显示的活动元素的用户交互对触摸屏上的不确定输入进行岐义消除。因此，例如如果用户想取消选取中心复选框602C，则能够通过在被映射至触摸屏202的复选框区612中的一个或多个上进行按压来选择或放大这个框。即使用户的手指F触摸了若干复选框区，如图6E中所描绘的那样，变换指令214也可以将这个动作解释为对中心复选框602C的选择。
[0083] 关于针对图6A-6E所描述的实施例存在多个可能的变化。这些变化可以解决与使用在设备的正面上的触摸屏和在设备的背面上的触摸板的手持设备相关联的料想不到的问题。因为由于在背面触摸板上的用户的手指的位置的视图常常被壳体遮掩而导致用户倾向于主要依赖正面触摸屏，所以这些问题中的许多可能出现。
[0084] 具有动态确定的缓冲区和活动周界的触摸控制
[0085] 这个实施例处理如何在用户不必按住例如在背面触摸板上的控制装置以使所选择的元素放大或增强的情况下选择手持设备的触摸屏上的多个活动元素的问题。
[0086] 这个实施例的某些实施方式可以基于模态对话框格式，所述模态对话框格式使用环绕状态输入触摸域的周界的无响应或不活动的区和环绕模态对话框的不活动缓冲区的动态确定大小的接受和取消区。要注意的是，这个实施例可以被实现在具有单个触摸屏的设备中。尽管两个触摸界面是不必要的，但是这个实施例可以被用在具有例如正面触摸屏和背面触摸板的两个触摸界面的设备中。在这个实施例的一个示例中，在保留缓冲区时，选择和取消区可以被基于对话框的大小动态地设置成某厚度。
[0087] 根据这个实施例，在手持设备的屏幕上所呈现的内容可以被划分成多个区。每个区与诸如被显示的链接或复选框之类的不同活动元素相关联。例如内容被呈现到其上的触摸屏的触摸界面的整个区域、或设备的背面上的单独的触摸板可以被划分成触敏区。每个触敏区都对应于不同的活动元素。用户通过触摸对应的触敏区来选择活动元素。变换的或放大的活动元素可以被显示在屏幕上。可以采用例如正面触摸屏或背面触摸板的触摸界面来操纵增强的活动元素。缓冲区围绕增强的活动元素。
[0088] 如果用户触摸了触摸界面的该区域，则什么也不发生。在缓冲区外部的触摸界面的剩余区被重新计划，从而使得在该区上的触摸能够确认活动元素的操纵或取消活动元素的操纵。
[0089] 通过示例的方式而不是通过限制的方式，诸如网页之类的内容701可以被正常地显示在手持设备的触摸屏，如图7A中所示出的那样。在这个示例中，所显示的内容701包括多个活动元素，诸如单选按钮702、文本输入框704、链接706及一组复选框708和诸如文本710之类的不活动元素。
[0090] 如图7B中所描绘的那样，活动元素可以是例如如上文所描述的触摸屏或触摸板的对应的细分区。具体地，所显示的内容701可以被分解成对应于单选按钮702的单选按钮区712、与文本输入框704相对应的文本输入框区714、与链接706相对应的链接区716、以及与文本框组708相对应的文本框组区718。要注意的是，由于在这个示例中文本不是活动元素，所以不存在与文本710相对应的区。
[0091] 用户可以例如通过触摸在设备的触摸屏或单独的触摸板上的对应区718来选择复选框组。增强的(例如，变换的或放大的)文本框组728然后可以被显示在触摸屏上，例如如图7C中所示出的那样。可以使用动画来示出文本框组的变换或放大，从而使得将清楚的是这是被选择的特定活动元素。文本框组708的变换或放大允许用户更容易地激活触摸屏上的所选择的复选框。
[0092] 触摸屏的缓冲区721围绕增强的复选框区728。程序210可以被配置成使得如果用户触摸了缓冲区721则什么也不发生。在缓冲区721外部的触摸屏的剩余区725可以被重新计划，从而使得在这个区上的触摸能够确认所选择的框或取消文本框选择并且使该文本框离开。例如，如图7D中所描绘的那样，触摸屏的剩余区的一侧725A可以被重新计划为“确认”按钮并且剩余区的另一侧725B可以被重新计划为“取消”按钮。这些区可以具有不同的阴影并且图标可以被显示在每个区内作为用户的导引。触摸“确认”区725A确认所选择的复选框，并且将增强的文本框区728还原成文本框组708的原始形式。触摸“取消”区725B取消选择所选择的复选框并且将增强的文本框区728还原成文本框组708的原始形式。
[0093] 可以基于增强的复选框区728的大小、以保留缓冲区721的这样的方式来动态地确定剩余区725的厚度。通过示例的方式而不是通过限制的方式，可以保留缓冲区721，调整剩余区的厚度从而使得围绕增强的复选框区728的缓冲区721的厚度大于或等于某最小厚度。可以基于与设备的易用性有关的某准则凭经验确定最小厚度。例如，可以确定缓冲区的最小厚度以减少用户将非故意地触摸“确认”区725A或取消区725B的可能性。
[0094] 关于在上文中针对图7A-7D所描述的实施例存在多个可能的变化。在一个变化中，手持设备可以包括惯性传感器(例如，加速计或倾斜传感器)，其可以被用来检测设备的倾斜以在确认与取消之间切换。用户然后能够触摸在被重新计划的区725中的任何地方以激活所述确认或取消。可替换地，用户可以通过在单独的触摸板上按压来确认或取消，如果该设备包括一个触摸板的话。“确认”或“取消”图标可以被根据设备被倾斜的方式(如通过来自惯性传感器的信号所确定的那样)显示在触摸屏上。根据关于这个实施例的另一变化，活动元素可以是具有可以使用重新计划的区725来选择的两种操作模式的颜色选择器。例如，颜色选择器可以具有允许用户从有限数量的颜色(例如，16种颜色)当中进行选择的默认模式。通过触摸被重新计划的区725，用户可以选择进入允许用户从更大量的颜色(例如，256种颜色)中进行选择的扩展模式。被重新计划的区725可以包括图标或给予用户这个扩展模式是可用的其它指示。
[0095] 另一变化解决了用户使某信息拷贝至有时被称作“剪贴板”的临时存储位置的情况。在常规的触摸屏界面中，如果用户需要将信息输入到文本输入框704中，则设备将触摸屏的一部分转换成虚拟键盘。在常规的手持设备中，用户则必须使用虚拟键盘输入文本。这样经常是不方便的，特别是在能够使用设备拷贝文本的情况下。
[0096] 如图7E中所示出的那样，根据本发明的实施例，相比之下，如果用户选择文本输入框区714并且可以被粘贴到文本输入框中的数据已经被拷贝，则特定图标734可以与增强的文本输入框724相结合地被示出在触摸屏上。在某些实施例中，触摸屏的多个部分可以被重新计划为虚拟键盘744，其可以被显示为增强的文本输入框724的一部分或与增强的文本输入框724相结合地进行显示。用户可以触摸图标734以将存储的文本粘贴到文本输入框704中。用户还可以经由虚拟键盘输入文本。用户然后可以例如通过与触摸屏或触摸板的交互将设备返回至正常操作。例如，如果通过使用触摸屏触摸文本输入框区714来选择文本输入框704，则用户可以触摸文本输入框区714以触发返回至正常视图。可替换地，如果通过触摸并且保持在设备的背面上的触摸板上的文本输入框区714来选择文本输入框704，则用户可以触摸文本输入框区714以触发返回至正常视图，通过释放他对触摸板的触摸以返回至正常操作。这个过程避免了必须出现虚拟键盘以用于文本输入。
[0097] 尽管在上文中所描述的多个实施例涉及具有正面触摸屏和背面触摸板的设备，但是本发明的实施例可以在仅使用触摸屏的设备中加以实现。
[0098] 具有双指触摸触发的活动元素的选择和变换的手持设备
[0099] 根据这个实施例，在手持设备的显示器上所呈现的内容可以被划分成多个区，如在上文中所讨论的那样。每个区可以与被呈现在显示器上的不同的活动元素相关联。显示器的整个区域被划分成对应于触摸界面的触敏区的区。每个触敏区对应于在显示器上所示出的不同的活动元素。以第一模式(例如，使用单个手指)触摸该触摸界面正常地操作该触摸界面。以另一触摸模式(例如，使用两个手指)触摸多个触敏区中的一个触敏区激活与该区相对应的活动元素的增强(例如，变换或放大)。可以任意地定义操作的第一和第二模式。然而，在优选实施例中，单个手指触摸正常地操作触摸界面，而在与活动元素相对应的屏幕区上的双指触摸发起该元素的增强。
[0100] 通过示例的方式而不是通过限制的方式，诸如网页之类的内容801可以正常地出现在触摸屏803上，如图8A中所示出的那样。内容801可以包括活动元素，诸如单选按钮802、文本输入框804、链接806以及复选框808。还可以显示不活动的正常文本810或图像。在常规的操作模式中，单指触摸正常地操作屏幕。例如，使用手指F在触摸屏803的表面上“刷”可以被解释为触发所显示的内容801的滚动的指令。
[0101] 如在上文中所讨论的那样，所显示的内容801的区域可以被分割成四个不同的区，如图8B中所示出的那样。这些区包括对应于单选按钮802的单选按钮区812、与文本输入框804相对应的文本输入框区814、与链接806相对应的链接区816、以及与复选框组808相对应的复选框区818。要注意的是，由于在这个示例中文本不是活动元素，所以不存在与文本810相对应的区。
[0102] 用户然后能够通过使用例如双指触摸的第二触摸模式来触摸在触摸屏上的对应区而“选择”在触摸屏803上所示出的四个活动元素中的一个。由于每个敏感区域都比所显示的活动元素要大得多，所以更容易选择活动元素。当用户通过使用两个手指按压触摸屏上的对应区来选择活动元素时，程序210可以将这个动作解释为用于增强对应的活动元素的指令，所述对应的活动元素然后可以被增强，例如被放大或被变换，如在上文中所讨论的那样。用户然后能够更容易地看见该活动元素并且使用触摸屏803更容易地与其进行交互。
[0103] 例如，如图8C中所示出的那样，如果用户使用两指F1、F2按压用于链接的触摸屏区816，则增强的链接826可以被显示在触摸屏803上。通过示例的方式，增强的链接826可以示出用户可以通过激活该链接而导航到的网页或其它内容的预呈现图像。
[0104] 这个实施例有助于查看并且使用在屏幕上所示出的活动元素。这还允许增强触摸屏的常规使用。具体地，在触摸屏803的活动元素区之一上的双指触摸可以被解释为相当于在设备的背面上的触摸板的对应区上的触摸。与两个不同的触摸界面形成对照，使用两种不同的触摸模式可以简化手持设备的设计并且减少设备复杂性及成本。即使设备包括触摸屏和单独的触摸板两者，使用两种不同的触摸模式也会是有利的。双模式触摸屏可以提供额外的操作灵活性和简易性。
[0105] 在这个实施例的某些变化中，程序210可以通过独立地跟踪两个手指F1、F2来解释两指的触摸模式动作。例如，如果两个手指F1、F2沿相同的方向移动，则该移动可以被解释为“刷”命令。如果两个手指F1、F2沿不同的方向移动，则该移动可以被解释为“收缩”命令。
[0106] 关于这个实施例存在其它的变化。例如，两指的触摸可以被用来触发元素放大/变换，而单个手指触摸可以被用于滚动，或反之亦然。这个实施例还可以与在上文中所描述的其它实施例相结合，例如，触摸在显示增强的活动元素的屏幕的一部分外部的触摸屏803的重新计划区可以取消或关闭活动元素。此外，这个实施例中的概念可以被扩展以包括跟踪三个或更多个手指以及将不同的操作模式命令与被确定为正触摸所述触摸屏和/或触摸板的该多个手指相关联。
[0107] 这个实施例的特征可以结合其它实施例的特征。例如，使用不同的触摸模式可以控制在上文中针对图4A-4B所讨论的实施例中所显示的内容的一部分或活动元素的放大程度。具体地，放大程度可以与在该触摸模式中使用的手指的数量相关。
[0108] 基于预测模型的GUI显示分解的动态重新配置
[0109] 在这个实施例中，例如在显示器上所呈现的网页的内容可以被分解成多个区，其中的每一个都与显示器上示出的不同的活动元素相关联。相关触摸界面的整个区域可以被划分成触敏区，其中的每一个都对应于显示器上示出的不同的活动元素。用户可以通过触摸对应的触敏区来选择活动元素中的一个。可以根据对接下来哪个活动元素可能被选择的预测来使分解变形。可以基于用户对设备200使用的历史由预测模型来确定预测。在用户使用设备时，可以连续更新预测模型。在这个实施例的某些变化中，分解的“变形”随着时间的推移可以退化为不是基于预测的“非变形的”分解。在本文中所描述的其它实施例的特征可以与这个实施例的特征相结合。
[0110] 通过示例的方式而不是通过限制的方式，如在上文中所提到的那样，程序210可以进一步地包括预测引擎221，其可以被例如通过适当的软件编程配置成根据在图9A中通常所图示的方法来操作设备200。如在图9A中的902处所指示的那样，可以例如通过Voronoi合成对将显示在显示器202上的一部分内容进行分解，如在上文中所讨论的那样。在所显示的部分内的活动元素可以与触摸界面的对应部分相关联，如在904处所指示的那样。触摸界面可以是触摸板204或可视显示器202，如果其包括触摸屏的话。当用户操纵触摸界面时，程序210可以可选地确定用户是否已经采取行动，如在906处所指示的那样。通过示例的方式，程序210可以检测用户已经选择了对应于活动元素的触摸界面的任何部分。程序210然后可以根据一个或多个后续动作的概率来调整在显示器上示出的内容的分解的比例。随着时间的推移，内容的分解和活动区与触摸界面的对应部分的关联可以反复地重复。通过示例的方式，预测引擎221可以基于在使用设备200的给定类型的动作之后的用户行为的过去的模式来计算后续动作的概率。该过去的行为可以与在显示器102上所显示的一种类型的内容相关。当用户使用设备200时，概率可以被更新。屏幕驱动器212可以根据概率来重新计算内容的所显示部分的分解，如在908处所指示的那样。由于分解的再计算，可以改变触摸板204的结果产生的活动区的大小和/或形状。
[0111] 图9B图示了所述显示的分解可以如何随着后续动作的概率改变而改变的示例。通过示例的方式，如图9B中所描绘的那样，设备可以响应于初始用户动作来显示诸如网页之类的内容。在这个示例中，例如在设备的可视显示器102上所显示的网页101的所显示内容可以包括活动元素，诸如单选按钮104、文本输入框106、链接108(例如，html链接或web链接)、以及滚动条110。内容还可以包括不活动的内容，诸如正常文本112或图像。如在上文中所描述的那样，所显示的内容页面101的区域可以被分解成与单选按钮104相对应的单选按钮区114、与文本输入框106相对应的文本输入框区116、与链接108相对应的链接区118、以及与滚动条110相对应的滚动条区120。由于在这个示例中文本不是活动元素，所以没有区对应于文本112。单选按钮区114、文本输入框区116、链接区118、以及滚动条区120可以被映射至触敏界面上的对应区。
[0112] 一旦内容101被显示，预测引擎221便可以基于过去的用户行为确定用户接下来更有可能使用滚动条110而不是单选按钮104。因此，显示驱动器212可以计算内容101的分解，其中与当例如通过html画布的细分由内容101的简单无偏分解来确定这些区时的其他方式的情况相比，滚动条区120起初被制定得更大，而单选按钮区114、文本输入框区116以及链接区118可以被制定得更小。显示驱动器212可以依据在给定时间帧内用户有可能使用这些区的相对概率来计算单选按钮区114、文本输入框区116、链接区118、以及滚动条区120的相关区域。
[0113] 随着时间的推移，用户接下来将使用滚动条110的可能性可能改变。因此，例如，由于分解和相关处理的重复，在滚动条区120与其它三个区之间的分界线可以随着时间的推移移动使得滚动条区更小而其它三个区更大，直到分界线被定位在当由内容101的简单无偏分解确定时其将处于的位置为止。根据关于过去的用户行为的预测引擎可获得的信息量可以有其它变化。例如，随着时间流逝，用户将使用文本框106可能变得更有可能。如果是这样的话，文本框区116可以相对于其它三个区而言扩大。要注意的是，随着时间推移每个活动区的对应的概率可能退化为无偏概率。因此，在这样的情况下，随着时间推移图像的细分可能退化为无偏细分。
[0114] 这个实施例的特征可以与在本文中所描述的其它实施例的特征相混合。通过进一步的非限制性示例的方式，这个实施例的特征可以与在上文中针对图6A-6E所描述的特征相混合。具体地，在如例如针对图6E所描述的那样基于与所显示活动元素进行的先前的用户交互来对触摸界面上的不确定输入进行歧义消除的情况下，可以应用所显示内容的分解方面的变形的退化。一般而言，所显示内容的细分可以从其中在触摸界面上任何地方的触摸均被解释为对最近变换的活动元素的激活的有偏细分退化成无偏细分。具体地，随着时间的推移，分解可以从其中可以通过在被映射至触摸屏202的复选框区612中的一个或多个上按压来选择或放大中心复选框602C的那样的分解退化成其中只能够通过在对应于该中心复选框的触摸界面的部分上按压来选择或放大该中心复选框的那样的分解。
[0115] 基于使用历史的GUI布局的定制
[0116] 在关于上文中所描述的实施例的变化中，可以基于GUI的使用历史以预测性方式来布置图形用户界面(GUI)的显示器上的内容的布局。“布局”可以包括显示哪些项、在何处显示它们、它们以什么顺序出现、它们怎样出现、和它们怎样工作。布局可以随着时间的推移退化为非预测性布局。在本文中所描述的其它实施例的特征可以与这个实施例的特征相结合。
[0117] 如果GUI包括触摸界面，则触摸界面的整个区域可以被划分成多个触敏区，其中的每一个都对应于不同的活动元素。用户能够通过触摸对应的触敏区来选择活动元素中的一个。可以根据接下来哪个活动元素很可能被选择的预测对分解进行变形。可以基于用户行为由预测模型来确定预测。
[0118] 通过示例的方式而不是通过限制的方式，如在上文中所指出的那样，程序210可以进一步包括预测引擎221，其可以被例如通过适当的软件编程配置成根据图10A中通常所图示的方法来操作设备200。如图10A中的1002处所指示的那样，可以可选地例如通过Voronoi合成来分解待显示在显示器202上的内容的一部分，如在上文中所讨论的那样。所显示的部分内的活动元素可以与触摸界面的对应部分相关联，如在1004处所指示的那样。触摸界面可以是触摸板204或可视显示器202，如果其包括触摸屏的话。当用户操纵触摸界面时，程序210可以可选地确定用户是否已经采取行动，如在1006处所指示的那样。通过示例的方式，程序210可以检测用户已经选择了对应于活动元素的触摸界面的任何部分。程序210然后可以根据一个或多个后续动作的概率来调整在显示器上所示出的内容的布局，如在1008处所指示的那样。随着时间的推移可以反复地重复内容布局的调整及内容的后续分解和活动区与触摸界面的对应部分的相关。
[0119] 通过示例的方式，预测引擎221可以基于在使用设备200的给定类型的动作以后的用户行为的过去模式来计算后续动作的概率。该过去的行为可以与在显示器102上所显示的一种类型的内容相关联。当用户使用设备200时，可以更新概率。屏幕驱动器212可以根据该概率来调整内容的所显示部分的布局。存在可以采用其调整布局的多种不同的方式。优选地，以有助于最可能的一个或多个后续动作的方式来调整布局。如在上文中所指出的那样，这可以包括例如通过按照比默认布局中更彼此靠近的顺序定位有可能使用的活动元素来调整活动元素的放置。此外，可以调整活动元素的外观，例如，可以对有可能被使用的活动元素进行加亮或更光亮地着色。另外，可以调整一个或多个活动元素的操作，例如，在诸如联系人列表之类的列表中的项目的顺序可以以最常用的项目靠近列表的顶部来进行排序。
[0120] 通过示例的方式，在“默认”设置中，缺少有关过去的用户行为的任何信息，设备可以显示内容，例如包含单选按钮802、文本输入框804、链接806、复选框808、以及不活动的正常文本810的网页，如图10B中所示出的那样。预测引擎221可以基于过去的用户历史来确定当这个页面（或类似配置的内容）被显示时用户具有选取复选框808并且在文本输入框804中输入文本的高概率。基于这些概率，显示驱动器212可以修改网页的显示，从而使得文本输入框808和复选框804被制定得更大和/或更突出并且被布置成彼此紧密靠近，如10B中所示出的那样。
[0121] 在某些实施方式中，由于内容的显示的修改的原因，所显示内容到区的分解以及触摸界面到对应部分的划分可以变化。例如，显示驱动器212可以修改所显示内容的html画布。在这个发生之后，触摸屏驱动器212可以执行html画布的新细分，触摸屏驱动器213可以使用其来将触摸界面划分成相应的部分。
[0122] 虽然上文是本发明的优选实施例的完整描述，但是可以使用各种替换物、修改和等价物。因此，不应该参考上文描述来确定本发明的范围，而是替代地应该参考随附权利要求以及其等价物的全部范围来确定本发明的范围。在本文中所描述的无论优选与否的任何特征都可以与在本文中所描述的无论优选与否的任何其它特征相结合。在随后的权利要求中，除了以其他方式专门说明的情况，否则不定冠词“一”或“一个”指的是在该冠词之后的项目的一个或多个的量。随附权利要求将不被解释为包括装置加功能限制，除非使用短语“用于…的装置”在给定的权利要求中明确地记载了这样的限制。
