使用增强现实的视觉密码术与混淆

摘要

提供用于防止对至少一个实体（例如字符、数字、图像和/或形状）的未授权查看的方法和用户装置。该方法包括将实体分割在至少两个部分中，在此之后，将其中一个分割部分发送到第一显示单元，并将其余分割部分发送到至少一个其它显示单元。

权利要求

1.一种用于防止对至少一个实体的未授权查看的方法（10，20，80），包括：从要求授权访问的数据库访问（11）与所述至少一个实体有关的原始数据；

将包括在所述原始数据或所述原始数据的加密版本中的所述至少一个实体分割（12）成至少第一分割部分和第二分割部分，其中要求所有所述分割部分以便于允许将所述实体的全部内容可视化；

将所述第一分割部分作为图像数据发送（13）到由授权用户所戴的一副视频眼镜的显示单元；以及将所述第二分割部分作为图像数据发送（14）到第二显示单元，由此所述第一显示单元和所述第二显示单元的重叠允许将所述实体的全部内容可视化。

2. 根据权利要求1所述的方法（10，20，80），还包括：

在用户装置和服务/内容提供商之间建立（101）会话；以及

交换（102）加密密钥，以使得允许对原始数据的所述访问。

3.根据权利要求1或2所述的方法（10，20，80），其中所述原始数据与原始图像有关，并且其中将所述第一分割部分形成为一次性键板（OTP），所述第一分割部分OTP具有的大小至少对应于所述原始图像的所述实体的大小或比之更大，并且其中将所述第二分割部分形成为所述原始数据的加密图像版本。

4.根据权利要求3所述的方法（10，20），其中通过以下操作创建对于所述第一分割部分的所述一次性键板：创建（21）具有大小与所述原始图像相同的临时OTP，其中对于所述原始图像的每个像素位置为“一”或“零”，通过以下操作创建（22）所述第一分割部分OTP：

对于所述临时OTP的每个像素采用至少四个子像素形成子像素矩阵来表示所述临时OTP的每个像素，其中所述第一分割部分OTP包括每个子像素矩阵，其中所述第一分割部分OTP具有的大小是所述临时OTP的大小的至少四倍，其中通过相关联子像素矩阵的对角线上“白”子像素并用在该相关联子像素矩阵的其它位置“透明”像素来表示所述临时OTP中的每个“一”，并且其中通过相关联子像素矩阵的另一对角线上“透明”像素并用在该相关联子像素矩阵的其它位置“白”像素来表示所述临时OTP中的“零”。

5.根据权利要求4所述的方法（10，20），其中通过以下操作创建所述第二分割部分：创建（23）所述原始图像的加密图像，其中所述加密图像包括多个加密子像素矩阵，每个加密子像素矩阵与所述第一分割部分OTP的一个子像素矩阵相关联，其中每个加密子像素矩阵通过其对角线上“黑”子像素并用其的其它位置上“白”子像素来表示，以使得当所述原始图像的对应像素是“白”并且对于所述对应像素所述第一分割部分OTP的对应对角线的子像素是“白”时，或者当所述原始图像的对应像素是“黑”并且对于所述对应像素所述第一分割部分OTP的对应对角线的子像素是“透明”时，所述相关联加密子矩阵的对应对角线的子像素通过“黑”子像素并用其的其它位置上的“白”子像素表示，以及否则相关联加密子矩阵的对应对角线通过“白”子像素并用其的其它位置上的“黑”子像素表示。

6.根据权利要求1所述的方法（10，80），其中所述至少一个实体与至少一个字符有关，其中所述分割包括：将所述字符分割（81）成若干分区，每个分割分区与表示特定字符的独特概率相关联，其中用概率矩阵表示每个分区的所述独特概率，并且其中用原始概率分布矩阵表示所有可能分区的概率矩阵。

7.根据权利要求6所述的方法（10，80），其中所述分割还包括：创建（82）数量为N的新概率分布矩阵，其中每个新概率分布矩阵具有鉴于对应于所述原始概率分布矩阵的独特概率条目随机改变的概率条目。

8.根据权利要求7所述的方法（10，80），其中所述分割还包括：随机选择（83）所述原始概率矩阵和所述数量为N的新概率分布矩阵之一；

根据所选择的概率分布矩阵将所述相关联的至少一个字符的至少一个分区当作第二分割部分作为图像数据发送（14）到所述第二显示单元；

将所述相关联的至少一个字符的其余分区当作第一分割部分作为图像数据发送（13）到所述第一显示单元。

9.根据权利要求1所述的方法（10，20，80），其中所述分割还包括将所述至少一个实体分割在第一分割部分、第二分割部分和至少一个进一步的分割部分中，并且其中在第三显示单元上显示所述至少进一步的分割部分。

10.根据权利要求9所述的方法，其中所述第三显示单元和所述第二显示单元包括在具有自动立体视或偏振立体显示器类型的立体视显示器单元中。

11.根据权利要求9所述的方法，其中所述第三显示单元和第一显示单元包括在所述视频眼镜中，可选地作为布置在所述视频眼镜中的两个平视显示器（HUD）。

12.根据前述权利要求中任一项所述的方法（10，20，80），其中第一显示单元是透明类型（眼镜），且所述第二显示单元具有非透明类型（屏幕）。

13.根据权利要求3所述的方法（10，20），还包括：当已交换了所述用户装置和所述服务/内容提供商之间的所述加密密钥时，接收所述第一分割部分OTP和所述第二分割部分。

14. 根据前述权利要求中任一项所述的方法（10，20，80），还包括：将所述用户输入数据发送到接收器；以及

在所述接收器接收所述用户输入数据，并且当所述用户输入数据与所要求的所述至少一个实体匹配时，在所述接收器授权所述用户访问所述授权数据。

15.根据权利要求2所述的方法（10，20，80），其中所述第一分割部分OTP既用作加密密钥也用作解密密钥。

16.一种用户装置，包括具有屏幕的移动装置和视频眼镜，其中所述屏幕和视频眼镜互连，所述移动装置配置成执行根据权利要求1-15的方法的有关步骤，并且其中所述屏幕等同于所述第二显示单元，并且所述视频眼镜包括所述第一显示单元。

17.根据权利要求16的用户装置，其中移动装置屏幕是自动立体视式的。

18.根据权利要求16或17的用户装置，其中软件驻留在所述移动装置和所述视频眼镜中的任一个或两者中。

说明书

使用增强现实的视觉密码术与混淆

技术领域

[0001] 本发明涉及用于视觉混淆与密码术的方法和装置。

背景技术

[0002] 视觉密码术和条形码验证视觉密码术的最初想法是一种秘密共享方案，其中2个或更多的n个用户能够通过覆盖图像份来机械地解密视觉图像，其中假设这些份中存在透明性。将秘密图像分解成n份，使得将只有拥有所有份的人才能解密原始图像。

[0003] 在隐私保护人-计算机交互中的最新研究允许授权用户破译在诸如电子屏幕或印刷材料的显示器上示出的数据。在前一种情形中，授权用户能够接着与系统交互（例如，通过按压屏幕上的按钮），而不会向可能正在观看的其它人或向系统本身显露交互的细节。用户可在随身持有的个人装置（诸如，具有摄像机和平视显示器（HUD）的一副智能眼镜或智能电话）上查看解密的数据。然后，能够将数据作为图像覆盖显示在对手无法查看的个人装置上。覆盖是增强现实的一种形式，它不仅允许用户查看受保护的数据，而且还通过使输入界面随机化来允许用户将PIN输入安全地输入到系统中。这种方案能够使用任何类型的视觉数据编码（例如，QR码、数据矩阵或数据字形）。这种现有技术试图防止肩窥，因为对手看不到用户正在观察的内容以及在屏幕上正被输入的内容。此外，在受感染的主机上运行的键盘记录器可无法获知关于用户输入的任何事情。

[0004] 使用恶意QR码劫持智能眼镜是可能的。这突出了实现缺陷，而另一个场景是QR码钓鱼攻击。然而，存在用于基于签名验证诸如QR码的2D码的解决方案。另外，早前的工作中已经使用2D条形码来用于安全装置配对。

[0005] 触觉、眼睛和凝视追踪眼睛追踪已经取得了很大进展，并且开发了不同的认证方法，其中用户凝视PIN键板以便输入他们的PIN码。其它工作与生物计量认证有关，因为眼睛运动特性是独特的，且可被使用以便识别用户。在生物计量认证领域，已经存在依赖于触觉的工作，即，牵涉到触摸传感器的非语言交流，其已被示出为对用户认证起作用。

[0006] 通用认证架构通用认证架构（GAA）是由在TR 33.919中定义的3GPP制定的标准。它为要求基于共享秘密的认证的客户端和服务器提供新生密钥材料，并为要求不对称认证的那些应用签署证书。用户的设备通过现有3G或2G认证协议向运营商的GAA服务认证它们自己，并在过程中接收新密钥。并且，用户想要使用的服务能够从GAA中抽取它们。这样，客户端和服务器就能够共享秘密。

[0007] 已存在发表的之前工作，其中GAA被用于一次性授权码（OTAC）系统，并描述如何经由移动装置对来自计算机的服务执行认证。

[0008] 现有解决方案具有的问题用于眼睛和凝视追踪的方法与诸如表征眼睛运动的生物计量认证一起将总是伴随着取决于许多因素的误差率。另外，用户可能并不热衷于他们的生物计量信息可能存储在某个地方并潜在地受到危害的想法。

[0009] 视觉密码术做了如下假设，在最终用户和示出加密的内容装置之间存在某种共享秘密。当示出秘密信息时，重要的是保护它免于遭受肩窥和具有更加进化的记录能力的恶意软件。另外，用户必须能够验证内容装置。

[0010] 在一些现有技术解决方案中，提到了如何使用专门方法来交换密钥以便将内容装置与使用Wi-Fi、蓝牙或NFC的最终用户移动电话配对在一起，且这要求额外的设立阶段。使用智能眼镜，有可能通过扫描QR码或向服务认证来设立并连接到WiFi，但是这里也要求提供凭证或验证移动装置。

[0011] 其它现有技术方法依赖于基于要与内容装置一起使用的在用户装置中预备的主密钥的密钥建立。由此，使用充当现时值（nonce）的条形码，以便在UE和内容装置处使用KDF导出密钥。但是，它没有提到如果有两个人在公共终端上同时查看内容屏幕，或者如果这是离线认证时的同步问题。

[0012] 将来的恶意软件可采用不同于键盘记录的技术，并且如果认证技术出现在更广泛使用智能眼镜的情况中，那么其所采用的技术改为集中在HUD和摄像机记录上。这看似有道理，因为眼镜受语音控制，并且因此可不使用键盘输入，并且它可能对于出于各种原因劫持摄像机的对手有吸引力。

[0013] 没有提到在恶意内容装置想要引诱用户提供他们的PIN码或其它认证凭证的情况下如何保护用户免受钓鱼攻击。

发明内容

[0014] 本发明目的在于改善现有技术的问题，且具体来说，提供用于防止对有关材料的未授权查看的方法和用户装置，从而使得对手更难查看有关材料。

[0015] 根据第一方面，提供一种用于防止对至少一个实体的未授权查看的方法。所述方法包括从要求授权访问的数据库访问与所述至少一个实体有关的原始数据。所述方法还包括将包括在所述原始数据或所述原始数据的加密版本中的所述至少一个实体分割成至少第一分割部分和第二分割部分。要求所有所述分割部分以便于允许将所述实体的全部内容可视化。此外，所述方法包括将所述第一分割部分作为图像数据发送到由授权用户所戴的一副视频眼镜的显示单元。此外，所述方法包括将所述第二分割部分作为图像数据发送到第二显示单元，由此所述第一显示单元和所述第二显示单元的重叠允许将所述实体的全部内容可视化。

[0016] 根据另一个方面，提供一种用户装置，它包括具有屏幕的移动装置和视频眼镜。移动装置屏幕和视频眼镜互连，并且移动装置配置成执行根据附加的权利要求的方法的有关步骤。

[0017] 根据本发明的解决方案基于将信息分割在两个或两个以上分割部分中的概念。能够使用增强现实（例如，使用终端屏幕和一副智能眼镜中的平视显示器（HUD））通过覆盖或重叠来组合这些分隔部分。通过将有关信息分割在若干分割部分中，除了当用户组合所述两个部分并且能够解译全部信息时，所述有关信息的全部内容绝不会是以明文形式的。

[0018] 所述至少两个分割部分的对齐能够人工执行或例如使用摄像机自动执行。能够使用不同技术以便简化对齐，例如在屏幕上增加对于摄像机易于发现和以高精度定位的特征。

[0019] 能够利用多于两个分割部分，例如三个或三个以上分割部分，此时将所述两个分割部分发送到自动立体视显示器单元屏幕，并将其余分割部分发送到此幅智能眼镜的一个或多个显示单元。

[0020] 有关信息可包括至少一个实体，例如字符、数字、字母、形状或图像，在没有获取所有相关联的分割部分以及它们要如何在每个相关联的显示单元上被呈现的情况下，不能够实现所述至少一个实体的整个内容。

[0021] 为了将有关实体的整个内容可视化，可将一个分割部分发送到终端显示器单元屏幕，并可将另一个分割部分发送到智能眼镜的HUD。

[0022] 当实体涉及数字或多个数字，例如PIN码或一次性访问码（OTAC）（其中使用数字字体表示数字）时，可将以纯文本形式的所述数字的一些部分作为第一分割部分发送到终端显示器单元屏幕，而将所述数字的其余部分作为另一个分割部分发送到智能眼镜中的显示单元HUD。在本发明的相关联实施例中，将纯文本途径称作为混淆途径。

[0023] 备选的是，不将所述实体的部分作为纯文本分割部分进行发送。在本发明的相关联实施例中，将非纯文本途径称作为视觉密码术途径。在视觉密码术途径中，对实体应用视觉密码术，其中并非将每个所得分割部分作为纯文本示出在相关联的显示单元上。视觉密码术途径适应于使用一副智能眼镜工作。

[0024] 在一个实施例中，分割部分的解密和解混淆在至少两个显示单元上执行呈现从混淆途径或视觉密码术途径产生的分割部分，所述至少两个显示单元中的一个包括在此副智能眼镜中。只有当用户实际上能够如同在混淆途径中一样明文看到分割部分数据时，该分割部分数据才是以纯文本形式的。否则，如同视觉密码术途径中一样总是将它加密。

[0025] 本发明的优点是，它允许降低成功肩窥的风险。此外，通过将查看有关信息所要求的信息分割在至少两个显示单元中，本发明提供用于使得对手更难获得有关信息的手段。

[0026] 根据本文中的实施例的数据分割可通过使用混淆途径或视觉密码术途径来进行。

[0027] 例如，在钓鱼攻击中，要求知道如何执行数据分割。如果内容装置（CD）正在对PIN输入进行钓鱼攻击，并生成不正确的数字分割且将这些显示给用户设备（UE），那么当此副智能眼镜的HUD将分割部分与CD已知的相关联分割部分覆盖或叠加时，将不会形成任何有意义的数字。

[0028] 根据一些实施例的本发明防止肩窥，同时使得具有HUD和摄像机记录能力的高级移动装置恶意软件更难获知用户凭证。通过在至少两个显示单元之间分割所要求的信息，对于攻击者要求大量工作来通过在用户认证期间观察HUD显示器并执行摄像机记录来组合数据分割，这远好于在HUD中简单地显示所有敏感信息的当今的解决方案。通过将数据分割成多于两块，使用自动立体视显示器将使得这甚至更难。

[0029] 本发明的解决方案能够与涉及例如眼睛和凝视追踪或触觉认证的生物计量认证的其它解决方案组合。同样情况适应于对于使用GBA协议来在UE和CD之间预备数据分割信息，这是可选的并且对离线预备解决方案也有效。

[0030] 假如使用GBA在CD和UE之间预备分割数据信息，那么不要求用户认证中针对的服务便可生成和明了用户的数据分割，而是能够改为集中在验证凭证正确上。根据一些实施例，本发明的解决方案能够用于数字和/或字母认证凭证或用于一次性授权码（OTAC）。它还能够用于显示敏感材料。数据分割也能够由形状、着色方案或图形组成。

[0031] 能够机械地使用视觉混淆和密码术方法二者。

[0032] 还能够采用自动立体视显示器使用描述的方法将视觉密码术方法分割成三个分区。其优点是，如果攻击者具有这三个分区中的两个分区，那么他将不能确定纯文本，这与视觉混淆相反，在视觉混淆中，具有三个中的两个，就有可能猜到混淆的值。

附图说明

[0033] 将在对附图进行参考下进一步详细描述本发明，其中：图1示出根据一实施例的方法的流程图；
图2示出根据一实施例的方法的流程图；
图3示出本发明的概念，其示出根据一实施例如何构造原始图像的加密图像和创建的OTP；
图4和图5示出根据一实施例的加密图像的外观；
图6示出根据一实施例源自原始图像的通过重叠至少一个创建的OTP和原始图像的加密图像示出的三个数字；
图7示出根据一实施例源自原始图像的通过重叠至少一个创建的OTP和原始图像的加密图像示出的三个数字的另一个示例；
图8示出根据一实施例的方法的流程图；
图9示出左边的LCD显示的7分区数字的可能分区，以及右边的由分区0、1、4和6组成的数字4；
图10示出在一个显示单元上呈现的包括多个数字分割部分的图像；
图11示出当与例如由另一个显示单元显示的包含每个数字的其余分割部分的图像相重叠时，图10的图像的外观；
图12是根据一实施例的可能用于授权的以字母形式的多个可能实体；
图13示出LCD显示中具有16个分区的字母A；以及
图14示出在通用引导架构环境中实现的本发明。

具体实施方式

[0034] 本发明一般涉及认证后步骤，其牵涉到分割包括至少一个实体(例如字符、数字、字母、形状和/或图像)的视觉信息，使得在第一显示单元（例如一副视频眼镜中的平视显示器（HUD））上显示信息的第一分割部分，而在第二显示单元（例如移动装置屏幕或计算机屏幕）上显示其它分割部分。例如，能够在例如移动装置和内容服务提供商之间的认证（使用共享秘密）期间确定分割包括实体的原始数据的不同技术以及在哪里示出的什么样的分割部分，但是人们不能够从单个分割部分确定其它分割部分的外观。

[0035] 在一实施例中，根据图1，提供用于防止对至少一个实体的未授权查看的方法10。该方法包括从要求授权访问的数据库访问11与所述至少一个实体有关的原始数据。该方法还包括将包括在原始数据或原始数据的加密版本中的所述至少一个实体分割12成至少第一分割部分和第二分割部分，其中要求所有分割部分以便允许对实体的全部范围的可视化。此外，该方法包括将第一分割部分作为图像数据发送13到由授权用户所戴的一副视频眼镜的显示单元。此外，该方法包括将第二分割部分作为图像数据发送14到第二显示单元，由此第一显示单元和第二显示单元的重叠允许将实体的全部范围可视化。

[0036] 相关信息可包括至少一个实体，例如字符、数字、字母、形状或图像，在没有获取所有相关联的分割部分以及它们要如何呈现在每个相关联的显示单元上的情况下，不能够实现所述至少一个实体的整个范围。

[0037] 在一实施例中，方法10、20、80还包括：在用户装置和服务/内容提供商之间建立101会话；以及交换102加密密钥，以使得允许访问原始数据。

[0038] 视觉密码术途径传统的视觉加密方案使用两个组分，其被创建为多个黑和白子像素。将这两个组分叠加以便显露原始图像。已知的是，使用具有大小与原始图像相同的一次性键板（OTP）作为第一组分，并通过对原始图像和OTP进行XOR来创建加密图像。为了可视地创建XOR，用一对或4个子像素表示原始图像中的每个像素，并通过按照像素添加来执行叠加。这创建这样的图像，该图像在原始图像是1的地方具有全都为白的子像素，并且在原始图像是0的地方是半白/半黑。

[0039] 与传统视觉加密方案对比，本发明提供不同的途径。取代具有由黑和白子像素组成的两个组分，要对第一显示单元显示的一个分割部分包括黑和白子像素，而即要在一副智能眼镜或视频眼镜中的第二显示单元上显示的另一个分割部分包括白和透明子像素。视频眼镜主导了屏幕，这意味着，眼镜中的白像素将使叠加图像中的对应像素为白，而不管屏幕上对于该像素的值如何。对于眼镜中透明的像素位置，叠加的图像将得到屏幕对于该位置具有的值。通过将黑/透明表示为0（即，“零”），且将白表示为1（即，“一”），通过按照像素OR（或MAX）进行重叠。

[0040] 如下执行加密组分的创建。首先，创建具有大小与由一和零组成的原始图像相同的临时一次性键板（OTP）。然后，我们通过例如在新OTP中形成子像素矩阵的四个子像素（其中在对角线上具有白子像素（即， ））表示临时OTP中的“一”，并用对角线上的两个透明像素（即， ）表示“零”。可选地，“一”导致子像素矩阵 ，并且“零”导致子像素矩阵 。

[0041] 现在使用包括所有子矩阵的这个更大的图像作为OTP。该OTP形成第一分割部分，将第一分割部分发送到视频眼镜中的第一显示单元。然后，使用以下规则创建要作为第二分割部分显示在例如移动装置显示屏幕或计算机屏幕的第二显示单元上的加密原始图像，其中假设在白背景上显示黑数字。

[0042] 参考图3，如果原始图像像素为白并且OTP为 ，或者原始图像像素为黑并且OTP为 ，那么使得用 表示加密像素，否则用 表示加密
像素。

[0043] 这样，在第二显示单元上显示的第二分割部分的黑像素被放置使得当有人想要在叠加图像中创建白像素时，它们被视频眼镜中显示的第一分割部分的白像素所“遮覆”，而当我们想要在叠加图像中创建黑像素时，它们被放置成通过眼镜中的透明像素被看到。这对应于通过对原始像素值和OTP进行排斥（exclusive）或（XOR）来创建加密图像。

[0044] 在一实施例中，根据图2，提供用于防止对至少一个实体的未授权查看的第二方法20。这里，原始数据涉及原始图像。第一分割部分形成为一次性键板（OTP），第一分割部分OTP具有的大小至少对应于原始图像的实体的大小或更大，并且其中第二分割部分形成为原始数据的加密图像版本。

[0045] 第二方法的步骤对应于第一方法10的那些步骤，但对关于如何创建所述至少两个分割部分提供了进一步细节。对于第二方法20，通过创建21具有大小与原始图像相同的临时OTP来创建对于第一分割部分的一次性键板，其中对于原始图像的每个像素位置为“一”或“零”。此外，第一分割部分OTP通过以下方式创建：对于临时OTP的每个像素采用至少四个子像素形成子像素矩阵来表示临时OTP的每个像素，其中第一分割部分OTP包括每个子像素矩阵，其中第一分割部分OTP具有的大小是临时OTP的大小的至少四倍。这里，通过相关联子像素矩阵的对角线上“白”子像素并用在该相关联子像素矩阵的其它位置“透明”像素来表示临时OTP中的每个“一”。此外，通过相关联子像素矩阵的另一对角线上“透明”像素并用在该相关联子像素矩阵的其它位置“白”像素来表示临时OTP中的每个“零”。

[0046] 根据第二方法20，通过创建23原始图像的加密图像来创建第二分割部分，其中加密图像包括多个加密子像素矩阵，每个加密子像素矩阵与第一分割部分OTP的一个子像素矩阵相关联。这里，每个加密子像素矩阵通过其对角线上的“黑”子像素并用其的其它位置上“白”子像素表示。因此，当原始图像的对应像素是“白”并且对于该对应像素第一分割部分OTP的对应对角线的子像素是“白”时，或者当原始图像的对应像素是“黑”并且对于该对应像素第一分割部分OTP的对应对角线的子像素是“透明”时，相关联加密子矩阵的对应对角线的子像素通过“黑”子像素并用其的其它位置上“白”子像素表示。否则，相关联加密子矩阵的对应对角线通过“白”子像素并用其的其它位置上“黑”子像素表示。

[0047] 在一实施例中，优选由显示加密图像的服务或由移动运营商（如果使用GBA的话）生成OTP，并将它预备给用户。

[0048] 可使用视觉密码术途径来加密实体，例如数字、字符、字母等，当将所述两个分割部分叠加时实体被可视地显露。图4示出随机化OTP，其中对于原始图像中的每个像素，我们创建了2×2子像素，即，2×2子像素矩阵。图5示出由摄像机捕获的在第二显示单元上被可视化时的加密分割部分数据的图片。对于原始图像中的每个像素，根据上文创建用于加密图像的2×2图案。使用估计的摄像机参数来补偿图片中的径向和切向失真。人工估计用于包绕（warp）OTP以便与图片相匹配的转换，而在计算机视图中能够使用标准技术来自动估计该转换；备选的是，能够对屏幕和头部进行旋转和倾斜，以使得组分匹配。图6中示出叠加的结果，其中可观察到原始实体5、3、4。

[0049] 图像失真由于以下误差的来源，视觉重叠（即，解密）并不完美。一个失真源起因于由不完美摄像机引起的图像失真（例如，非线性）。另一个失真误差源与在图片平滑OTP中将白区域“掺混”到黑中有关。第三个失真误差的来源与估计的转换可能无法完美地将OTP包绕到图片的事实有关。

[0050] 以上示例中使用的2×2子像素矩阵表示只是一个可能的选项。在以下示例中，我们对用于创建数字的模型中的每个线段只使用两个子像素/条。在OTP中和在加密图像中，对于每个线段设置所述两个像素/条之一。对于在原始图像中设置用来创建数字的线段，OTP和加密图像将具有不同的子像素/条设置，并且其它线段将具有相同的子像素/条设置。在叠加图像中，数字将以明文出现。注意，在以下示例中，创建比在加密图像中更大的OTP子像素/条，以便使得系统对于之前提到的误差不那么敏感。

[0051] 视觉密码术途径至少与下面的优点相关联：在没有获取第一分割部分和第二分割部分二者的情况下对手很难猜到正确数字。由于每个原始图像的OTP包括大量的子像素矩阵，每个子像素矩阵是 、 、 或 ，所以通过只观察呈现在第二显示单元上的加密图像很难充分地猜到正确的关联实体。

[0052] 混淆方法在一实施例中，根据图8，提供了用于防止对至少一个实体的未授权查看的第三方法
80。该方法示出与图1的方法的步骤类似的步骤，但对关于如何创建所述至少两个分割部分具有进一步细节。这里，实体涉及至少一个字符，例如诸如数字、字母等。

[0053] 在第三方法80中，分割12包括将字符分割81成若干分区，每个分割分区与表示特定字符的独特概率相关联，其中用概率矩阵表示每个分区的独特概率，并且其中用原始概率分布矩阵表示所有可能分区的概率矩阵。分割12还包括创建82数量为N的新概率分布矩阵，其中每个新概率分布矩阵具有鉴于对应于原始概率分布矩阵的独特概率条目随机改变的概率条目。此外，分割12还包括随机选择83原始概率矩阵和所述数量为N的新概率分布矩阵之一。该方法80还包括：根据选择的概率分布矩阵将相关联的至少一个字符的至少一个分区当作第二分割部分作为图像数据发送14到第二显示单元；以及将相关联的至少一个字符的其余分区当作第一分割部分作为图像数据发送13到第一显示单元。

[0054] 应注意，能够根据“定制”分布来挑选为每个字符选择的分区。基于该“定制”分布，能够将每个分区随机地显示到特定显示单元上。一旦已选择了一个或多个分区用于显示到一个显示单元上，便能够将相关联字符的其余或补充分区显示到其它显示单元上。

[0055] 为了便于理解根据本发明的一些实施例的混淆途径，在本文中给定的一些示例中的实体涉及数字，其例如能够是PIN码的数字。

[0056] 当输入例如PIN码时，不被期望的是在肩窥的情况下显露PIN码。

[0057] 以某种方式来设计视觉混淆，该方式使得即使在具有来自第一显示单元（例如，视频眼镜中的HUD）的视觉信息的情况下，将不可能确定在第二显示单元（例如，移动装置屏幕）上示出的信息以及如果我们正在输入PIN码时我们正按的什么数字。

[0058] 应该领会到的是，混淆途径泄露了关于纯文本的一些信息。但是，对手/攻击者只能根据概率分析来猜测纯文本是什么。

[0059] 对手也许能够将所述两个分割部分组合，但其是繁琐的并且要求计算机视图技术来自动地完成这个。备选方案是假设如下情况：能够以某种方式禁用摄像机，例如通过将脉冲光引导向摄像机并使其致盲，但这仅仅是人们能够做出的假设。

[0060] 第三种备选方案是其中将缺失第三部分的自动立体视（进一步细节参见下文）途径，但这增加了猜对的概率。

[0061] 分割数字在混淆途径的第一示例中，LCD字体被考虑用来表示数字，因为这些字体能够容易地被划分成若干部分。图9示出能够构成所有可能的数字0-9的编号为0-6的分区或线。能够使用二进制序列x1, x2…x7来编码数字，其中
一个示例，图9中的数字4可编码为序列0111010。对于数字4分割成两个分割部分可以例如是0110000和0001010。使用这些分割部分，存在猜对的概率非常小，因为存在同样能够这样分割的多个数字来从其中进行挑选。能够随机选择用于每个数字的分区，这对能够形成数字的不同分区给予了相等的概率分布。如何分割每个数字的选择优选不是静态的，从而使得对手更难实现正确数字。替代的是，可使用不同分割分区的分布。

[0062] 在一示例中，本发明者演算了对于PIN键板情形只通过获取一个分割部分猜到正确数字的概率，其中每个数字0-9必须被使用且仅可使用一次（不能出现重复数字），如果对手知道在将数字分区时使用的分布，那么该概率为0.3743。

[0063] 与其中每个数字0-9必须呈现一次并且仅可呈现一次的PIN键板情形相比，对于OTAC情形，控制向用户示出哪些数字是可能的。例如，在OTAC情形中，有可能挑选使用更易于不太常猜的某些数字。因此，对于OTAC情形，有可能构造不同分布或随机分区分布，并且如果攻击者使用同等概率分布，那么对于每个数字，猜对的概率下降为0.2833。因此，对于双数字码，那么正确猜到所有数字的机会是0.28332=0.08=8%。

[0064] 可为每个数字和数字分区指派不同概率。可在标识为分布矩阵的矩阵中收集每个数字的这些不同概率。

[0065] 对于OTAC情形，能够获得若干分布矩阵。能够事先生成分布矩阵。倘若对手不知道哪个分布矩阵被使用，那么这种若干数量的分布将使得对手难以猜对。为每个数字提供若干分布的目的是使对手在观察分区中的一个时其猜对数字的概率最小化。在分割数字之前，能够例如从许多分布中随机选择出分布，从而使得对手甚至更难猜到正确数字。可选地，可使用如何在若干分布中间进行选择的特定策略。

[0066] 一旦已选择了特定分布矩阵，便选择分布矩阵中每个数字的分区。随后，将每个数字的选择分区作为第一分割部分发送到第一显示单元，并将数字的其余分区发送到至少第二显示单元。选择分布、选择分区并将分割部分发送到不同显示单元的过程能够在本地执行，或者它能够例如通过通用引导架构（GBA）服务器或通过服务/终端主机来完成。

[0067] 特定策略能够考虑如下情形。

[0068] 状况的一个示例是数字是否必须出现至少一次（例如，在PIN键板中）或者是否人们可像OTAC场景中那样自由地挑选数字。

[0069] 另一种状况能够是，攻击者知道使用了什么分布。然后，可能的是通过使用若干分布调整策略。总之，对于所有场景存在不只一个最佳分布，但挑选分区的策略取决于状况。

[0070] 在一实施例中，优选的是，在每个会话上随机化PIN键板，但是如何分割数字必须是静态的，因为如果每次不同地分割数字，那么对手能够在每次会话中获知到新的信息。

[0071] 分割字母在前一章段中，出于PIN码认证的目的，论述了以数字形式的实体。但是，根据本发明的实施例，实体不仅限于数字。在本章段中，进一步解释以字母形式的实体。为了表示所有不同的字母和字符，人们能够使用与数字分割情形中的LCD字体相类似的LCD字体，但略作修改，如图12中所示使用DS-数字字体或如图13中所示的类似变型。

[0072] 可利用根据一些实施例的本发明来提供对敏感资料进行安全的读，且仍然防止肩窥并遮掩摄像机记录恶意软件。如果用户设备和内容装置（CD）共享秘密，在这种情形下如何完成字母分割，然后通用引导架构（GBA）（在下面进一步详细描述）对于该设立是可选的，并且人们可具有离线交互。CD应用能够生成以文本形式的字母的随机分割，并告知UE中的应用在视频眼镜的HUD中示出什么内容，UE和CD之间的简单交互如图14中的步骤1和2。再一次地，每个独特的文本块应当具有静态字母分割，使得观察者在捕获若干混淆会话时可无法获知全部文本。

[0073] 分割形状和图像能够使用遮覆图像的可编码和系统性的分区图案以类似方式分割具有任意形状/图形的一般图像。

[0074] 显示单元在视频眼镜的HUD上显示的视觉信息能够例如被视频眼镜内的单个摄像机捕获并被引导向HUD。但是，通过向该单个摄像机不能对准（register）的相同视频眼镜的另一个HUD呈现不同分割部分，那么该单个摄像机只捕获例如在用户的右眼前面显示的分割部分。因此，可能没有准确地确定来自在左眼前面的HUD上显示的分割部分，以构成数字的所有分割部分。

[0075] 能够通过引导摄像机并捕获眼睛中的反射来对没有智能眼镜的用户潜在地执行类似攻击。在此类事件中，解决方案能够是使用自动立体视显示器（进一步细节参见下文）。

[0076] 在一实施例中，第一显示单元是透明类型（眼镜），且第二显示单元是具有非透明类型（屏幕）。

[0077] 三个显示单元将相关实体信息分割在多于两个分割部分中允许甚至更高的安全度。

[0078] 在一实施例中，分割还包括将所述至少一个实体分割在第一分割部分、第二分割部分和至少一个进一步的分割部分中，并且其中在第三显示单元上显示所述至少进一步的分割部分。

[0079] 在一实施例中，第三显示单元和第二显示单元可包括在具有自动立体视或偏振立体显示器类型的立体视显示器单元中。

[0080] 在一实施例中，第三显示单元和第一显示单元包括在视频眼镜中，可选地作为布置在视频眼镜中的两个平视显示器（HUD）。

[0081] 当输入例如PIN码时，不被期望的是向HUD-和具备摄像机记录能力的恶意软件显露PIN码。在一个实施例中，这通过将数字分割在三个不同分割部分中来防止，一个分割部分（实际上是两个分割部分）可在自动立体视屏幕（例如，触摸屏）上显示，在此情况下，由于对双眼显示不同图像，所以右眼和左眼看到不同信息。在例如放置在右眼通道中的视频眼镜的HUD中示出最后的分割部分。被预见的是，它能够是眼镜中的两个HUD，一个在左眼通道中，并且另一个在右眼通道中。将眼镜和眼睛与屏幕对齐提供关于数字的全部视觉信息。

[0082] 当使用三个分割部分时，那么与对于所述两个分割部分的情形相比，存在选择分区的更多可能的组合用来示出在每个显示单元上。这使得对手在只获取其中一个或两个分割部分时甚至更难找出正确实体。

[0083] 如果恶意软件对移动装置和眼镜具有完全的控制，那么它能够读HUD信息并劫持摄像机。但是，在移动装置和视频眼镜中的摄像机中均具有恶意软件的风险被认为是远小于只在其中一个显示单元装置中具有恶意软件的风险。

[0084] 通过使用自动立体视屏幕、触摸屏，右眼和左眼将接收不同图像，并且如果摄像机位于右侧，那么它将只捕获右眼所能够看到的最大范围的事物。能够考虑眼睛追踪，因为每当用户来回转动头部时能够更新HUD屏幕上的图像，并且被期望的是防止摄像机捕获指定给左眼的图像。如果摄像机记录恶意软件能够捕获对于左眼的图像，那么恶意软件获知关于PIN键板布局以及如何分割数字的一切事情。即，如果人们假设恶意软件对UE具有完全的控制，并且它能够读在眼镜的HUD中正显示的信息，且同时使用摄像机记录PIN输入。作为示例，图10示出具有在屏幕上示出的能被摄像机捕获的信息和在HUD中示出的覆盖信息的PIN键板，并且让我们假设剩下部分只对用户的左眼可见，即，恶意软件不知道它。每个PIN键板按钮具有多个选择来从中挑选。相反，用户将看到图11中显示的内容。

[0085] 在肩窥的情况下，对手将只能看到对右眼和左眼显示的数字的部分，但是具有眼睛追踪的自动立体视显示器通常只供单个查看者使用，因此对手必须在与用户相同的最佳位点以看到显示的信息。

[0086] 自动立体视显示器是可选的。能够以不同方式禁用摄像机，例如通过将脉冲光引导在透镜以便使摄像机记录的任何影像失真。如果人们假设启用摄像机并担心摄像机记录恶意软件，那么将实体信息分割在两个部分中仍然是可能的，但替代地将之与诸如眼睛和凝视追踪能力或使用触觉验证的生物计量输入相组合。在这种情况下，即使恶意软件能够捕获整个认证会话并组合分区，其将不能复现输入，因为它依赖于用户生物计量。

[0087] 在一实施例中，提供一种用户装置，它包括具有屏幕的移动装置和视频眼镜。移动装置屏幕和视频眼镜互连。移动装置配置成执行根据本文中的实施例的方法的相关步骤。这里，移动装置屏幕等同于第二显示单元，并且视频眼镜包括第一显示单元。

[0088] 在一实施例中，移动装置屏幕是自动立体视式的。

[0089] 在一实施例中，软件驻留在移动装置和视频眼镜中的任一个或两者中。

[0090] 适用性生物计量数据
在另一个实施例中，眼镜中用来查看解密消息的OTP可取决于用户的生物计量认证。例如，可使用来自视网膜扫描或指纹的信息来生成OTP。如果其他人使用眼镜，那么将生成将不‘解密’加密消息的另一个OTP。备选的是，使用生物计量信息来创建第三层，该第三层与基于密钥的OTP一起用于‘解密’加密消息。

[0091] 认证在一实施例中，参考第二方法，该方法包括：当已交换了用户装置和服务/内容提供商之间的加密密钥时，接收第一分割部分OTP和第二分割部分。

[0092] 在一实施例中，第一分割部分OTP既被用作加密密钥也被用作解密密钥。

[0093] 在一实施例中，第一方法、第二方法或第三方法还包括将用户输入数据，即由重叠第一分割部分和第二分割部分产生的实体相关数据，pin码，一次性授权码发送到例如服务提供商的接收器，服务提供商知道原始数据或者至少是被加密的该数据的那个部分以及其是如何被加密的，以便获取授权数据，例如来自服务提供商的授权数据。该方法还包括：在接收器接收用户输入数据；以及当用户输入数据与所要求的所述至少一个实体匹配时，在接收器授权用户访问授权数据。

[0094] 使用通用引导架构的认证本发明能够用作例如NFC、GBA等的任何已知认证协议的整合部分。下面进一步详细描述GBA方案。

[0095] 当在移动装置例如智能电话以及一副智能眼镜中实现本发明时，为了它在该移动设置中工作而做了预备。

[0096] 作为非限制性示例，出于该目的，可能的是利用通用引导（boot strapping）GBA来为混淆途径以及视觉密码术途径进行预备。在视觉密码术途径中，将OTP和加密数据预备给UE和终端屏幕主机（使用描述的协议）。在混淆途径中，预备可包括对于PIN键板情形以及对于UE和终端主机的实体（数字/字母）分区。还附带了对于随机化的PIN键板布局的信息。本发明者已意识到，分区的分布可有利地变化，以便甚至进一步使得对手更难成功获取有关的实体信息。因此，然后，能够从一组可用分布中为来自该类别的每个特定用户选择随机分布。例如，每个认证会话可使用不同分布。如果分布未知，那么这将使得对手更难猜对。但是，GBA不是强制性的，并且这种预备能够以若干种方式实现，例如使用UE和终端之间的预先共享的秘密或使用PKI。

[0097] 图14示出将本发明实现在普遍已知的通用引导架构GBA认证环境中的示例。

[0098] 在通用引导架构中，最初用户集中在内容装置（CD）上的登录器（LC）上。使用用于读机器可读码（诸如QR码或条形码）的app，用户设备（UE）解码条形码（步骤1-2）。该条形码可包含关于网络应用功能（NAF）和任何其它全球资源定位符（URL）的必要信息以及可选地包含挑战，因此我们将与条形码的该交互视为是图14的步骤3。

[0099] 内容装置（CD）上的登录器（LC）通常驻留在具有屏幕和用户接口的装置中，但也能够将机器可读码印刷在任何表面上。NAF是服务/内容提供商。具有登录器（LC）的内容装置（CD）也能够与NAF相同，即为正在与用户交互的服务。引导服务器功能（BSF）/家庭订户服务器（HSS）是在GBA中使用的移动网络中的节点。

[0100] 可选地，用户可以某种方法触发CD，例如触摸按钮或屏幕，以发起该规程。作为响应，生成包括CD识别/认证信息的新条形码。同时，CD可将该认证信息的提交发送给NAF，如图14中的3*所示。在此之后，CD将等待NAF的响应以及来自UE和它的用户的另外交互。

[0101] UE采用BSF执行GBA引导（步骤4），且然后将NAF挑战响应发送到条形码中NAF指定的URL（步骤5）。NAF执行GBA挑战响应验证（步骤6）。如果它成功，那么允许UE与CD交互（步骤7-9）。UE和NAF将具有能够用于对称视觉密码术的共享密钥Ks_NAF。

[0102] 本发明者已意识到，不同于共享密钥的其它内容可用于使用GBA的认证。因此，取代刚刚的演算挑战响应和验证（步骤4和6），可包括与根据本文中的实施例如何在分割部分中分割所述实体有关的信息以作为GBA算法的部分，例如作为图14的步骤4中的附加功能性。

[0103] 将每个数的数字分割按照它们显示时的顺序（顺序是随机化的）编码为表示PIN键板中的每个数字的序列s0, s1…s9。因此，除了标准GBA协议数据之外，用户设备（UE）还将需要接收10*7=70比特=8.75字节（图14中的步骤4）。但是，NAF还必须知道BSF已经如何随机化PIN键板，以使得它能够验证来自用户的PIN输入。对于每个PIN键板按钮，将长度为四的二进制序列附加到数据分割序列。与标准协议相比，这些改变对于NAF将要求接收70+(10*4)=110比特=13.75字节的开销（图14中的步骤6）。开销中不包括GBA协议中的用于识别数字分割信息的标签。

[0104] 具有分割部分信息且具有生物计量数据的GBA在本发明的一实施例中，与GBA一起使用生物计量数据。通常，GBA基于移动装置身份识别移动装置，但是这里它也能够基于生物计量认证来识别用户。

[0105] 例如，用户可使用语音鉴别来认证他自己，智能眼镜通常被提供有语音控制。然后，可能的是，为每个个体创建独特的实体分割或OTP。在GBA的已知应用中，只识别和认证移动装置。使用该实施例，将不认证眼镜的另一个用户，并且该用户将不接收真实的字符分割或OTP。

[0106] 条形码在一实施例中，提供一种通过简单地看条形码、扫描和解码它来向服务进行认证并设立安全连接的方法。这依赖于下面的事实，即，使用智能眼镜解码信息是可能的，这非常像可能使用智能电话和条形码读取器应用来做一样。能够使用诸如QR码的条形码来编码视觉数据。能够使用GBA在示出条形码的数字屏幕上或在印刷条形码上在公共场合执行认证。在认证之后，可能的是，使用视觉加密来设立安全连接（因为双方具有共享秘密），或者使用TCP/IP经由常规安全连接来设立安全连接。

[0107] 在一实施例中，提供包括以下步骤的示例性方法。

[0108] 步骤1）初始步骤，用户走向屏幕（具有登录器LC的内容装置CD或NAF），即，正在与用户交互的服务，并且眼镜捕获视觉编码，例如QR码。该码可包含用于步骤4）的必要信息。

[0109] 步骤2）在眼镜中解码捕获的视觉编码（如果存在对此的支持的话）。在此情况下，眼镜将解码后的信息转发给移动装置。否则，眼镜将QR码转发给移动装置，移动装置将它解码。

[0110] 步骤3）执行生物计量认证。用户可例如使用话语鉴别（因为眼镜是语音控制的），以便认证他自己。备选的是，能够执行指纹或视网膜扫描。该认证能够通过移动装置或眼镜（如果它们具有此类能力的话）来执行。

[0111] 步骤4）使用从之前步骤3收集的生物计量认证数据，以便在密钥建立期间识别用户。在预先共享秘密的场景中，那么可使用生物计量数据作为秘密。对于GBA，在GBA引导期间，能够将生物计量数据与移动装置识别符一起使用。不同于此，如图1中所描述地那样执行GBA会话（那个流程图的步骤3-8）。在GBA流程图中的步骤8之后，我们能够继续移动到该流程图中的下一个步骤5。在PKI解决方案中，装置能够朝向屏幕主机设立直接安全通道。出于隐私的原因，能够将生物计量数据弄乱，而不是使用未经加工的生物计量数据。

[0112] 步骤5）基于生物计量数据，在装置上本地生成对于用户独特的信息分割或OTP，并在眼镜的HUD上进行显示。在终端屏幕侧上，显示对HUD信息的补充。在视觉密码术场景的情形中，那是加密数据，或者如果使用视觉混淆，那么显示其它信息分割。

[0113] 步骤6）用户可能必须通过移动和倾斜他的头部来人工对齐，以使得眼镜与屏幕重合。或者，执行自动化对齐。

[0114] 步骤7）（可选）与屏幕的用户交互。在一些使用情形中，例如在读敏感文本或显示图像或形状时，那么无需交互。如果用户在例如认证期间与终端屏幕交互，那么这里我们同样也可利用生物计量认证。在此情况下，能够使用眼睛和凝视追踪，以便于用户输入凭证或OTAC。除了凭证或OTAC之外，能够使用触觉以便识别用户的屏幕触摸。该额外生物计量是可选的，但是能够与视觉密码术和混淆方案组合使用，以便使得对手更难捕获凭证或再使用凭证。

[0115] 如以上所提及的，能够使用本发明的分割部分作为已知认证过程的部分，以便授权用户访问授权数据。分割部分能够是例如加密密钥和解密密钥的部分。但是，同样可能的是，也可利用具有使用对称或不对称密码术的传统密钥，以便保护给用户的OTP预备。因此，不是必须使用分割部分本身作为加密密钥或解密密钥。由于OTP是随机的，所以可能的是，使密钥或生物计量认证数据用作随机OTP生成器的种子输入，即，将用户或移动装置链接到OTP的某种事物。

[0116] 缩写。

[0117] 条款（clause）条款1. 用于用户装置和服务/内容提供商之间的视觉密码术或混淆的方法，所述用户装置包括具有显示单元的用户接口，该方法包括以下步骤：
在用户装置和服务/内容提供商之间建立会话；
交换加密密钥（能够提前进行）；
使用密钥创建图像的N个层/部分，其中需要所有的层/部分来读出字符；
在不同显示单元上呈现不同层。

[0118] 条款2. 如条款1中的方法，其中将所述层创建为从秘钥导出的OTP以及所述字符的视觉加密图像。

[0119] 条款3. 如条款2中的方法，还包括：经由包括一次性键板的用户接口接收用户输入；
将用户输入数据发送到接收器；以及
在接收器解密用户输入数据（加密密钥对I和II）。

[0120] 条款4. 如条款1中的方法，其中通过将所述字符分割成非加密部分来创建所述层。

[0121] 条款5. 如条款1中的方法，其中第一显示单元具有非透明类型（屏幕），且第二显示单元具有透明类型（眼镜）。

[0122] 条款6. 如条款5中的方法，其中第一显示单元使用黑和白子像素，且第二显示单元使用白和透明子像素。

[0123] 条款7. 如条款6中的方法，其中N等于3，并且第一显示单元是示出所述部分中的两个的自动立体视显示器，且第二显示单元示出第三部分。

[0124] 条款8. 如条款6中的方法，其中N等于3，并且第一显示单元是示出所述部分中的两个的偏振立体显示器，且第二显示单元示出第三部分。

[0125] 条款9. 如条款1中的方法，其中图像包括字符，根据能够具有不同概率供挑选的数字的分区分割每个字符；将这些概率收集在标识为分布矩阵的矩阵中，从而获得若干分布矩阵；
预备包括：1）从所述若干分布矩阵中挑选一个分布矩阵，2）为该矩阵中每个字符选择一个分区，以及3）将所述部分发送到不同显示单元。

[0126] 条款10. 一种用户装置，包括具有屏幕的移动装置和与之互连的（智能）眼镜，该用户装置配置成执行上文列出的方法的有关步骤。

[0127] 条款11. 如条款10中的用户装置，其中移动装置屏幕是自动立体视式的。

[0128] 条款12. 如条款10或11中的用户装置，其中软件能够驻留在移动装置和眼镜（智能眼镜）中的任一个或两者中。