通过分析用户交互检测不适当活动转让专利
申请号 : CN200780048694.4
文献号 : CN101689988A
文献日 : 2010-03-31
发明人 : 里琴德拉·康纳 , 尤金·卡连科维奇 , 拉吉夫·乔普拉
申请人 : 亚马逊技术有限公司
摘要 :
描述了基于与万维网站点和其他电子信息服务的交互对不适当活动进行检测的技术。在一些情况下，该技术涉及分析用户与电子信息服务的交互，以确定用户交互是否很可能反映该用户的欺诈活动。在至少一些情况下，通过应用一个或多个评估测试，可以对关于用户交互的信息进行分析，该一个或多个评估测试中的每一个被配置用于评估交互的一个或多个方面，并提供对这些交互方面是否反映不适当活动的指示。如果对一个或多个用户交互的分析确定了用户涉嫌不适当活动，则可以采取各种行动以禁止不适当活动继续或在将来再次发生。
权利要求 :
1、一种用于禁止对于电子信息服务的活动的方法，所述方法包括：
接收对与所述电子信息服务的交互的序列进行描述的信息；
对接收到的、描述交互序列的信息进行分析，以确定对于所述电 子信息服务的不适当活动的可能性；以及采取行动以禁止欺诈活动。
2、根据权利要求1所述的方法，其中，接收到的、描述交互序列 的信息包括对针对信息资源的请求的指示，其中，所指示的信息资源 与先前的不适当活动相关联，并且，所述分析包括：基于被配置来在 接收到的信息中识别所指示的信息资源的评估测试，自动确定正在发 生不适当活动。
3、根据权利要求2所述的方法，其中，对信息资源的指示包括以 下至少一项：所述电子信息服务将要提供的文件的名称、所述电子信 息服务将要执行的可执行资源的名称、和搜索查询。
4、根据权利要求1所述的方法，其中，接收到的、描述交互序列 的信息包括与多个交互中的至少一些有关的汇总信息，并且，所述分 析包括：基于被配置来在接收到的信息中识别所述汇总信息的至少一 个或多个评估测试，自动确定不适当活动的可能性。
5、根据权利要求1所述的方法，其中，对接收到的、关于交互序 列的信息进行分析包括：识别交互中与预定类型的活动相对应的交互 子集；确定与交互子集相关联的时间量；以及基于被配置来针对所述 预定类型的活动识别至少一个所确定的时间量的一个或多个评估测 试，自动确定不适当活动的可能性。
6、根据权利要求1所述的方法，其中，交互序列包括：连续访问 多个信息资源的路径，其中，所述路径与先前的不适当活动相关联， 并且，所述分析包括：基于被配置来在接收到的信息中识别所述路径 的至少一个或多个评估测试，自动确定不适当活动的可能性。
7、根据权利要求1所述的方法，其中，接收到的、描述交互序列 的信息包括以下至少一项：作为多个交互的一部分的、与一个或多个 接收到的请求相关联的元数据；以及作为多个交互的一部分的、正在 向所述电子信息服务上载的数据。
8、根据权利要求1所述的方法，其中，接收到的、描述多个交互 的序列的信息包括以下至少一项：与多个交互中的至少一些相关联的 网络地址；对与多个交互中的至少一些相关联的客户端应用程序的指 示；以及对通过多个交互中的至少一些而正在执行的交易的指示。
9、根据权利要求1所述的方法，其中，对接收到的、关于多个交 互的序列的信息进行分析包括：将接收到的信息中的至少一些提供给 一个或多个操作员以用于人工分析。
10、根据权利要求1所述的方法，其中，接收描述交互序列的信 息包括：在一时间段内获得关于与所述电子信息服务的多个交互的信 息；以及从所获得的信息中识别多个交互的序列。
11、根据权利要求10所述的方法，其中，接收描述多个交互的序 列的信息还包括：从所获得的信息中识别多个交互序列，并且，所述 方法还包括：自动分析识别出的交互序列中的每一个，以确定所述交 互是否涉嫌与不适当活动相对应。
12、根据权利要求1所述的方法，其中，执行所述方法，以对由 所述电子信息服务提供的电子市场中的不适当活动进行检测，并且， 所述不适当活动包括以下至少一项：项目的欺诈性购买、项目的欺诈 性销售、对所述电子市场的账户的未授权访问、和对使用所述电子市 场的条件的违反。
13、一种计算机程序，用于执行根据权利要求1-12中任一项所述 的方法。
14、一种计算设备，被配置用于禁止对于电子信息服务的活动， 所述设备包括：
用于接收对与所述电子信息服务的交互的序列进行描述的信息的 装置；
用于对接收到的、描述交互序列的信息进行分析以确定对于所述 电子信息服务的不适当活动的可能性的装置；以及用于采取行动以禁止所述不适当活动的装置。
15、根据权利要求14所述的计算设备，其中，接收到的、描述交 互序列的信息包括对针对信息资源的请求的指示，其中，所指示的信 息资源与先前的不适当活动相关联，并且，所述分析包括：基于被配 置来在接收到的信息中识别所指示的信息资源的评估测试，自动确定 是否正在发生不适当活动。
16、根据权利要求15所述的计算设备，其中，对信息资源的指示 包括以下至少一项：所述电子信息服务将要提供的文件的名称、所述 电子信息服务将要执行的可执行资源的名称、和搜索查询。
17、根据权利要求14所述的计算设备，其中，接收到的、描述交 互序列的信息包括与多个交互中的至少一些有关的汇总信息，并且， 所述分析包括：基于被配置来在接收到的信息中识别所述汇总信息的 至少一个或多个评估测试，自动确定不适当活动的可能性。
18、根据权利要求14所述的计算设备，其中，对接收到的、关于 交互序列的信息进行分析包括：识别交互中与预定类型的活动相对应 的交互子集；确定与交互子集相关联的时间量；以及基于被配置来针 对所述预定类型的活动识别至少一个所确定的时间量的一个或多个评 估测试，自动确定不适当活动的可能性。
19、根据权利要求14所述的计算设备，其中，交互序列包括：连 续访问多个信息资源的路径，其中，所述路径与先前的不适当活动相 关联，并且，所述分析包括：基于被配置来在接收到的信息中识别所 述路径的至少一个或多个评估测试，自动确定不适当活动的可能性。
20、根据权利要求14所述的计算设备，其中，接收到的、描述交 互序列的信息包括以下至少一项：作为多个交互的一部分的、与一个 或多个接收到的请求相关联的元数据；以及作为多个交互的一部分的、 正在向所述电子信息服务上载的数据。
21、根据权利要求14所述的计算设备，其中，接收到的、描述多 个交互的序列的信息包括以下至少一项：与多个交互中的至少一些相 关联的网络地址；对与多个交互中的至少一些相关联的客户端应用程 序的指示；以及对通过多个交互中的至少一些而正在执行的交易的指 示。
22、根据权利要求14所述的计算设备，其中，对接收到的、关于 多个交互的序列的信息进行分析包括：将接收到的信息中的至少一些 提供给一个或多个操作员以用于人工分析。
23、根据权利要求14所述的计算设备，其中，接收描述交互序列 的信息包括：在一时间段内获得关于与所述电子信息服务的多个交互 的信息；以及从所获得的信息中识别多个交互的序列。
24、根据权利要求23所述的计算设备，其中，接收描述多个交互 的序列的信息还包括：从所获得的信息中识别多个交互序列，并且， 所述计算设备还包括：用于自动分析识别出的交互序列中的每一个以 确定所述交互是否涉嫌与不适当活动相对应的装置。
25、根据权利要求14所述的计算设备，其中，所述计算设备被配 置用于对由所述电子信息服务提供的电子市场中的不适当活动进行检 测，并且，所述不适当活动包括以下至少一项：项目的欺诈性购买、 项目的欺诈性销售、对所述电子市场的账户的未授权访问、和对使用 所述电子市场的条件的违反。
说明书 :
技术领域
以下的公开总体涉及用于检测不适当活动的技术，例如，基于从 事不适当活动的用户与万维网站点或其他电子信息服务的交互，对这 些从事不适当活动的用户进行检测。
背景技术
除了提供对信息的访问外，万维网(或“Web”)逐渐成为用于搜 索、选购或订购供购买、出租、租赁、许可、交易、评定、采样、订 阅等的项目(如产品、服务和/或信息)的媒介。在很多情况下，用户 可以访问万维网贸易商(或“万维网商店”)的万维网站点，或者与贸 易商、零售商或电子市场进行交互，该贸易商、零售商或电子市场提 供一个或多个项目，例如，查看关于项目的信息，给出订购一个或多 个项目的说明，以及提供为了完成购买而需要的信息(例如，支付和 运送信息)。在接收到针对一个或多个项目的订单之后，万维网贸易商 通过向所指示的接受者提供所订购的项目来履行订购。该项目可以是 向接受者电子递送的产品(例如，通过互联网下载的音乐)或通过实 体分发信道递送的产品(例如，通过政府邮政服务或私人公共承运商 运送的平装本书籍)。该项目还可以是电子提供的服务(例如，提供电 子邮件服务)或实体提供的服务(例如，在购买者的房屋处执行清洁 服务)。要实体提供的产品项目的万维网贸易商通常所使用的订购履行 过程与运送所订购的项目的其他项目订购服务(例如，基于一览表的 购物，如来自邮件订购公司)具有相似之处，例如，从由万维网贸易 商运营的或代表万维网贸易商的一个或多个实体分发或履行中心递送 所订购的项目。
虽然与用户的基于万维网的交互提供了多种益处，然而万维网贸 易商和万维网站点的其他运营者还面临着涉及试图进行不恰当活动的 用户的各种问题，该不恰当活动例如是欺诈活动或不被特定万维网站 点运营者允许的其他活动。例如，肆无忌惮的参与方可能试图通过对 信用卡或其他电子支付系统的未授权使用来购买项目，例如，当肆无 忌惮的一方已占有偷得的或以其他方式不正当获取的账户信息时。其 他肆无忌惮的参与方可能运营本应由万维网贸易商或其他电子市场主 持的或附属于万维网贸易商或其他电子市场的虚假“店面”，然后试图 获得对未递送到付款顾客的项目的支付。此外，肆无忌惮的参与方可 能试图非法地获得对由万维网站点维护的和/或可通过万维网站点访 问的顾客账户的访问，例如，出于身份盗窃或其他不正当活动(例如， 从银行账户转移资金)的目的而获得保密信息。此外，肆无忌惮的参 与方可能违反使用万维网站点的条款和条件，例如，寄出攻击性的或 诽谤的材料、人工地操控价格(例如，在拍卖站点的情况下)、分发受 保护的(例如，受版权保护的)材料和/或非索要消息(例如，兜售信 息)等。
对于互联网服务的用户和互联网服务本身来说，不正当的活动都 造成了显著的问题。例如，当通过对信用卡或其他电子支付系统的未 授权使用来购买项目时，贸易商可能损失金钱。此外，欺诈活动或其 他不正当活动可能产生对用于互联网服务的顾客服务的大量呼叫(或 其他联系)。此外，诸如身份盗窃等不正当活动可能对这种犯罪的受害 者造成巨大的困难。此外，即使互联网服务可能不对特定不正当活动 (例如，由于密码被猜出而危及账户、攻击性的行为等)的代价负责， 用户也可能对互联网服务失去信任，从而减少总体使用并造成相应的 财务损失(例如，由于广告的减少和/或销售收益的减少等而引起)。
虽然与用户的基于万维网的交互提供了多种益处，然而万维网贸 易商和万维网站点的其他运营者还面临着涉及试图进行不恰当活动的 用户的各种问题，该不恰当活动例如是欺诈活动或不被特定万维网站 点运营者允许的其他活动。例如，肆无忌惮的参与方可能试图通过对 信用卡或其他电子支付系统的未授权使用来购买项目，例如，当肆无 忌惮的一方已占有偷得的或以其他方式不正当获取的账户信息时。其 他肆无忌惮的参与方可能运营本应由万维网贸易商或其他电子市场主 持的或附属于万维网贸易商或其他电子市场的虚假“店面”，然后试图 获得对未递送到付款顾客的项目的支付。此外，肆无忌惮的参与方可 能试图非法地获得对由万维网站点维护的和/或可通过万维网站点访 问的顾客账户的访问，例如，出于身份盗窃或其他不正当活动(例如， 从银行账户转移资金)的目的而获得保密信息。此外，肆无忌惮的参 与方可能违反使用万维网站点的条款和条件，例如，寄出攻击性的或 诽谤的材料、人工地操控价格(例如，在拍卖站点的情况下)、分发受 保护的(例如，受版权保护的)材料和/或非索要消息(例如，兜售信 息)等。
对于互联网服务的用户和互联网服务本身来说，不正当的活动都 造成了显著的问题。例如，当通过对信用卡或其他电子支付系统的未 授权使用来购买项目时，贸易商可能损失金钱。此外，欺诈活动或其 他不正当活动可能产生对用于互联网服务的顾客服务的大量呼叫(或 其他联系)。此外，诸如身份盗窃等不正当活动可能对这种犯罪的受害 者造成巨大的困难。此外，即使互联网服务可能不对特定不正当活动 (例如，由于密码被猜出而危及账户、攻击性的行为等)的代价负责， 用户也可能对互联网服务失去信任，从而减少总体使用并造成相应的 财务损失(例如，由于广告的减少和/或销售收益的减少等而引起)。
附图说明
图1示出了涉及电子信息服务的用户的示例交互。
图2是示出了适合于执行不适当活动检测器系统的示例实施例的 计算机系统的框图。
图3是不适当活动检测器例程的示例实施例的流程图。
图4是评估测试管理器例程的示例实施例的流程图。
图2是示出了适合于执行不适当活动检测器系统的示例实施例的 计算机系统的框图。
图3是不适当活动检测器例程的示例实施例的流程图。
图4是评估测试管理器例程的示例实施例的流程图。
具体实施方式
描述了基于与万维网站点和其他电子信息服务的交互对不适当活 动进行检测的技术。在一些实施例中，该技术涉及：分析用户与电子 信息服务的交互，以确定用户的交互是否很可能反映该用户的欺诈活 动。例如在访问信息、进行购买交易和其他类型的交易等的情况下， 这样的用户交互可以包括来自电子信息服务的信息请求和/或正在向 该电子信息服务提供的信息。在至少一些实施例中，可以通过应用一 个或多个评估测试来分析关于用户交互的信息，其中每一个评估测试 被配置用于评估交互的一个或多个方面并提供这些交互方面是否反映 了不适当活动的指示。如果对一个或多个用户交互的分析确定了用户 涉嫌不适当的活动，则可以采取各种行动以禁止不适当活动继续或将 来再次发生。在至少一些实施例中，通过不适当活动检测器系统的实 施例来自动实现所描述的技术，以下将对此进行更详细的描述。
在各种实施例中，可以以各种方式使用所描述的不适当活动检测 技术。例如，在一些实施例中，以各种方式使用该技术来禁止试图在 与万维网站点或其他电子信息服务进行交互时执行不适当活动的用户 的活动。不适当的用户和活动可以包括：例如，试图在未提供有效支 付的情况下从在线贸易商购买项目的用户，例如通过在未授权的情况 下使用信用卡或其他支付系统(例如，借记卡、电子资金转账等)。不 适当的用户和活动还可以包括：试图通过例如拍卖或电子商店欺诈性 地出售项目的用户(例如，通过获得项目销售的支付却未将该项目递 送到购买者或其他方)。其他不适当的用户和活动可以包括：试图非法 获得对其他用户的保密信息的访问的欺诈用户、试图假扮其他用户的 用户、违反适当行为的条件或其他标准的用户(例如，通过在过帐过 程中使用攻击性语言、通过发送兜售信息或其他未授权的通信)等
从事不适当活动的用户常常展现出与电子信息服务的交互的可识 别风格，该风格不同于从事适当(例如，合法的、非欺诈性的，等等) 活动的用户所展现出的交互风格。例如，在向顾客出售项目的目标电 子信息服务(如，万维网站点)上从事支付欺诈(例如，对信用卡账 户信息的未授权使用)的用户在进行其欺诈购买时，往往不“浏览”或 比较商店。相反，他们往往重复地且快速地执行特定任务(例如，购 买在二手市场上容易以现金形式再出售的高需求项目)，可能对每个交 易使用不同的账户。因而，当购买项目时，欺诈用户与目标电子信息 服务的交互可以展现出特定风格，例如，快速访问关于该项目的信息 并在尽可能少的步骤或其他操作中完成购买(例如，通过直接访问该 项目的说明书、表示出购买该项目的愿望、并提供支付信息以完成交 易)。通过比较，购买相同项目的合法用户在进行购买时可能花费更多 的时间，执行另外的交互，和/或更慢地执行这样的交互(这是由于， 例如，他们是没有经验的用户，会花费时间阅读关于该项目的评论， 将该项目与类似的项目进行比较等)。
相应地，在至少一些实施例中，可以基于对用户交互的分析来检 测不适当活动，其中，对用户交互的分析是通过将一个或多个评估测 试自动应用于描述用户交互的信息来执行的。特别地，在至少一些实 施例中，评估测试可以分析与用户的多个相关交互的序列(例如，在 特定用户会话期间、在特定时间段内等等发生的一些或全部交互)有 关的信息，并试图确定该交互序列是否匹配于与不适当活动相关联的 任何已知风格。在一些实施例中，至少一些评估测试可以进一步(或 代之以)分析与用户的多个相关交互的序列有关的汇总或整合信息， 例如，关于执行该序列所耗费的总时间量的信息、关于该序列中一些 或全部交互之间的平均时间量的信息、以及关于该多个交互的各种其 他信息(例如，至少一些交互的发生频率、至少一些交互之间的时间 间隔的差异、至少一些交互的数量等)。在各个实施例中，评估测试可 以具有各种形式，例如，如果-则(if-then)规则和/或软件模块(例如， 包含可执行指令、高级编程语言代码、脚本语言代码等)或其他可执 行代码。此外，评估测试可以使用关于一个或多个用户交互的信息作 为输入，并提供对该一个或多个用户交互反映不适当活动的可能性的 指示(例如，得分、标记等)作为输出。为了总体确定出用户交互反 映不适当活动的可能性，可以采用各种方式(例如，通过求和、求平 均等)来合并由应用于一个或多个用户交互的多个评估测试所提供的 结果。
对为了检测不适当活动而分析的用户交互进行描述的信息可以包 括：作为接收到的信息请求(例如，用户正在请求的文件或其他电子 可访问资源的名称)的一部分的信息和/或正在提供的信息(例如，用 户正在上载或以其他方式提供的文件的名称和/或内容)。此外，描述 用户交互的信息还可以包括：涉及交互的信息，例如，随接收到的信 息请求或用户正在提供的信息一同发送的报头及其他元数据信息；以 及关于交互的其他元数据信息(例如，发生时间、关于如何以及从何 处发起交互的信息、关于用作交互一部分的软件和计算设备的信息 等)。此外，描述用户交互的信息可以包括：基于一个或多个用户交互 而推出的信息，例如交互之间的平均时间、所经过的总会话用时(例 如，从用户登录到完成交易的时间)等。
如上所述，在一些实施例中，可以通过分析用户与电子信息服务 的交互来检测不适当活动。在一些实施例中，电子信息服务可以将关 于一些或全部用户交互的信息记录到日志中或以其他方式进行记录， 例如，将该信息存储在一个或多个日志文件中。然后，为了检测反映 不适当活动的特定交互风格，可以对用户交互日志中的全部或一些信 息进行分析或以其他方式进行处理。在至少一些实施例中，这种分析 和处理可以重复发生(例如每十分钟或每小时)，以允许对用户交互的 分析以近似实时的方式发生。在这些情况下，分析的一部分(或在该 分析前发生的预处理)可以包括：从包括与多个并发的用户交互有关 的信息的日志中提取与特定用户的交互序列有关的信息。
如果检测到不适当活动，则可以采取一个或多个行动以禁止不适 当活动的继续发生和/或在将来发生。例如，如果检测到的不适当活动 与特定用户相关联(例如，代表特定用户账户而发生)，则该行动可以 包括：自动冻结用户的账户和/或通知用户(例如，基于已潜在地获得 对该账户的非法访问的第三方)。此外或备选地，如果检测到的不适当 活动与被识别的计算系统(例如，被识别为从特定网络地址发起)相 关联，则可以阻挡、中止和/或重定向来自被识别的计算系统的其他交 互。如果这些交互涉及交易，则可以自动地或人工地阻挡或延迟该交 易(例如，允许额外时间以评估这些交互或该交易)，例如，在不适当 性检测以相对于这些交互近似实时的方式发生，或发生在该交易完成 之前(例如，在运送所购买的项目之前)的情况下。在一些实施例中， 该行动还可以包括：将关于所涉嫌的不适当活动的信息提供给一个人 或多个人和/或其他计算系统(例如，与在线商店相关联的订购处理系 统)，以用于进一步检查和/或特殊处理(例如，延迟项目的运送，直 到检验出用于购买该项目的信用卡账户未被欺诈使用时为止)。
出于示意目的，以下描述了一些实施例，其中以特定方式使用所 描述的技术来禁止特定类型的不适当活动，并且，以各种方式识别不 适当活动。然而，应当意识到，可以将所描述的技术用在许多种其他 情况下，因此，本发明不限于所提供的示例性细节。
如前所述，在一些实施例中，可以使用所描述的不适当活动检测 技术，来禁止试图在与由万维网服务器主持的万维网站点进行交互时 执行不适当活动的用户的活动。例如，万维网服务器可以向运营客户 端万维网浏览器应用程序的用户提供信息和/或服务。在这些情况下， 用户可以利用万维网浏览器应用程序，通过HTTP(“超文本传输协 议”)请求来与万维网服务器进行交互，HTTP请求包括：来自万维网 服务器的信息请求和/或要向万维网服务器提供的信息。
在一些实施例中，为了进行不适当活动检测以及其他原因，可以 记录(例如，向日志文件、数据库、内存等)关于由万维网服务器接 收到的HTTP请求的信息。特别地，所给出的HTTP请求包括描述该 请求的各种字段，这些字段包括：对要执行的期望动作(例如，得到 信息、提供将被处理的信息等)的指示、对要访问的电子信息资源(例 如，万维网服务器将要提供和/或执行的文件的名称)的识别、请求报 头(例如，对发起了该请求的用户和/或万维网浏览器应用程序的身份 的指示、对优选语言和/或数据编码的指示、一个或多个cookie等)、 以及可选消息体(例如，包括万维网浏览器正在向万维网服务器提供 的信息)。在一些实施例中，可以将所给出的HTTP请求中所包含的一 些或全部信息与附加信息一同记录到日志中，该附加信息例如是发出 请求的计算系统的源网络地址(例如，IP地址和/或端口)、该请求的 时间和日期、该请求中包括的数据量(例如，字节数)、处理该请求所 耗费的时间等。
在一些实施例中，可以对由万维网服务器接收到的多个HTTP请 求进行分析，以在与这些请求相关联的用户和/或计算系统的部分上检 测不适当活动。在一些情况下，可以首先将接收到的HTTP请求分组 为交互序列，其中每一个交互序列均包括用于描述一个或多个与特定 用户、网络地址和/或计算系统相关联的一个或多个HTTP请求的信 息。如上所述，描述一个或多个HTTP请求的信息可以包括HTTP请 求本身的任何或全部属性。在一些情况下，特定交互序列中的各个 HTTP请求的属性可以单独表现出欺诈活动。例如，在在线商店的情 况下，如果用户直接访问该在线商店(而不是通过电子转介，如从搜 索引擎的结果页，到达该在线商店)，然后以特定方式(例如，通过人 工输入项目的长的唯一标识符，而不是搜索或浏览项目)来访问关于 项目的信息，则基于欺诈用户正在典型地执行的那些活动，可以将对 应的一个或多个HTTP请求识别为潜在地表现出欺诈活动。
此外，描述为了检测不适当活动而分析的特定交互序列的一个或 多个HTTP请求的信息可以包括：从对交互序列中的多个HTTP请求 的统计分析或其他分析推出的汇总或整合信息，例如，总的会话时间 (例如，从用户登录到完成交易的时间)、平均请求频率(例如，每单 位时间的请求数目)、请求间隔(例如，请求之间的平均时间)、请求 样式(例如，列表、树、图、或表示经过万维网站点的路径的其他结 构、或摘要、或这种数据结构的其他压缩表示)等。在一些情况下， 这种所推出的信息可以表现出不适当活动。例如，在提供在线商店的 万维网站点的情况下，欺诈用户很可能知道其希望购买什么项目，因 而，其很可能快速穿过万维网站点以完成其欺诈交易。相应地，与合 法用户相比，欺诈用户可能往往具有非常短的会话时间、较低的每请 求平均时间、较低的每请求时间差异和/或不寻常的请求样式(例如， 通过识别合法顾客平常不知道或不使用的号码来搜索项目)。
图1示出了在用户与电子信息服务之间可能发生的各种类型的交 互，该电子信息服务例如是通过互联网或其他通信网络(例如，专用 蜂窝或陆地线路电话网络)可获得的万维网站点和其他服务。在本示 例中，目标方站点105提供了一个或多个服务(例如，万维网商店、 电子市场、拍卖服务、在线银行、支付处理、基于万维网的电子邮件、 万维网服务等)或可被合法用户110以及试图在目标站点处执行不适 当活动的欺诈用户115电子访问的其他信息。合法用户110和欺诈用 户115使用在客户端设备(图中未示出)上执行的客户端软件应用程 序(例如，万维网浏览器，图中未示出)，来访问来自目标方站点105 的服务或信息。对于用户，为了获得这种访问，该用户向目标方站点 发出一个或多个信息请求(例如，基于HTTP协议的请求)，以请求来 自目标方站点105的特定电子可访问资源或其他可用信息。
在本示例中，欺诈用户115可以试图以各种方式与目标方站点105 适当地进行交互。如在别处更详细描述的，示例性的不适当活动可以 包括以下尝试：通过对支付系统的欺诈使用(例如，通过对信用卡的 未授权使用)来购买货物和/或服务；欺诈性地出售货物和/或服务(例 如，通过获得针对项目的支付而没有提供这些项目作为回报)等。
在一些实施例中，自动化的不适当活动检测器系统120还可以用 于检测至少一些欺诈用户115的一些或全部不适当活动，并禁止这些 活动和相关的将来的不适当活动。例如，可以在目标方的计算系统上 执行这样的系统以分析用户与目标方站点105的交互，或者可以代之 以在一个或多个远程计算系统上执行这样的系统(例如，以便向一个 或多个未附属的目标方(例如，要收费的)提供不适当活动检测服务)。 举例而言，不适当活动检测器系统120的实施例可以分析合法用户110 和欺诈用户115与目标方站点105的交互，例如，分析所有用户的所 有交互，或者代之以只分析所选的用户交互(例如，通过随机选择用 户和/或交互的采样；通过监控涉嫌潜在地从事不适当活动的特定用户 的一些或全部交互；通过在特别触发事件后监控一些或全部交互，例 如，在新的顾客用户首次开账户和/或新的卖主首次开始出售项目之 后；等等)
图2是示例服务器计算系统200的框图，示例服务器计算系统200 适合于执行不适当活动检测器系统240的实施例，以检测关于一个或 多个电子信息服务的不适当活动。图2还示出了各种欺诈用户客户端 计算系统250和合法用户客户端计算系统270，用户可以通过它们与 诸如万维网服务器系统221之类的服务器计算系统200以及可选的其 他计算系统290(例如，各种伙伴和附属机构的计算系统、不适当活 动检测器系统为了提供不适当活动检测功能而与之交互的第三方实体 的计算系统等)进行交互。在所示的实施例中，服务器计算系统200 包括CPU 205、各种I/O组件210、存储器230和内存220。I/O组件 包括显示器211、网络连接器212、计算机可读介质驱动器213和其他 I/O设备215(如鼠标、键盘等)。
在内存220中执行不适当活动检测器系统240的实施例，这里是 在向用户提供一个或多个万维网站点的万维网服务器系统221中执 行。特别地，分别通过在客户端计算系统250和270的内存257和277 中执行的客户端侧浏览器应用程序259和279，欺诈用户和合法用户 可以在网络280上(例如，通过互联网和/或万维网)与万维网服务器 系统221进行交互，以发送信息请求，请求存储器230上的各种电子 可访问资源231(例如，网页、媒体内容等)，或请求通过由万维网服 务器系统221提供的万维网站点可获得的其他信息、服务或功能。在 一些实施例中，欺诈用户和合法用户还可以以其他方式与服务器计算 系统200进行交互，以发起对从一个或多个可选的其他系统222(例 如，万维网商店系统、在线银行系统、股票交易系统等)可获得的一 个或多个在线服务的访问。在本示例中，通过向请求发送者提供所请 求的信息，万维网服务器系统221响应来自用户的请求，并且还可以 在存储器230上产生该请求的一个或多个日志235。
在所示的实施例中，不适当活动检测器系统240进行操作以自动 评估与万维网服务器系统221的至少一些用户交互，而在其他实施例 中，不适当活动检测器系统240可以代之以与提供对电子可访问资源 的访问的其他系统进行交互，这样的系统例如是一个或多个万维网服 务器系统和/或在一个或多个其他远程计算系统上(例如，在一个或多 个其他计算系统290上)执行的其他类型的系统。可以以各种方式获 得关于要分析的请求的信息，例如，基于不适当活动检测器系统240 与万维网服务器系统221之间的交互来获得关于请求的信息(例如， 在请求发生时或在履行该请求之前，例如，如果实时地或近似实时地 执行该分析)，或者代之以基于从日志235取回的关于请求的信息，在 履行了一些或全部请求之后对这些请求进行分析。
不适当活动检测器系统240的所示实施例包括不适当活动检测器 模块242和评估测试管理器模块244。不适当活动检测器模块242分 析对由欺诈用户客户端计算系统250和合法用户客户端计算系统270 执行的交互进行描述的信息，并基于这些交互来自动确定计算系统 250和270的用户是否涉嫌从事不适当活动。在本实施例中，通过应 用来自评估测试数据库数据结构233的一个或多个评估测试，不适当 活动检测器模块242对描述交互的信息进行分析，其中，每一个所应 用的评估测试提供了与一个或多个正在被评估的交互相关联的不适当 活动的可能程度的指示。如果不适当活动检测器模块242检测到涉及 一个或多个用户和/或计算系统的不适当活动，则其可以采取多种行动 以禁止这种活动，包括：通知一个人或多个人和/或其他模块或计算系 统。
在所示的实施例中，评估测试管理器模块244管理在评估测试数 据库233中存储的一个或多个评估测试的收集。特别地，评估测试管 理器模块244可以提供人类用户可(例如，通过交互应用程序，例如 万维网浏览器)用以创建、更新、修改和/或删除评估测试的功能。此 外，在一些实施例中，评估测试管理器模块244被配置用于执行涉及 评估测试的各种自动化任务，以基于数据挖掘、机器学习和/或对用户 交互的统计分析来创建和/或更新评估测试，从而识别与不适当活动相 关联的因素。然后，可以将所识别的因素并入现有的或自动产生的评 估测试中，以由不适当活动检测器模块24后续使用。
应当意识到，所示的计算系统仅是示意性的，并不意在限制本发 明的范围。计算系统200进而可以包括多个交互计算系统或设备，并 可以连接到未示出的其他设备，该连接包括：通过诸如互联网之类的 一个或多个的网络、通过万维网或通过专用网络(例如，移动通信网 络等)。更一般地，服务器或客户端计算系统或设备可以包括可进行交 互的硬件或软件的任何组合，包括(但不限于)台式计算机或其他计 算机、网络设备、PDA(“个人数字助理”)、蜂窝电话、无线电话、寻 呼机、电子管理器、互联网应用、基于电视的系统(例如，使用机顶 盒和/或个人/数字录像机)以及包括适当互相通信能力的各种其他消 费产品。此外，在一些实施例中，可以以各种方式在各个模块之间分 发由不适当活动检测器系统提供的功能，并且可以代之以不提供该功 能中的一些作为不适当活动检测器系统的一部分，和/或其他附加功能 是可用的。
还应当意识到，为了内存管理和数据完整性起见，在使用各种项 目时，尽管将这些项目讨论或示出为存储在内存或存储器中时，但这 些项目或其部分可以在内存与其他存储设备之间转移。备选地，在其 他实施例中，软件系统或模块中的一些或全部可以在另一个设备上的 内存中执行，并通过计算机间的通信与所示的计算系统进行通信。还 可以将一些或全部系统和/或数据结构存储(例如，作为软件指令或结 构数据)在计算机可以读介质上，例如硬盘、内存、网络、或将被适 当驱动器读取或通过适当连接器读取的便携式媒体物件(例如，DVD 或闪存设备)。还可以通过在多种计算机可读传输介质上产生的数据信 号(例如，在载波中编码的或被包括为模拟或数字传播信号一部分的) 来传输系统和数据结构，计算机可读传输介质包括基于无线的介质和 基于有线/线缆的介质，并且，系统和数据结构可以采用多种形式(例 如，作为单个或复用的模拟信号的一部分，或作为多个离散数字分组 或帧)。在其他实施例中，这种计算机程序产品还可以采用其他形式。 相应地，可以使用其他计算机系统配置来实践本技术。
图3是不适当活动检测器例程300的示例实施例的流程图。例如， 可以通过执行图2的不适当活动检测器模块242来提供该例程，例如， 基于对用户与电子信息服务的交互的分析来自动检测不适当活动。在 本示例实施例中，对用户交互的分析便于禁止当前和将来的不适当活 动，但在其他实施例中，该例程所执行的分析可以用于其他目的，例 如，出于例如市场营销、目标广告等目的，识别不同类别或类型的用 户(例如，专家对新手用户)。
例程300的所示实施例开始于步骤305，在步骤305中，接收对 与电子信息服务的多个交互的指示，该电子信息服务例如是提供万维 网站点的万维网服务器。在本实施例中，所指示的交互基于日志的内 容或由电子信息服务维护的其他记录的内容。在一个实施例中，在这 种交互发生时或接近这种交互发生时，电子信息服务存储与用户的每 次交互的记录。然后，例程300接收或以另外的方式获得全部或一些 日志条目，例如，在指定的时间间隔内存储的日志条目(例如，在最 近10分钟内存储的那些日志条目)和/或从该例程上次分析日志条目 起存储的日志条目。在其他实施例中，可以从电子信息服务直接接收 所指示的交互，例如通过通信信道(例如，网络连接器、管道等)以 相对于用户交互的发生实时或实质上实时的方式进行接收。在这些情 况下，当发生交互时，电子信息服务可以发送或传输交互的例程指示。 在其他实施例中，可以代之以在电子信息服务处理这种交互之前接收 所指示的交互，例如，通过接收来自代理服务器的信息，其中，当交 互在用户与电子信息服务之间流动时，代理服务器对交互进行截取。
在步骤310中，基于所指示的多个交互，该例程识别一个或多个 用户的一个或多个交互序列。例如，如果在步骤305中接收到的交互 信息包括与在一个时间段内多个用户的交互有关的信息(例如，来自 日志)，则该例程可以解析或处理该信息以识别一个或多个交互序列， 该一个或多个交互序列中的每一个都包括收集相关交互(例如，源自 特定用户、计算机系统和/或网络地址，并在特定会话期间或特定时间 段内发生)。在一些情况下，每一个交互序列可以包括：特定用户在发 起交互序列(例如，登录或以其他方式开始交互)的时刻与完成了某 些交互(例如，购买了项目、更新了账户设置、注销等)的时刻之间 作出的所有请求或其他交互，以使得每一个交互序列包括该用户在会 话或其他逻辑连接和/或交易期间发起的全部交互。
在步骤315中，该例程选择下一个交互序列，从第一个开始。然 后，在步骤320中，该例程确定一个或多个评估测试以应用于所选的 交互序列。对要应用的一个或多个的评估测试的确定可以包括将所有 评估测试应用于所有交互序列，或者，可以代之以采用其他方式来执 行该确定。例如，一些交互测试可以仅与具有至少最小交互数目(例 如，多于一个、多于两个等)的交互序列相关，例如，与交互间的平 均时间量相关或与涉及执行全部交互的总时间量相关的评估测试。此 外，在一些实施例中，出于各种原因，可以在更详细检查的情况下选 择特定的交互序列，例如，先前被识别为潜在嫌疑分子的关联用户和/ 或包括先前被识别为特别怀疑对象的一个或多个交互的交互序列，并 且如果这样做，则可以使用更多数目的评估测试和/或更精密的评估测 试。在其他情况下，可以代之以在不太详细检查(或者如果不对该交 互序列进行分析，则不用详细检查)的情况下选择特定的交互序列， 并且如果这样做，则可以选择更少的(或不选择)评估测试。例如， 在至少一些实施例中，出于各种原因，可以不对与特定购买交易相关 的一些或全部信息(例如，关于正在购买的特定项目的信息)进行评 估，和/或可以不对关于特定类型的活动的信息(例如，在创建了新的 卖主账户和/或改变了现有卖主账户之后)进行评估。
在步骤325中，该例程将零或更多个所确定的评估测试应用于所 选的交互序列。在一些实施例中，每一个评估测试可以处理或检查给 定的交互序列，并提供由此产生的、对该交互序列反映不适当活动的 可能程度的指示，例如，提供得分(例如，整数)、可能性(例如，0 和1之间的实数值)、或对给定交互序列反映不适当活动有多可能的其 他指示(例如，布尔值)。
在步骤330中，基于所应用的测试，该例程确定针对所选的交互 序列的不适当活动的总体可能性。如果应用了多个评估测试，则可以 以各种方式合并由每一个评估测试提供的、所指示的、不适当活动的 可能性。例如，如果所提供的、所指示的可能性都是不适当活动的数 字概率，则可以以各种方式合并所提供的、所指示的可能性，例如， 通过对其求平均(可能以加权的方式，例如，基于对各个评估测试的 相对精度和/或强度的预定指定)。在其他实施例中，可以以其他方式 (例如，简单求和)合并和/或合计由多个评估测试所指示的可能性。
在步骤335中，例如，基于不适当活动的总体可能性和/或任何单 独的评估测试所指示的、不适当活动的可能性是否大于预定阈值，该 例程确定不适当活动是否充分可能。例如，在评估测试以标准化比例 (例如，0和10之间的数，其中，得10分反映的可能性比得0分高) 提供不适当活动的可能性的实施例中，可以对由多个评估测试提供的 多个可能性求平均，当获得了高于某阈值(例如，7)的总平均得分时， 确定不适当活动充分可能。该阈值可以由人(例如，手调)确定和/ 或通过机器学习技术来得到。在其他实施例中，可以以其他方式执行 步骤330和335的操作，以将所指示的评估测试可能程度提供给神经 网络或其他辨别和/或分类系统(例如，贝叶斯分类器)，该其他辨别 和/或分类系统已被训练用于或被配置用于将由评估测试提供的输出 的特定风格辨别为对不适当活动的反映(例如，与不适当活动高度相 关)。
如果在步骤335中确定了不适当活动充分可能，则该例程继续进 行到步骤340，并提供对与所选的交互序列相关联的不适当活动的指 示。这可以包括：如别处更详细描述的，通知操作员(例如，通过发 送电子邮件、文本消息或其他通信)和/或通知可采取一些行动以禁止 所识别的不适当活动的系统或模块。
在步骤345中，该例程基于检测到的不适当活动可选地执行其他 动作。在一些实施例中，该例程可以被配置用于在一些情况下采取其 他实体(例如，操作员)平常所采取的一些禁止行动，例如在确定了 不适当活动极度可能或严重时，以试图立即停止不适当活动更进一步。 如果在步骤335中确定了不适当活动不是充分可能的，或者在步骤345 之后，则该例程继续进行到步骤350。在步骤350中，该例程确定是 否有更多的交互序列要分析，并且如果确定有，则回到步骤315。如 果在步骤350中确定没有更多的交互序列要分析，则该例程继续进行 到步骤395，在步骤395中，确定是否继续。如果确定继续，则该例 程回到步骤305，而如果确定不继续，则在步骤395结束。
在一些实施例中，可以对所示的不适当活动检测器例程300进行 修改，以采用实时或实质上实时的方式进行操作。例如，在电子信息 服务处理这种交互的时刻之前或在该时刻附近该例程接收到交互的指 示的实施例中，在交互序列发生时，该例程可以识别和评估这些交互 序列。
在提交于2006年10月5日、申请号为11/539,076，题为“Detecting Fraudulent Activity By Analysis Of Information Requests”的美国申请中 包括了与评估测试和用于识别诸如可疑通信之类的不适当活动的技术 相关的各种附加细节，将其全部并入此处作为参考。
图4是评估测试管理器例程400的示例实施例的流程图。例如， 可以通过执行图2的评估测试管理器模块244来提供该例程，例如， 提供涉及创建和/或更新评估测试的功能。
该例程开始于步骤405，在步骤405中，接收涉及人产生的或机 器产生的评估测试的请求。例如，该例程可以提供交互功能，以使得 人类用户可以通过经由客户端程序(例如，万维网浏览器)与该例程 进行通信，来交互式地创建和修改评估测试。此外或备选地，该例程 可以提供基于在先交互序列自动产生和/或更新现有测试的功能，该在 先交互序列例如是已被确定为反映不适当活动的在先交互序列。
在步骤410中，该例程确定接收到的请求是否涉及人产生的评估 测试，如果涉及，则继续执行步骤415。在步骤415中，连同任何关 联的数据一起，该例程获得对要关于一个或多个评估测试而执行的动 作的指示。所指示的动作可以包括：涉及创建、更新、修改和/或管理 评估测试的操作(例如，针对暂时或永久地启用或禁用供将来应用的 评估测试的请求)。例如，所指示的、创建新评估测试的动作可以包括 关联的数据，该关联的数据包括：将被作为应用该评估测试的一部分 而解译的脚本、将被作为应用该评估测试的一部分而执行的二进制模 块(例如，包含过程、函数、类等)等等。在其他实施例中，可以预 定义或部分地预定义评估测试，仅需要指定对因素、参数和/或配置中 的一项或多项以使其变得有效。例如，通过提供相关的因素或其他调 谐参数，人类用户可以实例化多个不同的“模板”评估测试。在这些情 况下，所指示的、创建新评估测试的动作可以包括关联的数据，该关 联的数据包括：对这些因素、调谐参数、或评估测试为了执行其功能 而需要的配置设置的指定。此外，关联的数据可以包括：与对评估测 试进行编目和/或组织相关的元数据，例如操作时刻(例如，创建测试 或最后操作该测试的时刻)、用户身份(例如，最后操作该评估测试的 用户的)、测试名称或其他标识符、注释(例如，以自然语音对评估测 试的操作进行描述)等。在步骤420中，例如通过创建或修改一个或 多个所指示的评估测试，该例程执行所指示的动作。可以将评估测试 信息存储在例如评估测试数据库233或其他数据存储器中，以备后续 取回。
如果在步骤410中确定接收到的请求不涉及人产生的评估测试 (因此涉及机器产生的评估测试)，则该例程继续进行到步骤425。在 步骤425中，该例程获得关于在先交互序列且与对这些交互序列的活 动不适当性的指示相对应的信息。例如，给定的交互序列可以包括由 特定用户在为了执行具体交易(例如，购买项目)而与在线贸易商进 行会话期间发出的所有请求，并且，不适当性的对应指示可以是：交 互序列对应于不适当活动(例如，基于随后被确定为欺诈性的特定交 易，这是由于例如用户使用了后来被确定为被盗的或未授权使用的信 用卡号码而引起的)。备选地，关于在先示例交互序列，不适当性的对 应指示可以是：该交互序列不对应于不适当活动(例如，基于没有问 题地完成的交易)。可以以各种方式作出对活动不适当性的确定，例如 自动地(例如，基于对信用卡号码的未授权使用的自动化通知)和/ 或人工地(例如，基于人的检查或调查)。
在步骤430中，该例程分析所获得的信息，以试图识别与不适当 活动相关联的一个或多个因素。这样的分析可以包括：对与适当和/ 或不适当活动相关的交互序列的因素进行自动识别，例如统计上重要 的因素。如别处所提到的，在一些实施例中，可以应用各种统计、机 器学习和/或人工智能技术来识别与不适当活动相关联的因素。在步骤 435中，如果在步骤430中识别出一个或多个的相关因素，那么该例 程根据识别出的因素来创建或更新一个或多个对应的评估测试。例如， 可以周期性地更新和/或调谐基于交互之间的平均时间而对不适当性 进行确定的评估测试，以反映正在改变的条件或由欺诈用户所使用的 技术(例如，欺诈用户为了快速地或大量地执行交易而利用的自动化 机器人)。
在步骤420或435之后，该例程继续进行到步骤440，在步骤440 中，该例程在适当时可选地执行其他所指示的动作或其他操作。其他 所指示的行动动作可以包括：针对确定评估测试和/或向各种客户端系 统或其他例程(例如，不适当活动检测器例程300)提供评估测试的 请求。
在步骤495中，该例程确定是否继续，并且如果继续，则回到步 骤405，而如果不继续，则在步骤499结束。
本领域技术人员还应当意识到，在一些实施例中，可以以备选方 式提供以上讨论的例程所提供的功能，例如，在更多例程当中进行分 割或合并成更少的例程。类似地，在一些实施例中，所示的例程可以 提供与所描述的相比更多或更少的功能，例如，当其他所示的例程分 别缺少或包括这种功能时，或者当所提供的功能的数量发生变化时。 此外，尽管各种操作可以被示出为以特定方式(例如，串行或并行) 和/或以特定次序执行，但本领域技术人员应当意识到，在其他实施例 中，可以以其他次序和以其他方式执行操作。本领域技术人员还应当 意识到，可以以不同的方式构造以上讨论的数据结构，例如通过将单 个数据结构分割成多个数据结构或将多个数据结构合并成单个数据结 构。类似地，在一些实施例中，所示的数据结构可以存储与所描述的 相比更多或更少的信息，例如，当其他所示的数据结构分别缺少或包 括这种信息时，或者当所存储的信息的类型或量发生变化时。
从前述应当意识到，尽管出于示意目的，此处已描述了具体实施 例，但在不脱离本发明的精神和范围的情况下可以作出各种修改。相 应地，本发明仅由所附权利要求及其中陈述的要素所限定。此外，尽 管以下以特定权利要求的形式呈现了本发明的特定方面，但发明人构 想出以任何可用权利要求形式呈现本发明的各个方面。例如，尽管当 前仅将本发明的一些方面陈述为在计算机可读介质中实现，但其他方 面同样可以这样实现。
在各种实施例中，可以以各种方式使用所描述的不适当活动检测 技术。例如，在一些实施例中，以各种方式使用该技术来禁止试图在 与万维网站点或其他电子信息服务进行交互时执行不适当活动的用户 的活动。不适当的用户和活动可以包括：例如，试图在未提供有效支 付的情况下从在线贸易商购买项目的用户，例如通过在未授权的情况 下使用信用卡或其他支付系统(例如，借记卡、电子资金转账等)。不 适当的用户和活动还可以包括：试图通过例如拍卖或电子商店欺诈性 地出售项目的用户(例如，通过获得项目销售的支付却未将该项目递 送到购买者或其他方)。其他不适当的用户和活动可以包括：试图非法 获得对其他用户的保密信息的访问的欺诈用户、试图假扮其他用户的 用户、违反适当行为的条件或其他标准的用户(例如，通过在过帐过 程中使用攻击性语言、通过发送兜售信息或其他未授权的通信)等
从事不适当活动的用户常常展现出与电子信息服务的交互的可识 别风格，该风格不同于从事适当(例如，合法的、非欺诈性的，等等) 活动的用户所展现出的交互风格。例如，在向顾客出售项目的目标电 子信息服务(如，万维网站点)上从事支付欺诈(例如，对信用卡账 户信息的未授权使用)的用户在进行其欺诈购买时，往往不“浏览”或 比较商店。相反，他们往往重复地且快速地执行特定任务(例如，购 买在二手市场上容易以现金形式再出售的高需求项目)，可能对每个交 易使用不同的账户。因而，当购买项目时，欺诈用户与目标电子信息 服务的交互可以展现出特定风格，例如，快速访问关于该项目的信息 并在尽可能少的步骤或其他操作中完成购买(例如，通过直接访问该 项目的说明书、表示出购买该项目的愿望、并提供支付信息以完成交 易)。通过比较，购买相同项目的合法用户在进行购买时可能花费更多 的时间，执行另外的交互，和/或更慢地执行这样的交互(这是由于， 例如，他们是没有经验的用户，会花费时间阅读关于该项目的评论， 将该项目与类似的项目进行比较等)。
相应地，在至少一些实施例中，可以基于对用户交互的分析来检 测不适当活动，其中，对用户交互的分析是通过将一个或多个评估测 试自动应用于描述用户交互的信息来执行的。特别地，在至少一些实 施例中，评估测试可以分析与用户的多个相关交互的序列(例如，在 特定用户会话期间、在特定时间段内等等发生的一些或全部交互)有 关的信息，并试图确定该交互序列是否匹配于与不适当活动相关联的 任何已知风格。在一些实施例中，至少一些评估测试可以进一步(或 代之以)分析与用户的多个相关交互的序列有关的汇总或整合信息， 例如，关于执行该序列所耗费的总时间量的信息、关于该序列中一些 或全部交互之间的平均时间量的信息、以及关于该多个交互的各种其 他信息(例如，至少一些交互的发生频率、至少一些交互之间的时间 间隔的差异、至少一些交互的数量等)。在各个实施例中，评估测试可 以具有各种形式，例如，如果-则(if-then)规则和/或软件模块(例如， 包含可执行指令、高级编程语言代码、脚本语言代码等)或其他可执 行代码。此外，评估测试可以使用关于一个或多个用户交互的信息作 为输入，并提供对该一个或多个用户交互反映不适当活动的可能性的 指示(例如，得分、标记等)作为输出。为了总体确定出用户交互反 映不适当活动的可能性，可以采用各种方式(例如，通过求和、求平 均等)来合并由应用于一个或多个用户交互的多个评估测试所提供的 结果。
对为了检测不适当活动而分析的用户交互进行描述的信息可以包 括：作为接收到的信息请求(例如，用户正在请求的文件或其他电子 可访问资源的名称)的一部分的信息和/或正在提供的信息(例如，用 户正在上载或以其他方式提供的文件的名称和/或内容)。此外，描述 用户交互的信息还可以包括：涉及交互的信息，例如，随接收到的信 息请求或用户正在提供的信息一同发送的报头及其他元数据信息；以 及关于交互的其他元数据信息(例如，发生时间、关于如何以及从何 处发起交互的信息、关于用作交互一部分的软件和计算设备的信息 等)。此外，描述用户交互的信息可以包括：基于一个或多个用户交互 而推出的信息，例如交互之间的平均时间、所经过的总会话用时(例 如，从用户登录到完成交易的时间)等。
如上所述，在一些实施例中，可以通过分析用户与电子信息服务 的交互来检测不适当活动。在一些实施例中，电子信息服务可以将关 于一些或全部用户交互的信息记录到日志中或以其他方式进行记录， 例如，将该信息存储在一个或多个日志文件中。然后，为了检测反映 不适当活动的特定交互风格，可以对用户交互日志中的全部或一些信 息进行分析或以其他方式进行处理。在至少一些实施例中，这种分析 和处理可以重复发生(例如每十分钟或每小时)，以允许对用户交互的 分析以近似实时的方式发生。在这些情况下，分析的一部分(或在该 分析前发生的预处理)可以包括：从包括与多个并发的用户交互有关 的信息的日志中提取与特定用户的交互序列有关的信息。
如果检测到不适当活动，则可以采取一个或多个行动以禁止不适 当活动的继续发生和/或在将来发生。例如，如果检测到的不适当活动 与特定用户相关联(例如，代表特定用户账户而发生)，则该行动可以 包括：自动冻结用户的账户和/或通知用户(例如，基于已潜在地获得 对该账户的非法访问的第三方)。此外或备选地，如果检测到的不适当 活动与被识别的计算系统(例如，被识别为从特定网络地址发起)相 关联，则可以阻挡、中止和/或重定向来自被识别的计算系统的其他交 互。如果这些交互涉及交易，则可以自动地或人工地阻挡或延迟该交 易(例如，允许额外时间以评估这些交互或该交易)，例如，在不适当 性检测以相对于这些交互近似实时的方式发生，或发生在该交易完成 之前(例如，在运送所购买的项目之前)的情况下。在一些实施例中， 该行动还可以包括：将关于所涉嫌的不适当活动的信息提供给一个人 或多个人和/或其他计算系统(例如，与在线商店相关联的订购处理系 统)，以用于进一步检查和/或特殊处理(例如，延迟项目的运送，直 到检验出用于购买该项目的信用卡账户未被欺诈使用时为止)。
出于示意目的，以下描述了一些实施例，其中以特定方式使用所 描述的技术来禁止特定类型的不适当活动，并且，以各种方式识别不 适当活动。然而，应当意识到，可以将所描述的技术用在许多种其他 情况下，因此，本发明不限于所提供的示例性细节。
如前所述，在一些实施例中，可以使用所描述的不适当活动检测 技术，来禁止试图在与由万维网服务器主持的万维网站点进行交互时 执行不适当活动的用户的活动。例如，万维网服务器可以向运营客户 端万维网浏览器应用程序的用户提供信息和/或服务。在这些情况下， 用户可以利用万维网浏览器应用程序，通过HTTP(“超文本传输协 议”)请求来与万维网服务器进行交互，HTTP请求包括：来自万维网 服务器的信息请求和/或要向万维网服务器提供的信息。
在一些实施例中，为了进行不适当活动检测以及其他原因，可以 记录(例如，向日志文件、数据库、内存等)关于由万维网服务器接 收到的HTTP请求的信息。特别地，所给出的HTTP请求包括描述该 请求的各种字段，这些字段包括：对要执行的期望动作(例如，得到 信息、提供将被处理的信息等)的指示、对要访问的电子信息资源(例 如，万维网服务器将要提供和/或执行的文件的名称)的识别、请求报 头(例如，对发起了该请求的用户和/或万维网浏览器应用程序的身份 的指示、对优选语言和/或数据编码的指示、一个或多个cookie等)、 以及可选消息体(例如，包括万维网浏览器正在向万维网服务器提供 的信息)。在一些实施例中，可以将所给出的HTTP请求中所包含的一 些或全部信息与附加信息一同记录到日志中，该附加信息例如是发出 请求的计算系统的源网络地址(例如，IP地址和/或端口)、该请求的 时间和日期、该请求中包括的数据量(例如，字节数)、处理该请求所 耗费的时间等。
在一些实施例中，可以对由万维网服务器接收到的多个HTTP请 求进行分析，以在与这些请求相关联的用户和/或计算系统的部分上检 测不适当活动。在一些情况下，可以首先将接收到的HTTP请求分组 为交互序列，其中每一个交互序列均包括用于描述一个或多个与特定 用户、网络地址和/或计算系统相关联的一个或多个HTTP请求的信 息。如上所述，描述一个或多个HTTP请求的信息可以包括HTTP请 求本身的任何或全部属性。在一些情况下，特定交互序列中的各个 HTTP请求的属性可以单独表现出欺诈活动。例如，在在线商店的情 况下，如果用户直接访问该在线商店(而不是通过电子转介，如从搜 索引擎的结果页，到达该在线商店)，然后以特定方式(例如，通过人 工输入项目的长的唯一标识符，而不是搜索或浏览项目)来访问关于 项目的信息，则基于欺诈用户正在典型地执行的那些活动，可以将对 应的一个或多个HTTP请求识别为潜在地表现出欺诈活动。
此外，描述为了检测不适当活动而分析的特定交互序列的一个或 多个HTTP请求的信息可以包括：从对交互序列中的多个HTTP请求 的统计分析或其他分析推出的汇总或整合信息，例如，总的会话时间 (例如，从用户登录到完成交易的时间)、平均请求频率(例如，每单 位时间的请求数目)、请求间隔(例如，请求之间的平均时间)、请求 样式(例如，列表、树、图、或表示经过万维网站点的路径的其他结 构、或摘要、或这种数据结构的其他压缩表示)等。在一些情况下， 这种所推出的信息可以表现出不适当活动。例如，在提供在线商店的 万维网站点的情况下，欺诈用户很可能知道其希望购买什么项目，因 而，其很可能快速穿过万维网站点以完成其欺诈交易。相应地，与合 法用户相比，欺诈用户可能往往具有非常短的会话时间、较低的每请 求平均时间、较低的每请求时间差异和/或不寻常的请求样式(例如， 通过识别合法顾客平常不知道或不使用的号码来搜索项目)。
图1示出了在用户与电子信息服务之间可能发生的各种类型的交 互，该电子信息服务例如是通过互联网或其他通信网络(例如，专用 蜂窝或陆地线路电话网络)可获得的万维网站点和其他服务。在本示 例中，目标方站点105提供了一个或多个服务(例如，万维网商店、 电子市场、拍卖服务、在线银行、支付处理、基于万维网的电子邮件、 万维网服务等)或可被合法用户110以及试图在目标站点处执行不适 当活动的欺诈用户115电子访问的其他信息。合法用户110和欺诈用 户115使用在客户端设备(图中未示出)上执行的客户端软件应用程 序(例如，万维网浏览器，图中未示出)，来访问来自目标方站点105 的服务或信息。对于用户，为了获得这种访问，该用户向目标方站点 发出一个或多个信息请求(例如，基于HTTP协议的请求)，以请求来 自目标方站点105的特定电子可访问资源或其他可用信息。
在本示例中，欺诈用户115可以试图以各种方式与目标方站点105 适当地进行交互。如在别处更详细描述的，示例性的不适当活动可以 包括以下尝试：通过对支付系统的欺诈使用(例如，通过对信用卡的 未授权使用)来购买货物和/或服务；欺诈性地出售货物和/或服务(例 如，通过获得针对项目的支付而没有提供这些项目作为回报)等。
在一些实施例中，自动化的不适当活动检测器系统120还可以用 于检测至少一些欺诈用户115的一些或全部不适当活动，并禁止这些 活动和相关的将来的不适当活动。例如，可以在目标方的计算系统上 执行这样的系统以分析用户与目标方站点105的交互，或者可以代之 以在一个或多个远程计算系统上执行这样的系统(例如，以便向一个 或多个未附属的目标方(例如，要收费的)提供不适当活动检测服务)。 举例而言，不适当活动检测器系统120的实施例可以分析合法用户110 和欺诈用户115与目标方站点105的交互，例如，分析所有用户的所 有交互，或者代之以只分析所选的用户交互(例如，通过随机选择用 户和/或交互的采样；通过监控涉嫌潜在地从事不适当活动的特定用户 的一些或全部交互；通过在特别触发事件后监控一些或全部交互，例 如，在新的顾客用户首次开账户和/或新的卖主首次开始出售项目之 后；等等)
图2是示例服务器计算系统200的框图，示例服务器计算系统200 适合于执行不适当活动检测器系统240的实施例，以检测关于一个或 多个电子信息服务的不适当活动。图2还示出了各种欺诈用户客户端 计算系统250和合法用户客户端计算系统270，用户可以通过它们与 诸如万维网服务器系统221之类的服务器计算系统200以及可选的其 他计算系统290(例如，各种伙伴和附属机构的计算系统、不适当活 动检测器系统为了提供不适当活动检测功能而与之交互的第三方实体 的计算系统等)进行交互。在所示的实施例中，服务器计算系统200 包括CPU 205、各种I/O组件210、存储器230和内存220。I/O组件 包括显示器211、网络连接器212、计算机可读介质驱动器213和其他 I/O设备215(如鼠标、键盘等)。
在内存220中执行不适当活动检测器系统240的实施例，这里是 在向用户提供一个或多个万维网站点的万维网服务器系统221中执 行。特别地，分别通过在客户端计算系统250和270的内存257和277 中执行的客户端侧浏览器应用程序259和279，欺诈用户和合法用户 可以在网络280上(例如，通过互联网和/或万维网)与万维网服务器 系统221进行交互，以发送信息请求，请求存储器230上的各种电子 可访问资源231(例如，网页、媒体内容等)，或请求通过由万维网服 务器系统221提供的万维网站点可获得的其他信息、服务或功能。在 一些实施例中，欺诈用户和合法用户还可以以其他方式与服务器计算 系统200进行交互，以发起对从一个或多个可选的其他系统222(例 如，万维网商店系统、在线银行系统、股票交易系统等)可获得的一 个或多个在线服务的访问。在本示例中，通过向请求发送者提供所请 求的信息，万维网服务器系统221响应来自用户的请求，并且还可以 在存储器230上产生该请求的一个或多个日志235。
在所示的实施例中，不适当活动检测器系统240进行操作以自动 评估与万维网服务器系统221的至少一些用户交互，而在其他实施例 中，不适当活动检测器系统240可以代之以与提供对电子可访问资源 的访问的其他系统进行交互，这样的系统例如是一个或多个万维网服 务器系统和/或在一个或多个其他远程计算系统上(例如，在一个或多 个其他计算系统290上)执行的其他类型的系统。可以以各种方式获 得关于要分析的请求的信息，例如，基于不适当活动检测器系统240 与万维网服务器系统221之间的交互来获得关于请求的信息(例如， 在请求发生时或在履行该请求之前，例如，如果实时地或近似实时地 执行该分析)，或者代之以基于从日志235取回的关于请求的信息，在 履行了一些或全部请求之后对这些请求进行分析。
不适当活动检测器系统240的所示实施例包括不适当活动检测器 模块242和评估测试管理器模块244。不适当活动检测器模块242分 析对由欺诈用户客户端计算系统250和合法用户客户端计算系统270 执行的交互进行描述的信息，并基于这些交互来自动确定计算系统 250和270的用户是否涉嫌从事不适当活动。在本实施例中，通过应 用来自评估测试数据库数据结构233的一个或多个评估测试，不适当 活动检测器模块242对描述交互的信息进行分析，其中，每一个所应 用的评估测试提供了与一个或多个正在被评估的交互相关联的不适当 活动的可能程度的指示。如果不适当活动检测器模块242检测到涉及 一个或多个用户和/或计算系统的不适当活动，则其可以采取多种行动 以禁止这种活动，包括：通知一个人或多个人和/或其他模块或计算系 统。
在所示的实施例中，评估测试管理器模块244管理在评估测试数 据库233中存储的一个或多个评估测试的收集。特别地，评估测试管 理器模块244可以提供人类用户可(例如，通过交互应用程序，例如 万维网浏览器)用以创建、更新、修改和/或删除评估测试的功能。此 外，在一些实施例中，评估测试管理器模块244被配置用于执行涉及 评估测试的各种自动化任务，以基于数据挖掘、机器学习和/或对用户 交互的统计分析来创建和/或更新评估测试，从而识别与不适当活动相 关联的因素。然后，可以将所识别的因素并入现有的或自动产生的评 估测试中，以由不适当活动检测器模块24后续使用。
应当意识到，所示的计算系统仅是示意性的，并不意在限制本发 明的范围。计算系统200进而可以包括多个交互计算系统或设备，并 可以连接到未示出的其他设备，该连接包括：通过诸如互联网之类的 一个或多个的网络、通过万维网或通过专用网络(例如，移动通信网 络等)。更一般地，服务器或客户端计算系统或设备可以包括可进行交 互的硬件或软件的任何组合，包括(但不限于)台式计算机或其他计 算机、网络设备、PDA(“个人数字助理”)、蜂窝电话、无线电话、寻 呼机、电子管理器、互联网应用、基于电视的系统(例如，使用机顶 盒和/或个人/数字录像机)以及包括适当互相通信能力的各种其他消 费产品。此外，在一些实施例中，可以以各种方式在各个模块之间分 发由不适当活动检测器系统提供的功能，并且可以代之以不提供该功 能中的一些作为不适当活动检测器系统的一部分，和/或其他附加功能 是可用的。
还应当意识到，为了内存管理和数据完整性起见，在使用各种项 目时，尽管将这些项目讨论或示出为存储在内存或存储器中时，但这 些项目或其部分可以在内存与其他存储设备之间转移。备选地，在其 他实施例中，软件系统或模块中的一些或全部可以在另一个设备上的 内存中执行，并通过计算机间的通信与所示的计算系统进行通信。还 可以将一些或全部系统和/或数据结构存储(例如，作为软件指令或结 构数据)在计算机可以读介质上，例如硬盘、内存、网络、或将被适 当驱动器读取或通过适当连接器读取的便携式媒体物件(例如，DVD 或闪存设备)。还可以通过在多种计算机可读传输介质上产生的数据信 号(例如，在载波中编码的或被包括为模拟或数字传播信号一部分的) 来传输系统和数据结构，计算机可读传输介质包括基于无线的介质和 基于有线/线缆的介质，并且，系统和数据结构可以采用多种形式(例 如，作为单个或复用的模拟信号的一部分，或作为多个离散数字分组 或帧)。在其他实施例中，这种计算机程序产品还可以采用其他形式。 相应地，可以使用其他计算机系统配置来实践本技术。
图3是不适当活动检测器例程300的示例实施例的流程图。例如， 可以通过执行图2的不适当活动检测器模块242来提供该例程，例如， 基于对用户与电子信息服务的交互的分析来自动检测不适当活动。在 本示例实施例中，对用户交互的分析便于禁止当前和将来的不适当活 动，但在其他实施例中，该例程所执行的分析可以用于其他目的，例 如，出于例如市场营销、目标广告等目的，识别不同类别或类型的用 户(例如，专家对新手用户)。
例程300的所示实施例开始于步骤305，在步骤305中，接收对 与电子信息服务的多个交互的指示，该电子信息服务例如是提供万维 网站点的万维网服务器。在本实施例中，所指示的交互基于日志的内 容或由电子信息服务维护的其他记录的内容。在一个实施例中，在这 种交互发生时或接近这种交互发生时，电子信息服务存储与用户的每 次交互的记录。然后，例程300接收或以另外的方式获得全部或一些 日志条目，例如，在指定的时间间隔内存储的日志条目(例如，在最 近10分钟内存储的那些日志条目)和/或从该例程上次分析日志条目 起存储的日志条目。在其他实施例中，可以从电子信息服务直接接收 所指示的交互，例如通过通信信道(例如，网络连接器、管道等)以 相对于用户交互的发生实时或实质上实时的方式进行接收。在这些情 况下，当发生交互时，电子信息服务可以发送或传输交互的例程指示。 在其他实施例中，可以代之以在电子信息服务处理这种交互之前接收 所指示的交互，例如，通过接收来自代理服务器的信息，其中，当交 互在用户与电子信息服务之间流动时，代理服务器对交互进行截取。
在步骤310中，基于所指示的多个交互，该例程识别一个或多个 用户的一个或多个交互序列。例如，如果在步骤305中接收到的交互 信息包括与在一个时间段内多个用户的交互有关的信息(例如，来自 日志)，则该例程可以解析或处理该信息以识别一个或多个交互序列， 该一个或多个交互序列中的每一个都包括收集相关交互(例如，源自 特定用户、计算机系统和/或网络地址，并在特定会话期间或特定时间 段内发生)。在一些情况下，每一个交互序列可以包括：特定用户在发 起交互序列(例如，登录或以其他方式开始交互)的时刻与完成了某 些交互(例如，购买了项目、更新了账户设置、注销等)的时刻之间 作出的所有请求或其他交互，以使得每一个交互序列包括该用户在会 话或其他逻辑连接和/或交易期间发起的全部交互。
在步骤315中，该例程选择下一个交互序列，从第一个开始。然 后，在步骤320中，该例程确定一个或多个评估测试以应用于所选的 交互序列。对要应用的一个或多个的评估测试的确定可以包括将所有 评估测试应用于所有交互序列，或者，可以代之以采用其他方式来执 行该确定。例如，一些交互测试可以仅与具有至少最小交互数目(例 如，多于一个、多于两个等)的交互序列相关，例如，与交互间的平 均时间量相关或与涉及执行全部交互的总时间量相关的评估测试。此 外，在一些实施例中，出于各种原因，可以在更详细检查的情况下选 择特定的交互序列，例如，先前被识别为潜在嫌疑分子的关联用户和/ 或包括先前被识别为特别怀疑对象的一个或多个交互的交互序列，并 且如果这样做，则可以使用更多数目的评估测试和/或更精密的评估测 试。在其他情况下，可以代之以在不太详细检查(或者如果不对该交 互序列进行分析，则不用详细检查)的情况下选择特定的交互序列， 并且如果这样做，则可以选择更少的(或不选择)评估测试。例如， 在至少一些实施例中，出于各种原因，可以不对与特定购买交易相关 的一些或全部信息(例如，关于正在购买的特定项目的信息)进行评 估，和/或可以不对关于特定类型的活动的信息(例如，在创建了新的 卖主账户和/或改变了现有卖主账户之后)进行评估。
在步骤325中，该例程将零或更多个所确定的评估测试应用于所 选的交互序列。在一些实施例中，每一个评估测试可以处理或检查给 定的交互序列，并提供由此产生的、对该交互序列反映不适当活动的 可能程度的指示，例如，提供得分(例如，整数)、可能性(例如，0 和1之间的实数值)、或对给定交互序列反映不适当活动有多可能的其 他指示(例如，布尔值)。
在步骤330中，基于所应用的测试，该例程确定针对所选的交互 序列的不适当活动的总体可能性。如果应用了多个评估测试，则可以 以各种方式合并由每一个评估测试提供的、所指示的、不适当活动的 可能性。例如，如果所提供的、所指示的可能性都是不适当活动的数 字概率，则可以以各种方式合并所提供的、所指示的可能性，例如， 通过对其求平均(可能以加权的方式，例如，基于对各个评估测试的 相对精度和/或强度的预定指定)。在其他实施例中，可以以其他方式 (例如，简单求和)合并和/或合计由多个评估测试所指示的可能性。
在步骤335中，例如，基于不适当活动的总体可能性和/或任何单 独的评估测试所指示的、不适当活动的可能性是否大于预定阈值，该 例程确定不适当活动是否充分可能。例如，在评估测试以标准化比例 (例如，0和10之间的数，其中，得10分反映的可能性比得0分高) 提供不适当活动的可能性的实施例中，可以对由多个评估测试提供的 多个可能性求平均，当获得了高于某阈值(例如，7)的总平均得分时， 确定不适当活动充分可能。该阈值可以由人(例如，手调)确定和/ 或通过机器学习技术来得到。在其他实施例中，可以以其他方式执行 步骤330和335的操作，以将所指示的评估测试可能程度提供给神经 网络或其他辨别和/或分类系统(例如，贝叶斯分类器)，该其他辨别 和/或分类系统已被训练用于或被配置用于将由评估测试提供的输出 的特定风格辨别为对不适当活动的反映(例如，与不适当活动高度相 关)。
如果在步骤335中确定了不适当活动充分可能，则该例程继续进 行到步骤340，并提供对与所选的交互序列相关联的不适当活动的指 示。这可以包括：如别处更详细描述的，通知操作员(例如，通过发 送电子邮件、文本消息或其他通信)和/或通知可采取一些行动以禁止 所识别的不适当活动的系统或模块。
在步骤345中，该例程基于检测到的不适当活动可选地执行其他 动作。在一些实施例中，该例程可以被配置用于在一些情况下采取其 他实体(例如，操作员)平常所采取的一些禁止行动，例如在确定了 不适当活动极度可能或严重时，以试图立即停止不适当活动更进一步。 如果在步骤335中确定了不适当活动不是充分可能的，或者在步骤345 之后，则该例程继续进行到步骤350。在步骤350中，该例程确定是 否有更多的交互序列要分析，并且如果确定有，则回到步骤315。如 果在步骤350中确定没有更多的交互序列要分析，则该例程继续进行 到步骤395，在步骤395中，确定是否继续。如果确定继续，则该例 程回到步骤305，而如果确定不继续，则在步骤395结束。
在一些实施例中，可以对所示的不适当活动检测器例程300进行 修改，以采用实时或实质上实时的方式进行操作。例如，在电子信息 服务处理这种交互的时刻之前或在该时刻附近该例程接收到交互的指 示的实施例中，在交互序列发生时，该例程可以识别和评估这些交互 序列。
在提交于2006年10月5日、申请号为11/539,076，题为“Detecting Fraudulent Activity By Analysis Of Information Requests”的美国申请中 包括了与评估测试和用于识别诸如可疑通信之类的不适当活动的技术 相关的各种附加细节，将其全部并入此处作为参考。
图4是评估测试管理器例程400的示例实施例的流程图。例如， 可以通过执行图2的评估测试管理器模块244来提供该例程，例如， 提供涉及创建和/或更新评估测试的功能。
该例程开始于步骤405，在步骤405中，接收涉及人产生的或机 器产生的评估测试的请求。例如，该例程可以提供交互功能，以使得 人类用户可以通过经由客户端程序(例如，万维网浏览器)与该例程 进行通信，来交互式地创建和修改评估测试。此外或备选地，该例程 可以提供基于在先交互序列自动产生和/或更新现有测试的功能，该在 先交互序列例如是已被确定为反映不适当活动的在先交互序列。
在步骤410中，该例程确定接收到的请求是否涉及人产生的评估 测试，如果涉及，则继续执行步骤415。在步骤415中，连同任何关 联的数据一起，该例程获得对要关于一个或多个评估测试而执行的动 作的指示。所指示的动作可以包括：涉及创建、更新、修改和/或管理 评估测试的操作(例如，针对暂时或永久地启用或禁用供将来应用的 评估测试的请求)。例如，所指示的、创建新评估测试的动作可以包括 关联的数据，该关联的数据包括：将被作为应用该评估测试的一部分 而解译的脚本、将被作为应用该评估测试的一部分而执行的二进制模 块(例如，包含过程、函数、类等)等等。在其他实施例中，可以预 定义或部分地预定义评估测试，仅需要指定对因素、参数和/或配置中 的一项或多项以使其变得有效。例如，通过提供相关的因素或其他调 谐参数，人类用户可以实例化多个不同的“模板”评估测试。在这些情 况下，所指示的、创建新评估测试的动作可以包括关联的数据，该关 联的数据包括：对这些因素、调谐参数、或评估测试为了执行其功能 而需要的配置设置的指定。此外，关联的数据可以包括：与对评估测 试进行编目和/或组织相关的元数据，例如操作时刻(例如，创建测试 或最后操作该测试的时刻)、用户身份(例如，最后操作该评估测试的 用户的)、测试名称或其他标识符、注释(例如，以自然语音对评估测 试的操作进行描述)等。在步骤420中，例如通过创建或修改一个或 多个所指示的评估测试，该例程执行所指示的动作。可以将评估测试 信息存储在例如评估测试数据库233或其他数据存储器中，以备后续 取回。
如果在步骤410中确定接收到的请求不涉及人产生的评估测试 (因此涉及机器产生的评估测试)，则该例程继续进行到步骤425。在 步骤425中，该例程获得关于在先交互序列且与对这些交互序列的活 动不适当性的指示相对应的信息。例如，给定的交互序列可以包括由 特定用户在为了执行具体交易(例如，购买项目)而与在线贸易商进 行会话期间发出的所有请求，并且，不适当性的对应指示可以是：交 互序列对应于不适当活动(例如，基于随后被确定为欺诈性的特定交 易，这是由于例如用户使用了后来被确定为被盗的或未授权使用的信 用卡号码而引起的)。备选地，关于在先示例交互序列，不适当性的对 应指示可以是：该交互序列不对应于不适当活动(例如，基于没有问 题地完成的交易)。可以以各种方式作出对活动不适当性的确定，例如 自动地(例如，基于对信用卡号码的未授权使用的自动化通知)和/ 或人工地(例如，基于人的检查或调查)。
在步骤430中，该例程分析所获得的信息，以试图识别与不适当 活动相关联的一个或多个因素。这样的分析可以包括：对与适当和/ 或不适当活动相关的交互序列的因素进行自动识别，例如统计上重要 的因素。如别处所提到的，在一些实施例中，可以应用各种统计、机 器学习和/或人工智能技术来识别与不适当活动相关联的因素。在步骤 435中，如果在步骤430中识别出一个或多个的相关因素，那么该例 程根据识别出的因素来创建或更新一个或多个对应的评估测试。例如， 可以周期性地更新和/或调谐基于交互之间的平均时间而对不适当性 进行确定的评估测试，以反映正在改变的条件或由欺诈用户所使用的 技术(例如，欺诈用户为了快速地或大量地执行交易而利用的自动化 机器人)。
在步骤420或435之后，该例程继续进行到步骤440，在步骤440 中，该例程在适当时可选地执行其他所指示的动作或其他操作。其他 所指示的行动动作可以包括：针对确定评估测试和/或向各种客户端系 统或其他例程(例如，不适当活动检测器例程300)提供评估测试的 请求。
在步骤495中，该例程确定是否继续，并且如果继续，则回到步 骤405，而如果不继续，则在步骤499结束。
本领域技术人员还应当意识到，在一些实施例中，可以以备选方 式提供以上讨论的例程所提供的功能，例如，在更多例程当中进行分 割或合并成更少的例程。类似地，在一些实施例中，所示的例程可以 提供与所描述的相比更多或更少的功能，例如，当其他所示的例程分 别缺少或包括这种功能时，或者当所提供的功能的数量发生变化时。 此外，尽管各种操作可以被示出为以特定方式(例如，串行或并行) 和/或以特定次序执行，但本领域技术人员应当意识到，在其他实施例 中，可以以其他次序和以其他方式执行操作。本领域技术人员还应当 意识到，可以以不同的方式构造以上讨论的数据结构，例如通过将单 个数据结构分割成多个数据结构或将多个数据结构合并成单个数据结 构。类似地，在一些实施例中，所示的数据结构可以存储与所描述的 相比更多或更少的信息，例如，当其他所示的数据结构分别缺少或包 括这种信息时，或者当所存储的信息的类型或量发生变化时。
从前述应当意识到，尽管出于示意目的，此处已描述了具体实施 例，但在不脱离本发明的精神和范围的情况下可以作出各种修改。相 应地，本发明仅由所附权利要求及其中陈述的要素所限定。此外，尽 管以下以特定权利要求的形式呈现了本发明的特定方面，但发明人构 想出以任何可用权利要求形式呈现本发明的各个方面。例如，尽管当 前仅将本发明的一些方面陈述为在计算机可读介质中实现，但其他方 面同样可以这样实现。