用于购买的图像捕捉转让专利

申请号 : CN200980131843.2

文献号 : CN102124479A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 袁健景宇石

申请人 : 谷歌公司

摘要 :

可以将本说明书的主题具体化在包括下述的计算机实现的项目识别方法等中:识别从远程电子设备接收的图像中的项目;传送包含对于项目的一个或多个卖主的关于项目的信息的搜索结果;将用于执行对于来自项目的一个或多个卖主的项目的订单的代码传送给远程设备。

权利要求 :

1.一种计算机实现的项目识别方法,包括:

识别在从远程电子设备接收的图像中的项目;

传送包含对于所述项目的一个或多个卖主的关于所述项目的信息的搜索结果;以及将用于执行对于所述项目的订单的代码从所述项目的所述一个或多个卖主传送给所述远程设备。

2.根据权利要求1所述的方法,其中识别项目包括将来自所接收的图像的元素与来自一个或多个预存的图像的元素进行比较以确定在这些图像之间的匹配程度。

3.根据权利要求2所述的方法,进一步包括:识别与所述一个或多个预存的图像相关联的文本元数据,以及将对应于所述文本元数据的信息提交给产品搜索引擎。

4.根据权利要求3所述的方法,其中所述文本元数据是从所述预存的图像被从其获取的网页获取的。

5.根据权利要求2所述的方法,其中所述元素包括特征点。

6.根据权利要求1所述的方法,其中所述代码生成控件,所述控件在所述远程设备上被选择时通过独立于卖主的支付系统促成源自所述卖主的用于所述设备的订单。

7.根据权利要求1所述的方法,进一步包括:在没有向所选择的卖主提供关于所述远程设备的用户的保密信息的情况下,贷记所选择的卖主的金融帐户,并且借记所述用户的金融帐户。

8.根据权利要求7所述的方法,进一步包括:向所选择的卖主传送用于所述用户的运送信息。

9.一种计算机实现的项目识别方法,包括:

将包含物理项目的图像提交给远程服务器;

作为响应接收来自一个或多个卖主的用于出售的项目的列表,其中具有用于购买所述项目的控件,其中所述项目对应于所述物理项目;以及传送向所述卖主中的一个购买所述项目的命令。

10.根据权利要求9所述的方法,其中所述项目的列表包括关于所述项目的产品搜索结果。

11.根据权利要求9所述的方法,其中用于购买所述项目的多个控件每一个与对于卖主的搜索结果一起显示。

12.根据权利要求9所述的方法,进一步包括:接收用于显示购买确认屏的数据,以及将确认传送给支付服务器以促使与所选择的卖主完成交易。

13.根据权利要求9所述的方法,进一步包括:基于所述图像中的所述项目的地理位置使所述出售项目的列表变窄。

14.一种计算机实现的项目识别系统,包括:

接口,所述接口用来接收远程设备所提交的数字图像;

图像比较器,所述图像比较器用来将所接收的图像的特征与存储的图像的特征进行比较以识别所接收的图像中的产品;以及产品搜索引擎,所述产品搜索引擎用来生成与和所述存储的图像相关联的搜索词语相对应的搜索结果。

15.根据权利要求14所述的系统,其中所述存储的图像包括用于提交给所述产品搜索引擎的对应的文本标签。

16.根据权利要求14所述的系统,进一步包括:支付系统,所述支付系统用来完成在所述远程设备的用户与所识别的产品的卖主之间的金融交易。

17.根据权利要求14所述的系统,进一步包括:结果格式化器,所述结果格式化器用来格式化来自所述产品搜索引擎的搜索结果以包括用户可选择来购买所述搜索结果中的产品的控件。

18.根据权利要求14所述的系统,其中提交所述数字图像的所述远程设备的位置用作用来生成搜索结果的搜索词语。

19.一种计算机实现的项目识别系统,包括:

接口,所述接口用来接收由远程设备提交的数字图像;

存储器,所述存储器用来存储包含由多个卖主用于出售的产品的多个图像;以及装置,所述装置用于响应于所述远程设备的用户的选择,对从所述多个卖主选择的卖主到所述用户的出售进行居间处理。

20.根据权利要求19所述的系统,进一步包括用于识别所接收的数字图像中的项目的装置。

说明书 :

用于购买的图像捕捉

技术领域

[0001] 本文档总体上描述了使用诸如来自移动设备的捕捉的图像来帮助购买来自图像的项目。

背景技术

[0002] 购物几乎是全国性消遣。人们在购物中心度过周末,以及特地行进数英里以找到廉价货物。购物,至少在实体商店中,显然还是低技术的。购物者拿起产品试用一下,偷看下价格标签,以及走到结帐区,在那里他们通过现金、支票或信用卡为他们的商品进行支付。
[0003] 在查看项目以确定是否购买它时,购物者通常具有他们想要什么以及它是否是好的交易的想法。他们可能在去购物之前已做过一些在线研究以获取额外信息,或者可以使用诸如智能手机的带有web浏览器的移动设备来找到额外信息。

发明内容

[0004] 本文档描述了用于识别物理项目以及在线购买项目的技术。总的来说,购物者可以获得他们有兴趣购买的项目的电子图像以及可以将图像以及指示他们在接收产品相关信息时感兴趣的指令提交给远程服务器。服务器可以尝试将图像与各种已存储的产品图像进行匹配,所述各种已存储的产品图像进而链接到关于各种对象的帮助识别对象的元数据。利用这样的识别信息,服务器然后可以将信息提交给产品搜索系统以及可以将对于与在用户面前的项目匹配的用于出售的项目的搜索结果列表返回给移动设备。服务器还可以集成来自支付系统的数据,以使用户可以立即从在搜索结果中示出的卖主中的一个购买产品。
[0005] 以这种方式,用户可以在各个在线卖主之间和之中以及在实体商店和在线卖主之间两者为项目便利地货比三家。用户还可以将这样的比较容易地转化成完美购买。这样的购买可以通过不同于任何卖主的第三方,诸如通过Yahoo!Shopping进行,以使用户不必将信用卡或其它类似数据提交给卖主。
[0006] 在第一总括方面中,描述了一种计算机实现的识别方法。该方法包括识别从远程电子设备接收的图像中的项目;传送包含对于所述项目的一个或多个卖主的关于所述项目的信息的搜索结果;以及将用于执行对于所述项目的订单的代码从所述项目的一个或多个卖主传送给远程设备。
[0007] 在第二总括方面中,描述了一种计算机实现的项目识别方法。该方法包括将包含物理项目的图像提交给远程服务器;作为响应接收带有用于购买项目的控件的来自一个或多个卖主的用于出售的项目的列表,其中所述项目对应于物理项目;以及传送向卖主中的一个购买项目的命令。
[0008] 在第三总括方面中,描述了一种计算机实现的项目识别系统。该系统包括用来接收由远程设备提交的数字图像的接口;用来将所接收的图像的特征与已存储的图像的特征进行比较以识别所接收的图像中的产品的图像比较器;以及用来生成与和已存储的图像相关联的搜索词语相对应的搜索结果的产品搜索引擎。
[0009] 在又另一个总括方面中,描述了一种计算机实现的项目识别系统。该系统包括用来接收由远程设备提交的数字图像的接口;存储包含由多个卖主用于出售的产品的多个图像的存储器;以及用于响应于用户的选择对从多个卖主选择的卖主到远程设备的用户的出售进行居间处理的装置。
[0010] 在附图和下面的描述中阐述了一个或多个实施例的细节。本发明的其它特征、目的和优势从描述和附图、以及从权利要求将是显而易见的。

附图说明

[0011] 图1是用于捕捉图像以购买项目的系统的概念图。
[0012] 图2是用于捕捉图像以购买项目的系统的示意图。
[0013] 图3A是示出了发送图像来进行比较以购买产品而采取的动作的流程图。
[0014] 图3B是示出了用于使用图像来向用户提供购买选项目的过程的示例的流程图。
[0015] 图4A和4B是通过使用各种图像和商务(commerce)服务器来描绘了过程的序列图,通过所述过程客户端可以获取关于图像中的产品的信息。
[0016] 图5示出了可以用于实现在此描述的技术的计算机设备和移动计算机设备的示例。
[0017] 各个附图中的相同参考标记指示相同元素。

具体实施方式

[0018] “你从哪里得到那个的?”是在许多社交聚会经常听见的短语。通常,所有者不知道项目来自何处;项目可能是礼物或所有者可能在许多年以前已购买了项目,因而来源已不知道。商店可能已经关闭,或所有者可能希望在她的朋友圈中独自拥有该唯一部分。寻求者可以尝试搜索因特网,但是有时项目会很难描述。“发亮的围巾”能够变出数千个网站,但是没有一个匹配寻求者的对发亮的围巾是什么样子的想法。即使寻求者找到一个发亮的围巾,其可能是标价过高的版本,或来自未知源。寻求者在没有与另一个源进行比较的某种能力的情况下将不太可能购买它。
[0019] 以同样的方式,正欲购买产品的消费者可能在商店看见产品,并且想要获得更多有关产品的信息,诸如技术规格、原产国以及其它这样的信息。用户还可能想要货比三家以看看在哪里可以找到最好价格。
[0020] 总的来说,用户可以用诸如集成在智能手机或类似设备中的照相机的数字照相机来拍摄项目的照片,并且使用多媒体消息服务(MMS)来传送图像。可以将照片发送给图像服务器以被识别。一旦被识别,照片可以用于找到由各种卖主出售的项目,并且允许用户从期望的源购买项目。例如,用户可以拍摄她的朋友的围巾的照片。围巾照片由图像服务器识别,以及不同的销售者由另一个服务器识别。用户可以通过“一键购买(one-button-to-buy)”应用来选择销售者。借助一键购买应用,用户可以在不必访问销售者的网站的情况下与各种销售者安全地进行交易。有利的是,所描述的系统可以提供一个或多个益处,诸如减少找到期望的项目的时间。
[0021] 图1是用于捕捉图像以购买项目的过程100的概念图。总的来说,过程100允许用户将项目的图像发送给搜索引擎以找到多个销售者,并且比较项目的定价。一旦用户确定了她想要购买哪个产品,她可以通过诸如GOOGLE CHECKOUT的结帐服务来购买项目。
[0022] 参考图1,用户可以最初识别她想要购买的项目102。在此,项目以容有一对立体声头戴式耳机的盒子或头戴式耳机自身的形式。使用移动设备104,用户可以捕捉项目102的图像106。移动设备104然后可以诸如通过互联网将图像传送给服务器以供分析,如由捕捉到的图像106所示。
[0023] 服务器或其它结构可以以各种方式识别图像106中的项目是什么。例如,服务器可以识别图像106中的特征点。特征点可以是图像中的数据突然改变(例如,在像素色彩或亮度上突然转变)的区域,诸如项目终止并且项目后面的背景开始的地方。实际上,特征点可以一起表示绘制图像中的对象的一种数字线。
[0024] 可能系统先前已访问了相同和相似项目的其它图像,其中从那些图像生成了特征点。可能已获取了这样的其它图像以及诸如项目的制造商和型号名称的关于项目的元数据。例如,制造商可以已提交了图像以及元数据,或系统可以已爬取了来自各种卖主的网页以从非结构化网页提取这样的信息来将它变成结构化数据。然后可以将由用户获得的图像中的特征点与先前已存储的图像中的特征点进行比较以找到最接近的匹配,以及用于匹配的图像的元数据然后可以用于识别来自用户的图像中的项目。
[0025] 例如,特征点可以基于不连续性或与周围点的差异。可以被计算的特征的类型的示例可以例如在2005年10月的IEEE Transactions on Pattern Analysis and Machine Intelligence 27(10) 第 1615-1630 页 Mikolajczyk,K.、Schmid,C. 的“A performance evaluation of local descriptors”;以及2004年11月的International Journal of Computer Vision 60(2)(Springer Netherlands) 第 91-110 页 Lowe,D.G.的″Distinctive image features from scale-invariant keypoints″中找到。在下面进一步描述了其它实施方式。
[0026] 随着项目被识别,与项目相关联的标签108也可以被识别。例如,项目可以最初由项目编号或另一个描述性较差的标识符识别,以及标签可以是更具描述性的,诸如项目的型号的名称。然后可以将这样的描述性标签发送给搜索引擎110。搜索引擎可以指向特定于产品的索引,诸如GOOGLE PRODUCT SEARCH(GOOGLE产品搜索)服务(f/k/aFROOGLE)。
[0027] 搜索引擎然后可以返回以熟悉的方式格式化的来自目前具有产品用于出售的卖主的产品列表,以及指向卖主的链接和定价信息。这样的信息可以已由搜索引擎先前直接从卖主(例如,通过卖主以预批准的格式提交数据)、人工地(例如,通过代理从卖主页面复制信息)、半人工地(例如,通过代理标记页面的部分以及自动化系统从类似格式化的页面提取产品数据)或自动地(例如,通过爬取器编程器诸如通过由各种已知的机器学习技术在训练数据集上训练来识别产品和定价数据)检索。
[0028] 然后可以将搜索引擎110结果传递给商务模块,其可以使用标签108和/或搜索结果数据来在搜索结果中生成用于各种卖主的一键购买显示112。例如,模块可以识别特定卖主和与该卖主相关联的定价信息,以及可以生成将促使可视“购买”控件例如以可选择的按钮形式被显示的标记代码。用户对“购买”控件的选择可以触发与传送给设备的搜索结果代码相关联的JavaScript或其它代码,以促使所选择的项目被添加到购物车或促使用户被直接带到结帐处,诸如来自GOOGLECHECKOUT的结帐屏。通常,在这样的情况下,卖主必须先前使他们自身与服务相关联,以使购买按钮仅仅靠近用于这样的预批准的卖主的结果显示。
[0029] 如所示,可以将一键购买显示112发送给移动设备104以向用户提供各种产品,诸如密切匹配114和相似匹配116。显示112可以包含重新成像(reimage)按钮118以提供基于相同照片的不同搜索结果。一键购买显示112还可以包含更多(more)按钮120以允许用户查看来自当前搜索的其它匹配。
[0030] 还可以以连接到用于特定卖主的网页的超链接的形式展示与每一个搜索结果相关联的信息。用户可以选择超链接以被带到用于卖主的网页。这样的选择可以允许用户看见诸如技术规格的关于产品的额外细节以验证所供应的产品与用户面前的产品相同或等同、验证卖主是合法的以及验证所显示的价格是准确的。
[0031] 可以从一键购买显示112内的排序选择122对匹配进行排序。例如,可以将匹配从最接近的视觉匹配到更远的视觉匹配进行排序,或根据价格对匹配进行排序等。用户可以在她的移动设备104上选择匹配。移动设备104可以将选择发送给结帐服务器124,其可以生成显示以向用户提供确认显示126。
[0032] 显示112可以向用户提供高效方式来通过她的移动设备104安全地购买项目。在一些实施方式中,用户可以具有通过她的移动设备104存储的数据,这允许她在不必输入个人信息的情况下进行购买。例如,用户可以具有通过GOOGLE CHECKOUT帐户存储的数据。在这样的情况下,显示112也可以允许用户在不必直接到销售者的网站的情况下进行购买。结果,用户可以向单个可信源提供信用信息,但是可以在没有向许多未知的卖主给予信用信息的情况下与他们进行交易业务。
[0033] 在其它实施方式中,用户可以导航到销售者的网站以直接从销售者购买。同样地,用户可以向销售者提供她的个人信息来进行购买。显示112还可以具有如在下面进一步论述的各种显示配置。
[0034] 在一些实施方式中,搜索引擎110可以显示优选的卖主,或仅仅显示已向搜索引擎注册的卖主。在其它实施方式中,可以将标签108发送给拍卖搜索引擎。同样地,可以给予用户关于她想要使用哪个搜索引擎110来进行她的购买的选项目。在又其它实施方式中,过程100可以使用多个搜索引擎来向用户显示匹配。
[0035] 如上所述,搜索引擎110可以提供密切匹配114和相似匹配116。图1示出了与项目102相同型号和品牌的密切匹配114。在一些实施方式中,密切匹配114可以为不是与项目102相同的产品的匹配。例如,密切匹配114可以是具有与项目102相同的特征、但是不是相同品牌的产品。密切匹配还可以是与和所提交的图像密切匹配但是还不足够密切的图像相对应的项目。如图1中所示,相似匹配116是与项目102相同的品牌,但是为不同的型号。在一些实施方式中,相似匹配116可以为不是与项目102相同品牌或相同型号、但是是与项目102有关的产品的匹配。例如,项目102可以是图1中所示的头戴式耳机,以及相似匹配116可以包括诸如通用版本的头戴式耳机和头戴式耳机盒的产品。在其它实施方式中,搜索引擎110可以仅返回密切匹配114。
[0036] 在没有已存储的图像适当地匹配用户所提交的图像106的情况下,系统可以要求用户获取更好的图像。例如,图像106可能被确定为具有不足的照明度。在这样的情况下,系统可以决定只有重新提交具有较高照明度的图像106才能作出足够匹配。如此,系统可以将指示用户使用闪光灯、使用替选光源来拍摄另一个图像的消息返回给设备104,或可以以类似方式指示用户。同样地,图像可能被确定为具有不足的分辨率。如此,系统可以将指示用户使用较高分辨率来拍摄另一个图像、走近项目102、对项目102进行放大的消息返回给设备104,或可以以类似方式指示用户。系统还可以简单地没有找到结果并且请求用户使用不同设置拍摄另一个图像。对随后图像的处理和比较可以以类似用于原始图像106的方式发生。如果不能作出匹配,则系统可以这么通知用户。
[0037] 在一些实施方式中,重新成像按钮118可以向用户提供使图像106被再次评估以生成不同的标签108的选项目。例如,如果用户想要头戴式耳机,但是图像106还包含mp3播放器,则重新成像按钮118可以提供mp3播放器不是用户想要的项目102的数据。在其它实施方式中,可以在移动设备104上显示图像106,允许用户指明图像106的项目102所在的区域。在又其它实施方式中,如果项目是耳套,以及初始结果示出了头戴式耳机,则重新成像操作可以促使图像服务器改变它在其图像比较过程中使用的参数,以产生实质上不同于前一轮结果的结果。
[0038] 在通过匹配水平对项目进行排序时,更多按钮120可以向用户提供与在首次一键购买显示112中所示的匹配相比与项目更少相关的匹配,或如果通过价格对项目进行排序则花费更多。在其它实施方式中,更多按钮120可以向用户提供不同的搜索引擎选项目。例如,如果显示112具有多个密切匹配114,并且最初列出不为用户所熟悉的卖主,则用户可能想要从高排名的销售者购买,并且可能要求看见更多的结果。使用在排序选择122中的评级(rating)选项目,用户还可以将最高评级的销售者移动到列表顶部。
[0039] 如前所述,可以使用各种方法来计算图像匹配。对于基于图块(patch)的特征,可以例如通过旋转子图像,使得它始终是顶部最亮的,或通过同样在上面的引用中描述的各种其它方案,将图块规范化到正则(canonical)朝向。其它方法允许图块是尺度(scale)不变的或对于仿射变换不变的。在一些实施方式中,视觉相似度可以用于识别图像中的项目。在一个方法中,可以定义用于特征点的相似度函数。比较函数的范围可以从简单到复杂。用于比较两个图像的方法是本领域已知的;使用几何信息来验证两组特征点的复杂匹配函数可以在例如2001年的IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR′01)第1卷第682页Lowe,D.的″Local Feature view Clustering for 3D Object Recognition″;2004年的International Journal of Computer Vision,60(2)第91-110页Lowe,D.的″Distinctive Image Features from Scale-Invariant Keypoints″;2003年的IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR′03)第2卷第272-277页Rothganger,F.、Lazebnik,S.、Schmid,C.、Ponce,J.的″3D Object Modeling and Recognition Using Local Affine-lnvariant Image Descriptors and Multi-View Spatial Constraints″;以及2005年的Tenth IEEE International Conference on Computer Vision第2卷第
1458-1465页Grauman,K.、Darrell,T.的″The Pyramid Match Kernel:Discriminative Classification with Sets of Image Features″中找到。
[0040] 在其它实施方式中,可以使用光学字符识别(OCR)来全部或部分地确定图像106。例如,项目102可以是可以在封面上具有标题或具有国际标准书号(ISBN)的书籍。替选地,项目可以在带有印刷在之上的识别信息的硬纸盒中。例如,OCR信息可以用于精化基于图像与图像比较的结果。使用在上面的示例,如果图像与图像比较为头戴式耳机和耳套提供了接近的评级,则图像中的引用“立体声”、“头戴式耳机”或其它这样的词语的文本可以用于打破平局。同样地,可以作出项目在矩形盒中的确定,以及与头戴式耳机有关的已存储的图像可以包括矩形盒的图像,而耳套的已存储的图像可以不包括。诸如在其它指示符是不确定的时,还可以考虑这样的信息。
[0041] 在一些实施方式中,显示112可以具有搜索区域以提供用户可以输入字母数字搜索词语使较大的匹配项目列表变窄的区域。例如,如果过程100为蓝色帽子返回超过5000个匹配的列表,则用户可以用词语“羊毛”使搜索变窄。同样地,显示112可以显示具体价格范围或者卖主或制造商的名称以允许用户使她的搜索变窄,以及更精确地匹配她所拍摄的项目102。在其它实施方式中,设备104可以是启用GPS的,以向系统提供进一步数据。例如,如果用户在TARGET,则可以将图像与由TARGET提供的目录进行匹配。在又其它实施方式中,图像106可以包括地标,这允许系统将图像与旅行相关的图像进行匹配。例如,图像106可以包括金门大桥的一部分,这允许系统将图像与街景数据进行匹配。
[0042] 用户可以在多种情形下找到她想要购买的项目102。用户想要购买的项目102可以是她在日常生活中看见的项目。例如,用户可以搜索诸如头戴式耳机、书籍、服装或汽车的项目。替选地,用户可以通过媒体,诸如在电视节目或杂志中,找到项目102。在下面进一步论述了用户正在搜索公共消费不可获得的项目的实例。在下面还进一步论述了用户拍摄多个图像作为集合提交。
[0043] 尽管图像106可以典型地由用户用她的移动设备104拍摄,但是可以以多种其它方式获取图像106。在一些实施方式中,用户可以从诸如因特网的各种源、从照相机以及从来自朋友的图片消息下载图像。例如,女儿可以将围巾的照片发送给她的母亲,要求该围巾作为她的生日礼物。母亲可以在系统中使用该照片来为她的女儿购买该围巾。
[0044] 移动设备104意在表示各种形式的设备,诸如个人数字助理、蜂窝电话、智能手机和其它类似的计算设备。总的来说,设备能够进行MMS通信以及可以能够进行其它模式的通信。移动设备104可以具有内置式照相机以捕捉图像106或移动设备可以通过诸如SD卡的设备、通过启用蓝牙的设备或通过互联网来上传图像106。
[0045] 尽管论述了购买项目,但是本系统可以为其它行为而实现。例如,用户可以看见用于电影的印刷广告。利用广告的照片,过程100可以确定电影,向用户提供电影的评论以及将移动设备104的位置用作参考或将用户的已存储的“家”位置用作参考提供附近的电影院列表。在其它实施方式中,过程100可以用于确定食物中的配料。例如,如果用户想要找到餐馆处的菜肴的食谱,则用户可以拍摄该菜肴的照片,并且运行可以返回与照片的匹配的搜索。该实施方式对具有食物过敏症或正限制饮食的用户可以是有用的。
[0046] 如前所述,用户还可以搜索公共消费不可获得的项目。例如,用户可以存储电影的图像以在它发布数月后购买DVD。同样地,用户可以存储可用于出售的图像以在稍后日期搜索。例如,如果用户正在为若干人购买节日礼物,则用户可以绕走购物中心并且拍摄图像106。在一天结束后,用户可以在图像106之中进行排序以确定她想要购买哪些东西,然后可以将图像提交给系统以获得图像中的项目的更多信息。
[0047] 如前所述,用户可以向系统提供多个图像,将多个图像作为集合提交。在一个实施方式中,用户可以提供NIKON D40照相机和SONY照相机的图像。系统可以使用一个图像来帮助精化另一个。例如,如果系统将第二图像明确地识别为SONY照相机,但是NIKON D40照相机的第一图像没有被容易地确定,则系统可以使用第二图像和其特性来使它的对第一图像的搜索明晰。在其它实施方式中,用户可以将特定图像保存为集合,并且将新的图像作为该集合的一部分提交。可以在先前保存的集合的保存的参数内搜索新的图像。例如,用户可以保存NIKON D40照相机图像和SONY照相机图像,然后拍摄CANON照相机的图像。可以使用先前参数来确定新的图像以使搜索变窄。
[0048] 图2是用于捕捉图像以购买项目的系统200的示意图。系统200包括计算设备202、图像/商务服务器204、支付服务器206以及认证服务器208。在此,计算设备202可以通过互联网210将期望的项目的图像传送给图像/商务服务器204。图像/商务服务器
204可以通过使用计算设备202所提供的图像来找到匹配项目的产品。图像/商务服务器
204可以将匹配的产品列表传送给计算设备202以允许用户确定她是否希望购买任何匹配的产品。
[0049] 如果用户选择匹配的产品中的一个,则计算设备202可以将用户的选择传送给支付服务器206。支付服务器206可以将用户信息提供给卖主以及将卖主信息提供给用户以处理用户的购买。支付服务器206可以为支付信息向认证服务器208请求用户认证。一旦支付服务器206接收认证信息,支付服务器206就可以将确认数据发送给计算设备202。例如,用户可能想要购买她在地铁中看见的围巾。她可以拍摄围巾的照片,并且将它上传到图像/商务服务器204以通过支付服务器206找到卖主来购买围巾。
[0050] 图像/商务服务器204具有可以用于识别图像中的项目以及搜索匹配的产品的若干组件。例如,图像/商务服务器204可以具有特征点生成器212、图像比较器214、搜索引擎216、产品图像数据源218、产品数据源220和卖主数据源222。
[0051] 特征点生成器212可以分析图像以确定特征点。如在上面和下面进一步论述的,特征点生成器212可以使用各种方法来确定图像内的项目。图像比较器214可以使用来自特征点生成器212的特征点来确定表示图像的标签,或识别已被标注的匹配的图。为了找到匹配的产品,搜索引擎216可以使用从特征点导出的标签。
[0052] 图像/商务服务器204中的数据源可以提供比较信息以提供更好的匹配数据。产品图像数据源218可以提供已附着有特征点的已知产品。例如,如果图像具有与产品图像数据源218中的产品图像相同的特征点,则图像比较器214可以识别匹配,并且然后从匹配的图像确定产品标签。为了确定产品标签,产品数据源220可以包括匹配产品图像的特征点的特征标签。如在下面进一步论述的,可以经由多种实施方式确定标签。
[0053] 支付服务器206具有可以用于允许用户购买项目的若干组件。支付服务器206可以具有包括支付认证器226、交易模块228和结帐界面230的支付模块224。支付服务器还可以包括卖主数据源232以及买主数据源234。支付服务器206的一个示例是提供GOOGLE CHECKOUT功能的服务器组。在这样的示例中,可以使用标准CHECKOUT界面,以及图像/商务服务器204可以仅将当在设备202上执行时将设备202重定向到支付服务器206以完成交易的标记代码传递给设备202。
[0054] 支付模块224可以从计算设备202接收购买产品的请求。为了处理支付,支付模块可以使用支付认证器226来确定安全的交易。在一些实施方式中,支付认证器226可以向认证服务器208请求认证。例如,这样的认证可以在用户在请求交易之前或之后通过认证服务器208登录系统的情况下发生。利用认证的交易,交易模块228可以向卖主提供必要的信息以处理用户的支付,以及将产品运送到用户的期望运送地址。结帐界面230可以使用数据来生成用于计算设备202的显示以创建用于用户的购买确认页。如在下面进一步论述的,支付模块224可以在没有通过计算设备202向用户请求更多信息的情况下完成交易。
[0055] 支付服务器206中的数据源可以提供用来在用户和销售者之间通信的信息。卖主数据源232可以提供用来与卖主进行交易的信息。例如,卖主数据源232可以包含用于支付的联系信息和路由号码。买主数据源234可以包含信息以向卖主提供来自用户的信息。例如,买主数据源234可以包括运送和帐单地址,其中可以将运送地址信息传递给卖主,使得卖主知道将项目运送到何处。在一些实施方式中,卖主从不直接接收信用卡信息,而是仅接收买主已被认证的确认。在其它实施方式中,买主数据源234可以包括直接发送给卖主的信用卡信息。
[0056] 认证服务器208具有可以用于认证用户的支付信息以允许安全交易的若干组件。认证服务器208可以具有认证器236和用户数据源238。认证服务器208可以从支付服务器206接收认证请求,以及认证计算设备202以购买产品。例如,用户可以在计算设备202上登录到可以访问用户的先前输入的银行信息的帐户。
[0057] 用于认证服务器208的数据源可以向系统200提供特定于用户的支付信息。用户数据源238可以提供诸如信用卡信息、银行帐户路由信息以及安全信息的信息。例如,可以将用户的信用卡号和安全码存储在用户数据源238中,以使用户不必在她每次进行交易时都输入信息。
[0058] 如前所述,可以经由多种实施方式确定产品标签。例如,特征点生成器可以通过找到主题特征与周围特征相比的变化来确定图像上的特征点。在其它实施方式中,特征点生成器212可以使用OCR来为搜索引擎216确定基于文本的标签。例如,如果图像包含带有词语“headset(头戴式耳机)”、“Superphones(超级电话)”以及“VX-1”的包装,如图1中图像106那样,则搜索引擎216可以将这些词语用作标签。在又其它实施方式中,特征点生成器212、图像比较器214或搜索引擎216可以确定用于图像上的产品的唯一代码,诸如通用产品代码(UPC)或ISBN。
[0059] 在一些实施方式中,支付模块224可以从计算设备202接收购买请求,并且在没有来自用户的进一步信息的情况下处理购买。这种类型的交易可以提供购买产品的高效和安全手段。在其它实施方式中,用户可能想要用与已可获得的支付方法的不同的支付方法来购买项目。例如,如果妻子想要为她丈夫的生日购买新的电视,但是他们具有为在线购买设置的联合银行帐户,则她可能不希望使用该帐户,以使她可以将礼物保持为惊喜。支付认证器可以从计算设备202接收使用与通过买主数据源234可获得的支付信息不同的支付信息的请求。在这样的情况下,支付服务器206可以直接处理交易或允许卖主处理支付信息。
[0060] 如前所述,认证服务器208可以在不需要用户为每一个交易输入她的个人信息的情况下为购买提供安全的交易。在一些实施方式中,认证服务器208可以提供来自用户数据源238的关于特定用户帐户的数据。例如,用户可以具有已存储有她的信用卡信息的帐户,诸如GOOGLE CHECKOUT,以在不向卖主提供她的信用卡号或其它敏感数据的情况下向卖主提供支付。在其它实施方式中,认证服务器208可以向卖主直接提供信息。
[0061] 图3A是示出了在过程300中采取来发送图像以进行比较来购买产品的动作的流程图。过程300通常涉及接收图像、识别图像中的对象、搜索在相关联的卖主处的项目、向用户确认项目参数、向用户的帐户开帐单以及向卖主报告交易并且贷记卖主帐户。
[0062] 在初始步骤,过程300接收(框302)图像。例如,用户可以对她想要购买的项目拍照。可以使用过程300来上传所创建的图像,以使它可以被分析。作为一个示例,用户可以对她看见朋友佩戴的围巾拍照。可以接收围巾的图像以确定有关图像的信息。
[0063] 过程300然后识别(框304)图像中的对象。例如,图像可以包含围巾。围巾可以具有可以使用项目与周围特征相比的变化来识别的特定的特征点。例如,围巾织物可以由金属丝网造成,其中连接圆片来形成织物。由于光反射中的鲜明转变是可获得的,所以从材料反射出的光可以向特征点提供信息源。如在下面进一步描述的,可以以多种方式数学地识别特征点。
[0064] 然后搜索在相关联的卖主处的项目(框306)。例如,可以在交易之前为特定项目识别优选卖主。在其它实施方式中,可以为项目搜索所有的卖主。如一个示例,可以确定提及围巾的任何站点,然后可以检索具有销售围巾的能力的站点。在某些实施方式中,可以将围巾识别为围巾,但是可能没有找出特定围巾。在这样的情况下,总的来说可以仅仅对于围巾进行搜索,以及用户可以在返回的结果内浏览看起来像他们感兴趣的围巾。
[0065] 过程300然后向用户确认(框308)项目参数。例如,可以向用户显示与图像中的围巾最接近的匹配,以使她可以确定她想要从哪个卖主购买围巾。在一些实施方式中,用户可以请求上传新的图像。在其它实施方式中,用户可以请求再次识别图像中的对象。在又其它实施方式中,用户可以要求来自原始搜索的更多匹配。
[0066] 在此论述的示例中,用户可以使用“一键购买”应用从明尼阿波利斯的ReGifts购买围巾,其中ReGifts是向例如GOOGLE CHECKOUT注册的卖主(如果ReGifts是未注册的,则可以暂时登记交易,支付系统可以以有一个订单的指示联系ReGifts,以及ReGifts的管理者可以确定是否签约以及完成订单)。应用如下所述允许用户在不必提供进一步信息的情况下购买围巾。一键购买应用还允许用户比较不同的卖主,以及在不必导航到任何卖主的网站中的情况下购买围巾。
[0067] 在框310,向用户帐户开帐单。例如,一旦用户确定了她想要从ReGifts购买围巾,就可以在不需要她提供任何进一步信息的情况下向她的帐户开帐单。如前所述,可以从诸如Google Checkout帐户的用户帐户获取帐单信息。用户帐户可以包含诸如信用卡信息或支票帐户信息的信息。
[0068] 在一些实施方式中,如果使用与用户不同的语言和货币的站点可以与非本地买主进行交易,则可以显示所述站点。例如,如果期望的项目是Hello Kitty钱包,则日文网站可能正在出售该钱包。在一些实施方式中,卖主可以预先确定他们是否想要向各种国家出售项目。在其它实施方式中,过程300可以从卖主的网站内的数据(例如,通过识别货币符号)确定卖主是否能够完成交易。
[0069] 图3B是示出了用于使用图像来向用户提供购买选项目的过程320的示例的流程图。总的来说,过程320涉及接收图像以及将该图像(或更具体地,形成该图像的特征点)与已与识别图像中的项目的标签相关联的预分析的图像的图像库进行比较。在作出匹配的情况下,可以将标签与所接收的图像相关联,以及可以将标签应用于搜索引擎以产生可以传送给用户的结果。然后可以如在下面更详细地描述的给予用户用于与结果交互的多个选项目。
[0070] 在初始步骤,过程320接收(框322)图像。例如,可以接收通过图片消息接收的图像。图像可以是用户意欲购买的特色项目。在一些示例中,图像可以示出带有巧克力甘纳许和奶油糖霜的巧克力杯形蛋糕。
[0071] 过程320然后识别(框324)图像中的特征点。例如,可以使用图像中的阴影和光亮从杯形蛋糕包装纸的有褶形状确定有关杯形蛋糕包装纸的特征点。图像的色彩颜色还可以用于确定杯形蛋糕中的潜在匹配的味道(例如,巧克力与柠檬)。在这点还可以进行初步检查以确定是否可以在图像中找到特定项目—例如,如果图像焦点对得非常不准,则不能找到连续的点群,并且可以告诉用户提交更好的图像。
[0072] 过程320然后将图像与图像库进行比较(框326)。例如,杯形蛋糕的图像可以匹配来自匹兹堡的Dozen Cupcakes的East End Chocolate Stout杯形蛋糕。图像还可以匹配来自匹兹堡的Coco′s Cupcakes的cookies-and-crème杯形蛋糕。在其它实施方式中,可以通过命名过滤器来确定比较。例如,如果图像文件具有诸如“杯形蛋糕”的名称,则可以将图像库过滤到在之中具有杯形蛋糕的图像。更可能的,由于各种杯形蛋糕并不是彼此非常不同,所以图像可以仅仅匹配与标签“巧克力杯形蛋糕”或“柠檬杯形蛋糕”等相关联的图像,而不是特定品牌的杯形蛋糕。
[0073] 然后传送(框328)与卖主标识元数据的比较的结果。这样的结果可以是通过经由标准API将与匹配的图相关联的标签提交给产品搜索系统来生成的搜索结果。例如,可以传送每一个卖主的匹配的杯形蛋糕的图像、描述、数额和定价(如果标签仅仅指示“杯形蛋糕”,则可以使用词语杯形蛋糕或使用诸如烘焙食品的相关词语来执行本地搜索)。在一些实施方式中,可以显示最接近的匹配,以使用户可以比较卖主和产品。在其它实施方式中,可以按照价格显示结果。在又其它实施方式中,可以首先显示最佳匹配以允许用户验证项目被正确地识别。并且,在处于本地搜索模式时,可以将匹配显示为在地图上的针状物(pin),以及对适当针状物的选择可以向用户示出关于本地卖主的更多信息。
[0074] 在框330,接收带有卖主标识的购买命令。例如,可以接收对于四个East End Chocolate Stout杯形蛋糕的购买命令。购买命令可以是在单个步骤中着手购买的一键购买命令。在其它实施方式中,购买命令可以诸如通过向用户示出带有税额、运送和计算的其它信息的结帐屏而具有确认步骤以确保用户意在购买杯形蛋糕。另外,对按钮的选择可以促使项目被添加到购物车,以及用户可以稍后将它从购物车移除或选择与此后添加到购物车的其它项目一起购买它。
[0075] 过程320然后认证(框344)用户。例如,用户可以具有带有金融信息的在线帐户,诸如GOOGLE CHECKOUT帐户。认证可以提供对用户的帐户的访问,以及允许过程320访问支付信息。
[0076] 过程320然后识别(框346)卖主并且确认项目。例如,Dozen Cupcakes可以是为四个East End Chocolate Stout杯形蛋糕识别的卖主。过程320可以经由因特网确认Dozen cupcakes出售四个一组的East End Chocolate Stout杯形蛋糕。
[0077] 在框348,将结帐页传送给用户的设备。例如,结帐页可以包含卖主、项目、项目的数额、项目的价格、税额和总计、递送日期以及交易的运送和帐单信息。结帐页可以为用户提供发票。替选地,结帐页可以向用户提供确认或拒绝交易的机会。
[0078] 从用户接收确认(框350)。例如,用户可以查看运送、税额和帐单信息,并且确认他们意欲购买(以及支付)结帐页上的所有项目。这样的确认然后可以触发交易的执行,其通常涉及促使金钱从用户的帐户移除,并且促使金钱被添加到卖主的帐户。交易费还可以如先前由各方同意的被添加到用户的价格或从卖主的售价取得。
[0079] 过程320然后执行并且报告(框352)交易。例如,可以发送交易,以便卖主接收订单和用于订单的支付。对用户的报告可以提供诸如用于后续请求或用来确定在运送方面的进展的确认号的信息。在其它示例中,卖主可以接收项目、数额、期望的递送日期以及运送地址。
[0080] 现参考过程中的另一个分支,在一些实施方式中,过程可以接收(框332)“更多”命令以检索带有卖主标识元数据的更多结果(框333)。例如,如果用户没有找到她想要从其购买杯形蛋糕的卖主,则“更多”命令可以检索用于其它购买选项目的不同卖主。在一些实施方式中,更多命令可以提供已被检索到的其它产品。在某些情况下,“更多”命令可以返回不如初始结果一样密切匹配的结果;在其它情况下,“更多”命令可以促使使用不同参数的不同搜索被执行。
[0081] 在另一个分支中,过程320可以接收新的图像以识别它的特征点(框334)。例如,用户可以是不太专业的摄影者,以及可能在过程的对识别她的第一图像中的项目的尝试后认识到在图像中缺少半个期望的项目。可以接收待识别和搜索的新的图像。或者如果返回给用户的第一提交的结果是不充足的,则用户可以独自或在来自系统的提示下提交新的图像。
[0082] 在另一个分支中,过程320还可以可选地接收(框336)信息命令以请求来自所传送的结果的项目的信息。例如,可以请求关于列出的特定项目的信息,诸如特定杯形蛋糕中的配料。在接收信息命令后,过程320识别(338)项目类型。例如,项目类型可以是杯形蛋糕中的配料、可以是电子项目的技术规格或可以仅仅与用于卖主的网站的URL有关,在所述网站中页面聚焦于特定项目。在可选的步骤340,过程320搜索项目信息。例如,过程可以为配料信息搜索卖主的网站。在其它实施方式中,卖主可以供应预选确定的项目以允许用户搜索诸如配料、存储时间、运送费用或库存可用性的信息。可以视需或定期刷新该信息。如最后步骤342,过程320传送项目信息。例如,可以传送杯形蛋糕的配料以允许用户确定她是否想要继续购买。其它项目信息可以包括来自专辑的歌曲的剪辑或电影的预告片。
[0083] 除在此在说明性示例中示出的四条路径外,还可以使其它选项目对用户可用。例如,用户可以请求与所示不同的颜色的项目。图像可以示出以胡桃木抛光的椅子,但是用户可能想要以樱桃木抛光的相同椅子设计。可以向用户示出这样的选项目,用户可以输入特定结果,或用户可以输入带有期望选项目的另一个图像,在此为樱桃木抛光的图像。
[0084] 图4A和4B是通过使用各种图像和商务服务器来描绘了过程的序列图,通过所述过程客户端可以获取关于图像中的产品的信息。总的来说,图4A示出了基本交互,通过其用户经由客户端设备提交图像,然后订购来自由系统中的服务器返回的结果集的项目。图4B大体上示出了类似的过程,但是其中用户请求除由系统最初返回的结果外的结果。
[0085] 现参考图4A,最初,在框402,客户端设备401获得图像。设备401可以通过诸如采用在设备上的照相机、接收图片消息或从因特网下载图像的多种方法获得图像。并且,设备401的用户可以仅仅右击网页上的图像,就为其展示出获得有关图像中的项目的信息的选项目,以及可以点击菜单控件来使这样的消息被提供。
[0086] 设备401然后将图像404传送给图像服务器403。例如,图像服务器403可以包括为诸如GOOGLE的在线信息提供者的一部分的一个或多个服务器,其被配置为识别并且提供与上传的图像匹配的图像。
[0087] 在框408,图像服务器403从图像数据提取标签,诸如文本、代码、形状或图片。例如,如图1中所示,图像可以包括头戴式耳机,其中具有单词“headset(头戴式耳机)”、“Superphones(超级电话)”和“VX-1”、UPC代码,以及物理对象的形状。在框410,图像服务器403可以确定匹配。在一些实施方式中,图像服务器403可以具有先前已分析的图像组,其中具有相关联的特征点。(例如,如果图像从包含标签的网页取得)可以将标签与那些图像相关联,以及如果图像相互匹配到足够程度,则可以将标签分配给所提交的图像。利用有关用于图像的匹配的信息,图像服务器403可以将匹配提交(框412)给商务服务器405。
[0088] 在框414,商务服务器405然后搜索相关联的卖主。在一些实施方式中,商务服务器405可以具有它可以从之搜索特定项目的预定卖主列表。例如,它可以搜索先前向操作支付服务器407的支付系统注册过的卖主(以确保所有搜索结果可以通过支付系统产生交易)。在其它实施方式中,商务服务器405可以搜索互联网上的所有卖主或卖主的一些大型子集。这种类型的一个示例搜索系统是GOOGLE产品搜索。一旦商务服务器405具有列表,在框416,商务服务器405就识别最优匹配。最优匹配可以由如与项目或定价的相似性的这样的特征来确定。在其它实施方式中(例如,在产品搜索与本地搜索结合时),最优匹配可以由卖主的物理地址与客户端401的物理位置的接近性来确定。在框418,商务服务器405然后将项目数据传送给客户端401。
[0089] 利用来自商务服务器405的最优匹配列表,在框420,客户端设备401使用该数据来生成项目数据的显示。例如,客户端设备401可以生成包括对于图像的最优五个匹配、包括可以是与图像中相同的产品或不同制造商或产品类型的各种产品的显示。在其它实施方式中,客户端设备401可以生成只具有精确匹配的显示。在又其它实施方式中,所生成的显示可以具有用来向客户端设备401请求正确的项目被识别的验证的一个结果。
[0090] 在步骤422,客户端设备401然后从它的用户接收订单确认以购买特定项目。例如,用户可以使用一键购买应用来选择按钮以从特定卖主购买项目。在其它实施方式中,客户端设备401可以从用户接收有关项目、数额以及运送和帐单地址的信息。同样地,客户端设备401还可以生成卖主的网站的显示。一旦接收了订单确认,在框424,客户端设备401就传送确认。
[0091] 来自客户端设备401的确认可以被直接发送给支付服务器或可以通过商务服务器405传递。例如,在带有发送自客户端设备401的个人数据的安全交易中,加密可以用于保护用户,以及订单可以直接转到支付服务器407(例如,商务服务器405可以格式化用于搜索结果的标记代码,以使对结果的选择促使客户端设备401将适当格式化的消息发送给支付服务器407)。
[0092] 无论确认在到达支付服务器407之前是否由商务服务器405解释,支付服务器407接收确认,以及在框428,识别确认中的用户和卖主。例如,卖主可以是如图1中所示的HeadPhones公司。支付服务器407可以识别用于HeadPhones公司和用户的联系信息和支付信息。
[0093] 一旦用户和卖主被识别,在框407,支付服务器407将结帐信息传送给客户端。在一些实施方式中,结帐信息可以是来自诸如GOOGLECHECKOUT的在线帐户的信息。结帐信息例如可以包括销售税额以及运送和处理费用。支付服务器407可以使用它具有的关于用户和卖主的信息来确定例如项目需要被运送的距离,以及可以在要求用户确认订单之前将标准运送费用或特定于卖主的费用应用于订单。
[0094] 客户端设备401然后诸如通过用户选择“订单”控件等来接收结帐信息并且确认结帐信息(框432)。在框434,将确认发送给支付服务器407,支付服务器407然后借记用户的帐户并且贷记卖主的帐户,以及通知卖主409。在框436,卖主409从支付服务器407接收运送和项目信息。在框438,客户端401接收订单确认。
[0095] 现参考图4B,客户端设备441最初诸如通过上述各种方式获得图像,并且将图像传送给图像服务器442。在框449,图像服务器442从图像提取特征点。在一些实施方式中,可以使用项目与周围特征相比的变化来提取图像的特征点。一旦确定了特征点,在框450,图像服务器442然后就可以将特征点与库进行比较。例如,可以以如同上述的那些的方式将成像的项目的特征点与已存储的图像的特征点进行比较,以及将与匹配的图像相关联的标签传送给商务服务器443(框451)。
[0096] 利用比较结果,商务服务器443搜索来自各种卖主的项目的索引(框452),以及从搜索结果识别最优匹配(框453)。在框454,商务服务器443然后可以将来自最优匹配的数据传送给客户端设备441,以及客户端设备可以显示该数据(框455)。
[0097] 在所描绘的示例中,用户或者不喜欢结果、或者决定不购买项目或者决定拍摄另一个照片,使得在框456,客户端设备441传送新的图像,以及可以重复图像匹配和项目搜索。用户还可以传送“更多”命令,其将使用首次提交的图像的比较的结果来获取额外匹配,非常类似选择来自标准搜索引擎的第二搜索结果页。作为另一个选项目,用户可以选择“信息”命令,其可以促使商务服务器443识别与项目相关联的类型(框459),然后使用类型确定来搜索项目信息(框460)。例如,如果项目类型是食品项目,则将可以搜索调到收集营养信息,而如果项目是一件消费电子,则可以将搜索对准获取该项目的技术规格。商务服务器443然后可以传送找出的项目信息(框461),项目信息的显示可以引起用户指示他们意欲确认他们的订单(框462)。
[0098] 由用户进行的订单确认可以涉及用户选择显示的“购买”按钮等,以及可以涉及将项目添加到购物车以及指示应当将购物车中的所有项目提交给结帐过程的动作。
[0099] 利用传送(框463)给商务服务器444用于解释(框464)并且转送给支付服务器444(框464),或者直接传送给支付服务器444的确认,支付服务器444可以开始停止交易。例如,支付服务器444可以检查以确定用户是否在当前会话期间先前登录到了中央服务,诸如以单点登录登录到各种GOOGLE服务。可以通过向认证服务器445请求对用户以及可能卖主的认证(框465)来进行这样的检查。认证服务器445然后可以通过确认用户当前被注册或通过创立带有然后使用户登录的对话来认证用户(框466),然后可以将用户被认证的指示符传送回支付服务器444(框467),其可以顺次识别用户和卖主。这样的识别可以允许支付服务器444完成多个动作,诸如确定借记以及贷记哪些帐户,指示卖主将货物运送到何处等。
[0100] 源于这样收集的关于项目、用户和卖主的信息,支付服务器444将结帐信息传送给客户端设备441。这样的信息可以采用熟悉的形式,诸如所选择的项目的列表、分类汇总费用、以及考虑诸如运送和销售税等因素的总费用(框469)。
[0101] 在向用户展示了结帐页后,用户可以确认他们意欲下订单(框470),以及支付服务器444可以借记用户并且以例如订单确认、运送更新等通知回用户。支付服务器同样可以通知卖主446(框472),诸如以向卖主提供运送的名称和地址、待运送的货物的描述和数量以及如果货物被运送则会恰当地贷记卖主的帐户的确认。
[0102] 尽管在上面详细描述了一些实施方式,但是其它修改是可能的。此外,可以使用用于捕捉图像以购买项目的其它机制。另外,在附图中描绘的逻辑流不必需要所示的特定顺序或连续顺序,才能达到期望的结果。可以提供其它步骤或可以从所描述的流程去除步骤,以及可以将其它组件添加到所描述的系统或从所描述的系统移除组件。因此,其它实施方式在所附权利要求的范围内。
[0103] 图5示出了可以与在此描述的技术一起使用的通用计算机设备500和通用移动计算机设备550的示例。计算设备500意在表示各种形式的数字计算机,诸如膝上型机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机以及其它适当的计算机。计算设备550意在表示各种形式的移动设备,诸如个人数字助理、蜂窝电话、智能手机以及其它类似的计算设备。在此示出的组件、它们的连接和关系以及它们的功能意在只是示例性的,并且并不意在限制在本文档中描述和/或主张的本发明的实施方式。
[0104] 计算设备500包括处理器502、存储器504、存储设备506、连接到存储器504和高速扩展端口510的高速接口508以及连接到低速总线514和存储设备506的低速接口512。组件502、504、506、508、510和512中的每一个使用各种总线互连,并且可以视情况被安装在公共主板上或以其它方式安装。处理器502可以处理用于在计算设备500内执行的指令,包括存储在存储器504中或存储设备506上用来在诸如耦接到高速接口508的显示516的外部输入/输出设备上显示GUI的图形信息的指令。在其它实施方式中,可以视情况使用多个处理器和/或多个总线以及多个存储器和存储器类型。并且,可以连接多个计算设备500,其中每一个设备提供部分必需操作(例如,作为服务器簇、刀片服务器组或多处理器系统)。
[0105] 存储器504存储在计算设备500内的信息。在一个实施方式中,存储器504是易失性存储器单元。在另一个实施方式中,存储器504是非易失性存储器单元。存储器504还可以是另一种形式的计算机可读介质,诸如磁或光盘。
[0106] 存储设备506能够为计算设备500提供海量存储。在一个实施方式中,存储设备506可以是或包含计算机可读介质,诸如软盘设备、硬盘设备、光盘设备或带设备、闪存或其它类似的固态存储器设备、或设备阵列,包括在存储区域网络或其它配置中的设备。计算机程序产品可以被有形地包含在信息载体中。计算机程序产品还可以包含在被执行时执行诸如上述那些方法的一个或多个方法的指令。信息载体是计算机或机器可读介质,诸如存储器504、存储设备506、在处理器502上的存储器或传播信号。
[0107] 高速控制器508管理关于计算设备500的带宽密集型操作,而低速控制器512管理较低带宽密集型操作。职责的这样的分配只是示例性的。在一个实施方式中,高速控制器508(例如通过图形处理器或加速器)耦接到存储器504、显示516,以及耦接到可以接受各种扩展卡(未示出)的高速扩展端口510。在该实施方式中,低速控制器512耦接到存储设备506和低速扩展端口514。可以包括各种通信端口(例如USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦接到诸如键盘、指示设备、扫描仪的一个或多个输入/输出设备,或例如通过网络适配器耦接到诸如交换机或路由器的联网设备。
[0108] 计算设备500可以如图中所示以多种不同的形式实现。例如,计算设备500可以被实现为标准服务器520或更多时间被实现在一组这样的服务器中。计算设备500还可以被实现为机架服务器系统524的一部分。另外,计算设备500可以在诸如膝上型计算机522的个人计算机中实现。替选地,来自计算设备500的组件可以与诸如设备550的移动设备(未示出)中的其它组件相结合。这样的设备中的每一个可以包含计算设备500、550中的一个或多个,以及整个系统可以由相互通信的多个计算设备500、550组成。
[0109] 除其它组件外,计算设备550包括处理器552、存储器564、诸如显示554的输入/输出设备、通信接口566以及收发器568。设备550还可以提供有诸如微型驱动或其它设备的存储设备以提供额外的存储。组件550、552、564、554、566和568中的每一个使用各种总线互连,以及组件中的数个可以视情况被安装在公共主板上或以其它方式安装。
[0110] 处理器552可以执行在计算设备550内的指令,包括存储在存储器564中的指令。处理器可以被实现为包括独立和多个模拟和数字处理器的芯片的芯片集。处理器可以提供例如对设备550的其它组件的协调,诸如对用户接口、由设备550运行的应用以及经由设备
550的无线通信的控制。
[0111] 处理器552可以通过耦接到显示554的控制接口558和显示接口556与用户通信。显示554可以是例如TFT LCD(薄膜晶体管液晶显示)或OLED(有机发光二极管)显示或其它适当的显示技术。显示接口556可以包括用于驱动显示554向用户展示图形和其它信息的适当的电路。控制接口558可以从用户接收命令并且将命令进行转换以提交给处理器
552。另外,可以提供与处理器552通信的外部接口562,以使得设备550能够与其它设备进行近区域通信。外部接口562可以例如在一些实施方式中提供有线通信,或在其它实施方式中提供无线通信,以及还可以使用多个接口。
[0112] 存储器564存储在计算设备550内的信息。存储器564可以被实现为计算机可读介质、易失性存储器单元或非易失性存储器单元中的一个或多个。还可以提供扩展存储器574并且通过可以包括例如SIMM(单列直插内存模块)卡接口的扩展接口572将其连接到设备550。这样的扩展存储器574可以为设备550提供额外的存储空间,或还可以存储用于设备550的应用或其它信息。具体地,扩展存储器574可以包括指令来实现或补充上述过程,以及还可以包括安全信息。因此,扩展存储器574可以例如作为用于设备550的安全模块提供,以及可以被编程有许可安全使用设备550的指令。另外,安全应用以及额外的信息可以经由SIMM卡提供,诸如以不可非法侵入的方式将识别信息放置在SIMM卡上。
[0113] 存储器可以如下所述包括例如闪存和/或NVRAM存储器。在一个实施方式中,将计算机程序产品有形地包含在信息载体中。计算机程序产品包含在被执行时执行诸如上述那些方法的一个或多个方法的指令。信息载体是计算机或机器可读介质,诸如存储器564、扩展存储器574、在处理器552上的存储器或可以例如通过收发器568或外部接口562接收的传播信号。
[0114] 设备550可以在需要的情况下通过可以包括数字信号处理电路的通信接口566无线地通信。通信接口566可以提供在各种模式或协议下的通信,诸如GSM语音通话、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。可以例如通过射频收发器568来发生这样的通信。另外,诸如使用蓝牙、WiFi或其它这样的收发器(未示出),可以发生短程通信。另外,GPS(全球定位系统)接收器模块570可以向设备550提供可以由运行在设备550上的应用视情况使用的额外的导航和位置相关的无线数据。
[0115] 设备550还可以使用音频编解码器560可听见地通信,音频编解码器560可以从用户接收口语信息并且将其转换为可使用的数字信息。同样,音频编解码器560可以诸如通过例如在设备550的送受话器中的扬声器,为用户生成可听见的声音。这样的声音可以包括来自语音电话呼叫的声音,可以包括已记录的声音(例如,语音消息、音乐文件等)以及还可以包括由在设备550上操作的应用生成的声音。
[0116] 计算设备550可以如图中所示以多种不同的形式实现。例如,计算设备550可以被实现为蜂窝电话580。计算设备550还可以被实现为智能手机582、个人数字助理或其它类似的移动设备的部分。
[0117] 可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或以上的组合中实现在此描述的系统和技术的各种实施方式。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式,所述可编程系统包括至少一个可编程处理器,其可以是专用或通用的,被耦接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向存储系统、至少一个输入设备和至少一个输出设备传送数据和指令。
[0118] 这些计算机程序(也被称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令,并且可以以高级程序和/或面向对象的编程语言、和/或汇编/机器语言来实现。如在此所使用的,术语“机器可读介质”、“计算机可读介质”是指用来向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器、可编程逻辑设备(PLD)),包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用来向可编程处理器提供机器指令和/或数据的任何信号。
[0119] 为了提供与用户的交互,在此描述的系统和技术可以在具有下述的计算机上实现:用于向用户显示信息的显示设备(例如,CRT(阴极射线管)或LCD(液晶显示)监视器),以及用户通过其可以向计算机提供输入的键盘和指示设备(例如,鼠标或跟踪球)。也可以使用其它类型的设备来提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感知反馈(例如,视觉反馈、听觉反馈或触觉反馈);以及可以以任何形式,包括声学的、话音的或触觉的输入,接收来自用户的输入。
[0120] 在此描述的系统和技术可以在包括后端组件(例如作为数据服务器)、或包括中间件组件(例如应用服务器)、或包括前端组件(例如具有用户通过其可以与在此描述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)、或者这样的后端、中间件或前端组件的任何组合的计算系统中实现。系统的组件可以通过任何形式或介质的数字数据通信(例如通信网络)互连。通信网络的示例包括局域网(″LAN″)、广域网(″WAN″)以及因特网。
[0121] 计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络交互。客户端和服务器的关系依靠在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。
[0122] 已描述了多个实施例。然而,将理解的是,可以在不背离本发明的精神和范围的情况下进行各种修改。例如,可以将描述产品的文字的图像与光学字符识别软件一起使用来提供搜索词语。另外,图中所描绘的逻辑流不需要所示的特定顺序或相继顺序,才能获得期望的结果。另外,可以提供其它步骤,或可以从所描述的流程除去步骤,以及可以将其它组件添加到所描述的系统或从所描述的系统移除组件。因此,其它实施例在权利要求的范围内。