相片日记

摘要

本发明涉及相片日记。一种用以创建相片日记的方法包含在所述相片日记中针对一时间周期创建一条目。创建所述条目包含从在所述时间周期中创建或接收的数字视频选择候选帧。选择所述候选帧包含对所述数字视频执行人及宠物检测，从所述数字视频提取具有人及宠物的帧，对具有人的所述帧执行人辨识以识别具有经辨识人的帧。所述方法进一步包含基于准则而将具有经辨识人及宠物的所述候选帧分类成若干群组，从所述群组选择代表帧，并在所述条目中呈现所述代表帧。

权利要求

1.一种用以创建相片日记的方法，其包括：接收用户输入，所述用户输入规定在所述相片日记中创建条目的频率，所述频率为每天、每几天、每周或每月；

在所述相片日记中针对一时间周期创建一条目，包括：从在所述时间周期中创建或接收的数字视频选择候选帧，包括：对所述数字视频执行人及宠物检测；

从所述数字视频提取具有人及宠物的帧；及

对具有人的数字视频帧执行人辨识以识别具有经辨识人的帧；

基于准则而将具有经辨识人及宠物的所述候选帧分类成若干群组，其中基于准则而将具有经辨识人及宠物的所述候选帧分类成若干群组包括依据时间增量、情景及位置将所述候选帧分类；

从所述群组选择代表帧；及

在所述条目中呈现所述代表帧；及

在所述相片日记中针对后续时间周期创建另一条目。

2.根据权利要求1所述的方法，其进一步包括从所述候选帧检测所述情景及所述位置，其中检测所述情景包括在所述候选帧中检测时间和对象，以及基于在所述候选帧中检测到的所述时间和所述对象确定所述情景。

3.根据权利要求1所述的方法，其进一步包括跨越所述时间增量、所述情景及所述位置均匀地散布所述代表帧，或针对所述时间增量、所述情景及所述位置设定不同优先级。

4.根据权利要求1所述的方法，其进一步包括依据内容相似性及图像质量将所述候选帧分类成所述群组。

5.根据权利要求4所述的方法，其进一步包括将所述候选帧中的内容进行比较并分析所述候选帧的图像质量。

6.根据权利要求1所述的方法，其进一步包括：呈现在视觉上指示关于所述相片日记中的所述条目的日期的日历视图；及响应于用户输入，呈现所述相片日记中的对应条目。

7.根据权利要求1所述的方法，其中所述条目包括相册视图、时间线视图或拼贴画视图。

8.根据权利要求7所述的方法，其进一步包括基于用户输入而从所述条目删除所述代表帧中的一或多个代表帧或将一或多个新帧添加到所述条目。

9.根据权利要求7所述的方法，其进一步包括基于用户输入而显示经放大的代表帧。

10.根据权利要求7所述的方法，其进一步使用相册模板来产生所述相册视图。

11.根据权利要求1所述的方法，其进一步包括组合所述相片日记与另一相片日记。

12.根据权利要求1所述的方法，其中执行人检测包括执行面部辨识或人类特性辨识。

说明书

相片日记

技术领域

[0001] 本发明针对于计算装置且特定来说针对于在计算装置上创建相片日记。

背景技术

[0002] 人们通常用其手机来拍摄短视频以捕获其日常活动。许多人使用因特网协议(IP)相机来记录其家庭、孩子、宠物或工作，且通常将IP相机视频存储于服务器处使得其被存档且可从任何地方存取。虽然这些视频捕获人们的生活，但其通常存留在手机或服务器上而不被充分利用。

发明内容

[0003] 一个实施例涉及一种用以创建相片日记的方法，其包括：接收用户输入，所述用户输入规定在所述相片日记中创建条目的频率，所述频率为每天、每几天、每周或每月；在所述相片日记中针对一时间周期创建一条目，包括：从在所述时间周期中创建或接收的数字视频选择候选帧，包括：对所述数字视频执行人及宠物检测；从所述数字视频提取具有人及宠物的帧；对具有人的数字视频帧执行人辨识以识别具有经辨识人的帧；基于准则而将具有经辨识人及宠物的所述候选帧分类成若干群组；从所述群组选择代表帧；在所述条目中呈现所述代表帧；及在所述相片日记中针对后续时间周期创建另一条目。其中，基于准则而将具有经辨识人及宠物的所述候选帧分类成若干群组包括依据时间增量、情景及位置将所述候选帧分类。

附图说明

[0004] 在图式中：

[0005] 图1是在本发明的实例中具有相片日记创建器的计算装置的框图；

[0006] 图2是在本发明的实例中用以创建相片日记的方法的流程图；

[0007] 图3图解说明在本发明的实例中从数字视频选择候选帧；

[0008] 图4图解说明在本发明的实例中将图3的候选帧归类；

[0009] 图5图解说明在本发明的实例中的相片日记的日历视图；

[0010] 图6图解说明在本发明的实例中呈相册格式的相片日记的条目；

[0011] 图7图解说明在本发明的实例中呈时间线格式的相片日记的条目；

[0012] 图8图解说明在本发明的实例中呈拼贴画格式的相片日记的条目；且

[0013] 图9是在本发明的实例中用以通过组合相册日记而创建完整日记的方法的流程图。

[0014] 在不同图中使用相同参考编号指示类似或等同的元件。

具体实施方式

[0015] 如本文中所使用，术语“包含(include)”意指包含但不限于，术语“包含(including)”意指包含但不限于。术语“一(a及an)”打算表示至少一个特定元素。术语“基于”意指至少部分地基于。使用术语“或(or)”来指代非排他性，使得“A或B”包含“A但非B”、“B但非A”及“A及B”，除非另有指示。

[0016] 在本发明的实例中，一种用以创建相片日记的方法包含在所述相片日记中针对一时间周期创建一条目。创建所述条目包含从在所述时间周期中创建或接收的数字视频选择候选帧。选择所述候选帧包含对所述数字视频执行人及宠物检测，从所述数字视频提取具有人及宠物的帧，对具有人的所述帧执行人辨识以识别具有经辨识人的帧。所述方法进一步包含基于准则而将具有经辨识人及宠物的所述候选帧分类成若干群组，从所述群组选择代表帧，并在所述条目中呈现所述代表帧。

[0017] 图1是在本发明的实例中包含相片日记创建器122的计算装置102的框图。计算装置102可为桌上型计算机、膝上型计算机、平板计算机、智能电话或服务器计算机。

[0018] 计算装置102包含处理器108、易失性存储器110、非易失性存储器112、相机114及有线或无线网络接口卡(NIC)120。非易失性存储器112存储相片日记创建器122的代码、相片日记123及数字视频124。处理器108将相片日记创建器122的代码从非易失性存储器112加载到易失性存储器110，执行所述代码及将应用数据存储于易失性存储器110中。相片日记创建器122从可用相机114捕获或经由网络128用NIC 120接收的数字视频124创建相片日记123。举例来说，当计算装置102为向用户提供相片日记服务的服务器计算机时，计算装置102从用户的IP相机130接收数字视频124。IP相机130可在用户的家或公司中的各种已知位置处。相片日记123可包含周期性地从数字视频124产生的条目。

[0019] 图2为在本发明的实例中用以创建相片日记123(图1)的方法200的流程图。方法200可由执行相片日记创建器122(图1)的代码的处理器108(图1)来实施。方法200可包含由一或多个框图解说明的一或多个操作、功能或动作。虽然本文中描述的方法200及其它方法的框是以循序次序图解说明的，但还可并行地或以不同于本文中描述的次序的次序来执行这些框。而且，可基于所要实施方案而将各种框组合成较少框，划分成额外框或消除。方法
200可在框202中开始。

[0020] 在框202中，处理器108接收相片日记123的主题的用户输入。所述用户输入可为本地的或经由计算机网络从客户端装置接收的。在本发明的一些实例中，用户可通过选择可由面部辨识算法识别的一或多个人而挑选相片日记123的主题。举例来说，用户可希望创建关于他或她的相片日记123。在本发明的其它实例中，用户可通过选择可由特性辨识识别的一或多个人类特性而挑选主题。举例来说，人类特性可为可分别由年龄估计及性别检测算法识别的年龄(例如，儿童、成年人或老人)及性别(例如，男性或女性)。面部辨识及特性辨识可统称为人辨识。在本发明的其它实例中，用户可通过选择一或多个宠物类型来挑选主题。举例来说，宠物类型可为猫、狗、鸟或马。用户还可选择所描述主题的组合。举例来说，用户可希望创建关于儿童与狗及猫的主题的相片日记。在本发明的一些实例中，处理器108可自动地或在用户的命令下创建关于未经辨识人的相片日记。框202可后续接着框204。

[0021] 在框204中，处理器108接收相片日记123的参数的用户输入。所述用户输入可为本地的或经由网络从客户端装置接收的。用户可挑选在相片日记123中创建新条目的频率。举例来说，用户可希望每天、每几天、每周或每月创建新条目。用户可挑选相片日记123的每一条目中的最大帧数目及相片日记123中的最大帧数目。或者，处理器108可使用这些参数的默认值。框204可后续接着框206。

[0022] 在框206中，处理器108针对相片日记123中的条目从数字视频124(图1)选择候选帧。所述条目表示在特定时间跨度内相片日记123的主题发生了什么。针对所述条目，处理器108选择在相同时间跨度中创建或接收的数字视频124。框206可包含子框206-1及206-2。

[0023] 在框206-1中，处理器108对选定数字视频124中的帧执行人及宠物检测以提取具有由用户挑选的人的帧并将其置于一个群组中且提取具有由用户挑选的宠物类型的帧并将其置于另一群组中。在本发明的实例中，此以图形方式图解说明于图3中。在图3中，处理器108对数字视频302-1、302-2…302-n的帧执行人及宠物检测以提取具有人的帧并将其置于群组304中且提取具有宠物的帧并将其置于群组306中。注意，群组304及306中的帧可重叠，因为一些帧可包含人及宠物两者。子框206-1可后续接着子框206-2。处理器108追踪群组306的帧中的宠物类型(例如，猫、狗、鸟或马)，例如在表中记录对应性或注释所述帧。

[0024] 返回参考图2，在子框206-2中，处理器108执行面部辨识或人类特性(年龄及性别)辨识以提取具有由用户挑选的人或人类特性的帧并将其置于一个群组中且提取不具有由用户挑选的人或人类特性的帧并将其置于另一群组中。在本发明的实例中，此同样以图形方式图解说明于图3中。在图3中，处理器108执行面部辨识或人类特性辨识以提取具有由用户挑选的经辨识人或人类特性的帧并将其置于群组308中且提取不具有由用户挑选的人或人类特性的帧并将其置于群组310中。注意，群组308及310中的帧可重叠，因为一些帧可包含经辨识人及具有经辨识人类特性的人两者。处理器108追踪群组308的帧中的经辨识人或人类特性，例如在表中记录对应性或注释所述帧。在一些实例中，当用户挑选相片日记123的主题时，群组306或群组308中的帧为候选帧。在其它实例中，例如当处理器108自动地或在用户的命令下创建关于未经辨识人的相片日记时，群组310中的帧为候选帧。

[0025] 返回参考图2，子框206-2可后续接着框208。

[0026] 在框208中，处理器108针对条目的时间周期中的每一天将来自框206的候选帧归类。框208可包含子框208-1、208-2及208-3。在子框208-1中，处理器108基于候选帧的源视频而确定所述候选帧的所捕获或所接收时间并依据时间增量将所述候选帧排序。举例来说，如果每周创建一条目，那么时间增量可为一周中的天。如果每天创建一条目，那么时间增量可为上午、下午、傍晚及夜晚。在本发明的实例中，此针对一天条目以图形方式进行图解说明。在图4中，处理器108将候选帧置于若干时间群组中，例如上午群组402、下午群组404、傍晚群组406及夜晚群组408。返回参考图2，子框208-1可后续接着子框208-2。

[0027] 在子框208-2中，处理器108通过场景检测确定在候选帧中捕获的情景并依据情景将来自每一时间群组的候选帧归类。在本发明的实例中，此以图形方式图解说明于图4中。针对每一时间群组，处理器108将其候选帧置于情景群组410-1到410-i中。为清晰起见，此仅针对上午群组402进行图解说明。情景包含早餐、午餐、晚餐、出门上班、下班回家、出门上学、放学回家、聚会或其它活动。场景检测可基于在帧中检测到的时间及对象(包含人)而检测情景。返回参考图2，子框208-2可后续接着子框208-3。

[0028] 在子框208-3中，处理器108确定在候选帧中捕获的位置并依据位置将来自每一情景群组的候选帧归类。在本发明的实例中，此以图形方式图解说明于图4中。针对每一情景群组，处理器108将其候选帧置于位置群组412-1到412-j中。为清晰起见，此仅针对情景群组410-1进行图解说明。位置可包含在一家庭中的起居室、厨房、餐厅及卧室。处理器108可执行位置检测以分析候选帧并确定在其中捕获的位置。在候选帧中捕获的位置也可为捕获了数字视频124(图1)的IP相机130(图1)的位置，数字视频124可由用户在相片日记122(图1)的初始设置期间提供或从例如Apple HomeKit的智能家居系统检索。

[0029] 返回参考图2，子框208-3可后续接着框210。

[0030] 在框210中，处理器108从来自框208中的经归类帧选择代表帧。框210可包含子框210-1及210-2。在子框210-1中，处理器108依据内容相似性对经归类帧进行分组。在本发明的实例中，此以图形方式图解说明于图4中。针对每一位置群组，处理器108基于内容相似性而将其候选帧置于相似性群组414-1到414-k中。为清晰起见，此仅针对位置群组412-1进行图解说明。返回参考图2，子框210-1可后续接着子框210-2。

[0031] 在子框210-2中，处理器108基于图像质量而从每一相似性群组选择最佳帧。在本发明的实例中，此以图形方式图解说明于图4中。针对每一相似性群组，处理器108基于图像质量而选择最佳帧416。为清晰起见，此仅针对相似性群组414-1进行图解说明。图像质量可基于模糊水平、噪声水平、曝光、照明条件、色彩、面部大小、面部位置、面部角度、面部表情、眨眼等等。

[0032] 返回参考图2，子框210-2可后续接着框211。

[0033] 在框211中，处理器108跨越若干类别均匀地散布代表帧或基于每条目的最大帧数目而针对不同类别设定不同优先级。赋予不同类别的优先级可由用户输入设定。

[0034] 假定每天创建一条目且每条目的最大帧数目为40。处理器108接着给天条目中的时间增量中的每一者(上午、下午、晚上及夜晚)分配10个代表帧时隙。如果实际上存在比时间增量少的代表帧时隙，那么处理器108基于赋予不同时间增量的优先级(例如，傍晚>上午>下午>夜晚)而分配代表帧时隙。

[0035] 假定在上午存在2个情景，那么处理器108给每一情景分配5个代表帧时隙。如果实际上存在比情景少的代表帧时隙，那么处理器108可基于赋予不同情景的优先级(例如，聚会>晚餐>放学回家>下班回家>早餐>出门上学>出门上班>午餐)而分配代表帧时隙。

[0036] 假定在第一情景下存在两个位置，处理器108给第一位置分配3个代表帧时隙且给第二位置分配2个代表帧时隙(或反之亦然)。如果实际上存在比位置少的代表帧时隙，那么处理器108可基于赋予不同位置的优先级(厨房>餐厅>起居室>卧室)而分配代表帧时隙。

[0037] 假定在第一位置下存在类似帧的5个群组，处理器108基于一或多个准则而给所述5个群组中具有最佳代表帧的3个群组分配3个代表帧时隙。举例来说，所述准则可包含基于模糊水平、噪声水平、曝光、照明条件、色彩、面部大小、面部位置、面部角度、面部表情、眨眼等等的图像质量。

[0038] 框211可后续接着框212。

[0039] 在框212中，处理器108在本地或经由网络向客户端装置呈现具有相片日记图标的日历视图。图5图解说明在本发明的实例中具有相片日记图标502的日历视图500。相片日记图标502显现于日历的一天、一周或一月上以指示已针对所述相同时间周期产生相片日记123的条目。用户可点击或以其它方式选择相片日记图标502以观看相片日记123中的对应条目。日历视图500可与计算装置102(图1)上的日历程序集成或为相片日记创建器122的接口。

[0040] 处理器108以相册视图、时间线视图或拼贴画视图在本地或经由网络向客户端装置呈现相片日记123的条目。图6图解说明在本发明的实例中的条目的相册视图600。相册视图600包含用以返回到日历视图500(图5)的返回按钮602、用以改变到时间线视图的按钮604及用以改变到拼贴画视图的按钮606。相册视图600以相册格式布置条目的代表图，其中用户浏览数字相册以观看额外代表图。可使用模板创建数字相册。

[0041] 图7图解说明在本发明的实例中的条目的时间线视图。时间线视图700包含用以返回到日历视图500(图5)的返回按钮602、用以改变到相册视图的按钮702及用以改变到拼贴画视图的按钮606。时间线视图700以时间线格式按年代顺序布置代表图，其中用户可使时间线滚动以观看额外代表图。

[0042] 图8图解说明在本发明的实例中的条目的拼贴画视图。拼贴画视图800包含用以返回到日历视图500(图5)的返回按钮602、用以改变到相册视图的按钮702及用以改变到时间线视图的按钮604。拼贴画视图800以拼贴画格式布置代表图。

[0043] 返回参考图2，框212可后续接着框214。

[0044] 在框214中，处理器108可基于用户输入而给相片日记123或另一相片日记中的任何条目添加或删除代表帧。处理器108还可基于用户输入而放大代表帧以供观看。框214可后续接着框216。

[0045] 在框216中，处理器108周期性地重复以上各框以在相片日记123中创建额外条目。

[0046] 图9是在本发明的实例中用以创建完整日记的方法900的流程图。方法200可由执行相片日记创建器122(图1)的代码的处理器108(图1)实施。方法900可在框902中开始。

[0047] 在框902中，处理器108通过基于用户输入或自动地组合两个或两个相册日记而创建完整日记。可通过简单程序来实现组合相册日记。举例来说，如果存在具有针对一特定天的条目的3个日记且每一条目具有20个代表帧，那么完整日记将具有60个代表帧的条目。可通过智能程序来实现组合相册日记。举例来说，可基于成像技术而评估及选择来自待组合的相册日记的代表帧。框902可后续接着框904。

[0048] 在框904中，处理器108呈现具有针对完整日记的相片日记图标的日历视图。框904类似于先前所描述的框212(图2)。处理器108也以相册视图、时间线视图或拼贴画视图呈现完整日记的条目。框904可后续接着框906。

[0049] 在框906中，处理器108可基于用户输入而给完整日记中的任何条目添加或删除代表帧。处理器108还可基于用户输入而放大代表帧以供观看。

[0050] 所揭示实施例的特征的各种其它改动及组合均在本发明的范围内。所附权利要求书涵盖众多实施例。