会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~

修改内容的真实性评估

申请号 CN202180007597.0 申请日 2021-01-04 公开(公告)号 CN114846465A 公开(公告)日 2022-08-02
申请人 迪士尼企业公司; 发明人 M·阿拉纳; E·C·德雷克; M·A·法雷·吉乌; A·M·阿卡尔多;
摘要 一种用于评估 修改 内容的真实性的系统包含计算平台,所述计算平台具有 硬件 处理器和存储 软件 代码的 存储器 ,所述 软件代码 包含神经网络,所述神经网络被训练成评估基于基线数字内容、包括对基线数字内容作出的一个或多个修改所生成的修改内容的真实性。硬件处理器执行软件代码以使用神经网络来接收修改内容并评估对基线数字内容作出的一个或多个修改中的每一个修改的真实性,以分别对应对基线数字内容作出的一个或多个修改生成一个或多个真实性评估。硬件处理器还被配置为执行软件代码,以基于一个或多个真实性评估来生成修改内容的真实性评估,并且输出真实性评估以在显示器上呈现。
权利要求

1.一种系统,包括:
包含硬件处理器和系统存储器的计算平台;
存储在系统存储器中的软件代码,所述软件代码包含神经网络,所述神经网络被训练成用以评估基于基线数字内容、包括对基线数字内容作出的一个或多个修改所生成的修改内容的真实性;
所述硬件处理器被配置为执行软件代码以:
使用神经网络接收修改内容;
使用神经网络评估对基线数字内容作出的一个或多个修改中的每一个修改的真实性,以分别对应于对基线数字内容作出的一个或多个修改生成一个或多个真实性评估;
基于所述一个或多个真实性评估,生成对所述修改内容的真实性评估;以及输出真实性评估以在显示器上呈现。
2.根据权利要求1所述的系统,其中所述神经网络被配置成基于由所述神经网络使用所述一个或多个修改中的每一个修改的一个或多个内在属性,为所述一个或多个修改中的每一个修改生成验证数据,从而评估对所述基线数字内容作出的一个或多个修改中的每一个修改的真实性。
3.根据权利要求2所述的系统,其中,所述一个或多个修改中的每一个修改的验证数据包括所述一个或多个修改中的每一个修改的一个或多个内在属性的散列值。
4.根据权利要求1所述的系统,其中,所述真实性评估包括对所述一个或多个真实性评估进行图形化描述的可视化
5.根据权利要求4所述的系统,其中,所述可视化包括由基于所述一个或多个真实性评估的修改内容组成的热图。
6.根据权利要求1所述的系统,其中,所述硬件处理器被配置为进一步执行所述软件代码,以基于所述一个或多个真实性评估来确定所述修改内容的一个或多个片段的评估置信度得分。
7.根据权利要求6所述的系统,其中,所述真实性评估包括基于所述修改内容的一个或多个片段的评估置信度得分得到的所述修改内容的热图。
8.根据权利要求6所述的系统,其中,所述修改内容的一个或多个片段中的每一个均是基于修改内容的时间码间隔进行分段。
9.根据权利要求6所述的系统,其中,所述修改内容包括视频,并且其中,所述修改内容的一个或多个片段中的每一个包括视频场景、视频镜头或视频之一。
10.根据权利要求6所述的系统,其中,所述修改内容包括音频,并且其中,所述修改内容的一个或多个片段中的每一个包括音轨
11.一种由包括计算平台的系统使用的方法,所述计算平台具有硬件处理器和存储软件代码的系统存储器,所述软件代码包括神经网络,所述神经网络被训练成用以评估基于基线数字内容、包括对基线数字内容作出的一个或多个修改所生成的修改内容的真实性,所述方法包括:
通过由硬件处理器执行的软件代码并使用神经网络接收修改内容;
由硬件处理器执行的软件代码并使用神经网络来评估对基线数字内容作出的一个或多个修改中的每一个修改的真实性,以分别对应于对基线数字内容作出的一个或多个修改生成一个或多个真实性评估;
由硬件处理器执行的软件代码基于一个或多个真实性评估来生成修改内容的真实性评估;以及
由硬件处理器执行的软件代码输出真实性评估以在显示器上呈现。
12.根据权利要求11所述的方法,其中,所述神经网络被配置成基于由所述神经网络使用所述一个或多个修改中的每一个修改的一个或多个内在属性,为所述一个或多个修改中的每一个修改生成验证数据,从而评估对所述基线数字内容作出的一个或多个修改中的每一个修改的真实性。
13.根据权利要求12所述的方法,其中,所述一个或多个修改中的每一个修改的验证数据包括所述一个或多个修改中的每一个修改的一个或多个内在属性的散列值。
14.根据权利要求11所述的方法,其中,所述真实性评估包括对所述一个或多个真实性评估进行图形化描述的可视化。
15.根据权利要求14所述的方法,其中,所述可视化包括由基于一个或多个真实性评估的修改内容组成的热图。
16.根据权利要求11所述的方法,还包括由所述硬件处理器执行的软件代码基于所述一个或多个真实性评估来确定所述修改内容的一个或多个片段的评估置信度得分。
17.根据权利要求16所述的方法,其中,所述真实性评估包括基于所述修改内容的一个或多个片段的评估置信度得分得到的所述修改内容的热图。
18.根据权利要求16所述的方法,其中,根据修改内容的时间码间隔,对修改内容的一个或多个片段中的每一个进行分段。
19.根据权利要求16所述的方法,其中,所述修改内容包括视频,并且其中,所述修改内容的一个或多个片段中的每一个包括视频场景、视频镜头或视频帧之一。
20.根据权利要求16所述的方法,其中,所述修改内容包括音频,并且其中,所述修改内容的一个或多个片段中的每一个包括音轨。

说明书全文

修改内容的真实性评估

[0001] 相关申请的交叉引用
[0002] 本申请与标题为“基于内在属性的内容验证”的美国专利申请16/737,810(律师案卷号为0260635)相关,所述美国专利申请与本申请一同申请,其全部内容通过引用并入本文。

背景技术

[0003] 机器学习的进步使得人们能够对一个人的图像或声音进行逼真但伪造的再现,称为“深度伪造”,这是因为使用了深度人工神经网络进行创作。深度伪造可以在未经被使用图像或声音的人的同意的情况下制作,并可能使被代表的人似乎说了或做了他们实际上没有说过或做过的事情。因此,深度伪造操纵的数字内容可能被恶意用于传播错误信息。
[0004] 由于娱乐和新闻发行中数字内容的广泛流行,对该内容的有效验证和管理对其创作者、所有者和发行者都很重要。然而,随着机器学习解决方案的不断改进,深度伪造是并且将继续是很难被检测到的。因此,在违反合同协议或监管限制的情况下,可能会无意中播放或以其他方式分发被巧妙操纵甚至完全伪造的数字内容,从而使内容所有者和/或分发者面临潜在的法律险。发明内容
[0005] 本文提供了评估修改内容的真实性的系统和方法,大体上被展示和/或被描述在相关的至少一张的附图中,以及在权利要求书中被更全面地阐述。

附图说明

[0006] 图1展示了根据一个实施方式的示例性示意图,其中基线数字内容被一个或多个使用者修改过;
[0007] 图2展示了根据一个实施方式的评估修改内容真实性的示例性系统的示意图;
[0008] 图3展示了根据一个实施方式的软件代码的示例性示意图,其中包含被训练成用以评估修改内容真实性的神经网络(NN);
[0009] 图4展示了根据一个实施方式的流程图,其中呈现了评估修改内容真实性的示例性方法;
[0010] 图5展示了根据一个实施方式的用于评估修改内容的真实性的系统的示例性图形用户界面(GUI)。

具体实施方式

[0011] 以下描述包含关于在本公开中的实施的具体信息。本领域的技术人员会认识到本公开能够以不同于本文具体讨论的方式实施。本申请的附图与附带的详细说明仅针对示例性实施方式。除非另有说明,否则,附图中相同或相应的元素以相同或相应的参考数字标识。而且,在本申请中的图示和附图一般都不成比例,也不旨在对应于实际的相对尺寸。
[0012] 本申请公开了评估修改内容的真实性的系统和方法,所述系统和方法克服了在传统技术中的缺点和不足。在数字内容的原始或“基线(baseline)”版本,通过使用已训练的神经网络去评估一个或多个数字内容修改的真实性,本申请公开了允许对修改内容进行细致评估的巧妙的验证解决方案,该方案改进了现有技术。此外,通过基于对下层的基线数字内容作出的一个或多个修改的内在属性生成用于评估修改内容的验证数据,本解决方案方便地利用每个修改的特征来评估其真实性。
[0013] 值得注意的是,在一些实施方式中,所述内容验证解决方案能够被基本自动化系统作为基本自动化过程被执行。值得注意的是,本申请中使用的术语“自动化”“自动化的”“使自动化”指的是不需要人类用户(例如系统管理员)参与的系统和过程。然而,在一些实施方式中,人类的系统操作员或管理员可能会收到所述自动化系统生成的验证确认信息,根据本文描述的自动化方法,人类的参与是可选择的。因此,本申请所描述的方法能够在已公开的自动化系统的硬件处理组件的控制下执行。
[0014] 图1展示了在根据一个实施方式的示范用例中的图示100,在图示100中基线数字内容122被用户102b在被授权的修改过程中修改,以及能够被用户102c以能被授权或不能被授权的修改过程作进一步修改。图1包含了使用装置110a的用户102a、使用装置110b的用户102b、使用装置110c的用户102c以及使用装置110d的用户102d。图1同样展示了修改内容120a,以及进一步的修改内容102b的实例。值得注意的是,本申请中定义的“修改内容”指的是基线数字内容122,所述基线数字内容122在被创造出来后经过一次或多次的修改。此外,本文定义的“真实内容”既可以指代没有做过修改的基线数字内容,也可以指代只包含被内容的授权用户(例如内容的创造者或被授权为基线数字内容作出修改的用户)修改引入的修改内容。
[0015] 值得注意的是,基线数字内容122能够像这样使用任何合适的方法被决定,包括但不限于标题为“基于内在属性的内容验证”美国专利申请16/737,810所描述的方法,如上所述,所述美国专利申请通过整体引用被并入本文。为了本申请的目的,包含在修改内容120a中的基线数字内容和/或进一步修改内容120b正是指其中标记或描述的内容。
[0016] 根据图1所示的实施方式,用户102b能够接收来自用户102a的基线数字内容122。例如,用户102b能够接收来自被用户102a控制的装置110a的基线数字内容122。用户102a是基线数字内容122的创造者或基线数字内容122的被授权的供应者。用户102a能够使用例如一个或多个麦克风,和/或一个或多个深度传感器,和/或一个或多个摄像机,和/或一个或多个整合了装置110a以生成基线数字内容122的静止图像照相机。在多个实施方式中,基线数字内容122可以是没有音频的视频内容、没有视频的音频内容、或是电影的视频音频内容、情景电视(TV)内容,举几个例子,所述情景电视可能包含网剧和/或视频日志、运动内容、新闻内容或电子游戏内容。或者,在一些实施方式中,基线数字内容122能够表现为数码照片的形式。
[0017] 值得注意的是,叙述中装置100a作为摄像机,装置110b作为智能手机,装置110c作为手提电脑,以及装置110d作为台式电脑,仅仅是示范的。在多个其他实施方式中,装置110a、110b、110c和110d(以下简称“装置110a‑110d”)中的一个或多个可以表现为平板电脑、游戏控制台、智能电视(智能TV),或者可穿戴的通信装置的形式。而且,当作为可穿戴通信装置实施时,装置100a‑100d能够表现为增强现实(AR)或虚拟现实(VR)机或眼镜、智能手表、智能指环,或其他任何被用户102a、102b、102c或102d(以下简称“用户102a‑102d”)携带的智能个人物品的形式,或者位于用户102a‑102d穿着的衣物里面或上面。
[0018] 如图1所示,用户102b使用装置110b去接收被用户102a控制的装置110a的基线数字内容122,以及能够使用装置110b去修改基线数字内容122以产生修改内容120a。根据图1所示的示范实施,对基线数字内容122的修改是被授权的修改。在一些实施方式中,如图1所示,装置102b和装置110b对基线数字内容122所做的修改致使描述被授权的修改的编辑数据121a被传输到安全事务总账101存储,以及用在之后对修改内容120a的验证中。值得注意的是,在多个实施方式中,安全事务总账101能够表现为公共或私有的安全事务总账的形式。举几个例子来说,所述安全事务总账的实例能够包含链、哈希图、有向非循环图(DAG)和Holochain总账等。
[0019] 如图1进一步所示,用户102c能够使用装置110c接收来自装置110b的修改内容120a,以及能够使用装置110c进一步修改修改内容120a以产生进一步修改内容120b。在一些实施方式中,用户102c对修改内容120a的进一步修改是被授权的,描述所述被授权的进一步修改的编辑数据121b同样被传输到安全事务总账101存储,以及用在之后对修改内容
120b的验证中。然而,当修改内容120a的进一步修改没有被授权,编辑数据121b不会生成,也不会存储到到安全事务总账101中。
[0020] 尽管图1所示的实施方式描述了用户102b对基线数字内容122作了被授权的修改,然后转发修改数据120a给用户102c,所述用例仅仅是示范的。在另一些例子中,用户102c能够直接接收来自用户102a的基线数字内容122,如直接连接装置110a和110c的虚线111所示。也就是说,在一些实施方式中,基线数字内容122在经过用户102c的未授权修改之前可能没有经过用户102b的授权修改。
[0021] 基线数字内容122的修改和修改内容120a能够通过使用一个或多个内容处理应用去执行,例如存储在装置110b和110c中的如音频和/或视频记录或编辑应用。基线数字内容122的修改或修改内容120a的进一步修改可以包含对基线数字内容122和/或修改内容120a中的音频内容和/或视频内容的一个或多个片段的修改。基线数字内容122的修改或修改内容120a可以仅包含对视频内容的修改、对音频内容的修改、对沉浸式内容(例如用虚拟现实应用的深点)的修改,或者包括对音频、视频和沉浸式内容的任意组合的修改。
[0022] 当所述修改对基线数字内容122的视频内容或修改内容120a进行修改时,所述修改可以包含改变一个或多个视频的图像属性(例如,对比度亮度等等)、删除一个或多个视频帧、插入一个或多个视频帧、移除一个或多个视频帧中的对象、插入对象到一个或多个视频帧中、改变一个或多个视频帧的颜色、或者为一个或多个视频帧添加元数据中的一个或多个。类似地,当所述修改对数码图片形式的基线数字内容122进行修改时,所述修改可以包含改变数码图片的图像属性(例如,对比度、亮度等等)、移除数码图片中的对象、插入对象到数码图片中、改变数码图片的颜色、或者为数码图片添加元数据中的一个或多个。
[0023] 当基线数字内容122的修改或修改内容120a修改基线数字内容122或修改内容120a的音频内容,所述修改可以包含删除原始音频内容的一部分和/或插入额外的音频内容,所述额外音频内容例如是音乐或语音。可选地,对基线数字内容122或修改内容120a的音频内容进行的操作可以包含混合音轨、改变一个或多个音轨的音频音量或者为一个或多个音轨添加元数据。当基线数字内容122的修改或修改内容120a修改沉浸式内容,例如装置
110a用虚拟现实应用捕捉的深点云,例如,修改可以包含删除一部分深点云。
[0024] 根据图1展示的实施方式,用户102d用装置110d去接收来自装置110b的修改内容120a(由用户102b产生),或来自装置110c的进一步的修改内容120b(如果由用户102c产生)。然而,缺乏对基线数字内容122的修改,或对基线数字内容120a的进一步修改的真实性进行评估的健全解决方案,用户102d无法保证修改内容120a或进一步的修改内容120b仅包含对基线数字内容122的授权修改。因此,由于缺乏对修改内容真实性评估的健全解决方案而产生的不确定性可能会阻碍真实内容的供应、消费和乐趣,这是不被人们所期望的。
[0025] 图2展示了根据一个实施方式的用于评估修改内容真实性的示例性系统230的示意图。如下所述,系统230能够通过使用可在局域网(LAN)访问的计算机服务器来实施,或能够实施为基于云的系统。而且,如图2所示,系统230包括具有硬件处理器234的计算平台232,以及实施为非暂时性存储装置的系统存储器236。根据本示例性实施方式,系统存储器
236存储提供图形用户界面(GUI)238的软件代码240,所述图形用户界面238包含被配置为评估修改内容220真实性的真实性评估270。如图2进一步所示,修改内容220包含基线数字内容222、用于基线数字内容222的验证数据224以及对基线数字内容222的修改226。根据图
2展示的示例性实施方式,对基线数字内容222的修改226包括具有验证数据228的修改
226a,以及缺少所述验证数据的修改226b。
[0026] 根据一些实施方式,修改226a和修改226b中的每一个都可以代表对修改内容220中的基线内容222所做的所有修改。也就是说,修改226a可以对应具有验证数据228的所有修改,而修改226b可以对应缺少验证数据的所有修改。然而,在其他实施方式中,每个对基线内容222的个别修改,例如棕褐色过滤器或其他颜色变化的应用、亮度的变化等,都能够被存储为单独的修改。
[0027] 例如,对基线内容222的每个修改可以单独存储,并且能够在分发或回放时绑定在一起。例如,在一个实施方式中,编辑应用可以被配置成生成“反向图形处理软件文档(.psd)文件”时呈现修改的内容,其中此“反向.psd文件”具有执行变换的指令,所述变换在呈现时否定应用于基线内容222的所有变更,从而使包含在修改内容220中的基线内容222能够无损保存。在一个实施方式中,可交换图像文件格式(EXIF)标签的扩展可用于记录修改。编辑应用程序可以被配置成嵌入“反向.psd文件”,使得接收修改内容220的另一用户可以选择提取它并执行它以重新生成基线内容222。在另一实施方式中,编辑应用可被配置成确定基线内容222是否已被导入。如果已被导入,该应用可以分别导出基线内容222以及修改226a和226b。
[0028] 同样如图2所示,系统230在包含安全事务总账201、包括显示器212的装置210d以及使用装置210d的用户202d的使用环境中实施。值得注意的是,通信网络204和网络通信链路206将系统230通信地连接到装置210d,并且可选地,可以将系统230连接到安全事务总账201,以便使系统230能够从装置210d接收修改内容220,并且输出真实性评估270以在装置
210d的显示器212上呈现。
[0029] 包含基线数字内容222的修改内容220通常对应于修改内容120a和进一步修改内容120b中的任一者或两者,这两者都包含基线数字内容122。结果,基础数字内容222和修改内容220能够共享本公开归属于基础数字内容122以及修改内容120a和进一步的修改内容120b中的任一个或两个中相应的任何特征,反之亦然。
[0030] 此外,用户202d、包含显示器212的装置210d和安全事务总账201通常分别对应于图1中的用户102d、装置110d和安全事务总账101。结果,用户202d、装置210d和安全事务总账201能够共享本公开归属于用户102d、装置110d和安全事务总账101中相应的任何特征,反之亦然。也就是说,尽管装置210d在图2中被展示为台式计算机,该展示仅作为实例提供。更一般地,装置210d能够是任何合适的移动或固定式计算装置或系统,所述计算装置或系统实施足以提供用户界面、支持到通信网络204的连接、以及实施装置210d的功能的数据处理
[0031] 值得注意的是,在各种实施方式中,显示器212可以与装置210d物理集成,或者可以通信地连接到装置210d但与装置210d物理分离。例如,在装置210d被实施为智能手机、手提电脑或平板电脑的情况下,显示器212通常将与装置210d集成在一起。相比之下,在装置210d被实施为台式计算机的情况下,显示器212可以采取与计算机塔形式的装置210d分离的监视器形式。更值得注意的是,显示器212可被实施为液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或执行信号到光的物理转换的任何其他合适的显示屏。
[0032] 关于系统230,尽管本申请为了概念清晰,引用存储在系统存储器236中的软件代码240,但是更一般地,系统存储器236能够采取任何计算机可读非暂时性存储介质的形式。本申请中使用的表述“计算机可读非暂时性存储介质”指代任何介质,除了向计算平台232的硬件处理器234提供指令的载波或其他暂时性信号。因此,计算机可读非暂时性介质可以对应于各种类型的介质,例如易失性介质和非易失性介质。易失性介质可以包含动态存储器,例如动态随机存取存储器(动态RAM),而非易失性存储器可以包含光、磁或静电存储装置。计算机可读非暂时性介质的常见形式包含例如光盘、RAM、可编程只读存储器(PROM)、可擦除PROM(EPROM)和闪存。
[0033] 还应注意的是,尽管图2将软件代码240描述为整体存储在系统存储器236中,但这种表示也仅仅是为了概念清晰而提供的。更一般地,系统230可以包含一个或多个计算平台232,例如多个计算机服务器,它们能够位于同一位置,或者能够形成呈交互链接但分布式的系统,例如基于云的系统。
[0034] 结果,硬件处理器234和系统存储器236对应于系统230内的分布式处理器和存储器资源。因此,应该理解,软件代码240的各种特征,例如下面参考图3描述的一个或多个特征,能够使用系统230的分布式存储器和/或处理器资源来存储和/或执行。
[0035] 根据图2所示的实施方式,用户202d能够利用装置210d通过通信网络204与系统230交互,以评估修改内容220的真实性。在所述实施方式中,计算平台232可以对应一个或多个网络服务器,例如,可以通过诸如因特网的分组交换网络来访问。或者,计算平台232可以对应于支持广域网(WAN)、局域网(LAN)或包含在另一种类型的有限分布或专用网络中的一个或多个计算机服务器。
[0036] 图3展示了根据一个实施方式的软件代码340的示例性示意图,该软件代码340包含神经网络342,该神经网络342被训练来评估基于图1和图2中的基线数字内容122/222生成的修改内容120a/120b/220、和对基线数字内容122/222作出的一个或多个修改226的真实性。值得注意的是,如本申请中所定义的,人工神经网络,也简称为“神经网络”(下文中称为“NN”),是一种机器学习框架,其中使用映射输入和输出之间关系的高度连接的计算层来处理观察数据的模式或习得表征。
[0037] 在深度学习的上下文中,“深度神经网络”可以指在输入层输出层之间利用多个隐藏层的神经网络,这能够允许基于未在原始数据中明确定义的特征进行学习。因此,各种形式的神经网络,包括但不限于深度神经网络,可用于基于过去的例子或“训练数据”对新数据进行预测。在各种实施方式中,可以利用神经网络来执行图像分析和/或自然语言分析。值得注意的是,训练数据可以是存档数据,或者是例如先前由用户102a或102b之一创建或修改的内容,并且已经验证了该内容创建或修改的真实性。在那些使用情况下,神经网络能够学习用户的创作或编辑倾向,例如每个用户通常用来创建或修改内容的装置和/或应用,例如由嵌入或以其他方式包含在包含内容的数据文件中的元数据来标识。来自那些已习得的倾向的实质性偏离可用于将内容或对内容的修改标记为可疑。
[0038] 如图3所示,除了神经网络342之外,软件代码340包含评估模块346,且可以包含可选的评分模块344。如图3进一步所示,软件代码340的神经网络342被配置为接收修改内容320作为输入,并提供一个或多个真实性评估352a和/或352b作为输出。在一些实施方式中,评估模块346能够被配置为基于真实性评估352a和/或真实性评估352b生成真实性评估
370。
[0039] 然而,在软件代码340包含评分模块344的实施方式中,神经网络342还能够向评分模块344输出真实性评估352a和/或真实性评估352b,评分模块344又能够向评估模块346提供分别对应于真实性评估352a和真实性评估352b的评估置信度得分354a和评估置信度得分354b中的一个或多个。在那些实施方式中,评估模块346能够被配置为基于评估置信度得分354a和/或评估置信度得分354b以及真实性评估352a和/或真实性评估352b来生成真实性评估370。
[0040] 修改内容320通常对应图2中的修改内容220,以及图1中的修改内容120a和进一步的修改内容120b中的一个或两个,而真实性评估370通常对应图2中的真实性评估270。所以,真实性评估370能够共享本公开归属于真实性评估270中的任何特征,反之亦然。而且,修改内容320能够共享本公开归属于修改内容220、修改内容120a或进一步的修改内容120b中的任何特征,反之亦然。也就是说,与修改内容220一样,修改内容320能够包含基线数字内容222、用于基线数字内容222的验证数据224、对基线数字内容222作出的具有验证数据228的修改226a、以及对基线数字内容222作出的缺少所述验证数据的修改226b。
[0041] 此外,软件代码340通常对应软件代码240,并且在本公开中对应的特征能够任意共享。因此,与软件代码340一样,软件代码240能够包含与神经网络342对应的神经网络,以及分别对应于评估模块346和在一些实施方式中可选的评分模块344的多个特征。
[0042] 将结合图2、图3和图5并参考图4进一步描述软件代码240/340的功能。图4展示了根据一个实施方式的呈现用于评估修改内容的真实性的示范方法的流程图460。关于图4中概述的方法,值得注意的是,某些细节和特征已经从流程图460中省略,以免模糊本申请中对发明特征的讨论。
[0043] 图5展示了根据一个实施方式的由系统230的软件代码240/340提供的示例性图形用户界面538。如图5所示,示例性图形用户界面538提供真实性评估570以识别基线数字内容522,并包含修改窗格572和可选的表现为修改内容520的示范热图形式的可视化574。然而,在其他实施方式中,可选的可视化574可以采取表格、列表、徽章或图标等形式,以区分基线数字内容的未修改部分和基线数字内容的修改。如图5进一步所示,修改窗格572识别基线数字内容522的修改526a和526b,以及至少分别对应于修改526a和526b的真实性评估552a和552b。在图5的示例性实施方式中,示出的修改窗格572也包括基于各自的真实性评估552a和552b得到的评估置信度得分554a和554b。
[0044] 真实性评估570通常对应图2和图3的真实性评估270/370,而图形用户界面538通常对应图2中的图形用户界面238。也就是说,图形用户界面238和真实性评估270/370能够共享本公开归属于相应的图形用户界面538和真实性评估570中的任何特征,反之亦然。因此,尽管图2和图3没有展示,真实性评估270/370可以识别基线数字内容222/522,并且可以具有分别对应于修改窗格572和可选的可视化574的多个特征。
[0045] 基线数字内容522通常对应图1和图2的基线数字内容122/222。因此,基线数字内容522能够共享本公开归属于基线数字内容122/222中的任何特征,反之亦然。而且,修改内容520通常对应图2和图3的修改内容220/320,以及图1的修改内容120a和进一步的修改内容120b中的任一个或两者。因此,修改内容520能够共享本公开归属于修改内容220/320、修改内容120a或进一步的修改内容120b中的任何特征,反之亦然。也就是说,与修改内容220一样,修改内容520可以包含基线数字内容222/522、用于基线数字内容222/522的验证数据224、对基线数字内容222/522作出的具有验证数据228的修改226a/526a,以及对基线数字内容222/522作出的缺少所述验证数据的修改226b/526b。
[0046] 需要强调的是,图2、图3和图5将修改内容220/320/520表示为包含对基线数字内容222/522的两个修改,即修改226a/526a和226b/526b,这仅仅是为了概念清晰。在一些实施方式中,修改内容220/320/520可以包含对基线数字内容222/522的单个修改,而在其他实施方式中,修改内容220/320/520可以包含对基线数字内容222/522的多于两个的修改。
[0047] 根据本示例性实施方式,修改226a/526a和226b/526b中的每一个修改的真实性是评估的主题,并导致产生了真实性评估270/370/570。在一些实施方式中,如图5所示,真实性评估270/370/570包含可视化574,以图表形式描述了对基线数字内容222/522的相应修改226a/526a和226b/526b的真实性评估352a/552a和352b/552b。例如,如图5进一步所示,在一些实施方式中,可视化574可以基于验证评估352a/552a和/或验证评估352b/552b,采取修改内容220/320/520的热图的形式。
[0048] 在一些实施方式中,真实性评估270/370/570可以进一步包含基于真实性评估352a/552a确定的评估置信度得分354a/554a和/或基于真实性评估352b/552b确定的评估置信度得分354b/554b。在上述实施方式中,可视化574可以基于评估置信度得分354a/554a和/或评估置信度得分354b/554b采取修改内容220/320/520的热图的形式。
[0049] 参考示例性的热图可视化574,修改内容520被分成片段580a、580b、580c、580d、580e和580f(以下称为“片段580a‑580f”),布置成沿着平x轴按顺序排列,其与修改内容
520的时间码576一致。除了片段580a‑580f之外,热图可视化574包含相应的真实性评估
552a和552b的修改526a和526b。也就是说,在图3中,基线数字内容522的片段580a在修改内容520中被修改526a所修改,并且展示了由软件代码340的神经网络342确定的修改526a的真实性评估552a的可视化描述。此外,基线数字内容522的片段580d和580e在修改内容520中被修改526b所修改,并且展示了由软件代码340的神经网络342确定的修改526b的真实性评估552b的可视化描述。
[0050] 值得注意的是,尽管热图可视化574包含时间码576,该表示仅仅是示范的,并且特别地,可以涉及其中的基线内容522或修改内容520采取视频片段或音频轨道形式的用例。在基线内容522或修改内容520采取省略时间码576的数码照片的形式的实施方式中,热图可视化574能够用于根据数码照片内的区域已被修改的可能性来突出显示这些区域。关于数码照片的特定区域已被修改的可能性的确定,可以基于与被相同的用户、装置或用于创建基线内容522的应用创建的其他图像相比的变化来确定,或者根据与在与基线内容522相同的位置和/或时间创建的其他图像相比的变化来确定。
[0051] 还应注意的是,将修改内容520分割成片段580a‑580f,可以作为修改内容520的真实性评估的一部分发生,或者由于基线内容522自身性质而自然地发生。例如,当基线内容522包括视频片段,所述视频片段包括在创建基线内容522期间生成的时间码576,可以使用相同的原始时间码576对修改内容520强行分段,从而可以在基线内容522和修改内容520之间比较包含在时间码增量或分段中的内容。或者,当评估修改内容520的真实性时,可以对基线内容522和修改内容520强行施加全新的分割方案,例如根据时间码间隔或帧序列。此外,在一些实施方式中,在修改内容520的评估期间,可以应用一个以上的分割方案。
[0052] 根据图5所示的示范实施方式,热图可视化574同时展示了修改内容520中已被修改的基线数字内容的所有片段,以便于比较它们各自的真实性评估。然而,在其他实施方式中,同时显示修改内容520中包括的所有片段或少于所有的片段都可能是有利的或期望的。例如,在各种实施方式中,可视化574可以显示修改内容520的所有片段、仅已被修改的片段、仅包括或不包括验证评估的修改的片段、用户选择的片段等等。
[0053] 值得注意的是,每个片段580a‑580f能够通过其在图5中的填充图案或暗度在视觉上进行区分。在一些实施方式中,颜色、色调或没有颜色(而不是填充图案或暗度),也能够用于在片段580a‑580f之间进行视觉区分。也就是说,例如,修改内容520的基本上无色或“白色”的片段580b、580c和580f相对于它们在基线数字内容522中的对应片段可以不变。再次仅作为实例,包含对基线数字内容522的经验证的修改526a的修改内容520的片段580a能够用诸如绿色之类的颜色来描述,指示广播或分发是安全的。相比之下,仍仅作为实例,包含基线数字内容522的未经验证的修改526b的修改内容520的片段580d和580e能够用诸如红色的颜色来描述,以发出警告信号。
[0054] 还应注意的是,尽管在一些实施方式中,经修改的片段580a、580d和580e能够被着色以对应于它们各自的真实性评估,但在其他实施方式中,基于所述片段与基线数字内容522的相应片段相比被改变的程度来对修改片段580a、580d和580e着色可能是有利的或期望的。在所述实施方式中,例如,修改内容520的未修改片段可以被着色为绿色,轻度修改的片段可以被着色为黄色,而重度修改的片段或经历了多层修改的片段可以被着色为红色。
[0055] 在一些实施方式中,不同的权重能够被分配给不同类型的修改。例如,与亮度变化或绿屏视觉效果相比,高宽比变化和压缩不太可能是恶意或未经授权的修改的结果。因此,轻度修改的片段可以基于其包括单个低风险类型的修改而被识别,而重度修改的片段可以基于多个修改和/或单个高风险修改而被识别。
[0056] 例如,每个片段580a‑580f可以是修改内容520的时间码间隔。也就是说,在一些实施方式中,可以基于修改内容520的时间码576来分割修改内容520。或者,片段580a‑580f可以是适合于基线数字内容522和修改内容520的性质的任何其他预定内容片段。例如,在基线数字内容522和修改内容520包含音频的情况下,片段580a‑580f可以各自采取修改内容520的音频轨道的形式。在基线数字内容522和修改内容520包含视频的情况下,修改内容
520的片段580a‑580f可以对应一个或多个视频帧、一个或多个视频“镜头”或一个或多个视频场景。
[0057] 值得注意的是,如在本申请中所使用的,“镜头”指的是从独特的摄像机视捕捉的视频帧序列,没有剪切和/或其他电影过渡。因此,在各种实施方式中,修改内容520的片段580a‑580f中的每一个可以对应单个视频帧、包含多个单独视频帧的单个视频镜头、或者包括多个镜头的一个或多个场景。
[0058] 在软件代码240/340包括评分模块344的实施方式中,热图可视化574还可以展示基于真实性评估552a的评估置信度得分554a和基于真实性评估552b的评估置信度得分554b。评估置信度得分554a和554b可以用数字表示,例如范围从0(无置信度)到100(极大的置信度)的数字。在图5的实例中,评估置信度得分554a用数字表示为90,而评估置信度得分
554b用数字表示为80。在另一个例子中,评估置信度得分554a和554b可以用图形表示,例如,通过具有不同宽度或高度的条。在图5的实例中,评估置信度得分554a由第一条图形表示,而评估置信度得分554b由第二条图形表示,其中第一条比第二条具有更高的高度,因为与评估置信度得分554b相比,与评估置信度得分554a相关联的置信度水平更高。评估置信度得分554a、554b可以以一种或多种方式表达(例如,仅用数字、仅用图形、仅用文本或其组合)。
[0059] 而且,在一些实施方式中,评估置信度得分554a和554b报告了相应真实性评估552a和552b的预估准确度。例如,在修改526a包含验证数据228的情况下,修改526a可以被评估为可信的,并且所述评估可以具有高评估置信度得分554a。然而,尽管修改526b被评估为可能不真实,但是由于修改526b缺少对应验证数据228的验证数据,或者由于其未被验证,修改526b的真实性的低评估仍然可以具有相对高的评估置信度得分554b。
[0060] 结合图2和图3并参考图4,流程图460开始于使用神经网络342接收基于基线数字内容222、包括基于基线数字内容222作出的一个或多个修改226a和/或226b生成的修改内容220/320(步骤462)。如图2所示,可以经由通信网络204和网络通信链路206从装置210d接收修改内容220。步骤462可以由系统230的软件代码240/340执行,由硬件处理器234执行,并使用神经网络342。
[0061] 继续流程图460,在步骤464,使用神经网络342对基线数字内容222作出的一个或多个修改226a和/或226b中的每一个评估其真实性,以分别对应于对基线数字内容222作出的一个或多个修改226a和/或226b生成一个或多个真实性评估352a和/或352b。为了概念清晰,将参考特定用例进一步描述流程图460概述的步骤,在所述用例中修改内容220/320包含对基线数字内容222的修改226a和226b。然而,值得注意的是,在其他用例中,修改内容220/320可以包含修改226a或226b中之一,或者是不止于修改226a和226b的更多个修改。
[0062] 步骤464可以由硬件处理器234执行的软件代码240/340以多种不同的方式使用神经网络342来执行。例如,参考图1、图2和图3,在使用安全事务总账101/201跟踪对基线数字内容122/222的授权修改的实施方式中,可以通过从安全事务总账101/201获得基线数字内容122/222的授权修改历史,并将所述授权修改历史与修改内容120a/120b/220/320中包含的修改226a和226b进行比较来执行步骤464。值得注意的是,在一些实施方式中,基线内容122/222的授权修改历史可以通过将基线内容122/222与修改内容120a进行比较,然后将进一步的修改内容120b与修改内容120a和/或基线内容122进行比较来获得。
[0063] 例如,在一个用例中,用户102b可以是基线数字内容122/222的授权编辑者,并且可以为此目的被分配私钥,尽管用户102c可能未被授权修改基线数字内容122/222。在所述用例中,每当持有私钥的用户102b修改基线数字内容122/222时,安全事务总账101/201就通过编辑数据121a进行更新。在一些实施方式中,没有私钥的用户,例如用户102c,可能无法接收或编辑内容122或修改内容120a,由此防止过早的公开或篡改。在制作之后,安全事务总账101可以由主管或通过用户102a和/或用户102b持有的撤销密钥来最终完成。对修改226a和226b的真实性的评估预先假定了将基线数字内容122/222的已修改部分和未修改部分区分开的能力。例如,结合图1、图2、图3和图4并参考图5,步骤464可以包含使用神经网络
342来区分修改内容120a/120b/220/320/520的修改片段580a、580d和580e与基线片段
580b、580c和580f。在一些实施方式中,可以基于基线数字内容122/222/522的内在属性,例如在每个片段的基础上,使用基线数字内容122/222/522的验证数据224来进行所述区分。
[0064] 验证数据224所基于的基线数字内容122/222/522的内在属性可以包含基线数字内容122/222/522本身的每个片段中包含的内容,以及每个片段的具体特征。参考基线片段580b、580c和580f,这些未修改的基线片段中的每一个都可以基于例如每一个包含的数据量(以字节为单位)和/或其数据格式来标识。替代地或附加地,验证数据224所基于的基线片段580b、580c和580f的内在属性可以包含元数据,其中该元数据可以是标识着用于产生每一个基线片段580b、580c和580f的装置110a的装置标识(装置ID)、用于产生基线片段
580b、580c和580f的数字内容制作软件的软件应用标识(应用ID)和/或装置110a的用户
102a的标识。此外,在一些实施方式中,验证数据224所基于的基线片段580b、580c和580f的内在属性可以包含元数据,其中该元数据标识出每一个基线片段580b、580c和580f的生产日期、它们各自的生产时间,和/或在生产每一个基线片段580b、580c和580f时装置110a的位置,例如基于由装置110a的一个或多个方位/位置传感器(图1中未展示装置110a的方位/位置传感器)记录的数据。
[0065] 包含基线片段580b、580c和580f中的每一个在内的上述任何或所有内在属性能够使用任何合适的加密散列函数进行散列,例如安全散列标签算法(SHA)散列函数族(例如SHA‑0、SHA‑1、SHA‑2或SHA‑3)中的一个。因此,验证数据224包含基线片段580b、580c和580f中的每一个的散列值,以及所述基线片段580b、580c和580f的一些、全部附加内在属性,或不包括任何附加内在属性。在一些实施方式中,验证数据224可以被附加到基线数字内容122/222/522。例如,如本领域中已知的,验证数据224可以如本领域已知的作为“附接盒(sidecar)”被附加到基线数字内容122/222/522。然而,在其他实施方式中,将验证数据224嵌入基线数字内容122/222/522中可能是有利的或期望的。
[0066] 然后,通过为每个片段生成验证数据并将该验证数据与每个片段的验证数据224进行比较,能够将修改片段580a、580d和580e与未修改的基线片段580b、580c和580f区分开。例如,在验证数据224包含基线数字内容122/222/522的每个片段的散列值的实施方式中,每个片段580a‑580f的验证数据能够通过利用与用于生成验证数据224相同的加密散列函数散列每个片段来生成。以这种方式为基线片段580b、580c和580f生成的验证数据将匹配这些片段的验证数据224,而为修改片段580a、580d和580e生成的验证数据将不匹配修改片段580a、580d和580e的验证数据224,从而将修改片段580a、580d和580e识别为修改内容。
[0067] 对修改226a/526a和226b/526b中的每一个修改的真实性的评估可以以类似于上述用于将修改片段580a、580d和580e与基线片段580b、580c和580f区分开的方式来执行。例如,参考由授权用户102b使用装置110b对基线数字内容122/222/522做出的授权修改226a/526a,基于修改226a/526a的内在属性并使用修改226a/526a的验证数据228能够评估修改
226a/526a的真实性。
[0068] 验证数据228所基于的修改226a/526a的内在属性可以包含修改226a/526a本身所包含的内容,以及修改226a/526a的具体特征,例如修改226a/526a的数据大小和/或其数据格式。替代地或附加地,验证数据228所基于的修改226a/526a的内在属性可以包含元数据,其中该元数据标识着用于产生修改226a/526a的装置110b的装置ID、用于产生修改226a/526a的编辑软件的应用ID和/或装置110b的用户102b的身份。此外,在一些实施中,验证数据228所基于的修改226a/526a的内在属性可以包含元数据,其中该元数据标识着修改
226a/526a的制作日期、制作时间和/或制作时装置110b的位置,例如基于由装置110b的一个或多个位置/方位传感器(图1中未展示装置110a的方位/位置传感器)记录的数据。
[0069] 上述任何或所有内在属性,包含修改226a/526a,可以使用任何合适的加密散列函数进行散列,例如上述SHA散列函数族之一。因此,验证数据228包含修改226a/526a的散列值以及上述修改226a/526a的一些、全部附加的内在属性,或者不包括任何附加的内在属性。在一些实施方式中,验证数据228可以作为“附接盒”被附加到修改226a/526a。然而,在其他实施方式中,在修改226a/526a中嵌入验证数据228可能是有利的或期望的。在修改226a/526a中嵌入验证数据228可以有利地避免从修改226a/526a中剥离验证数据228。
[0070] 然后可以通过使用神经网络342来评估修改226a/526a的真实性,以使用上述修改226a/526a的一个或多个内在属性来生成修改226a/526a的验证数据,并将该验证数据与修改226a/526a的验证数据228进行比较。例如,在验证数据228包含修改226a/526a的散列值的实施中,修改226a/526a的验证数据可以通过利用用于生成验证数据228的相同的加密散列函数散列修改226a/526a来生成。也就是说,修改226a/526a的验证数据包含修改226a/
526a的一个或多个内在属性的散列值。以这种方式为修改226a/526a生成的验证数据将匹配修改226a/526a的验证数据228,从而将修改226a/526a识别为可能真实的。相反,缺少对应于真实修改226a/526a的验证数据228的验证数据的修改226b/526b在所述评估过程中将保持未验证。
[0071] 步骤464导致神经网络342产生对应于修改226a/526a的真实性评估352a/552a和/或产生对应于修改226b/526b的真实性评估352b/552b。如上所述,真实性评估352a/552a能够将修改226a/526a识别为授权用户102b对基线数字内容122/222/522的真实修改。相比之下,真实性评估352b/552b能够将修改226b/526b识别为未经验证,因此很可能是不真实的。
[0072] 继续流程图460,在步骤466,基于真实性评估352a/552a和/或真实性评估352b/552b生成修改内容120a/120b/220/320/520的真实性评估270/370/570。如上所述,在一些实施方式中,软件代码240/340可以省略评分模块344。如图3所示,神经网络342被配置成直接向评估模块346输出真实性评估352a和/或真实性评估352b。因此,在一些实施方式中,硬件处理器234可以执行软件代码240/340,使用评估模块346,基于真实性评估352a/552a和/或真实性评估352b/552b来生成修改内容120a/120b/220/320/520的真实性评估270/370/
570。
[0073] 然而,在软件代码240/340包含评分模块344的实施方式中,硬件处理器234可以执行软件代码240/340来确定修改内容120a/120b/220/320/520的片段580a的评估置信度得分354a/554a,和/或确定修改内容120a/120b/220/320/520的片段580d和580e的评估置信度得分354b/554b。如上所述,评估置信度得分354a/554a和354b/554b报告了相应真实性评估352a/552a和352a/552b的预估准确度。例如,如上文进一步讨论的,在修改226a/526a基于验证数据228被评估为真实的情况下,该评估可以具有高评估置信度得分354a/554a。此外,尽管修改226b/526b被评估为可能不真实,但是由于修改226b/526b缺少对应验证数据228的验证数据或者未被验证,修改226b/526b的真实性的低评估仍然可以具有相对高的评估置信度得分354b/554b。
[0074] 在其中,确定评估置信度得分354a/554a和/或评估置信度得分354b/554b的实施方式中,可以使用评估模块346基于评估置信度得分354a/554a和/或评估置信度得分354b/554b以及相应的真实性评估352a/552a和/或真实性评估352b/552b来生成修改内容120a/
120b/220/320/520的真实性评估270/370。
[0075] 流程图460示范的方法以步骤468结束:输出修改内容120a/120b/220/320/520的真实性评估270/370/570以呈现在显示器上。例如,如图2所示,在一些实施方式中,修改内容120a/120b/220/320/520的真实性评估270/370/570可以经由通信网络204和网络通信链路206被传输到装置210d,用于在显示器212上呈现。值得注意的是,在一些实施方式中,硬件处理器234可以执行软件代码240/340,以在可以省略人工参与的自动化过程中执行步骤462、464、466和468。
[0076] 因此,本申请公开了用于评估修改内容的真实性的系统和方法,其克服了传统技术中的缺点和不足。通过使用经过训练的神经网络来评估对原始或“基线”版本的数字内容作出的一个或多个修改的真实性。本申请公开了一种巧妙的验证解决方案,使得能够对修改内容进行细致的评估。此外,通过基于对下层的基线数字内容作出的一个或多个修改的内在属性生成用于评估修改内容的验证数据,本解决方案方便地利用每个修改的特征来评估其真实性。
[0077] 根据上述描述,很明显,在不脱离本申请中描述的概念的范围的情况下,可以使用各种技术来实施这些概念。此外,尽管已具体参考某些实施方式描述了这些概念,但是本领域普通技术人员将认识到,在不脱离这些概念的范围的情况下,可以在形式和细节上进行改变。照此而言,所描述的实施在所有方面都被认为是说明性的而非限制性的。还应该理解,本申请不限于本文描述的特定实施方式,而是在不脱离本公开的范围的情况下,许多的重排、修改和替换都是可能的。