一种创作内容的信息审核方法

摘要

本发明提供了一种创作内容的信息审核方法，包括以下步骤：S1、从待审核视频中抽取若干个关键帧，过滤掉其中的相似帧；S2、通过初级审核模型过滤掉不符合发布规则的待审核视频；S3、通过多个二级审核模型对剩余的待审核视频进行审核；二级审核模型生成评述，将评述添加到问题帧上；S4、将带有评述的问题帧反馈给视频上传者。这种创作内容的信息审核方法通过多个二级审核模型对问题不显著、初级审核模型无法准确判断的待审核视频进行进一步审核，二级审核模型将评述添加到问题帧上并且反馈给视频上传者，从而向视频上传者清晰的指明视频中存在的问题，提高视频上传者对发布规格的理解，节省双方因为发布规则的认知带来的沟通成本。

权利要求

1.一种创作内容的信息审核方法，其特征在于，包括以下步骤：S1、从待审核视频中抽取若干个关键帧，过滤掉其中的相似帧；

S2、通过初级审核模型过滤掉不符合发布规则的待审核视频；

S3、通过多个二级审核模型对剩余的待审核视频进行审核；当待审核视频中存在二级审核模型认为的不符合发布规则的问题帧时，二级审核模型生成评述，将评述添加到问题帧上；

S4、将带有评述的问题帧反馈给视频上传者；

在步骤S3中，

S3‑1、如果所有的二级审核模型对于同一问题帧所作出的评述的统一性F大于阈值N％时，将统一的评述添加到问题帧上；

S3‑2、如果所有的二级审核模型对于同一问题帧所作出的评述的统一性F小于或等于阈值N％时，将所有二级审核模型作出的评述添加到问题帧上，为问题帧分配人工审核资源；

其中，将认为问题帧符合发布规则且未作出评述的二级审核模型归集为未作出统一评述的二级审核模型；

在步骤S3‑1中，收集带有评述的问题帧，将这些问题帧作为训练样本输入到未作出统一评述的二级审核模型中进行二次训练；

在步骤S3‑2中，如果人工审核资源认可统一评述，则去除问题帧上非统一的评述并收集它们，将这些问题帧作为训练样本输入到未作出统一评述的二级审核模型中进行二次训练；如果人工审核资源不认可统一评述，则由人工审核资源生成评述并将评述添加到问题帧上，收集这些问题帧，将这些问题帧作为训练样本输入到所有的二级审核模型中进行二次训练。

2.如权利要求1所述的一种创作内容的信息审核方法，其特征在于：二级审核模型的二次训练包括以下步骤：

识别问题帧中的评述作为问题帧的标记，对问题帧中的图像内容进行识别并输出评述，利用学习算法使输出结果符合所述标记。

3.如权利要求2所述的一种创作内容的信息审核方法，其特征在于，还包括以下步骤：收集初级审核模型过滤后剩余的待审核视频；

为每个二级审核模型分配一个审核组，每个审核组具有多个审核端，每个审核组之间的审核端均独立；

审核端在剩余的待审核视频的问题帧上添加评述，识别问题帧中的评述，并将占比达到阈值M％以上的评述作为问题帧的标记；

将这些带有标记的问题帧作为训练样本输入到二级审核模型中进行一次训练。

4.如权利要求1～3任一项所述的一种创作内容的信息审核方法，其特征在于：反馈给视频上传者的问题帧上还添加有与评述对应的修改建议。

5.如权利要求1～3任一项所述的一种创作内容的信息审核方法，其特征在于：所述评述包括不符合规则项和等级。

说明书

一种创作内容的信息审核方法

技术领域

[0001] 本发明涉及应用计算机审核视频的技术领域，尤其涉及一种创作内容的信息审核方法。

背景技术

[0002] 近些年来随着互联网的发展，用户自行上传创作内容到各大平台，尤其是创作的视频类内容，已经成为一种新的展示自身的潮流方式。上传视频数量的激增带来的是安全审核问题，各大视频网络平台不得不面对数以亿计的审核工作。

[0003] 综合人力和效率的考虑，目前一般采用的审核方式是先由计算机进行初审，将明显不符合视频发布要求的过滤掉，将达到发布要求的分配流量进行发布，剩下一部分是通过计算机无法确认其安全性的视频，则需要通过人工来审核。

[0004] 为了达到发布要求，审核的规则涉及上百条之多，而大多数审核员都是兼职人员，就算是经验较为丰富的专职审核人员也无法每次拿捏好尺度而做到精准的判断。这些规则对于发布视频的用户来说也是非常棘手的，目前视频网站对于视频不符合发布规则的通知发送给视频上传用户，然后让用户自行寻找问题并修正，并不会明确指出到底是不符合哪些规则。这样的方式常常令用户摸不着头脑，用户需要花费很多时间来核对规则，找寻自己视频的问题。

发明内容

[0005] 本发明要解决的技术问题是：为了解决现有技术中的视频审核方法常常令用户摸不着头脑，用户需要花费很多时间来核对规则，找寻自己视频的问题，本发明提供了一种创作内容的信息审核方法来解决上述问题。

[0006] 本发明解决其技术问题所采用的技术方案是：一种创作内容的信息审核方法，包括以下步骤：

[0007] S1、从待审核视频中抽取若干个关键帧，过滤掉其中的相似帧；

[0008] S2、通过初级审核模型过滤掉不符合发布规则的待审核视频；

[0009] S3、通过多个二级审核模型对剩余的待审核视频进行审核；当待审核视频中存在二级审核模型认为的不符合发布规则的问题帧时，二级审核模型生成评述，将评述添加到问题帧上；

[0010] S4、将带有评述的问题帧反馈给视频上传者。

[0011] 由于每个二级审核模型都是独立审核，对于相同的问题帧可能有不同的评述，为了客观的反应问题帧中的问题：

[0012] 在步骤S3中，

[0013] S3‑1、如果所有的二级审核模型对于同一问题帧所作出的评述的统一性F大于阈值N%时，将统一的评述添加到问题帧上；

[0014] S3‑2、如果所有的二级审核模型对于同一问题帧所作出的评述的统一性F小于或等于阈值N%时，将所有二级审核模型作出的评述添加到问题帧上，为问题帧分配人工审核资源；

[0015] 其中，将认为问题帧符合发布规则且未作出评述的二级审核模型归集为未作出统一评述的二级审核模型。

[0016] 为了进一步提高完善二级审核模型，提高其评述的准确性：

[0017] 在步骤S3‑1中，收集带有评述的问题帧，将这些问题帧作为训练样本输入到未作出统一评述的二级审核模型中进行二次训练；

[0018] 在步骤S3‑2中，如果人工审核资源认可统一评述，则去除问题帧上非统一的评述并收集它们，将这些问题帧作为训练样本输入到未作出统一评述的二级审核模型中进行二次训练；如果人工审核资源不认可统一评述，则由人工审核资源生成评述并将评述添加到问题帧上，收集这些问题帧，将这些问题帧作为训练样本输入到所有的二级审核模型中进行二次训练。

[0019] 作为优选，二级审核模型的二次训练包括以下步骤：

[0020] 识别问题帧中的评述作为问题帧的标记，对问题帧中的图像内容进行识别并输出评述，利用学习算法使输出结果符合所述标记。

[0021] 作为优选，还包括以下步骤：

[0022] 收集初级审核模型过滤后剩余的待审核视频；

[0023] 为每个二级审核模型分配一个审核组，每个审核组具有多个审核端，每个审核组之间的审核端均独立；

[0024] 审核端在剩余的待审核视频的问题帧上添加评述，识别问题帧中的评述，并将占比达到阈值M%以上的评述作为问题帧的标记；

[0025] 将这些带有标记的问题帧作为训练样本输入到二级审核模型中进行一次训练。

[0026] 在一次训练中，每个二级审核模型分配的审核组的审核端相互独立，那么不同的审核端对于相同问题帧的评述会存在差异性，经过一次训练后，不同的二级审核模型在对问题并不显著的问题帧的评述就会产生差异性，有差异性的存在就可以通过更细致准确的方法来判断得到准确的评述。

[0027] 为了协助视频上传者对问题视频进行修改：

[0028] 反馈给视频上传者的问题帧上还添加有与评述对应的修改建议。

[0029] 作为优选，所述评述包括不符合规则项和等级。

[0030] 本发明的有益效果是，这种创作内容的信息审核方法通过多个二级审核模型对问题不显著、初级审核模型无法准确判断的待审核视频进行进一步审核，二级审核模型将评述添加到问题帧上并且反馈给视频上传者，从而向视频上传者清晰的指明视频中存在的问题，提高视频上传者对发布规格的理解，节省双方因为发布规则的认知带来的沟通成本。

附图说明

[0031] 下面结合附图和实施例对本发明进一步说明。

[0032] 图1是本发明的一种创作内容的信息审核方法的实施例的应用架构示意图。

[0033] 图2是本发明的一种创作内容的信息审核方法的实施例的流程图。

具体实施方式

[0034] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0035] 随着互联网的普及，越来越多的用户将自己创作的视频、图片、文字等内容上传至各个网站来展示自己的才华。网络质量的提升使视频这一种形式的创作内容更加受到用户的青睐。众多视频的出现给各个网络服务平台带来的是繁重的审核工作，视频中可能存在一些不符合发布规则的内容，众多的发布规则不仅仅是对视频创作者的困扰，就算是经验丰富的专业审核人员，也很难每次都准确的把握审核尺度。

[0036] 现有技术中的审核方式是先通过机器算法来进行初步审核，将明显不符合发布规则的视频和可以通过发布规则的视频过滤掉，剩下那些问题并不显著并且令初步审核的计算机又无法作出准确判断的视频将交由审核人员来进行人工审核。

[0037] 人工审核还是会花费很大人力，所以很多网络服务平台都会采用兼职人员来进行审核，这造成一些问题不显著的视频虽然被审核人员认定为不符合发布规则，但是却不能清晰明确的指出到底是不符合哪条规则，这显然也是合情合理的，没有办法要求这些专业性并不高的审核人员在短时间内对问题视频作出准确的评价。内容创作者在面对不通过的审核通知时往往也是一头雾水，绝大部分的内容创作者并不是有意违反发布规则，但是全面掌握和考虑发布规则是对内容创造者的较为困难的要求。因此本申请的目的一是为了提高审核质量和效率，降低审核所花费的人力，另一方面能够向内容创作者准确反馈视频中存在的问题，让内容创作者迅速的知晓视频中存在的问题，降低修正问题视频的阻碍。

[0038] 如图1所示，是本申请一种创作内容的信息审核方法的实施例的应用架构示意图，包括服务端100和用户端200，

[0039] 用户端200可以是智能手机、平板电脑、便携式个人计算机等任何智能设备，用户端200上可以安装微信、qq、快手、抖音等各种能够上传视频、图片、文字等创作内容的应用软件，经过审核通过发布规则的创作内容能够在用户端200上展示。

[0040] 服务端100可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。服务端100包括存储器、处理器、输入设备和输出设备。服务端100与用户端200之间以通过互联网相连，实现相互之间的通信。

[0041] 基于以上架构，如图2所示，本发明提供了一种创作内容的信息审核方法，包括以下步骤：

[0042] S100、用户通过用户端200将创作完成的待审核视频通过互联网传输至服务端100。

[0043] S200、服务端100从待审核视频中抽取若干个关键帧，过滤掉其中的相似帧，此实例中过滤相似帧的方式可以采用公开号为CN107798304A的中国专利《一种快速视频审核的方法》中所记载的方案，先是根据图片不同的特征颜色、纹理和轮廓提取图片特征；再根据提取出的图片特征计算帧间相似性，根据自适应或者自定义阈值，判断图片是否相似，其中相似帧过滤算法中，颜色特征提取的方法包括颜色直方图、累加颜色直方图、分块主颜色法和颜色集及颜色矩；轮廓特征法通过对轮廓特征的表示来提取图像的形状参数，轮廓特征法包含Hough变换、小波描述符和傅里叶形状描述符。

[0044] S300、服务端100通过初级审核模型过滤掉不符合发布规则的待审核视频和通过的视频。初级审核模型可以采用例如百度、阿里云、网易等公司提供的内容审核模型，基于这些成熟的审核模型，可以在初级审核阶段提高过滤的效率和准确性。

[0045] S400、服务端100通过多个二级审核模型对剩余的待审核视频进行审核；当待审核视频中存在二级审核模型认为的不符合发布规则的问题帧时，二级审核模型生成评述，将评述添加到问题帧上。二级审核模型是预先通过一次训练获得的。首先是收集初级审核模型过滤后剩余的问题不显著的待审核视频；为每个二级审核模型分配一个审核组，每个审核组具有多个审核端，每个审核组之间的审核端均独立；审核端可以是能够与服务端100互联的计算机、智能设备等等，每个审核端对应一个专业的审核人员，每个审核人员只负责一个审核端。审核人员对剩余的待审核视频进行审查，然后通过审核端在问题帧上添加评述；要求审核人员采用统一的句式和术语进行评述，此实例中评述包括不符合规则项和等级，例如“暴力5级”表示问题帧中的暴力画面程度达到了5级，又例如“清晰度10级”表示问题帧中的画面不清晰度的程度达到了10级。接着服务端100识别问题帧中的评述，并将占比达到阈值M%以上的统一评述作为问题帧的标记，其中阈值M%为自行设定的阈值，应在50%以上，阈值越高，获得样本越少，但是训练得到的模型越准确，阈值越低，获得的样本越多，模型越完整，但是准确性会降低。将这些带有标记的问题帧作为训练样本输入到二级审核模型中进行一次训练。一次训练可以采用监督学习标注样本的方法，对问题帧中的图像内容进行识别并输出评述，结合分类问题与回归问题修改训练的损失函数，使得输出的结果符合问题帧的标记。

[0046] S500、将带有评述的问题帧反馈给用户端200。

[0047] 由于每个二级审核模型采用的是独立的审核组，所以不同的二级审核模型在审核同一问题帧是会出现不同评述，二级审核模型在进行审核时：

[0048] 如果所有的二级审核模型对于同一问题帧所作出的评述的统一性F大于阈值N%时，将统一的评述添加到问题帧上；收集带有评述的问题帧，将这些问题帧作为训练样本输入到未作出统一评述的二级审核模型中进行二次训练。如果所有的二级审核模型对于同一问题帧所作出的评述的统一性F小于或等于阈值N%时，将所有二级审核模型作出的评述添加到问题帧上，为问题帧分配人工审核资源，如果人工审核资源认可统一评述，则去除问题帧上非统一的评述并收集它们，将这些问题帧作为训练样本输入到未作出统一评述的二级审核模型中进行二次训练；如果人工审核资源不认可统一评述，则由人工审核资源生成评述并将评述添加到问题帧上，收集这些问题帧，将这些问题帧作为训练样本输入到所有的二级审核模型中进行二次训练。二级审核模型的二次训练包括以下步骤：识别问题帧中的评述作为问题帧的标记，对问题帧中的图像内容进行识别并输出评述，采用监督学习标注样本的方法，结合分类问题与回归问题修改训练的损失函数，使得输出的结果符合问题帧的标记。其中，将认为问题帧符合发布规则且未作出评述的二级审核模型归集为未作出统一评述的二级审核模型。其中阈值N%可以自行设定和调整，阈值N%越高需要分配人工资源的问题帧就越多，但是审核越准确，阈值N%越低需要分配人工资源的问题帧就越少，但是准确性越低。由于此后二级审核模型还需要进行二次训练，经过多次的二次训练后二级审核模型的统一性和准确性会越来越高，所以阈值N%起始设为较低值，之后根据二次训练的次数逐步提高，例如起始为50%，后续分别为60%、70%、75%、80%、82%...

[0049] 无论是创作内容的形式还是内容都在不断的推陈出新，所以对于问题帧的评述的差异性是客观存在且不可消灭的，这也是现有的审核模型在面对问题不显著的问题帧时无法给出结论的原因。本申请中的二级审核模型就是基于不同审核端的差异性上训练而来，不同的二级审核模型之间也存在差异性，那么它们在面对具有争议的问题帧时能够给出差异性的反应，然后再根据这些反应来采取针对性的措施，从而能够提高审核效率和降低审核人力。

[0050] 除此以外，反馈给视频上传者的问题帧上还添加有与评述对应的修改建议。

[0051] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

[0052] 以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。