一种基于贝叶斯网络和分类器链的图像自动标注方法

摘要

本发明公开一种基于贝叶斯网络和分类器链的图像自动标注方法，利用改进的BIC评分函数的方法来学习贝叶斯网络结构，通过DBSCAN算法对标签进行聚类，并为每个标签子集学习贝叶斯网络，通过标签和特征之间的贝叶斯网络进行特征选择并且根据贝叶斯网络的拓扑顺序构建分类器链，通过贝叶斯网络和分类器链算法构造图像预测标签集本方法能够对所有类型的图像进行标注，通用性强；同时，能够处理包含连续特征和离散特征的图像，具有良好的适应性，且有效提高了图像标注的鲁棒性和准确性。

权利要求

1.一种基于贝叶斯网络和分类器链的图像自动标注方法，其特征在于，包括如下步骤：步骤S1、获取样本图像，提取样本图像的特征构成训练集和测试集，并获取样本图像的标签，构建总标签集；

步骤S2、对训练集、测试集中样本图像的特征进行归一化处理；

步骤S3、基于总标签集中的每一个标签、归一化处理后的样本图像的特征，通过改进的贝叶斯信息准则BIC评分函数的评分搜索方法构建贝叶斯网络，通过贝叶斯网络进行特征选择，得到每一个标签对应的特征子集；

步骤S4、基于每一个标签对应的特征子集，采用密度聚类DBSCAN对总标签集中的标签进行聚类，生成标签子集；

步骤S5、基于改进的BIC评分函数的评分搜索方法分别为每个标签子集构建一个贝叶斯网络结构；

步骤S6、对于每个标签子集构建的贝叶斯网络结构，进行拓扑顺序提取，并基于拓扑顺序构建分类器链；通过训练集和测试集分别对分类器链中的各基分类器进行训练和测试，得到训练好的分类器链，通过训练好的分类器链对待测图像进行类别预测，完成图像的自动标注；

所述步骤S3中，分别为每个标签lq构建一个贝叶斯网络其中，fww为改进的评分函数， 为贝叶斯网络G在数据集 下的评分函数值，是指使得 最大的贝叶斯网络；最终得到每个标签lq对应的特征子集 d＝1，2，…，Dq，Dq为标签lq对应的特征子集的特征个数；

其中，

T表示贝叶斯网

络中节点的个数，Jt为节点Nt的父节点的状态量个数，Kt为节点Nt的状态变量个数，η为调节参数，m为训练集中的样本个数，Ut为节点Nt的父节点个数，counttjk表示数据集 中节点Nt的状态量为k，且其父节点状态量为j的样本个数，表示Nt和u之间的标准化互

信息量； 表示Nt和u之间的互信息，H()表示求解信息熵，p()表示求解概率。

2.根据权利要求1所述的基于贝叶斯网络和分类器链的图像自动标注方法，其特征在于，所述步骤S3中，通过爬山法求解使得 最大的网络结构。

3.根据权利要求2所述的基于贝叶斯网络和分类器链的图像自动标注方法，其特征在于，所述步骤S5具体包括：

根据所述步骤S3中的评分函数，在初始贝叶斯网络中，不断增加代表标签的节点；

随机选取一个标签作为爬山搜索的起点；

通过加边、减边或翻转，进行贝叶斯网络结构的构建。

4.根据权利要求3所述的基于贝叶斯网络和分类器链的图像自动标注方法，其特征在于，所述贝叶斯网络结构的构建过程中，满足评分函数最大化的条件，得到每个标签子集对应的贝叶斯网络结构。

5.根据权利要求3所述的基于贝叶斯网络和分类器链的图像自动标注方法，其特征在于，所述步骤S6中，通过训练集对分类器链中的各基分类器进行训练的过程包括：基于每个标签子集Lr(r＝1，2，...s)对应的贝叶斯网络，构建标签依赖字典dependency_dictr＝{＜keyq，valueq＞}，keyq为标签子集中的第q个标签，valueq为标签子集中第q个标签的父节点集；将标签依赖字典中的keyq对应的特征子集与valueq进行拼接，形成新的特征集，完成基分类器的训练。

6.根据权利要求5所述的基于贝叶斯网络和分类器链的图像自动标注方法，其特征在于，所述基分类器采用逻辑回归模型。

7.根据权利要求5所述的基于贝叶斯网络和分类器链的图像自动标注方法，其特征在于，所述步骤S6中，通过训练好的分类器链对待测图像进行类别预测的方法包括：对于每个待测图像，将特征输入到无前驱节点标签对应的基分类器中，得到预测结果；

将预测结果输入至分类器链的其他基分类器中，综合所有的输出集为最终的图像预测结果集，完成图像的自动标注。

说明书

一种基于贝叶斯网络和分类器链的图像自动标注方法

技术领域

[0001] 本发明涉及图像检索技术领域，特别是涉及一种基于贝叶斯网络和分类器链的图像自动标注方法。

背景技术

[0002] 随着多媒体、图像信息等技术的逐步发展，图像数据库的规模越来越大，这也使得对视觉信息的管理成为重中之重，而图像检索技术则能够起到视觉信息管理的作用。传统
的手工图像标注方法不但工作量大，而且不可避免地带来主观性和不精确性，让计算机实
现图像自动标注势在必行。图像自动标注是让计算机自动地给图像加上能够反映其内容的
语义关键词，自动标注的使用能够有效地改善目前图像检索的困境。贝叶斯网络算法是一
种常见的概率图模型，充分考虑了所求标签之间的相关性，分类器链算法是一种充分利用
标签之间相关性的模型，因此，如何提供一种基于贝叶斯网络和分类器链的图像自动标注
方法是目前亟待解决的技术问题。

发明内容

[0003] 本发明的目的是提供一种基于贝叶斯网络和分类器链的图像自动标注方法，以解决现有技术中存在的技术问题，能够对所有类型的图像进行标注，通用性和适应性强，且有
效提高了图像自动标注的鲁棒性和准确性。

[0004] 为实现上述目的，本发明提供了如下方案：本发明提供一种基于贝叶斯网络和分类器链的图像自动标注方法，包括如下步骤：

[0005] 步骤S1、获取样本图像，提取样本图像的特征构成训练集和测试集，并获取样本图像的标签，构建总标签集；

[0006] 步骤S2、对训练集、测试集中样本图像的特征进行归一化处理；

[0007] 步骤S3、基于总标签集中的每一个标签、归一化处理后的样本图像的特征，通过改进的贝叶斯信息准则BIC评分函数的评分搜索方法构建贝叶斯网络,通过贝叶斯网络进行
特征选择，得到每一个标签对应的特征子集；

[0008] 步骤S4、基于每一个标签对应的特征子集，采用密度聚类DBSCAN对总标签集中的标签进行聚类，生成标签子集；

[0009] 步骤S5、基于改进的BIC评分函数的评分搜索方法分别为每个标签子集构建一个贝叶斯网络结构；

[0010] 步骤S6、对于每个标签子集构建的贝叶斯网络结构，进行拓扑顺序提取，并基于拓扑顺序构建分类器链；通过训练集和测试集分别对分类器链中的各基分类器进行训练和测
试，得到训练好的分类器链，通过训练好的分类器链对待测图像进行类别预测，完成图像的
自动标注。

[0011] 优选地，所述步骤S3中，分别为每个标签lq构建一个贝叶斯网络其中,fww为改进的评分函数， 为贝叶斯网络G
在数据集 下的评分函数值， 是指使得 最大的贝叶斯
网络；最终得到每个标签lq对应的特征子集 d＝1，2，…，Dq，Dq为标签lq对应的特征
子集的特征个数。

[0012] 优选地，所述步骤S3中，通过爬山法求解使得 最大的网络结构。

[0013] 优选地，所述步骤S5具体包括：

[0014] 根据所述步骤S3中的评分函数，在初始贝叶斯网络中，不断增加代表标签的节点；

[0015] 随机选取一个标签作为爬山搜索的起点；

[0016] 通过加边、减边或翻转，进行贝叶斯网络结构的构建。

[0017] 优选地，所述贝叶斯网络结构的构建过程中，满足评分函数最大化的条件，得到每个标签子集对应的贝叶斯网络结构。

[0018] 优选地，所述步骤S6中，通过训练集对分类器链中的各基分类器进行训练的过程包括：

[0019] 基于每个标签子集Lr(r＝1,2,…s)对应的贝叶斯网络，构建标签依赖字典dependency_dictr＝{}，keyq为标签子集中的第q个标签，valueq为标签子集
中第q个标签的父节点集；将标签依赖字典中的keyq对应的特征子集与valueq进行拼接，形
成新的特征集，完成基分类器的训练。

[0020] 优选地，所述基分类器采用逻辑回归模型。

[0021] 优选地，所述步骤S6中，通过训练好的分类器链对待测图像进行类别预测的方法包括：

[0022] 对于每个待测图像，将特征输入到无前驱节点标签对应的基分类器中，得到预测结果；将预测结果输入至分类器链的其他基分类器中，综合所有的输出集为最终的图像预
测结果集，完成图像的自动标注。

[0023] 本发明公开了以下技术效果：

[0024] 本发明利用改进的BIC评分函数的方法来学习贝叶斯网络结构，通过DBSCAN算法对标签进行聚类，并为每个标签子集学习贝叶斯网络，通过标签和特征之间的贝叶斯网络
进行特征选择并且根据贝叶斯网络的拓扑顺序构建分类器链，通过贝叶斯网络和分类器链
算法构造图像预测标签集本方法能够对所有类型的图像进行标注，通用性强；同时，能够处
理包含连续特征和离散特征的图像，具有良好的适应性，且有效提高了图像标注的鲁棒性
和准确性。

附图说明

[0025] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。

[0026] 图1为本发明基于贝叶斯网络和分类器链的图像自动标注方法流程图。

具体实施方式

[0027] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0028] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0029] 参照图1所示，本实施例提供一种基于贝叶斯网络和分类器链的图像自动标注方法，具体包括如下步骤：

[0030] 步骤S1、获取样本图像，提取样本图像的特征构成训练集和测试集，并获取样本图像的标签，构建总标签集；

[0031] 本实施例中，训练集和测试集分别表示为：

[0032]

[0033] 其中，m为训练集中的样本个数，n为测试集中的样本个数，i为图像编号，为第i幅图像xi的特征向量，D为特征的总个数， 表示第i幅图像xi的
第d个特征，d＝1，2，...，D； 为第i幅图像xi的标签集对应的标签向量，
q＝1，2，…，Q， L＝{l1，l2，…，lQ}为总标签集，lq为L中的第q个标
签，Q为标签总数量。

[0034] 步骤S2、对训练集、测试集中样本图像的特征进行归一化处理；

[0035] 本实施例中，归一化处理如下式所示：

[0036]

[0037] 式中， 分别表示图像x的第d个特征xd的最大值和最小值，xd：norm表示图d
像x的第d个特征x的归一化结果。

[0038] 步骤S3、基于总标签集中的每一个标签lq、归一化处理后的样本图像的特征xd：norm，通过改进的BIC(Bayesian Information Criterion，贝叶斯信息准则)评分函数的评分搜
索方法构建贝叶斯网络Gq,通过贝叶斯网络Gq进行特征选择，得到每一个标签对应的特征子
集；

[0039] 本 实 施 例 中 ，分 别 为 每 个 标 签 l q 构 建 一 个 贝 叶 斯 网 络用来表示标签lq与特征变量之间的关系；其中,fww为改进的
评分 函数 ， 为 贝叶 斯网 络G 在数 据集 下的 评 分函 数值 ，
是指所有可能的贝叶斯网络中使得 最大的贝叶斯网
络；通过提取网络Gq中的特征得到每个标签lq对应的特征子集 d＝1，2，…，Dq，Dq为
标签lq对应的特征子集的特征个数。

[0040] 基于改进的BIC评分函数的评分搜索方法构建贝叶斯网络结构的具体方法包括：

[0041] S 3 ‑1 、定 义 其 中 ，T表示贝叶斯网
络中节点的个数，Jt为节点Nt的父节点的状态量个数，Kt为节点Nt的状态变量个数，η为调节
参数，本实施例中η＝10，m为训练集中的样本个数，Ut为节点Nt的父节点个数，counttjk表示
数据集 中节点Nt的状态量为k ，且其父节点状态量为j的 样本个数，
表示Nt和u之间的标准化互
信息量； 表示Nt和u之间的互信息，H()表
示求解信息熵，p()表示求解概率。

[0042] S 3‑ 2 、采 用爬 山 法求 得 所 有 贝叶 斯 网 络结 构 中的 最 佳 结 构

[0043] 步骤S4、基于每一个标签对应的特征子集，采用密度聚类DBSCAN(Density‑Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)对
总标签集中的标签进行聚类，生成标签子集L1，L2，…，Ls，s为标签子集的个数。

[0044] 步骤S5、基于改进的BIC评分函数的评分搜索方法分别为每个标签子集Lr(r＝1,2,…s)构建一个贝叶斯网络结构Gr；具体包括如下步骤：

[0045] 根据步骤S3‑1中定义的评分函数，在一个初始网络中，不断增加代表标签的节点，其中，初始网络为相互不连接的空网络；

[0046] 选取标签lq(q＝1,2,…,Q)作为爬山搜索的起点，以确保网络中一定有标签lq(由于特征数量巨大，且爬山搜索到达评分函数增量小于1e‑8时会停止搜索，因此标签与特征
之间的网络仅包含部分特征)；其中，Q为标签总数量；通过加边、减边或翻转，进行贝叶斯网
络结构的构建，构建的贝叶斯网络结构中，包含的特征节点即为标签lq所对应的特征子集
d＝1，2，…，Dq，Dq为标签lq对应的特征子集的特征个数；其中，网络结构的构建过
程中，满足评分函数的最大化，得到贝叶斯网络结构。

[0047] 步骤S6、对于每个标签子集构建的贝叶斯网络结构Gr，进行拓扑顺序提取，并基于拓扑顺序构建分类器链；通过训练集和测试集分别对分类器链中的各基分类器进行训练和
测试，得到训练好的分类器链，通过训练好的分类器链对待测图像进行类别预测，完成图像
的自动标注。

[0048] 解析步骤S5中每个标签子集Lr(r＝1,2,…s)对应的贝叶斯网络结构Gr，构建标签依赖字典dependency_dictr＝{}，r＝1,2,…s,q＝1,2,…Qr,Qr为标签子集Lr
拥有的标签个数，keyq为标签子集中的第q个标签，valueq为标签子集中第q个标签的父节点
集；由于有些标签没有父标签(标签网络中的根节点)，因此这样的标签没有需要依赖的标
签，其value为null。

[0049] 通过训练集对分类器链中的各基分类器进行训练的过程包括：

[0050] 每个标签子集Lr(r＝1,2,…s)均得到标签依赖字典dependency_dictr＝{}；对于标签依赖字典中的每个key，将其对应的特征子集 d＝1，2，…，Dq与
其在dependency_dictr中对应的value(lq1，lq2，...，lqn)进行拼接形成新的特征集；其中，qn
为value中的标签个数，标签lq作为预测目标对每个key训练一个基分类器；所述基分类器
采用逻辑回归模型，本实施例中，分类阈值为0.5。

[0051] 通过训练好的分类器链对待测图像进行类别预测的方法包括：

[0052] 对于每个待测图像，将特征输入到无前驱节点标签对应的基分类器中，得到预测结果；将预测结果输入至对应的其他基分类器中，综合所有的输出集为最终的图像预测结
果集，完成图像的自动标注。

[0053] 以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出
的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。