一种景观图像特征值计算方法、装置、设备及存储介质转让专利

申请号 : CN202110726274.9

文献号 : CN113469019B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李嘉宁黄慧明朱江尹向东杨箐丛陈长成

申请人 : 广州市城市规划勘测设计研究院

摘要 :

本发明公开了一种景观图像特征值计算方法,包括:通过分别计算获取的若干张城市街景图像和待估景观图像对应的特征向量,以及对所述城市街景图像按照城市进行分类,通过相似度计算得到与待估景观图像最相似的城市街景图像的样本集合作为最适参考样本,并根据最适参考样本的各个意象场景的权重和目标待估图像特征向量,来计算所述待估景观图像的城市景观特征值。本发明还公开了一种景观图像特征值计算装置、设备和存储介质,能够对待估景观图像特征进行量化评估。

权利要求 :

1.一种景观图像特征值计算方法,其特征在于,包括:

获取若干张城市街景图像,以及待估景观图像;

根据所述城市街景图像,获取目标街景图像特征向量;其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的场景概率;

根据所述待估景观图像,获取目标待估图像特征向量;其中,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的场景概率;

根据所述城市街景图像所在的城市,对所述城市街景图像进行分类;

对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本;其中,每一所述待选参考样本中的城市街景图像的数量为预设数量;

根据所述目标街景图像特征向量和所述目标待估图像特征向量,计算每一待选参考样本与所述待估景观图像的相似度;

从所有待选参考样本中选出所述相似度最大的待选参考样本,作为所述待估景观图像的最适参考样本;

根据TF‑IDF算法计算最适参考样本的各个意象场景的权重;

根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值。

2.如权利要求1所述的景观图像特征值计算方法,其特征在于,所述根据所述城市街景图像,获取目标街景图像特征向量,具体包括:将若干张城市街景图像输入到预先训练的Places365‑ResNet模型,输出若干与所述城市街景图像对应的初始街景图像特征向量;其中,所述初始街景图像特征向量包括365个初始场景及与所述初始场景对应的场景概率,所述Places365‑ResNet模型为预先根据多组训练样本进行训练的,所述训练样本为已获取的开源城市街景图像及与所述开源城市街景图像对应的特征向量;

当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述初始街景图像特征向量;其中,所述特征向量处理指令为根据所述初始街景图像特征向量的人工判断结果人为输入的;

基于预设的所述初始场景与所述意象场景的映射关系,根据更新后的所述初始街景图像特征向量,得到目标街景图像特征向量。

3.如权利要求2所述的景观图像特征值计算方法,其特征在于,所述特征向量处理指令包括特征向量修改指令和特征向量独热编码指令;

则,所述当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述初始街景图像特征向量,具体包括:当接收到的特征向量处理指令为特征向量修改指令时,根据所述特征向量修改指令,更新所述初始街景图像特征向量;

当接收到的特征向量处理指令为特征向量独热编码指令时,对所述初始街景图像特征向量进行独热编码处理,更新所述初始街景图像特征向量。

4.如权利要求3所述的景观图像特征值计算方法,其特征在于,所述独热编码处理具体为:当所述初始场景对应的场景概率大于或等于预设数值时,更新所述初始场景对应的场景概率为1;

当所述初始场景对应的场景概率小于预设数值时,更新所述初始场景对应的场景概率为0。

5.如权利要求2所述的景观图像特征值计算方法,其特征在于,所述根据所述待估景观图像,获取目标待估图像特征向量,具体包括:将所述待估景观图像输入到预先训练的Places365‑ResNet模型,得到初始待估图像特征向量;其中,所述初始待估图像特征向量包括365个初始场景及与所述初始场景对应的场景概率;

当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述待估图像特征向量;

基于所述初始场景与所述意象场景的映射关系,根据更新后的所述初始待估图像特征向量,得到目标待估图像特征向量。

6.如权利要求5所述的景观图像特征值计算方法,其特征在于,所述根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值,具体包括:根据以下公式计算所述待估景观图像的城市景观特征值:

其中,n表示意象场景的总数,am表示最适参考样本的第m个意象场景的权重,Rm表示所述目标待估图像特征向量的与第m个意象场景对应的场景概率。

7.一种景观图像特征值计算装置,其特征在于,包括:

图像获取模块,用于获取若干张城市街景图像,以及待估景观图像;

目标街景图像特征向量获取模块,用于根据所述城市街景图像,获取目标街景图像特征向量;其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的场景概率;

目标待估图像特征向量获取模块,用于根据所述待估景观图像,获取目标待估图像特征向量;其中,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的场景概率;

城市街景图像分类模块,用于根据所述城市街景图像所在的城市,对所述城市街景图像进行分类;

待选参考样本获取模块,用于对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本;其中,每一所述待选参考样本中的城市街景图像的数量为预设数量;

图像相似度计算模块,用于根据所述目标街景图像特征向量和所述目标待估图像特征向量,计算每一待选参考样本与所述待估景观图像的相似度;

最适参考样本获取模块,用于从所有待选参考样本中选出所述相似度最大的待选参考样本,作为所述待估景观图像的最适参考样本;

场景权重计算模块,用于根据TF‑IDF算法计算最适参考样本的各个意象场景的权重;

景观图像特征值计算模块,用于根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值。

8.一种景观图像特征值计算设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的景观图像特征值计算方法。

9.一种存储介质,其特征在于,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至6中任意一项所述的景观图像特征值计算方法。

说明书 :

一种景观图像特征值计算方法、装置、设备及存储介质

技术领域

[0001] 本发明涉及计算机技术领域,具体的说,涉及的是一种景观图像特征值计算方法、装置、设备及存储介质。

背景技术

[0002] 辨识和刻画城市景观特征是城乡规划设计的重要基础,在城市形象构建的过程中,图像作为人类文明进程中容量最大的信息媒介之一,其作用不可忽视,城市街景图像更是城市客观地理环境直观的记录者。
[0003] 现有技术中尚未有完善的方式来对城市景观图像进行定量分析,为城乡规划设计奠定基础。

发明内容

[0004] 本发明实施例的目的是提供一种景观图像特征值计算方法、装置、设备及存储介质,其能够通过获取与待估景观图像的相似度最高的城市街景图像,进而根据计算得的城市街景图像的意象场景的权重,得到所述待估景观图像的城市景观特征值,实现对待估景观图像特征的量化评估。
[0005] 为实现上述目的,本发明实施例提供了一种景观图像特征值计算方法,包括:
[0006] 获取若干张城市街景图像,以及待估景观图像;
[0007] 根据所述城市街景图像,获取目标街景图像特征向量;其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0008] 根据所述待估景观图像,获取目标待估图像特征向量;其中,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0009] 根据所述城市街景图像所在的城市,对所述城市街景图像进行分类;
[0010] 对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本;其中,每一所述待选参考样本中的城市街景图像的数量为预设数量;
[0011] 根据所述目标街景图像特征向量和所述目标待估图像特征向量,计算每一待选参考样本与所述待估景观图像的相似度;
[0012] 从所有待选参考样本中选出所述相似度最大的待选参考样本,作为所述待估景观图像的最适参考样本;
[0013] 根据TF‑IDF算法计算最适参考样本的各个意象场景的权重;
[0014] 根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值。
[0015] 作为上述方案的改进,所述根据所述城市街景图像,获取目标街景图像特征向量,具体包括:
[0016] 将若干张城市街景图像输入到预先训练的Places365‑ResNet模型,得到若干与所述城市街景图像对应的初始街景图像特征向量;其中,所述初始街景图像特征向量包括365个初始场景及与所述初始场景对应的概率,所述Places365‑ResNet模型为预先根据多组训练样本进行训练的,所述训练样本为已获取的开源城市街景图像及与所述开源城市街景图像对应的特征向量;
[0017] 当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述初始街景图像特征向量;
[0018] 基于所述初始场景与所述意象场景的映射关系,根据更新后的所述初始街景图像特征向量,得到目标街景图像特征向量。
[0019] 作为上述方案的改进,所述特征向量处理指令包括特征向量修改指令和特征向量独热编码指令;
[0020] 则,所述当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述初始街景图像特征向量,具体包括:
[0021] 当接收到的特征向量处理指令为特征向量修改指令时,根据所述特征向量修改指令,更新所述初始街景图像特征向量;
[0022] 当接收到的特征向量处理指令为特征向量独热编码指令时,对所述初始街景图像特征向量进行独热编码处理,更新所述初始街景图像特征向量。
[0023] 作为上述方案的改进,所述独热编码处理具体为:
[0024] 当所述初始场景对应的概率大于或等于预设数值时,更新所述初始场景对应的概率为1;
[0025] 当所述初始场景对应的概率小于预设数值时,更新所述初始场景对应的概率为0。
[0026] 作为上述方案的改进,所述根据所述待估景观图像,获取目标待估图像特征向量,具体包括:
[0027] 将所述待估景观图像输入到预先训练的Places365‑ResNet模型,得到初始待估图像特征向量;其中,所述初始待估图像特征向量包括365个初始场景及与所述初始场景对应的概率;
[0028] 当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述待估图像特征向量;
[0029] 基于所述初始场景与所述意象场景的映射关系,根据更新后的所述初始待估图像特征向量,得到目标待估图像特征向量。
[0030] 作为上述方案的改进,所述根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值,具体包括:
[0031] 根据以下公式计算所述待估景观图像的城市景观特征值:
[0032]
[0033] 其中,n表示意象场景的总数,ai表示最适参考样本的第i个意象场景的TF‑IDF值权重,Ri表示所述目标待估图像特征向量的与第i个意象场景对应的数值。
[0034] 为实现上述目的,本发明实施例还提供了一种景观图像特征值计算装置,包括:
[0035] 图像获取模块,用于获取若干张城市街景图像,以及待估景观图像;
[0036] 目标街景图像特征向量获取模块,用于根据所述城市街景图像,获取目标街景图像特征向量;其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0037] 目标待估图像特征向量获取模块,用于根据所述待估景观图像,获取目标待估图像特征向量;其中,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0038] 城市街景图像分类模块,用于根据所述城市街景图像所在的城市,对所述城市街景图像进行分类;
[0039] 待选参考样本获取模块,用于对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本;其中,每一所述待选参考样本中的城市街景图像的数量为预设数量;
[0040] 图像相似度计算模块,用于根据所述目标街景图像特征向量和所述目标待估图像特征向量,计算每一待选参考样本与所述待估景观图像的相似度;
[0041] 最适参考样本获取模块,用于从所有待选参考样本中选出所述相似度最大的待选参考样本,作为所述待估景观图像的最适参考样本;
[0042] 场景权重计算模块,用于根据TF‑IDF算法计算最适参考样本的各个意象场景的权重;
[0043] 景观图像特征值计算模块,用于根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值。
[0044] 为实现上述目的,本发明实施例还提供了一种景观图像特征值计算设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一实施例所述的景观图像特征值计算方法。
[0045] 为实现上述目的,本发明实施例还提供了一种存储介质,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述存储介质所在设备执行如上述任一实施例所述的景观图像特征值计算方法。
[0046] 与现有技术相比,本发明实施例公开的一种景观图像特征值计算方法、装置、设备和存储介质,通过获取若干张城市街景图像和待估景观图像,来分别计算得目标街景图像特征向量和目标待估图像特征向量,其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的数值,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的数值;通过根据所述城市街景图像所在的城市,来对所述城市街景图像进行分类,进而对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本,根据所述目标街景图像特征向量和所述目标待估图像特征向量,从所有待选参考样本中选出与所述待估景观图像相似度最大的待选参考样本,作为最适参考样本,通过根据计算得的最适参考样本的各个意象场景的权重,和所述目标待估图像特征向量,来计算所述待估景观图像的城市景观特征值。由此可见,本发明实施例能够通过获取与待估景观图像的相似度最高的城市街景图像,进而根据计算得的城市街景图像的意象场景的权重,得到所述待估景观图像的城市景观特征值,实现对待估景观图像特征的量化评估。

附图说明

[0047] 图1是本发明一实施例提供的一种景观图像特征值计算方法的流程图;
[0048] 图2是本发明一实施例提供的一种城市意象场景的权重表;
[0049] 图3是本发明一实施例提供的独热编码处理后的初始场景表;
[0050] 图4是本发明一实施例提供的初始场景的分类体系;
[0051] 图5是本发明一实施例提供的初始场景与意象场景的映射关系表;
[0052] 图6是本发明一实施例提供的意象场景检测的混淆矩阵结果;
[0053] 图7是本发明一实施例提供的一种景观图像特征值计算装置的结构示意图;
[0054] 图8是本发明一实施例提供的一种景观图像特征值计算设备的结构示意图。

具体实施方式

[0055] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0056] 参见图1,是本发明一实施例提供的一种景观图像特征值计算方法的流程图。
[0057] 所述景观图像特征值计算方法可以通过用户端执行,所述用户端可以为电脑、手机、平板等用户终端设备;其中,所述用户端上可以装载有各种应用程序,包括图像处理类的应用程序,并用于呈现图像处理结果。作为举例,所述用户端可以包括显示屏和处理器,该显示屏用于呈现用户界面,该用户界面用于呈现图像处理过程及结果,以及与用户进行交互;该处理器用于处理图像、生成用户界面以及控制用户界面在显示屏上的显示。
[0058] 具体地,所述方法包括步骤S11~S19:
[0059] S11、获取若干张城市街景图像,以及待估景观图像;
[0060] S12、根据所述城市街景图像,获取目标街景图像特征向量;其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0061] S13、根据所述待估景观图像,获取目标待估图像特征向量;其中,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0062] S14、根据所述城市街景图像所在的城市,对所述城市街景图像进行分类;
[0063] S15、对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本;其中,每一所述待选参考样本中的城市街景图像的数量为预设数量;
[0064] S16、根据所述目标街景图像特征向量和所述目标待估图像特征向量,计算每一待选参考样本与所述待估景观图像的相似度;
[0065] S17、从所有待选参考样本中选出所述相似度最大的待选参考样本,作为所述待估景观图像的最适参考样本;
[0066] S18、根据TF‑IDF算法计算最适参考样本的各个意象场景的权重;
[0067] S19、根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值。
[0068] 可选的,城市街景图像和待估图像可以预先存储在本地,当需要时直接调用,也可以存储在云端,当需要时,通过网络搜索引擎获取,并记录每张城市街景图像对应的城市。
[0069] 在步骤S11中,示例性的,通过联网获取10个城市的城市街景图像,每个城市街景图像各1000张,总共10000张城市街景图像,获取待估景观图像。
[0070] 值得说明的是,城市街景图像不仅限于上述具体10个城市的图像,也不限于具体的图像数量,可视实际情况进行选定。可以理解地,为了更好地建设中国城乡,可获取中国所有城市的图像作为数据分析的基础。
[0071] 在步骤S12和S13中,根据获取的城市街景图像,计算目标街景图像特征向量,根据获取的待估景观图像,计算目标待估图像特征向量;可以理解的,特征向量可以是一行多列的矩阵,每一列代表的是固定的特征,对于不同的图像,同一特征对应的数值不一定相同。
[0072] 示例性的:
[0073] 设定获取的图像为10个城市的城市街景图像,每个城市街景图像各1000张,总共10000张城市街景图像;
[0074] 在步骤S14中,将属于同一城市的城市街景图像归为一类,实现同一类别中的城市街景图像属于同个城市;
[0075] 在步骤S15中,设定预设数量为10,那么对同一类别的所述城市街景图像进行自由组合,得到每一类别中有 组待选参考样本,总共有 组待选参考样本。
[0076] 具体地,在步骤S16中,根据余弦相似度公式计算所述待估景观图像与每一类别中的各个待选参考样本的相似度。
[0077] 具体地,以所有类别中的其中一个类别作为举例,根据以下公式计算相似度:
[0078]
[0079] Sl,j∈Xj;
[0080]
[0081]
[0082] 其中,R’表示所述待估景观图像的目标待估图像特征向量,Xj表示第j个待选参考样本的目标街景图像特征向量,Sl,j表示第j个待选参考样本的第l个城市街景图像的目标街景图像特征向量,i表示该类别中的城市街景图像的总数,k表示该类别中的一个待选参考样本的城市街景图像的总数,j表示该类别中的第j个待选参考样本。
[0083] 根据以上计算方式计算所有类别的每一待选参考样本与所述待估景观图像的相似度。
[0084] 具体地,在步骤S18中,根据TF‑IDF算法,计算选出的相似度最大的待选参考样本的目标街景图像特征向量中的各个意象场景权重。
[0085] 可以理解的是,为了衡量某一意象场景在不同城市的代表性和独特性影响,同时为了区分不同城市之间的景观差异,借助TF‑IDF算法(TermFrequency‑inverseDocumentFrequency)来评估集合中某个城市场景意象的重要程度,以获得对场景意象重要性的加权评估。TF‑IDF算法是用于信息检索与数据挖掘的常用方法手段,原理在于关注某一要素出现在某个集合中的频度,同时强调该要素在包含所有集合的资料库中出现的频度。如果一个要素在某个集合中频繁出现但在其他集合中很少出现,则可以判定为该要素对该集合有很好的区分能力,因此可以作为该集合的代表性要素,TF‑IDF公式如下:
[0086] tf‑idf(t,d,D)=tf(t,d)*idf(t,D)   (1)
[0087]
[0088] 在式1和2中,tf(t,d)代表的是单个要素t在某个集合d中出现频率,idf(t,D)代表的是单个要素在整个资料库D中的逆文档频率,D代表所有集合的集合,N为样本总量。为了衡量某一场景意象在某个城市区别于其他城市的重要性,将式3‑2进行改进优化为式3:
[0089]
[0090] 其中分母中计算的 代表的是要素t出现在除了集合d以外的其他集合中的次数,即某个意象出现在其他城市而不出现在城市d的次数,可称其为城市d的“排除频次”。
[0091] 根据各个意象场景各自出现的总频次,以及它们在每个城市中分别出现的频次,二者相减得到每个意象在每个城市的“排除频次”,“排除频次”的数值越大,说明该意象在分布上越分散,对于该城市地方性贡献程度越小,通过“排除频次”进一步可计算得到每个意象场景在每个城市的idf值。最后将tf和idf中对应的每一项数值相乘,计算得到每个城市中每个意象场景的权重。
[0092] 示例性的,参见图2,图2是根据上述权重计算方式计算得的一个具体结果:不同城市的不同意象场景的权重值。值得说明的是,城市的选择并不局限于图2所示的具体的城市、具体的意象场景以及具体的数值。
[0093] 具体地,在步骤19中,将所述待估景观图像的目标待估图像特征向量中的各个意象场景与对应的权重值进行相乘,再进行求和,得到所属待估景观图像的城市景观特征值。
[0094] 示例性的,设定意象场景有12种,所述待估景观图像的目标待估图像特征向量为R’=(R1,R2,…,R12),所述待估景观图像的目标待估图像的城市景观特征值为TP=∑αm·m;,m=1,2,…,12,其中,权重因子αm为最适参考样本的12个场景对应的权重。
[0095] 与现有技术相比,本发明实施例公开的一种景观图像特征值计算方法,通过获取若干张城市街景图像和待估景观图像,来分别计算得目标街景图像特征向量和目标待估图像特征向量,其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的数值,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的数值;通过根据所述城市街景图像所在的城市,来对所述城市街景图像进行分类,进而对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本,根据所述目标街景图像特征向量和所述目标待估图像特征向量,从所有待选参考样本中选出与所述待估景观图像相似度最大的待选参考样本,作为最适参考样本,通过根据计算得的最适参考样本的各个意象场景的权重,和所述目标待估图像特征向量,来计算所述待估景观图像的城市景观特征值。由此可见,本发明实施例能够通过获取与待估景观图像的相似度最高的城市街景图像,进而根据计算得的城市街景图像的意象场景的权重,得到所述待估景观图像的城市景观特征值,实现对待估景观图像特征的量化评估,为城乡的建设奠定基础。
[0096] 在一种实施方式中,基于步骤S11~S19,步骤S12中所述根据所述城市街景图像,获取目标街景图像特征向量,具体包括步骤S121~S123:
[0097] S121、将若干张城市街景图像输入到预先训练的Places365‑ResNet模型,得到若干与所述城市街景图像对应的初始街景图像特征向量;其中,所述初始街景图像特征向量包括365个初始场景及与所述初始场景对应的概率,所述Places365‑ResNet模型为预先根据多组训练样本进行训练的,所述训练样本为已获取的开源城市街景图像及与所述开源城市街景图像对应的特征向量;
[0098] S122、当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述初始街景图像特征向量;
[0099] S123、基于所述初始场景与所述意象场景的映射关系,根据更新后的所述初始街景图像特征向量,得到目标街景图像特征向量。
[0100] 值得说明的是,由于不同国家的建筑及文化的不同,对于城市的景观特征的描述有所差别,因此针对本国的景观的特征以及Places365‑ResNet模型的特点,预先构建初始场景与所述意象场景的映射关系,以将经Places365‑ResNet模型处理得到的初始场景转化为意象场景。
[0101] 进一步地,步骤S122中的所述特征向量处理指令包括特征向量修改指令和特征向量独热编码指令;
[0102] 则,所述当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述初始街景图像特征向量,具体包括步骤S1221~S1222:
[0103] S1221、当接收到的特征向量处理指令为特征向量修改指令时,根据所述特征向量修改指令,更新所述初始街景图像特征向量;
[0104] S1222、当接收到的特征向量处理指令为特征向量独热编码指令时,对所述初始街景图像特征向量进行独热编码处理,更新所述初始街景图像特征向量。
[0105] 值得说明的是,在步骤S1221之前,对由Places365‑ResNet模型计算得的初始街景图像特征向量进行判断,对于与对应的城市街景图象不对应的初始街景图像特征向量进行修改,通过接收特征向量修改指令,对初始街景图像特征向量进行修改。可以理解的是,由人工判断并输入相应的指令,通过接收特征向量修改指令,并根据特征向量修改指令对初始街景图像特征向量进行修改,使得初始街景图像出现的初始场景的数值为1,没有出现的初始场景的数值为0。
[0106] 值得说明的是,初始场景的数值的设定并不局限于上述的数值,可根据实际情况进行设定。
[0107] 具体地,步骤S1222中的所述独热编码处理具体为:
[0108] 当所述初始场景对应的概率大于或等于预设数值时,更新所述初始场景对应的概率为1;
[0109] 当所述初始场景对应的概率小于预设数值时,更新所述初始场景对应的概率为0。
[0110] 一般地,对由Places365‑ResNet模型计算得的初始街景图像特征向量进行判断,对于与对应的城市街景图象相对应的初始街景图像特征向量进行独热编码处理,预设数值一般取值为0.5,当所述初始场景对应的概率大于或等于0.5时,更新所述初始场景对应的概率为1,当所述初始场景对应的概率小于0.5时,更新所述初始场景对应的概率为0;值得说明的是,预设数值并不局限于具体的数值,可根据实际情况进行设定。可参见图3的经独热编码处理后的初始场景表。
[0111] 可以理解的是,步骤S123中的所述初始场景与所述意象场景的映射关系可参见图4所示的初始场景的分类体系和图5所示的初始场景与意象场景的映射关系表。
[0112] 进一步地,步骤S13中的所述根据所述待估景观图像,获取目标待估图像特征向量,具体包括步骤S131~步骤133:
[0113] S131、将所述待估景观图像输入到预先训练的Places365‑ResNet模型,得到初始待估图像特征向量;其中,所述初始待估图像特征向量包括365个初始场景及与所述初始场景对应的概率;
[0114] S132、当接收到特征向量处理指令时,根据所述特征向量处理指令,更新所述待估图像特征向量;
[0115] S133、基于所述初始场景与所述意象场景的映射关系,根据更新后的所述初始待估图像特征向量,得到目标待估图像特征向量。
[0116] 进一步地,通过混淆矩阵检测新的场景特征分类的预测结果,即经过映射关系转换后得到的特征向量的准确率,并依据混淆矩阵反映的准确率结果进行模型参数调整,以得到最佳参数值及优化模型。混淆矩阵(Confusion Matrix)是检验机器学习分类模型预测结果的分析指标,其中,混淆矩阵按照数据真实类别和模型预测类别集中记录并进行比较汇总,其中每一行表示图像真实的类别,每一列表示图像预测的类别。具体地,混淆矩阵中某一特定元素M[a][b],代表的是真实类别为a的所有样本中被预测为类别b的样本数目。对于每个类别,模型预测错误的结果数量及类别都会在矩阵中显示出来。而准确率代表的是分类完全正确的样本占总样本数量的比例,误分类率代表的是分类完全错误的样本占总样本数量的比例,数值等于1减去准确率,意象场景检测的混淆矩阵结果可参见图6。
[0117] 进一步地,步骤S19中的所述根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值,具体包括:
[0118] 根据以下公式计算所述待估景观图像的城市景观特征值:
[0119]
[0120] 其中,n表示意象场景的总数,ai表示最适参考样本的第i个意象场景的权重,Ri表示所述目标待估图像特征向量的与第i个意象场景对应的数值。
[0121] 综上所述,与现有技术相比,本发明实施例公开的景观图像特征值计算方法,结合ResNet神经网络,确定一套适用于国内环境的将Places365‑ResNet小类映射到意象场景的新映射规则,结合场景检测、图像分类以及场景权重计算,最终实现对待估景观图像的综合评价。
[0122] 参见图7,是本发明一实施例提供的景观图像特征值计算装置10,包括:
[0123] 图像获取模块11,用于获取若干张城市街景图像,以及待估景观图像;
[0124] 目标街景图像特征向量获取模块12,用于根据所述城市街景图像,获取目标街景图像特征向量;其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0125] 目标待估图像特征向量获取模块13,用于根据所述待估景观图像,获取目标待估图像特征向量;其中,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0126] 城市街景图像分类模块14,用于根据所述城市街景图像所在的城市,对所述城市街景图像进行分类;
[0127] 待选参考样本获取模块15,用于对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本;其中,每一所述待选参考样本中的城市街景图像的数量为预设数量;
[0128] 图像相似度计算模块16,用于根据所述目标街景图像特征向量和所述目标待估图像特征向量,计算每一待选参考样本与所述待估景观图像的相似度;
[0129] 最适参考样本获取模块17,用于从所有待选参考样本中选出所述相似度最大的待选参考样本,作为所述待估景观图像的最适参考样本;
[0130] 场景权重计算模块18,用于根据TF‑IDF算法计算最适参考样本的各个意象场景的权重;
[0131] 景观图像特征值计算模块19,用于根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值。
[0132] 值得说明的是,具体的所述景观图像特征值计算装置10的工作过程可参考上述实施例中所述景观图像特征值计算方法的工作过程,在此不再赘述。
[0133] 参见图8,是本发明实施例提供的一种景观图像特征值计算设备20,包括处理器21、存储器22以及存储在所述存储器22中且被配置为由所述处理器21执行的计算机程序,所述处理器21执行所述计算机程序时实现如上述景观图像特征值计算方法实施例中的步骤,例如图1中所述的步骤S11~S14;或者,所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块的功能,例如角色边缘获取模块11。
[0134] 示例性的,所述计算机程序可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器22中,并由所述处理器21执行,以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述景观图像特征值计算设备20中的执行过程。例如,所述计算机程序可以被分割成图像获取模块11、目标街景图像特征向量获取模块12、目标待估图像特征向量获取模块13、城市街景图像分类模块14、待选参考样本获取模块15、图像相似度计算模块16、最适参考样本获取模块17、场景权重计算模块18和景观图像特征值计算模块19,各模块具体功能如下:
[0135] 图像获取模块11,用于获取若干张城市街景图像,以及待估景观图像;
[0136] 目标街景图像特征向量获取模块12,用于根据所述城市街景图像,获取目标街景图像特征向量;其中,目标街景图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0137] 目标待估图像特征向量获取模块13,用于根据所述待估景观图像,获取目标待估图像特征向量;其中,目标待估图像特征向量包括若干意象场景及与所述意象场景对应的数值;
[0138] 城市街景图像分类模块14,用于根据所述城市街景图像所在的城市,对所述城市街景图像进行分类;
[0139] 待选参考样本获取模块15,用于对同一类别的所述城市街景图像进行自由组合,得到若干组待选参考样本;其中,每一所述待选参考样本中的城市街景图像的数量为预设数量;
[0140] 图像相似度计算模块16,用于根据所述目标街景图像特征向量和所述目标待估图像特征向量,计算每一待选参考样本与所述待估景观图像的相似度;
[0141] 最适参考样本获取模块17,用于从所有待选参考样本中选出所述相似度最大的待选参考样本,作为所述待估景观图像的最适参考样本;
[0142] 场景权重计算模块18,用于根据TF‑IDF算法计算最适参考样本的各个意象场景的权重;
[0143] 景观图像特征值计算模块19,用于根据所述目标待估图像特征向量和所述最适参考样本的各个意象场景的权重,计算所述待估景观图像的城市景观特征值。
[0144] 各个模块具体的工作过程可参考上述实施例所述的景观图像特征值计算装置10的工作过程,在此不再赘述。
[0145] 所述景观图像特征值计算设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述景观图像特征值计算设备20可包括,但不仅限于,处理器21、存储器22。本领域技术人员可以理解,所述示意图仅仅是景观图像特征值计算设备的示例,并不构成对景观图像特征值计算设备20的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述景观图像特征值计算设备20还可以包括输入输出设备、网络接入设备、总线等。
[0146] 所述处理器21可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field‑Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器21是所述景观图像特征值计算设备20的控制中心,利用各种接口和线路连接整个景观图像特征值计算设备20的各个部分。
[0147] 所述存储器22可用于存储所述计算机程序和/或模块,所述处理器31通过运行或执行存储在所述存储器22内的计算机程序和/或模块,以及调用存储在存储器22内的数据,实现所述景观图像特征值计算设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0148] 其中,所述景观图像特征值计算设备20集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
[0149] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read‑OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
[0150] 以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。