虚拟三维场景构建方法、装置及设备转让专利

申请号 : CN201810980614.9

文献号 : CN109242984B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张岩

申请人 : 百度在线网络技术(北京)有限公司

摘要 :

本发明实施例提供一种虚拟三维场景构建方法、装置及设备,该方法包括:在图像库中获取第一场景图像的关联图像,第一场景图像为第一子场景的第一图像,关联图像中包括第一子场景的第二图像,第二图像中第一子场景的拍摄视角与第一图像中第一子场景的拍摄视角不同,第一子场景为待构建场景中的任意一个子场景;根据第一场景图像和关联图像,构建第一子场景的虚拟三维场景;根据关联图像中的剩余图像,确定新的第一场景图像,直至对待构建场景中的所有子场景构建完成,其中,关联图像中的剩余图像为关联图像中除已完成虚拟三维场景构建的子场景的图像外的图像。提高了构建虚拟三维场景的效率。

权利要求 :

1.一种虚拟三维场景构建方法,其特征在于,包括:

在图像库中获取第一场景图像的关联图像,所述第一场景图像为第一子场景的第一图像,所述关联图像中包括所述第一子场景的第二图像,所述第二图像中所述第一子场景的拍摄视角与所述第一图像中所述第一子场景的拍摄视角不同,所述第一子场景为待构建场景中的任意一个子场景;

根据所述第一场景图像和所述关联图像,构建所述第一子场景的虚拟三维场景;

根据所述关联图像中的剩余图像,确定新的第一场景图像,直至对所述待构建场景中的所有子场景构建完成,其中,所述关联图像中的剩余图像为所述关联图像中除已完成虚拟三维场景构建的子场景的图像外的图像;

所述根据所述第一场景图像和所述关联图像,构建所述第一子场景的虚拟三维场景,包括:获取所述关联图像的第一标注图像,所述第一标注图像包括所述第一子场景的第二图像,所述第一标注图像的子场景标识为所述第一子场景的标识;

根据所述第一场景图像和所述第一标注图像,确定所述第一场景图像和所述第一标注图像的视差图像;

根据所述视差图像,构建所述第一子场景的虚拟三维场景。

2.根据权利要求1所述的方法,其特征在于,所述获取第一场景图像的关联图像,包括:获取图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,所述图像库中每个图像对应至少一个子场景标识,所述置信度为所述图像中包括所述子场景标识对应的子场景的概率;

根据图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,在所述图像库中确定所述关联图像,其中,所述关联图像对应的子场景标识中包括所述第一子场景的标识,且所述关联图像对应的所述第一子场景的标识的置信度大于第一预设阈值。

3.根据权利要求1或2所述的方法,其特征在于,所述根据所述关联图像中的剩余图像,确定新的第一场景图像,包括:在所述关联图像中确定剩余图像;

根据所述关联图像的剩余图像,确定所述新的第一场景图像。

4.根据权利要求3所述的方法,其特征在于,所述在所述关联图像中确定剩余图像,包括:确定所述关联图像中包括的标注图像、及每个标注图像对应的子场景标识;

获取已完成虚拟三维场景构建的子场景标识;

根据所述关联图像中包括的标注图像对应的子场景标识和已完成虚拟三维场景构建的子场景标识,在所述关联图像中确定剩余标注图像;

确定所述剩余图像包括所述剩余标注图像。

5.根据权利要求4所述的方法,其特征在于,所述根据所述关联图像中的剩余图像,确定新的第一场景图像,包括:根据所述剩余图像中每个剩余标注图像对应的子场景标识的置信度,在所述剩余图像包括的剩余标注图像中确定目标剩余标注图像;

将所述目标剩余标注图像确定为所述新的第一场景图像。

6.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:获取所述待构建场景对应的第三图像;

将所述第三图像与已知标注图像进行匹配,以获取第三图像中任意部分图像与所述已知标注图像的相似度,所述已知标注图像为所述图像库中子场景标识的置信度为1的标注图像;

根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中包括的标注图像、每个标注图像对应的子场景标识、以及每个标注图像对应的子场景标识的置信度。

7.根据权利要求6所述的方法,其特征在于,根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,包括:若所述第三图像中的第一部分图像与第一已知标注图像的相似度最大,且所述第一部分图像与所述第一已知标注图像的相似度大于第一阈值,则将所述第一部分图像确定为所述第三图像的第二标注图像,确定所述第二标注图像对应的子场景标识为所述第一已知标注图像对应的子场景标识,确定所述第二标注图像对应的子场景标识的置信度为所述第一部分图像与所述第一已知标注图像的相似度。

8.根据权利要求7所述的方法,其特征在于,根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,包括:若所述第三图像中的第二部分图像与每个已知标注图像的相似度均小于第二阈值,则将所述第二部分图像确定为所述第三图像的第三标注图像,并确定所述第三标注图像对应的子场景标识为新生成的子场景标识,确定所述第三标注图像对应的子场景标识的置信度为1,所述第二部分图像为所述第三图像中除所述第二标注图像外的图像。

9.一种虚拟三维场景构建装置,其特征在于,包括第一获取模块、构建模块和第一确定模块,其中,所述第一获取模块用于,在图像库中获取第一场景图像的关联图像,所述第一场景图像为第一子场景的第一图像,所述关联图像中包括所述第一子场景的第二图像,所述第二图像中所述第一子场景的拍摄视角与所述第一图像中所述第一子场景的拍摄视角不同,所述第一子场景为待构建场景中的任意一个子场景;

所述构建模块用于,根据所述第一场景图像和所述关联图像,构建所述第一子场景的虚拟三维场景;

所述第一确定模块用于,根据所述关联图像中的剩余图像,确定新的第一场景图像,直至对所述待构建场景中的所有子场景构建完成,其中,所述关联图像中的剩余图像为所述关联图像中除已完成虚拟三维场景构建的子场景的图像外的图像;

所述构建模块具体用于:

获取所述关联图像的第一标注图像,所述第一标注图像包括所述第一子场景的第二图像,所述第一标注图像的子场景标识为所述第一子场景的标识;

根据所述第一场景图像和所述第一标注图像,确定所述第一场景图像和所述第一标注图像的视差图像;

根据所述视差图像,构建所述第一子场景的虚拟三维场景。

10.根据权利要求9所述的装置,其特征在于,所述第一获取模块具体用于:获取图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,所述图像库中每个图像对应至少一个子场景标识,所述置信度为所述图像中包括所述子场景标识对应的子场景的概率;

根据图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,在所述图像库中确定所述关联图像,其中,所述关联图像对应的子场景标识中包括所述第一子场景的标识,且所述关联图像对应的所述第一子场景的标识的置信度大于第一预设阈值。

11.根据权利要求9或10所述的装置,其特征在于,所述第一确定模块具体用于:在所述关联图像中确定剩余图像;

根据所述关联图像的剩余图像,确定所述新的第一场景图像。

12.根据权利要求11所述的装置,其特征在于,所述第一确定模块具体用于:确定所述关联图像中包括的标注图像、及每个标注图像对应的子场景标识;

获取已完成虚拟三维场景构建的子场景标识;

根据所述关联图像中包括的标注图像对应的子场景标识和已完成虚拟三维场景构建的子场景标识,在所述关联图像中确定剩余标注图像;

确定所述剩余图像包括所述剩余标注图像。

13.根据权利要求12所述的装置,其特征在于,所述第一确定模块具体用于:根据所述剩余图像中每个剩余标注图像对应的子场景标识的置信度,在所述剩余图像包括的剩余标注图像中确定目标剩余标注图像;

将所述目标剩余标注图像确定为所述新的第一场景图像。

14.根据权利要求9或10所述的装置,其特征在于,所述装置还包括第二获取模块、第三获取模块和第二确定模块,其中,所述第二获取模块用于,获取所述待构建场景对应的第三图像;

所述第三获取模块用于,将所述第三图像与已知标注图像进行匹配,以获取第三图像中任意部分图像与所述已知标注图像的相似度,所述已知标注图像为所述图像库中子场景标识的置信度为1的标注图像;

所述第二确定模块用于,根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中包括的标注图像、每个标注图像对应的子场景标识、以及每个标注图像对应的子场景标识的置信度。

15.根据权利要求14所述的装置,其特征在于,所述第二确定模块用于:若所述第三图像中的第一部分图像与第一已知标注图像的相似度最大,且所述第一部分图像与所述第一已知标注图像的相似度大于第一阈值,则将所述第一部分图像确定为所述第三图像的第二标注图像,确定所述第二标注图像对应的子场景标识为所述第一已知标注图像对应的子场景标识,确定所述第二标注图像对应的子场景标识的置信度为所述第一部分图像与所述第一已知标注图像的相似度。

16.根据权利要求15所述的装置,其特征在于,所述第二确定模块用于:若所述第三图像中的第二部分图像与每个已知标注图像的相似度均小于第二阈值,则将所述第二部分图像确定为所述第三图像的第三标注图像,并确定所述第三标注图像对应的子场景标识为新生成的子场景标识,确定所述第三标注图像对应的子场景标识的置信度为1,所述第二部分图像为所述第三图像中除所述第二标注图像外的图像。

17.一种虚拟三维场景构建装置,其特征在于,包括:处理器,所述处理器与存储器耦合,其中,所述存储器用于,存储计算机程序;

所述处理器用于,执行所述存储器中存储的计算机程序,以使得所述三维模型确定装置执行权利要求1-8任一项所述的虚拟三维场景构建方法。

18.一种可读存储介质,其特征在于,包括程序或指令,当所述程序或指令在计算机上运行时,如所述权利要求1-8任一项所述的虚拟三维场景构建方法被执行。

说明书 :

虚拟三维场景构建方法、装置及设备

技术领域

[0001] 本发明实施例涉及计算机技术领域,尤其涉及一种虚拟三维场景构建方法、装置及设备。

背景技术

[0002] 目前,针对任意的真实场景,可以构建得到真实场景对应的虚拟三维场景。
[0003] 在现有技术中,当需要构建某一真实场景的虚拟三维场景时,需要工作人员通过扫描工具对真实场景中进行连续扫描,以获取扫描数据,并根据扫描得到的扫描数据构建真实场景的虚拟三维场景。例如,可以以工作人员所在位置为原点,工作人员可以边旋转边手持扫描工具对真实场景进行扫描,以获取扫描数据。然而,当真实场景较大时,工作人员需要对真实场景进行大量的扫描才能获取得到扫描数据,使得获取扫描数据的效率较低,进而导致构建虚拟三维场景的效率较低。

发明内容

[0004] 本发明实施例提供一种虚拟三维场景构建方法、装置及设备,提高了构建虚拟三维场景的效率。
[0005] 第一方面,本发明实施例提供一种虚拟三维场景构建方法,包括:
[0006] 在图像库中获取第一场景图像的关联图像,所述第一场景图像为第一子场景的第一图像,所述关联图像中包括所述第一子场景的第二图像,所述第二图像中所述第一子场景的拍摄视角与所述第一图像中所述第一子场景的拍摄视角不同,所述第一子场景为待构建场景中的任意一个子场景;
[0007] 根据所述第一场景图像和所述关联图像,构建所述第一子场景的虚拟三维场景;
[0008] 根据所述关联图像中的剩余图像,确定新的第一场景图像,直至对所述待构建场景中的所有子场景构建完成,其中,所述关联图像中的剩余图像为所述关联图像中除已完成虚拟三维场景构建的子场景的图像外的图像。
[0009] 在一种可能的实施方式中,所述获取第一场景图像的关联图像,包括:
[0010] 获取图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,所述图像库中每个图像对应至少一个子场景标识,所述置信度为所述图像中包括所述子场景标识对应的子场景的概率;
[0011] 根据图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,在所述预设数据库中确定所述关联图像,其中,所述关联图像对应的子场景标识中包括所述第一子场景的标识,且所述关联图像对应的所述第一子场景的标识的置信度大于第一预设阈值。
[0012] 在另一种可能的实施方式中,所述根据所述第一场景图像和所述关联图像,构建所述第一子场景的虚拟三维场景,包括:
[0013] 获取所述关联图像的第一标注图像,所述第一标注图像包括所述第一子场景的第二图像;
[0014] 根据所述第一场景图像和所述第一标注图像,确定所述第一场景图像和所述第一标注图像的视差图像;
[0015] 根据所述视差图像,构建所述第一子场景的虚拟三维场景。
[0016] 在另一种可能的实施方式中,所述根据所述关联图像中的剩余图像,确定新的第一场景图像,包括:
[0017] 在所述关联图像中确定剩余图像;
[0018] 根据所述关联图像的剩余图像,确定所述新的第一场景图像。
[0019] 在另一种可能的实施方式中,所述在所述关联图像中确定剩余图像,包括:
[0020] 确定所述关联图像中包括的标注图像、及每个标注图像对应的子场景标识;
[0021] 获取已完成虚拟三维场景构建的子场景标识;
[0022] 根据所述关联图像中包括的标注图像对应的子场景标识和已完成虚拟三维场景构建的子场景标识,在所述关联图像中确定剩余标注图像;
[0023] 确定所述剩余图像包括所述剩余标注图像。
[0024] 在另一种可能的实施方式中,所述根据所述关联图像中的剩余图像,确定新的第一场景图像,包括:
[0025] 根据所述剩余图像中每个剩余标注图像对应的子场景标识的置信度,在所述剩余图像包括的剩余标注图像中确定目标剩余标注图像;
[0026] 将所述目标剩余标注图像确定为所述新的第一场景图像。
[0027] 在另一种可能的实施方式中,所述方法还包括:
[0028] 获取所述待构建场景对应的第三图像;
[0029] 将所述第三图像与已知标注图像进行匹配,以获取第三图像中任意部分图像与所述已知标注图像的相似度,所述已知标注图像为所述图像库中子场景标识的置信度为1的标注图像;
[0030] 根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中包括的标注图像、每个标注图像对应的子场景标识、以及每个标注图像对应的子场景标识的置信度。
[0031] 在另一种可能的实施方式中,根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,包括:
[0032] 若所述第三图像中的第一部分图像与第一已知标注图像的相似度最大,且所述第一部分图像与所述第一已知标注图像的相似度大于第一阈值,则将所述第一部分图像确定为所述第三图像的第二标注图像,确定所述第二标注图像对应的子场景标识为所述第一已知标注图像对应的子场景标识,确定所述第二标注图像对应的子场景标识的置信度为所述第一部分图像与所述第一已知标注图像的相似度;
[0033] 在另一种可能的实施方式中,根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,包括:
[0034] 若所述第三图像中的第二部分图像与每个已知标注图像的相似度均小于第二阈值,则将所述第二部分图像确定为所述第三图像的第三标注图像,并确定所述第三标注图像对应的子场景标识为新生成的子场景标识,确定所述第三标注图像对应的子场景标识的置信度为1,所述第二部分图像为所述第三图像中除所述第二标注图像外的图像。
[0035] 第二方面,本发明实施例提供一种虚拟三维场景构建装置,包括第一获取模块、构建模块和第一确定模块,其中,
[0036] 所述第一获取模块用于,在图像库中获取第一场景图像的关联图像,所述第一场景图像为第一子场景的第一图像,所述关联图像中包括所述第一子场景的第二图像,所述第二图像中所述第一子场景的拍摄视角与所述第一图像中所述第一子场景的拍摄视角不同,所述第一子场景为待构建场景中的任意一个子场景;
[0037] 所述构建模块用于,根据所述第一场景图像和所述关联图像,构建所述第一子场景的虚拟三维场景;
[0038] 所述第一确定模块用于,根据所述关联图像中的剩余图像,确定新的第一场景图像,直至对所述待构建场景中的所有子场景构建完成,其中,所述关联图像中的剩余图像为所述关联图像中除已完成虚拟三维场景构建的子场景的图像外的图像。
[0039] 在一种可能的实施方式中,所述第一获取模块具体用于:
[0040] 获取图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,所述图像库中每个图像对应至少一个子场景标识,所述置信度为所述图像中包括所述子场景标识对应的子场景的概率;
[0041] 根据图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,在所述预设数据库中确定所述关联图像,其中,所述关联图像对应的子场景标识中包括所述第一子场景的标识,且所述关联图像对应的所述第一子场景的标识的置信度大于第一预设阈值。
[0042] 在另一种可能的实施方式中,所述构建模块具体用于:
[0043] 获取所述关联图像的第一标注图像,所述第一标注图像包括所述第一子场景的第二图像;
[0044] 根据所述第一场景图像和所述第一标注图像,确定所述第一场景图像和所述第一标注图像的视差图像;
[0045] 根据所述视差图像,构建所述第一子场景的虚拟三维场景。
[0046] 在另一种可能的实施方式中,所述第一确定模块具体用于:
[0047] 在所述关联图像中确定剩余图像;
[0048] 根据所述关联图像的剩余图像,确定所述新的第一场景图像。
[0049] 在另一种可能的实施方式中,所述第一确定模块具体用于:
[0050] 确定所述关联图像中包括的标注图像、及每个标注图像对应的子场景标识;
[0051] 获取已完成虚拟三维场景构建的子场景标识;
[0052] 根据所述关联图像中包括的标注图像对应的子场景标识和已完成虚拟三维场景构建的子场景标识,在所述关联图像中确定剩余标注图像;
[0053] 确定所述剩余图像包括所述剩余标注图像。
[0054] 在另一种可能的实施方式中,所述第一确定模块具体用于:
[0055] 根据所述剩余图像中每个剩余标注图像对应的子场景标识的置信度,在所述剩余图像包括的剩余标注图像中确定目标剩余标注图像;
[0056] 将所述目标剩余标注图像确定为所述新的第一场景图像。
[0057] 在另一种可能的实施方式中,所述装置还包括第二获取模块、第三获取模块和第二确定模块,其中,
[0058] 所述第二获取模块用于,获取所述待构建场景对应的第三图像;
[0059] 所述第三获取模块用于,将所述第三图像与已知标注图像进行匹配,以获取第三图像中任意部分图像与所述已知标注图像的相似度,所述已知标注图像为所述图像库中子场景标识的置信度为1的标注图像;
[0060] 所述第二确定模块用于,根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中包括的标注图像、每个标注图像对应的子场景标识、以及每个标注图像对应的子场景标识的置信度。
[0061] 在另一种可能的实施方式中,所述第二确定模块用于:
[0062] 若所述第三图像中的第一部分图像与第一已知标注图像的相似度最大,且所述第一部分图像与所述第一已知标注图像的相似度大于第一阈值,则将所述第一部分图像确定为所述第三图像的第二标注图像,确定所述第二标注图像对应的子场景标识为所述第一已知标注图像对应的子场景标识,确定所述第二标注图像对应的子场景标识的置信度为所述第一部分图像与所述第一已知标注图像的相似度;
[0063] 在另一种可能的实施方式中,所述第二确定模块用于:
[0064] 若所述第三图像中的第二部分图像与每个已知标注图像的相似度均小于第二阈值,则将所述第二部分图像确定为所述第三图像的第三标注图像,并确定所述第三标注图像对应的子场景标识为新生成的子场景标识,确定所述第三标注图像对应的子场景标识的置信度为1,所述第二部分图像为所述第三图像中除所述第二标注图像外的图像。
[0065] 第三方面,本发明实施例提供一种虚拟三维场景构建装置,包括:处理器,所述处理器与存储器耦合;
[0066] 所述存储器用于,存储计算机程序;
[0067] 所述处理器用于,执行所述存储器中存储的计算机程序,以使得所述终端设备执行上述第一方面任一项所述的方法。
[0068] 第四方面,本发明实施例提供一种可读存储介质,包括程序或指令,当所述程序或指令在计算机上运行时,如上述第一方面任意一项所述的方法被执行。
[0069] 本发明实施例提供的虚拟三维场景构建方法、装置及设备,在图像库中获取第一场景图像的关联图像,根据第一场景图像和关联图像,构建第一子场景的虚拟三维场景;根据关联图像中的剩余图像,确定新的第一场景图像,直至对待构建场景中的所有子场景构建完成。在上述过程中,根据图像库中的图像,分别对待构建场景中的每个子场景进行构建,以确定每个子场景的虚拟三维场景,在对每个子场景构建完毕之后,即可构建得到待构建场景的虚拟三维场景。由于根据从网络中收集得到的图像构建虚拟三维场景,无需工作人员对真实场景进行扫描,不但节省人力成本,还可以提高虚拟三维场景的构建效率。

附图说明

[0070] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0071] 图1为本发明实施例提供的虚拟三维场景构建方法的架构图;
[0072] 图2为本发明实施例提供确定图像的图像信息方法的流程示意图;
[0073] 图3为本发明实施例提供的第三图像的示意图;
[0074] 图4为本发明实施例提供的虚拟三维场景构建方法的流程示意图;
[0075] 图5为本发明实施例提供的虚拟三维场景构建装置的结构示意图一;
[0076] 图6为本发明实施例提供的虚拟三维场景构建装置的结构示意图二;
[0077] 图7为本发明实施例提供的虚拟三维场景构建装置的硬件结构示意图。

具体实施方式

[0078] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0079] 图1为本发明实施例提供的虚拟三维场景构建方法的架构图。请参见图1,在构建一个真实场景的虚拟三维场景之前,先从网络中收集该真实场景对应的图像,将收集得到的图像存储至图像库。在构建该真实场景的虚拟三维场景时,根据图像库中的图像构建虚拟三维场景。
[0080] 在本申请中,可以根据从网络中收集得到的图像构建虚拟三维场景,无需工作人员对真实场景进行扫描,不但节省人力成本,还可以提高虚拟三维场景的构建效率。
[0081] 下面,通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是,下面几个具体实施例可以相互结合,对于相同或相似的内容,在不同的实施例中不再进行重复说明。
[0082] 在本申请中,在构建虚拟三维场景之前,需要先创建图像库。其中,创建图像库的过程包括:确定选择图像的图像信息,以及将图像及对应的图像信息添加至图像库。图像的图像信息包括:图像中包括的标记图像、每个标记图像对应的子场景标识、每个子场景标识的置信度,子场景标识的置信度是指图像中包括该子场景标识对应的子场景的概率。
[0083] 初始时,图像库为空。在向图像库中添加第一张图像时,可以人为选择一张图像,人为选择的第一张图像中包括至少两个子场景。人为确定第一张图像的图像信息,并将第一张图像和第一张图像的图像信息添加至图像库。
[0084] 在后续向图像库中添加图像时,可以在网络中选择图像,并根据本申请所示的方法确定图像的图像信息,并图像及其对应的图像信息添加至图像库。其中,确定每张选择图像的图像信息的过程相同,下面,以确定任意一张第三图像的图像信息的过程为例进行详细说明。具体的,请参见图2所示的实施例。
[0085] 图2为本发明实施例提供确定图像的图像信息方法的流程示意图。请参见图2,该方法可以包括:
[0086] S201、获取待构建场景对应的第三图像。
[0087] 需要说明的是,本发明实施例的执行主体可以为终端设备,也可以为设置在终端设备中的三维模型构建装置。可选的,终端设备可以为计算机、服务器等设备。可选的,三维模型构建装置可以通过软件实现,也可以通过软件和硬件的结合实现。
[0088] 可选的,待构建场景可以包括内室场景、景区场景、道路场景等。
[0089] 当然,在实际应用过程中,可以根据实际需要设置该待构建场景,本发明实施例对此不作具体限定。
[0090] 可选的,待构建场景包括多个子场景,每个子场景是指一个对象对应的场景,例如,对象可以为一个窗户、一扇门、一根柱子等。
[0091] 例如,假设待构建场景为景区,则待构建场景的子场景可以为该景区中的一个景点,例如,子场景可以为该景区的大门场景、该景区中的假山场景的。
[0092] 可选的,第三图像可以为待构建场景中的任意图像。
[0093] 例如,假设待构建场景为景区场景,则第三图像可以为该景区中的任意图像。
[0094] 可选的,在网络中存在多张图像,每张图像通常有其对应的标签,若网络中第三图像的标签与待构建场景的标签匹配,则确定第三图像为待构建场景对应的图像。
[0095] S202、将第三图像与已知标注图像进行匹配,以获取第三图像中任意部分图像与已知标注图像的相似度。
[0096] 其中,已知标注图像为图像库中子场景标识的置信度为1的标注图像。
[0097] 可选的,可以先获取第三图像的多个部分图像,多个部分图像可以包括:在第三图像左侧裁剪得到的任意尺寸的图像、在第三图像右侧裁剪得到的任意尺寸的图像等。
[0098] 下面,结合图3对第三图像的部分图像进行详细说明。
[0099] 图3为本发明实施例提供的第三图像的示意图。请参见图3,第三图像的部分图像可以包括部分图像A、部分图像B、部分图像C、部分图像E、部分图像F、部分图像G等。
[0100] 需要说明的是,图3只是以示例的形式示意第三图像的部分图像,并非对第三图像的部分图像进行限定,在实际应用过程中,可以根据实际需要确定第三图像的部分图像,本发明实施例对此不作具体限定。
[0101] 可选的,可以分别将每个部分图像与每个已知标注图像进行匹配,以获取每个部分图像与每个已知标注图像的相似度。
[0102] S203、根据第三图像中任意部分图像与已知标注图像的相似度,确定第三图像的图像信息。
[0103] 其中,图像信息包括第三图像中包括的标注图像、每个标注图像对应的子场景标识、以及每个标注图像对应的子场景标识的置信度。
[0104] 可选的,可以通过如下可行的实现方式确定第三图像的图像信息。
[0105] 若第三图像中的第一部分图像与第一已知标注图像的相似度最大,且第一部分图像与第一已知标注图像的相似度大于第一阈值,则将第一部分图像确定为第三图像的第二标注图像,确定第二标注图像对应的子场景标识为第一已知标注图像对应的子场景标识,确定第二标注图像对应的子场景标识的置信度为第一部分图像与第一已知标注图像的相似度。
[0106] 例如,请参见图3,假设第三图像中的部分图像C与图像库中已知标注图像1的相似度(0.9)最高,且相似度大于第一阈值,则将部分图像C确定为第三图像的一个第一标注图像。假设已知标注图像1对应的子场景标识为子场景1,则确定该第一标注图像对应的子场景标识为子场景1,子场景1的置信度为0.9。
[0107] 若第三图像中的第二部分图像与每个已知标注图像的相似度均小于第二阈值,则将第二部分图像确定为第三图像的第三标注图像,并确定第三标注图像对应的子场景标识为新生成的子场景标识,确定第三标注图像对应的子场景标识的置信度为1,第二部分图像为第三图像中除第二标注图像外的图像。
[0108] 例如,请参见图3,假设第三图像中的除第一标注图像为的图像为部分图像G,且部分图像G与每个已知标注图像的相似度均小于第二阈值,则将部分图像G确定为第二标注图像,新生成一个子场景标识,假设新生成的子场景标识为子场景10,则确定该第二标注图像对应的子场景标识为子场景10,子场景10的置信度为1。
[0109] 下面,通过具体示例,对创建图像库的过程进行详细说明。
[0110] 示例性的,初始时,图像库为空。可以人为选择图像1,并人为确定图像1的图像信息包括:图像1包括标记图像11和标记图像12,标记图像11对应子场景1,标记图像12对应子场景2,并将图像1和图像1的图像信息添加至图像库,此时,图像库如表1所示:
[0111] 表1
[0112]
[0113] 在网络中获取到待构建场景对应的图像2,获取图像2的多个部分图像,并分别将每个部分图像与图像库中的标记图像11和标记图像12进行匹配。假设获取得到图像2的部分图像1与标记图像12的相似度为0.95,图像2的部分图像2与标记图像11和标记图像12的相似度均为0。由此可以确定图像2的图像信息,并将图像2和图像2的图像信息添加至图像库,此时,图像库如表2所示:
[0114] 表2
[0115]
[0116] 在网络中获取到待构建场景对应的图像3,获取图像3的多个部分图像,并分别将每个部分图像与图像库中的标记图像11、标记图像12和标记图像22进行匹配。假设获取得到图像3的部分图像1与标记图像12的相似度为0.9,图像3的部分图像2与标记图像22的相似度均为0.89。由此可以确定图像3的图像信息,并将图像3和图像3的图像信息添加至图像库,此时,图像库如表3所示:
[0117] 表3
[0118]
[0119] 依次类推,可以向图像库中添加待构建场景的大量图像及其对应的图像信息。
[0120] 需要说明的是,上述表1-表3只是以示例的形式示意图像库中包括的图像及图像信息,并非对图像库中包括的图像及图像信息的限定。
[0121] 通过图2所示的实施例,可以准确的获取每张图像的图像信息,以实现对图像库中的图像进行准确的标记。
[0122] 在上述任意一个实施例的基础上,下面,对虚拟三维场景的构建方法进行详细说明。具体的,请参见图4所示的实施例。
[0123] 图4为本发明实施例提供的虚拟三维场景构建方法的流程示意图。请参见图4,该方法可以包括:
[0124] S401、在图像库中获取第一场景图像的关联图像。
[0125] 其中,第一场景图像为第一子场景的第一图像,关联图像中包括第一子场景的第二图像,第二图像中第一子场景的拍摄视角与第一图像中第一子场景的拍摄视角不同,第一子场景为待构建场景中的任意一个子场景。
[0126] 可选的,第一场景图像中仅包括第一子场景的图像。
[0127] 可选的,初始时,可以将图像库中、子场景标识的置信度为1的任意一张标注图像确定为第一场景图像。
[0128] 可选的,关联图像中可以仅包括第一子场景,或者关联图像中可以包括第一子场景和其它子场景。
[0129] 可选的,可以通过如下可行的实现方式获取第一场景图像的关联图像:获取图像库中各图像的对应的子场景标识、以及每个图像对应的子场景标识的置信度,根据各图像的对应的子场景标识、以及每个图像对应的子场景标识的置信度,在预设数据库中确定关联图像。
[0130] 可选的,可以获取每个图像的图像信息,并根据图像信息确定各图像对应的子场景标识、以及每个图像对应的子场景标识的置信度。
[0131] 其中,确定得到的关联图像对应的子场景标识中包括第一子场景的标识,且关联图像对应的第一子场景的标识的置信度大于第一预设阈值。
[0132] 可选的,可以先在图像库中获取第一图像集合,第一图像集合中每个图像对应的子场景标识中包括第一子场景的标识。针对第一图像集合中的任意一个图像,判断该图像对应的第一子场景的标识的置信度是否大于第一预设值,若是,则将该图像确定为关联图像。
[0133] S402、根据第一场景图像和关联图像,构建第一子场景的虚拟三维场景。
[0134] 可选的,可以在关联图像中确定第一标注图像,第一标注图像的子场景标识为第一子场景的标识,并根据第一场景图像和第一标注图像,确定第一场景图像和第一标注图像的视差图像,并根据视差图像,构建第一子场景的虚拟三维场景。
[0135] 其中,第一标注图像包括第一子场景的第二图像。
[0136] 可选的,第一标注图像可以与第二图像相同。
[0137] S403、确定关联图像中的剩余图像。
[0138] 其中,关联图像中的剩余图像为关联图像中除已完成虚拟三维场景构建的子场景外的图像。
[0139] 可选的,可以确定关联图像中包括的标注图像、及每个标注图像对应的子场景标识,获取已完成虚拟三维场景构建的子场景标识,根据关联图像中包括的标注图像对应的子场景标识、已完成虚拟三维场景构建的子场景标识,在关联图像中确定剩余标注图像,确定剩余图像包括剩余标注图像。
[0140] 可选的,可以先在关联图像包括的标注图像的子场景标识中,剔除已完成虚拟三维场景构建的子场景标识,得到剩余子场景标识,并将剩余子场景标识对应的标注图像确定为剩余标注图像。
[0141] S404、根据关联图像中的剩余图像,确定新的第一场景图像,直至对所述待构建场景中的所有子场景构建完成。
[0142] 可选的,可以获取剩余图像中每个剩余标注图像对应的子场景标识的置信度,根据剩余图像中每个剩余标注图像对应的子场景标识的置信度,在剩余图像包括的剩余标注图像中确定目标剩余标注图像,并将目标剩余标注图像确定为新的第一场景图像。
[0143] 例如,可以将子场景标识的置信度最高的剩余标注图像确定为目标剩余标注图像。
[0144] 在将目标剩余标注图像确定为新的第一场景图像之后,重复上述S401-S404,直至对待构建场景中的所有子场景构建完成。
[0145] 本发明实施例提供的虚拟三维场景构建方法,在图像库中获取第一场景图像的关联图像,根据第一场景图像和关联图像,构建第一子场景的虚拟三维场景;根据关联图像中的剩余图像,确定新的第一场景图像,直至对待构建场景中的所有子场景构建完成。在上述过程中,根据图像库中的图像,分别对待构建场景中的每个子场景进行构建,以确定每个子场景的虚拟三维场景,在对每个子场景构建完毕之后,即可构建得到待构建场景的虚拟三维场景。由于根据从网络中收集得到的图像构建虚拟三维场景,无需工作人员对真实场景进行扫描,不但节省人力成本,还可以提高虚拟三维场景的构建效率。
[0146] 下面,通过具体实施例,对上述方法实施例所示的技术方案进行详细说明。
[0147] 示例性的,假设图像库如表3所示:
[0148] 表3
[0149]
[0150]
[0151] 在根据图像库中的图像进行虚拟三维场景构建时,先标记图像11确定为第一场景图像,由于图像1、图像2和图像3中均包括子场景1(标记图像11对应的子场景),则将图像1、图像2和图像3确定为第一场景图像的关联图像。然后,根据标记图像11、标记图像21和标记图像31,构建子场景1的虚拟三维场景。此时,已完成虚拟三维场景构建的子场景为子场景1。
[0152] 然后,可以确定剩余图像包括:标记图像12、标记图像22和标记图像32,由于标记图像12和标记图像22的子场景标记的置信度均为1,因此,可以将标记图像12和标记图像22中的任意一个确定为目标剩余标记图像。假设将标记图像12确定为目标剩余标记图像,则将标记图像12确定为新的第一场景图像。
[0153] 由于图像1、图像4和图像5中均包括子场景2(标记图像12对应的子场景),则将图像1、图像4和图像5确定为第一场景图像的关联图像。然后,根据标记图像12、标记图像41和标记图像51构建子场景2的虚拟三维场景。此时,已完成虚拟三维场景构建的子场景为子场景1和子场景2。
[0154] 以此类推,直至对图像库中的图像所指示的所有子场景构建完毕,得到待构建场景的虚拟三维场景。
[0155] 图5为本发明实施例提供的虚拟三维场景构建装置的结构示意图一。请参见图5,该虚拟三维场景构建装置10可以包括第一获取模块11、构建模块12和第一确定模块13,其中,
[0156] 所述第一获取模块11用于,在图像库中获取第一场景图像的关联图像,所述第一场景图像为第一子场景的第一图像,所述关联图像中包括所述第一子场景的第二图像,所述第二图像中所述第一子场景的拍摄视角与所述第一图像中所述第一子场景的拍摄视角不同,所述第一子场景为待构建场景中的任意一个子场景;
[0157] 所述构建模块12用于,根据所述第一场景图像和所述关联图像,构建所述第一子场景的虚拟三维场景;
[0158] 所述第一确定模块13用于,根据所述关联图像中的剩余图像,确定新的第一场景图像,直至对所述待构建场景中的所有子场景构建完成,其中,所述关联图像中的剩余图像为所述关联图像中除已完成虚拟三维场景构建的子场景的图像外的图像。
[0159] 本发明实施例提供的虚拟三维场景构建装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
[0160] 在一种可能的实施方式中,所述第一获取模块11具体用于:
[0161] 获取图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,所述图像库中每个图像对应至少一个子场景标识,所述置信度为所述图像中包括所述子场景标识对应的子场景的概率;
[0162] 根据图像库中每个图像对应的子场景标识、以及每个图像对应的子场景标识的置信度,在所述预设数据库中确定所述关联图像,其中,所述关联图像对应的子场景标识中包括所述第一子场景的标识,且所述关联图像对应的所述第一子场景的标识的置信度大于第一预设阈值。
[0163] 在另一种可能的实施方式中,所述构建模块12具体用于:
[0164] 获取所述关联图像的第一标注图像,所述第一标注图像包括所述第一子场景的第二图像;
[0165] 根据所述第一场景图像和所述第一标注图像,确定所述第一场景图像和所述第一标注图像的视差图像;
[0166] 根据所述视差图像,构建所述第一子场景的虚拟三维场景。
[0167] 在另一种可能的实施方式中,其特征在于,所述第一确定模块13具体用于:
[0168] 在所述关联图像中确定剩余图像;
[0169] 根据所述关联图像的剩余图像,确定所述新的第一场景图像。
[0170] 在另一种可能的实施方式中,所述第一确定模块13具体用于:
[0171] 确定所述关联图像中包括的标注图像、及每个标注图像对应的子场景标识;
[0172] 获取已完成虚拟三维场景构建的子场景标识;
[0173] 根据所述关联图像中包括的标注图像对应的子场景标识和已完成虚拟三维场景构建的子场景标识,在所述关联图像中确定剩余标注图像;
[0174] 确定所述剩余图像包括所述剩余标注图像。
[0175] 在另一种可能的实施方式中,所述第一确定模块13具体用于:
[0176] 根据所述剩余图像中每个剩余标注图像对应的子场景标识的置信度,在所述剩余图像包括的剩余标注图像中确定目标剩余标注图像;
[0177] 将所述目标剩余标注图像确定为所述新的第一场景图像。
[0178] 图6为本发明实施例提供的虚拟三维场景构建装置的结构示意图二。在图5所示实施例的基础上,请参见图6,所述虚拟三维场景构建装置10还包括第二获取模块14、第三获取模块15和第二确定模块16,其中,
[0179] 所述第二获取模块14用于,获取所述待构建场景对应的第三图像;
[0180] 所述第三获取模块15用于,将所述第三图像与已知标注图像进行匹配,以获取第三图像中任意部分图像与所述已知标注图像的相似度,所述已知标注图像为所述图像库中子场景标识的置信度为1的标注图像;
[0181] 所述第二确定模块16用于,根据第三图像中任意部分图像与所述已知标注图像的相似度,确定第三图像的图像信息,所述第三图像的图像信息包括:所述第三图像中包括的标注图像、每个标注图像对应的子场景标识、以及每个标注图像对应的子场景标识的置信度。
[0182] 在另一种可能的实施方式中,所述第二确定模块16用于:
[0183] 若所述第三图像中的第一部分图像与第一已知标注图像的相似度最大,且所述第一部分图像与所述第一已知标注图像的相似度大于第一阈值,则将所述第一部分图像确定为所述第三图像的第二标注图像,确定所述第二标注图像对应的子场景标识为所述第一已知标注图像对应的子场景标识,确定所述第二标注图像对应的子场景标识的置信度为所述第一部分图像与所述第一已知标注图像的相似度;
[0184] 在另一种可能的实施方式中,所述第二确定模块16用于:
[0185] 若所述第三图像中的第二部分图像与每个已知标注图像的相似度均小于第二阈值,则将所述第二部分图像确定为所述第三图像的第三标注图像,并确定所述第三标注图像对应的子场景标识为新生成的子场景标识,确定所述第三标注图像对应的子场景标识的置信度为1,所述第二部分图像为所述第三图像中除所述第二标注图像外的图像。
[0186] 本发明实施例提供的虚拟三维场景构建装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
[0187] 图7为本发明实施例提供的虚拟三维场景构建装置的硬件结构示意图,如图7所示,该虚拟三维场景构建装置20包括:至少一个处理器21和存储器22。可选地,该终端设备还包括通信部件23。其中,处理器21、存储器22以及通信部件23通过总线24连接。
[0188] 在具体实现过程中,至少一个处理器21执行所述存储器22存储的计算机执行指令,使得至少一个处理器21执行如上方法实施例所示的方法。
[0189] 通信部件23可以与其它设备进行数据交互。
[0190] 处理器21的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
[0191] 在上述的图7所示的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:
Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
[0192] 存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。
[0193] 总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
[0194] 本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上所述的方法实施例所示的方法。
[0195] 上述的计算机可读存储介质,上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0196] 一种示例性的可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和可读存储介质也可以作为分立组件存在于设备中。
[0197] 所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0198] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0199] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0200] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0201] 本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0202] 最后应说明的是:以上各实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述各实施例对本发明实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例方案的范围。