城市实时数字内容生成方法、系统及其电子设备转让专利
申请号 : CN202311632111.X
文献号 : CN117351156B
文献日 : 2024-03-22
发明人 : 唐伟 , 刘海霞
申请人 : 深圳市云鲸视觉科技有限公司
摘要 :
本申请涉及数字孪生领域，提供一种城市实时数字内容生成方法、系统及其电子设备。该方法包括：获取实时目标点云图像，确定三维模型中的透视源点；对实时目标点云图像进行实例分割，提取实时目标点云图像中的前景特征和背景特征；基于透视源点计算实时目标点云图像与三维模型之间的透视变换矩阵；基于透视变换矩阵，对背景特征和前景特征的目标中心点进行透视变换，根据透视变换后的目标中心点将前景特征映射到三维模型中，在三维模型中对前景特征和背景特征进行融合得到实时目标点云特征；对实时目标点云特征进行实时纹理渲染，以将实时目标点云图像与三维模型融合，得到实时城市目标数字化内容。本申请实施例提高了待数字化城市目标的显示效果。
权利要求 :
1.一种城市实时数字内容生成方法，其特征在于，包括：
获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；
所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容；
其中，所述根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，包括：根据透视变换后的目标中心点在所述三维模型中的目标位置，确定所述前景特征在所述三维模型中对应的覆盖区域；
基于所述覆盖区域将所述前景特征映射到所述三维模型中；
所述基于所述覆盖区域将所述前景特征映射到所述三维模型中，包括：获取第一实时点云特征点与第二实时点云特征点之间的点云特征关系；所述第一实时点云特征点是所述前景特征中的实时点云特征点，所述第二实时点云特征点是所述覆盖区域中的实时点云特征点；
基于所述点云特征关系，将所述第二实时点云特征点的像素值替换为所述第一实时点云特征点的像素值，以将所述前景特征映射到所述三维模型中；
所述基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，包括：基于所述透视变换矩阵对所述背景特征进行透视变换，得到所述背景特征在所述三维模型中对应的俯视角背景特征；
根据所述俯视角背景特征和所述透视变换矩阵，计算所述前景特征的目标中心点对应的透视变换坐标；
基于所述透视变换坐标，对所述目标中心点进行透视变换。
2.根据权利要求1所述的城市实时数字内容生成方法，其特征在于，所述对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征，包括：利用经过预训练的实例分割算法模型，对所述实时目标点云图像进行实例分割处理，识别所述实时目标点云图像中的各前景目标，并生成各所述前景目标的位置框和目标序号；
基于所述位置框和所述目标序号，对各所述前景目标进行分割提取，得到所述实时目标点云图像的前景特征和背景特征。
3.根据权利要求1所述的城市实时数字内容生成方法，其特征在于，所述基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵，包括：确定所述透视源点在所述实时目标点云图像中对应的目标点，以及所述目标点在所述实时目标点云图像中的目标点位置坐标；
获取所述透视源点在所述三维模型中的源点位置坐标；
根据所述目标点位置坐标和所述源点位置坐标之间的变换关系，计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵。
4.根据权利要求1所述的城市实时数字内容生成方法，其特征在于，所述获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点，包括：获取待处理的原始点云图像；
根据用户在预设的三维模型的视频融合区域中的选择操作，确定待数字化城市目标的实时目标点云图像在所述视频融合区域中对应的顶点，以及所述顶点划分出的目标融合区域；
根据所述目标融合区域的尺寸确定待数字化城市目标的实时目标点云图像的目标尺寸，并根据所述目标尺寸对所述原始点云图像的周边进行图像填充处理，得到所述实时目标点云图像；
根据所述目标融合区域的顶点，确定所述三维模型中的透视源点。
5.一种城市实时数字内容生成装置，其特征在于，包括：
图像实时获取模块，用于获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
实例分割模块，用于对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
计算模块，用于基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
透视变换模块，用于基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
纹理实时渲染模块，用于对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容；
其中，所述根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，包括：根据透视变换后的目标中心点在所述三维模型中的目标位置，确定所述前景特征在所述三维模型中对应的覆盖区域；
基于所述覆盖区域将所述前景特征映射到所述三维模型中；
所述基于所述覆盖区域将所述前景特征映射到所述三维模型中，包括：获取第一实时点云特征点与第二实时点云特征点之间的点云特征关系；所述第一实时点云特征点是所述前景特征中的实时点云特征点，所述第二实时点云特征点是所述覆盖区域中的实时点云特征点；
基于所述点云特征关系，将所述第二实时点云特征点的像素值替换为所述第一实时点云特征点的像素值，以将所述前景特征映射到所述三维模型中；
所述基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，包括：基于所述透视变换矩阵对所述背景特征进行透视变换，得到所述背景特征在所述三维模型中对应的俯视角背景特征；
根据所述俯视角背景特征和所述透视变换矩阵，计算所述前景特征的目标中心点对应的透视变换坐标；
基于所述透视变换坐标，对所述目标中心点进行透视变换。
6.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的城市实时数字内容生成方法。
7.一种非暂态的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述的城市实时数字内容生成方法。
说明书 :
城市实时数字内容生成方法、系统及其电子设备
技术领域
[0001] 本申请涉及数字孪生技术领域，具体涉及一种城市实时数字内容生成方法、系统及其电子设备。
背景技术
[0002] 数字孪生是一种基于数字化技术，将物理世界与虚拟世界相结合的新兴技术，在推动各行业数字化转型和社会发展变革中发挥着重要作用。城市实时数字内容生成是数字孪生中的一项关键技术，它可以将城市中各个建筑物目标与三维场景模型融合，能够增强数字孪生的仿真效果，准确实时反映现实场景中的真实情况，在智慧城市、公共管理、安防监控、道路交通等领域得到了广泛应用。
[0003] 现有的通过复杂的相机标定流程和畸变矫正实现城市实时数字内容生成的方法，会在图像转换中会引入更多误差，致使三维模型纹理中带有大量噪点，模型画面模糊呈现效果不佳。并且，对图像的透视变换矫正，均是对图像整体进行透视变换，容易致使图像中的目标产生畸变失真，会影响待数字化城市目标的显示效果。
发明内容
[0004] 本申请实施例提供一种城市实时数字内容生成方法、系统及其电子设备，用以解决现有的城市实时数字内容生成方法容易在图像转换中会引入更多误差，致使三维模型纹理中带有大量噪点，以及导致图像中的目标产生畸变失真，最终导致显示效果不佳的技术问题。
[0005] 第一方面，本申请实施例提供一种城市实时数字内容生成方法，包括：
[0006] 获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
[0007] 对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
[0008] 基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
[0009] 基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
[0010] 对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容。
[0011] 在一个实施例中，所述根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，包括：
[0012] 根据透视变换后的目标中心点在所述三维模型中的目标位置，确定所述前景特征在所述三维模型中对应的覆盖区域；
[0013] 基于所述覆盖区域将所述前景特征映射到所述三维模型中。
[0014] 在一个实施例中，所述基于所述覆盖区域将所述前景特征映射到所述三维模型中，包括：
[0015] 获取第一实时点云特征点与第二实时点云特征点之间的点云特征关系；所述第一实时点云特征点是所述前景特征中的实时点云特征点，所述第二实时点云特征点是所述覆盖区域中的实时点云特征点；
[0016] 基于所述点云特征关系，将所述第二实时点云特征点的像素值替换为所述第一实时点云特征点的像素值，以将所述前景特征映射到所述三维模型中。
[0017] 在一个实施例中，所述基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，包括：
[0018] 基于所述透视变换矩阵对所述背景特征进行透视变换，得到所述背景特征在所述三维模型中对应的俯视角背景特征；
[0019] 根据所述俯视角背景特征和所述透视变换矩阵，计算所述前景特征的目标中心点对应的透视变换坐标；
[0020] 基于所述透视变换坐标，对所述目标中心点进行透视变换。
[0021] 在一个实施例中，所述对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征，包括：
[0022] 利用经过预训练的实例分割算法模型，对所述实时目标点云图像进行实例分割处理，识别所述实时目标点云图像中的各前景目标，并生成各所述前景目标的位置框和目标序号；
[0023] 基于所述位置框和所述目标序号，对各所述前景目标进行分割提取，得到所述实时目标点云图像的前景特征和背景特征。
[0024] 在一个实施例中，所述基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵，包括：
[0025] 确定所述透视源点在所述实时目标点云图像中对应的目标点，以及所述目标点在所述实时目标点云图像中的目标点位置坐标；
[0026] 获取所述透视源点在所述三维模型中的源点位置坐标；
[0027] 根据所述目标点位置坐标和所述源点位置坐标之间的变换关系，计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵。
[0028] 在一个实施例中，所述获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点，包括：
[0029] 获取待处理的原始点云图像；
[0030] 根据用户在预设的三维模型的视频融合区域中的选择操作，确定待数字化城市目标的实时目标点云图像在所述视频融合区域中对应的顶点，以及所述顶点划分出的目标融合区域；
[0031] 根据所述目标融合区域的尺寸确定待数字化城市目标的实时目标点云图像的目标尺寸，并根据所述目标尺寸对所述原始点云图像的周边进行图像填充处理，得到所述实时目标点云图像；
[0032] 根据所述目标融合区域的顶点，确定所述三维模型中的透视源点。
[0033] 第二方面，本申请实施例提供一种城市实时数字内容生成装置，包括：
[0034] 图像实时获取模块，用于获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
[0035] 实例分割模块，用于对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
[0036] 计算模块，用于基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
[0037] 透视变换模块，用于基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
[0038] 纹理实时渲染模块，用于对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容。
[0039] 第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的城市实时数字内容生成方法。
[0040] 第四方面，本申请实施例提供一种非暂态的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的城市实时数字内容生成方法。
[0041] 第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的城市实时数字内容生成方法。
[0042] 本申请实施例提供的城市实时数字内容生成方法、系统及其电子设备，通过对获取的实时目标点云图像进行实例分割，提取出实时目标点云图像中的前景特征和背景特征，并基于三维模型的透视源点，计算背景特征的透视变换矩阵；基于该透视变换矩阵，对背景特征和目标中心点进行透视变换，根据透视变换后的目标中心点将前景特征映射到三维模型中，在三维模型中对前景特征和背景特征进行融合得到实时目标点云特征；对得到的实时目标点云特征进行实时纹理渲染，实现实时目标点云图像与三维模型融合，得到实时城市目标数字化内容。通过实例分割获取实时目标点云图像的前景特征和背景特征，并分别进行透视变换后融合，并且，对前景特征的透视变换，是基于透视变换后的前景目标的中心点对前景特征的映射，避免了因图像坐标转换引入的误差造成的纹理模糊问题，以及避免了因图像整体透视变换导致的目标畸变失真问题，提高了待数字化城市目标的显示效果。
附图说明
[0043] 为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044] 图1是本申请实施例提供的城市实时数字内容生成方法的流程示意图之一；
[0045] 图2是本申请实施例提供的城市实时数字内容生成方法的流程示意图之二；
[0046] 图3是本申请实施例提供的城市实时数字内容生成装置的结构示意图；
[0047] 图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0048] 为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0049] 图1为本申请实施例提供的城市实时数字内容生成方法的流程示意图。参照图1，本申请实施例提供的城市实时数字内容生成方法，可以包括：
[0050] 步骤100，获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
[0051] 首先，获取待数字化城市目标的实时目标点云图像，该实时目标点云图像可以是从监控摄像头采集的监控视频中提取的视频帧，或者，对提取的视频帧进行预处理得到的图像。根据获取的实时目标点云图像，确定对应的透视源点，该透视源点可用作对实时目标点云图像进行透视变换处理时的参考点。进一步地，待数字化城市目标的实时目标点云图像的尺寸与三维模型的尺寸相同，具体是待数字化城市目标的实时目标点云图像的尺寸与三维模型的图像融合区域的尺寸相同，以便在实时目标点云图像中的实时点云特征点与三维模型中的融合区域的点云特征点之间，建立一一对应的关系。其中，三维模型是指事先构建的三维场景模型，也即三维场景的画面。
[0052] 可选地，透视源点可以是实时目标点云图像的顶点，例如，对于标准的矩形实时目标点云图像，将实时目标点云图像的四个顶点作为透视源点；可选地，透视源点可以是实时目标点云图像的特征点，例如，将实时目标点云图像的中心点、几何中心和重心等作为透视源点。
[0053] 步骤200，对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
[0054] 对实时目标点云图像进行实例分割，提取实时目标点云图像中的前景特征和背景特征，实例分割所分割的实例，即实时目标点云图像中的前景目标，该前景目标可以是被监控的人或物。可以理解的是，前景特征中的前景目标包括一个或多个。在对实时目标点云图像进行实例分割时，首先识别实时目标点云图像中的每个前景目标，然后从实时目标点云图像中对每个前景目标进行分割提取，得到对应的前景特征，以及对前景目标进行分割提取后，实时目标点云图像的剩余部分即为背景特征。
[0055] 需要说明的是，在对前景特征进行实例分割后，背景特征中前景目标对应的部分因目标分割产生残缺，可以基于预设的图像补全算法，对残缺的背景特征进行补全，得到完整的背景特征，作为后续背景特征透视校正的基础。
[0056] 步骤300，基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
[0057] 基于三维模型中的透视源点，计算实时目标点云图像与三维模型之间的透视变换矩阵，可知地，透视源点可以包括一个或多个，在计算透视变换矩阵时，确定实时目标点云图像中与透视源点对应的点，以及该点在实时目标点云图像中的坐标，然后获取透视源点在三维模型中的坐标，基于透视源点与其在实时目标点云图像中对应的点的坐标间的变换关系，确定实时目标点云图像与三维模型之间的透视变换矩阵。
[0058] 可以理解的是，由于实时目标点云图像与三维模型尺寸相同，因此，透视源点在实时目标点云图像中对应的点，也可以是在实时目标点云图像的背景特征中对应的点。也即，透视变换矩阵可以用于表征透视源点与其在实时目标点云图像中对应的点的坐标变换关系，也可以用于表征透视源点与其在背景特征中对应的点的坐标变换关系。计算出的透视变换矩阵是背景特征的透视变换矩阵，也是实时目标点云图像的透视变换矩阵，该透视变换矩阵适用于实时目标点云图像中的任意一个点云特征点。
[0059] 步骤400，基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
[0060] 基于透视变换矩阵，对背景特征和前景特征的目标中心点进行透视变换，其中，前景特征的目标中心点即前景特征中的各前景目标的中心点。根据透视变换后的前景目标的中心点，将前景特征映射到三维模型中，在三维模型中对前景特征和背景特征进行融合，得到实时目标点云特征。
[0061] 相比于对图像进行整体的透视变换，在本实施例中，通过实例分割提取实时目标点云图像的前景特征和背景特征，对前景特征和背景特征分别进行透视变换。并且，在对前景特征进行透视变换时，只对前景特征的中心点进行透视变换，然后基于前景目标的中心点将前景目标映射到三维模型中，实现对前景特征于背景特征的融合，避免了复杂相机标定流程和因图像坐标转换误差造成的模型纹理模糊问题，还解决了图像整体透视变换导致的前景目标的畸变失真，从而可以提高待数字化城市目标的的显示效果。
[0062] 步骤500，对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容。
[0063] 在对前景特征和背景特征进行融合得到实时目标点云特征后，将该实时目标点云特征作为纹理贴图，对其进行实时纹理渲染，实现实时目标点云图像与三维模型的融合，最终结合视频编解码技术，利用监控视频实时更新渲染三维纹理，得到实时城市目标数字化内容，达到实时孪生效果。
[0064] 在本实施例中，通过对获取的实时目标点云图像进行实例分割，提取出实时目标点云图像中的前景特征和背景特征，并基于三维模型的透视源点，计算背景特征的透视变换矩阵；基于该透视变换矩阵，对背景特征和目标中心点进行透视变换，根据透视变换后的目标中心点将前景特征映射到三维模型中，在三维模型中对前景特征和背景特征进行融合得到实时目标点云特征；对得到的实时目标点云特征进行实时纹理渲染，实现实时目标点云图像与三维模型融合，得到实时城市目标数字化内容。通过实例分割获取实时目标点云图像的前景特征和背景特征，并分别进行透视变换后融合，并且，前景特征的透视变换，是基于透视变换后的前景目标的中心点对前景特征的映射，避免了因图像坐标转换引入的误差造成的纹理模糊问题，以及避免了因图像整体透视变换导致的目标畸变失真问题，提高了待数字化城市目标的显示效果。
[0065] 优选地，步骤100中，获取待数字化城市目标的实时目标点云图像，并确定实时目标点云图像的透视源点，具体包括：
[0066] 步骤101，获取待处理的原始点云图像；
[0067] 步骤102，根据用户在预设的三维模型的视频融合区域中的选择操作，确定待数字化城市目标的实时目标点云图像在所述视频融合区域中对应的顶点，以及所述顶点划分出的目标融合区域；
[0068] 步骤103，根据所述目标融合区域的尺寸确定待数字化城市目标的实时目标点云图像的目标尺寸，并根据所述目标尺寸对所述原始点云图像的周边进行图像填充处理，得到所述实时目标点云图像；
[0069] 步骤104，根据所述目标融合区域的顶点，确定所述三维模型中的透视源点。
[0070] 首先获取监控摄像头采集的待处理的原始监控视频，从该原始监控视频中提取视频帧，得到待处理的原始点云图像。然后根据用户在预设的三维模型的视频融合区域中所做出的选择操作，确定待数字化城市目标的实时目标点云图像在视频融合区域中对应的顶点，以及该顶点划分出的目标融合区域。根据三维模型的目标融合区域的尺寸设定待数字化城市目标的实时目标点云图像的目标尺寸。基于该目标尺寸对原始点云图像的周边进行图像填充处理，得到待数字化城市目标的实时目标点云图像，并将用户选择的目标融合区域的顶点作为三维模型中的透视源点。对原始点云图像进行图像填充处理，以确保得到的待数字化城市目标的实时目标点云图像与三维模型的尺寸相同。
[0071] 优选地，在一个实施例中，基于监控摄像头获取待数字化城市目标的实时目标点云图像，根据三维模型要进行视频融合的区域，按左上、右上、左下、右下等顺序，根据用户的手动选取操作，选取三维模型中对应实时目标点云图像区域的四个顶点；基于待数字化城市目标区域的三维模型尺寸设定图像尺寸，采用常量法等方式，对选定的原始点云图像的周边进行图像填充，获得监控区域的矩形规则图像，作为后续城市实时数字内容生成的输入图像，也即待数字化城市目标的实时目标点云图像。
[0072] 优选地，步骤200中，对实时目标点云图像进行实例分割，获取实时目标点云图像的前景特征和背景特征，还可以包括：
[0073] 步骤201，利用经过预训练的实例分割算法模型，对所述实时目标点云图像进行实例分割处理，识别所述实时目标点云图像中的各前景目标，并生成各所述前景目标的位置框和目标序号；
[0074] 步骤202，基于所述位置框和所述目标序号，对各所述前景目标进行分割提取，得到所述实时目标点云图像的前景特征和背景特征。
[0075] 利用经过预训练的实例分割算法模型，对实时目标点云图像进行实例分割处理，识别实时目标点云图像中的各前景目标，并生成各前几个目标的位置框和目标序号。其中，目标序号是基于前景目标的数量，对各前景目标进行计数编码得到的。可知地，同一个实时目标点云图像中，可以包括一个或多个前景目标，当包括多个前景目标时，多个前景目标可以是同类型的目标，也可以是不同类型的目标，因此，还可以生成前景目标的类别标签，生成的目标序号可以是不同类别下的序号。
[0076] 优选地，在一个实施例中，实例分割算法模型可以是基于Transformer的高质量实例分割算法Mask Transfiner（掩码转移）算法，利用该算法对实时目标点云图像进行实例分割处理，获取实时目标点云图像中每个前景目标的掩膜Mask和类别标签，并对前景目标进行分割提取，分别得到每个前景目标的图像和背景特征。
[0077] 其中，对前景目标的识别结果，包括生成前景目标对应的掩膜，位置框可以是根据掩膜位置生成的。基于各前景目标的位置框和目标序号，对各前景目标进行分割提取，得到实时目标点云图像的前景特征和背景特征，其中，位置框可用于在分割提取前景目标时，用于对前景目标所在的待分割区域进行定位，目标序号可用于在分割提取前景目标时，对前景目标进行分割判断，从而确定是否已完成对所有前景目标的分割提取。
[0078] 优选地，在实例分割过程中，利用下列公式1‑2所示的方式，基于每个前景目标的位置框计算前景目标的中心点位置坐标 ，并将其与前景目标的类别标签、目标序号等一起保存。
[0079] ；（1）
[0080] ；（2）
[0081] 在公式1‑2中，x，y为前景目标的中心点的位置坐标值，( ， )表示前景目标的位置框的右上方的顶点坐标，( , )表示前景目标的位置框的左下方的顶点坐标。基于实例分割得到的前景目标的Mask区域的位置框，分别计算Mask区域在实时目标点云图像的x轴、y轴的最大值和最小值，基于公式1‑2即可计算出每个前景目标的中心点位置坐标。
[0082] 优选地，步骤300中，基于三维模型中的透视源点计算实时目标点云图像与三维模型之间的透视变换矩阵，具体包括：
[0083] 步骤301，确定所述透视源点在所述实时目标点云图像中对应的目标点，以及所述目标点在所述实时目标点云图像中的目标点位置坐标；
[0084] 步骤302，获取所述透视源点在所述三维模型中的源点位置坐标；
[0085] 步骤303，根据所述目标点位置坐标和所述源点位置坐标之间的变换关系，计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵。
[0086] 在一个实施例中，透视变换矩阵基于透视源点与其在实时目标点云图像中对应的点的坐标进行计算得到。具体地，在计算背景特征的透视变换矩阵时，首先确定透视源点在实时目标点云图像中对应得到目标点，并获取该目标点在实时目标点云图像中的位置坐标，得到目标点位置坐标。可选地，当以选取的三维模型中的目标融合区域的四个顶点作为透视源点时，目标点位置坐标即实时目标点云图像的四个顶点的位置坐标。结合透视源点在三维模型中的源点位置坐标，确定目标点位置坐标与源点位置坐标之间的变换关系，该变换关系即为实时目标点云图像与三维模型之间的透视变换矩阵。
[0087] 优选地，在一个实施例中，根据三维模型区域确定实时目标点云图像对应区域的四个顶点和图像尺寸，将四个顶点作为背景特征透视变换的透视源点。基于图像尺寸确定源点的坐标，利用opencv模型内置函数计算得到背景特征的透视变换矩阵M，该透视变换矩阵M可以是3x3矩阵，基于透视变换矩阵M对背景特征进行矫正，变换背景特征视角获得俯视角背景特征。具体地，参照下列公式3‑4：
[0088] ；（3）
[0089] ；（4）
[0090] 公式中， 、 为opencv模型内置的用于透视变换的函数，img为背景特征，dst为透视变换后得到的俯视角背景特征，size为图像尺寸，pts1，pts2分别表示透视变换的源点位置坐标和目标点位置坐标。
[0091] 优选地，步骤400中，基于透视变换矩阵，对背景特征和前景目标的目标中心点进行透视变换，具体包括：
[0092] 步骤401，基于所述透视变换矩阵对所述背景特征进行透视变换，得到所述背景特征在所述三维模型中对应的俯视角背景特征；
[0093] 步骤402，根据所述俯视角背景特征和所述透视变换矩阵，计算所述前景特征的目标中心点对应的透视变换坐标；
[0094] 步骤403，基于所述透视变换坐标，对所述目标中心点进行透视变换。
[0095] 在透视变换时，首先基于实时目标点云图像与三维模型之间的透视变换矩阵，对实时目标点云图像的背景特征进行透视变换，得到背景特征在三维模型中对应的俯视角背景特征。根据该俯视角背景特征和透视变换矩阵，计算前景特征的中心点在三维模型中对应的透视变换坐标，基于该透视变换坐标，对前景特征的目标中心点进行透视变换，将前景特征中的各前景目标的中心点变换到三维模型中对应的位置。其中，前景特征的目标中心点包括前景特征中各前景目标的中心点，计算出的透视变换坐标包括各前景目标的中心点在三维模型中对应的坐标位置。
[0096] 在一个实施例中，根据计算出的透视变换矩阵M，利用如下列公式5‑6所示的透视变换推理方式，计算每个前景目标的中心点p(x,y)在背景特征透视变换后对应的位置坐标，也即在三维模型中的透视变换坐标 ：
[0097] ；（5）
[0098] ；（6）
[0099] 计算目标中心点透视变换后的坐标，使得前景特征与背景特征融合时能找到前景目标每个点云特征点对应的位置，而不会因透视变换造成图像融合中目标错位等问题，仅对计算出的前景特征的中心点进行透视变换，而不对前景特征进行整体的透视变换处理，使得前景目标能够保留真实形象而不发生畸变失真，保证了待数字化城市目标的的显示效果。
[0100] 优选地，步骤400中，根据透视变换后的前景目标的目标中心点，将前景特征映射三维模型中，还可以包括：
[0101] 步骤410，根据透视变换后的目标中心点在所述三维模型中的目标位置，确定所述前景特征在所述三维模型中对应的覆盖区域；
[0102] 步骤420，基于所述覆盖区域将所述前景特征映射到所述三维模型中。
[0103] 根据透视变换后的前景目标的中心点在三维模型中的目标位置，确定前景特征在三维模型中对应的覆盖区域，该覆盖区域包括前景特征中每个前景目标对应的图像区域，与前景特征在实时目标点云图像中所在的区域对应。基于该覆盖区域将前景特征映射到三维模型中，也即以前景目标的中心点为参考，基于前景目标的各点云特征点与中心点的相对位置关系，将前景特征映射到三维模型中的覆盖区域。
[0104] 进一步地，步骤420中，基于前景特征中三维模型中对应的覆盖区域，将前景特征映射到三维模型中，还可以包括：
[0105] 步骤421，获取第一实时点云特征点与第二实时点云特征点之间的点云特征关系；所述第一实时点云特征点是所述前景特征中的实时点云特征点，所述第二实时点云特征点是所述覆盖区域中的实时点云特征点；
[0106] 步骤422，基于所述点云特征关系，将所述第二实时点云特征点的像素值替换为所述第一实时点云特征点的像素值，以将所述前景特征映射到所述三维模型中。
[0107] 可知地，由于实时目标点云图像与三维模型的尺寸相同，因此，前景特征在三维模型中对应的覆盖区域的点云特征点，与前景特征在实时目标点云图像中所在区域中的实时点云特征点，具有一一对应的关系。在将前景特征映射到三维模型中的覆盖区域时，首先确定第一实时点云特征点与第二实时点云特征点之间的点云特征关系，其中，第一实时点云特征点为前景特征中的实时点云特征点，第二实时点云特征点为三维模型中的覆盖区域中的实时点云特征点，基于第一实时点云特征点与第二实时点云特征点的点云特征关系，将第二实时点云特征点的像素值替换为第一实时点云特征点的像素值，通过像素值替换，完成对前景特征的映射，避免了透视变换中的图像坐标变换引入的误差，从而可以减少模型纹理模糊的问题。
[0108] 优选地，以目标中心点透视变换后的位置为基准，利用实例分割中的前景目标的Mask区域信息，确定前景特征在透视变换后的背景特征中的覆盖区域，将覆盖区域的点云特征点通道值替换为前景特征的点云特征点通道值，得到前景特征和背景特征融合后的实时目标点云特征，并将该图像作为纹理贴图。将获得的纹理贴图输入用户设备UE中，对三维模型对应区域进行实时纹理渲染，实现实时目标点云图像与三维模型融合，最终结合视频编解码技术，利用监控视频实时更新渲染对应三维模型纹理，达到实时孪生效果。
[0109] 优选地，参照图2所示的城市实时数字内容生成方法的另一流程示意图，本申请实施例提供的城市实时数字内容生成方法，基于监控摄像头实时获取的实时目标点云图像，在点云图像预处理阶段，根据三维模型区域选取对应实时目标点云图像待数字化城市目标区域，通过图像填充获得特定监控区域规则图像，也即待数字化城市目标的实时目标点云图像，使得待数字化城市目标的实时目标点云图像的图像尺寸与三维模型的视频融合区域的尺寸相同。
[0110] 进一步地，利用实例分割算法对待数字化城市目标的实时目标点云图像中的前景目标进行实例分割提取，获得实时目标点云图像的背景特征和前景特征。计算前景特征中每个前景目标的中心点坐标，利用图像补全算法对背景特征进行补全，获得完整背景特征。对完整背景特征进行透视变换获得俯视角标准背景特征，计算前景目标的目标中心点透视变换后在三维模型中对应的位置坐标，基于目标中心点的坐标对前景特征进行映射，从而实现前景特征与背景特征在三维模型中的图像融合，得到实时目标点云特征。将实时目标点云特征作为纹理贴图对三维模型进行映射渲染，实现真实监控场景和三维模型的城市实时数字内容生成，达到实时孪生效果。
[0111] 在本实施例中，针对相机标定复杂和坐标转换存在误差，导致模型纹理模糊的问题，选取三维模型对应实时目标点云图像区域，以透视变换矫正实时目标点云图像的背景特征，进而获得俯视角实时目标点云特征，并将其作为纹理贴图对三维模型进行映射渲染实现城市实时数字内容生成，避免了复杂相机标定流程和因图像坐标转换误差造成的模型纹理模糊问题，提高了融合后的视频图像的显示效果。
[0112] 进一步地，针对图像矫正中因图像整体透视变换导致的目标畸变问题，分别对实时目标点云图像的背景特征和前景特征进行透视变换，并且，在对前景特征进行透视变换时，仅对前景特征中各前景目标的中心点进行透视变换，然后以前景目标的中心点为基准，通过像素值替换的方式，将各前景目标映射到三维模型中进行图像融合得到透视矫正后的实时目标点云特征，避免了因图像整体透视变换导致前景目标畸变失真的问题，进一步提高了融合后的视频图像的显示效果。
[0113] 下面对本申请实施例提供的城市实时数字内容生成装置进行描述，下文描述的城市实时数字内容生成装置与上文描述的城市实时数字内容生成方法可相互对应参照。参照图3，本申请实施例提供的城市实时数字内容生成装置，包括：
[0114] 图像实时获取模块10，用于获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
[0115] 实例分割模块20，用于对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
[0116] 计算模块30，用于基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
[0117] 透视变换模块40，用于基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
[0118] 纹理实时渲染模块50，用于对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容。
[0119] 在一个实施例中，所述计算模块30，还用于：
[0120] 根据透视变换后的目标中心点在所述三维模型中的目标位置，确定所述前景特征在所述三维模型中对应的覆盖区域；
[0121] 基于所述覆盖区域将所述前景特征映射到所述三维模型中。
[0122] 在一个实施例中，所述计算模块30，还用于：
[0123] 获取第一实时点云特征点与第二实时点云特征点之间的点云特征关系；所述第一实时点云特征点是所述前景特征中的实时点云特征点，所述第二实时点云特征点是所述覆盖区域中的实时点云特征点；
[0124] 基于所述点云特征关系，将所述第二实时点云特征点的像素值替换为所述第一实时点云特征点的像素值，以将所述前景特征映射到所述三维模型中。
[0125] 在一个实施例中，所述计算模块30，还用于：
[0126] 基于所述透视变换矩阵对所述背景特征进行透视变换，得到所述背景特征在所述三维模型中对应的俯视角背景特征；
[0127] 根据所述俯视角背景特征和所述透视变换矩阵，计算所述目标中心点对应的透视变换坐标；
[0128] 基于所述透视变换坐标，对所述目标中心点进行透视变换。
[0129] 在一个实施例中，所述计算模块30，还用于：
[0130] 确定所述透视源点在所述实时目标点云图像中对应的目标点，以及所述目标点在所述实时目标点云图像中的目标点位置坐标；
[0131] 获取所述透视源点在所述三维模型中的源点位置坐标；
[0132] 根据所述目标点位置坐标和所述源点位置坐标之间的变换关系，计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵。
[0133] 在一个实施例中，所述实例分割模块20，还用于：
[0134] 利用经过预训练的实例分割算法模型，对所述实时目标点云图像进行实例分割处理，识别所述实时目标点云图像中的各前景目标，并生成各所述前景目标的位置框和目标序号；
[0135] 基于所述位置框和所述目标序号，对各所述前景目标进行分割提取，得到所述实时目标点云图像的前景特征和背景特征。
[0136] 在一个实施例中，所述图像实时获取模块10，还用于：
[0137] 获取待处理的原始点云图像；
[0138] 根据用户在预设的三维模型的视频融合区域中的选择操作，确定待数字化城市目标的实时目标点云图像在所述视频融合区域中对应的顶点，以及所述顶点划分出的目标融合区域；
[0139] 根据所述目标融合区域的尺寸确定待数字化城市目标的实时目标点云图像的目标尺寸，并根据所述目标尺寸对所述原始点云图像的周边进行图像填充处理，得到所述实时目标点云图像；
[0140] 根据所述目标融合区域的顶点，确定所述三维模型中的透视源点。
[0141] 图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器（processor）410、通信接口（Communication Interface）420、存储器（memory）430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的计算机程序，以执行城市实时数字内容生成方法，例如包括：
[0142] 获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
[0143] 对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
[0144] 基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
[0145] 基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
[0146] 对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容。
[0147] 此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read‑OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0148] 另一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的城市实时数字内容生成方法，例如包括：
[0149] 获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
[0150] 对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
[0151] 基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
[0152] 基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
[0153] 对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容。
[0154] 另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的城市实时数字内容生成方法，例如包括：
[0155] 获取待数字化城市目标的实时目标点云图像，并确定预设的三维模型中的透视源点；所述实时目标点云图像的尺寸与所述三维模型尺寸相同；
[0156] 对所述实时目标点云图像进行实例分割，提取所述实时目标点云图像中的前景特征和背景特征；
[0157] 基于所述透视源点计算所述实时目标点云图像与所述三维模型之间的透视变换矩阵；
[0158] 基于所述透视变换矩阵，对所述背景特征和所述前景特征的目标中心点进行透视变换，并根据透视变换后的目标中心点将所述前景特征映射到所述三维模型中，在所述三维模型中对所述前景特征和所述背景特征进行融合得到实时目标点云特征；
[0159] 对所述实时目标点云特征进行实时纹理渲染，以将所述实时目标点云图像与所述三维模型融合，得到实时城市目标数字化内容。
[0160] 所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NAND FLASH）、固态硬盘（SSD））等。
[0161] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0162] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0163] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。