针对倾斜摄影三维重建的纹理自动生成和修复方法

摘要

本发明公开一种针对倾斜摄影三维重建的纹理自动生成和修复方法。该方法包括如下步骤：步骤1：对倾斜摄影的数据进行单体化，得到单栋建筑的数据；步骤2：对单栋建筑的贴图进行语义分割，得到建筑倾斜摄影的纹理图片；步骤3.1：将步骤2得到的倾斜摄影纹理图片输入编码网络，得到纹理图片对应的隐码子；步骤3.2：将步骤3.1得到的隐码子输入预训练的生成网络，生成修复的纹理图片；步骤4：对步骤3.2生成的修复的纹理图片进行后处理，将其贴回到三维几何重建得到的建筑白膜上，得到完整的带纹理的重构建筑。该方法既能保留原始建筑物纹理中的风格、颜色、光照等信息，又能改善图像模糊、拉伸、破缺等畸变问题。

权利要求

1.一种针对倾斜摄影三维重建的纹理自动生成和修复方法，该方法包括如下步骤：

步骤1：对倾斜摄影的数据进行单体化，得到单栋建筑的数据；

步骤2：对单栋建筑的贴图进行语义分割，得到建筑倾斜摄影的纹理图片，并根据纹理信息的重要性进行分类；

步骤3.1：将步骤2得到的倾斜摄影纹理图片输入编码网络，得到纹理图片对应的隐码子，其中对于纹理特征较为重要的区域，采用局部聚合描述符的编码方法，所述局部聚合描述符的编码方法具体是指，首先，将局部图像的描述符分配给具有d个元素的字典，即视觉词袋BoVW中的最邻近的视觉词；然后通过以下公式获得每个描述符的隐码子：ζ’(fi) =(fi– kCζ(fi)) ⊗ζ(fi)，其中fi指代任一图像子区域的局部特征值，k指代该图像子区域对应的修D×d复权重系数，C对应于BoVW 方法中拥有d个元素的字典C = c1… cd∈ M ，ζ(fi)对应于通过BoVW 方法获得的fi的视觉词的一位有效向量即隐码子，⊗指代克罗内克积；

步骤3.2：将步骤3.1得到的隐码子输入预训练的生成网络，生成修复的纹理图片，所述预训练的生成网络，指的是采集大量正常的正视和/或斜视角度的不同建筑物表面的图像，通过机器学习的方法进行训练归类，形成参考集；

步骤4：对步骤3.2生成的修复的纹理图片进行后处理，将其贴回到三维几何重建得到的建筑白膜上，得到完整的带纹理的重构建筑。

2.根据权利要求1所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，其中步骤2中，还可以替代地或同时地对单栋建筑的贴图进行空间分割，以区分建筑本身不同的空间特征，并根据空间信息的重要性进行分类。

3.根据权利要求2所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，其中步骤3.1中，根据建筑物不同的特征信息，分别对空间、纹理信息重要性不一样的区域采取不同的编码网络和编码方法。

4.根据权利要求3所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，其中对于空间特征较为重要的区域，采用阶数敏感的编码方法。

5.根据权利要求4所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，所述阶数敏感的编码方法是指，通过在需要重点处理空间信息的倾斜摄影的图像子区域再进一步划分成若干个对于空间敏感的图像微区域，从而强调这些区域的空间特征。

6.根据权利要求5所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，获得预训练的参考集后，输入步骤3.1得到的不同子区域的隐码进行训练，从而得到与相应子区域最为相近的预生成网络中的参考子集，并基于该参考子集中的特征信息对图像区域中模糊较为严重、或者较大范围缺失或者失真的部分进行填补、修复，从而获得修复的纹理图片。

说明书

针对倾斜摄影三维重建的纹理自动生成和修复方法

技术领域

[0001] 本发明属于遥感领域的建筑三维重建领域，具体属于三维重建的纹理生成领域，尤其属于倾斜摄影三维重建的纹理自动生成和修复方法。

背景技术

[0002] 伴随着摄影测量与计算机视觉技术的理论和硬件的发展,倾斜摄影测量作为传统摄影测量的技术发展方向,不仅弥补了航空摄影测量不能获取建筑物侧面纹理的缺陷,为采用摄影测量方法进行影像纹理映射提供了可能性,而且也为快速,大面积城市建筑物真三维模型自动化获取提供了新的途径。

[0003] 在传统的倾斜摄影三维重建中，现有技术首先从原始航拍的数据中提取纹理，然后将得到的纹理图片贴合到三维重建的白膜上。这种方法面临如下问题： （1）从倾斜摄影数据提取的纹理有瑕疵。因为树木遮挡、窗户、噪声等因素，从倾斜摄影数据提取的纹理往往存在着破缺、变形等瑕疵。（2）将从倾斜摄影得到的纹理贴到三维重建的建筑上会导致畸变。三维重建的建筑相对于原始倾斜摄影的建筑发生了旋转，直接将从倾斜摄影提取的纹理贴合到三维重建的建筑上，会导致纹理的拉伸、模糊等畸变。

发明内容

[0004] 为了解决现有技术中倾斜摄影建筑三维重建时纹理重构存在的模糊、拉伸、破缺等畸变问题，本发明提出一种针对倾斜摄影三维重建的纹理自动生成和修复方法，该方法包括如下步骤：

[0005] 步骤1：对倾斜摄影的数据进行单体化，得到单栋建筑的数据；

[0006] 步骤2：对单栋建筑的贴图进行语义分割，得到建筑倾斜摄影的纹理图片；

[0007] 步骤3.1：将步骤2得到的倾斜摄影纹理图片输入编码网络，得到纹理图片对应的隐码子；

[0008] 步骤3.2：将步骤3.1得到的隐码子输入预训练的生成网络，生成修复的纹理图片；

[0009] 步骤4：对步骤3.2生成的修复的纹理图片进行后处理，将其贴回到三维几何重建得到的建筑白膜上，得到完整的带纹理的重构建筑。

[0010] 其中步骤2中，通过语义分割得到建筑倾斜摄影的纹理图片，并根据纹理信息的重要性进行分类。

[0011] 在步骤2中，还可以替代地或同时对单栋建筑的贴图进行空间分割，以区分建筑本身不同的空间特征，并根据空间信息的重要性进行分类。

[0012] 在步骤3.1中，根据建筑物不同的特征信息，分别对空间、纹理信息重要性不一样的区域采取不同的编码网络和编码方法。

[0013] 具体地，一方面对于纹理特征较为重要的区域，采用局部聚合描述符的编码方法。

[0014] 所述局部聚合描述符的编码方法具体是指，首先，将局部图像的描述符分配给具有d个元素字典，即视觉词袋BoVW，中的最邻近的视觉词；然后通过以下公式获得每个描述符的隐码子：ζ’(fi) =(fi − kCζ(fi)) ⊗ ζ(fi)，其中fi指代任一图像子区域的局部特征值, k指代该图像子区域对应的修复权重系数，C对应于BoVW 方法中拥有d个元素的字典C = D×dc1… cd ∈ M ，ζ(fi)对应于通过BoVW 方法获得的fi 的视觉词的一位有效向量即隐码子，⊗指代克罗内克积。

[0015] 另一方面，对于空间特征较为重要的区域，采用阶数敏感的编码方法。

[0016] 所述阶数敏感的编码方法是指，通过在需要重点处理空间信息的倾斜摄影的图像子区域再进一步划分成若干个对于空间敏感的图像微区域，从而强调这些区域的空间特征。

[0017] 在步骤3.2中，所述预训练的生成网络，指的是采集大量正常的正视和/或斜视角度的不同建筑物表面的图像，通过机器学习的方法进行训练归类，形成参考集。

[0018] 获得预训练的参考集后，输入步骤3.1得到的不同子区域的隐码进行训练，从而得到与相应子区域最为相近的预生成网络中的参考子集，并基于该参考子集中的特征信息对图像区域中模糊较为严重、或者较大范围缺失或者失真的部分进行填补、修复，从而获得修复的纹理图片。

[0019] 有益效果

[0020] 本发明提供的上述技术方案，至少具有如下有益效果：

[0021] 相比于从原始倾斜摄影数据提取纹理的方法，本发明得到的纹理没有模糊、破缺、变形等畸变。同时，还保留了原始纹理数据的颜色、风格、光照等信息，保证了纹理的逼真程度，能满足绝大多数城市数字孪生场景的需要。

[0022] 本申请通过对建筑物的贴图进行语义分割和空间分割，既保留了整体建筑及其局部特征的空间信息，同时充分挖掘和编码建筑物外观的纹理信息。

[0023] 本申请从建筑的倾斜摄影纹理图片提取了隐码，该隐码不仅编码了原始纹理的颜色、风格等特征，并对空间信息和纹理信息进行重要性分类；并根据建筑物自身的特点和周围的环境基于不同的重要性采用不同的编码方法，既节省了计算量，又尽量保证了数据的准确性，同时对于例如由摄像机突然出现暂时抖动导致的图像轻度模糊，或者建筑物被小障碍物遮挡而导致的小部分缺损或失真可进行简单恢复，从而便于后面的进一步处理。

[0024] 在步骤3.2中，该隐码被输入预训练的生成网络，来修复存在较大模糊、大范围区域畸变或被遮挡的纹理。由此，修复的纹理图片不仅能保留原始纹理的颜色、风格、光照等特征，还解决了拉伸、畸变等问题。

[0025] 使用本方法提供的倾斜摄影三维重建来生成和修复纹理，并非直接从原始数据提取，而是既保留了原始图像数据中的有用信息，又对图像中的缺陷进行修复，由此，避免了原始纹理中的树木遮挡、窗户、噪声等因素的影响，解决了纹理模糊、破缺等问题。同时，通过恰当地训练编码网络，可以保证在步骤3.2中，生成的纹理图片的角度始终是正视的，从而避免了将纹理贴回建筑时的旋转、拉伸等形变问题。

附图说明

[0026] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。

[0027] 图1为本发明针对倾斜摄影三维重建的纹理自动生成方法的流程图。

具体实施方式

[0028] 为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

[0029] 参照附图1，本发明提出了一种针对倾斜摄影三维重建的纹理自动生成和修复方法。该方法首先需要获取摄影数据，并且为了对建筑物全方位重建，需要获得倾斜摄影数据，随后对倾斜摄影的数据进行单体化，得到单栋建筑的数据。 具体地，该倾斜摄影的数据取自五摄像头，能够从俯视、前方、后方、左侧、右侧5个维度获得图像数据。该五摄像头既可以集成到一个摄影机架上，也可以分别独立的进行。该步骤进行的单体化，仅是初步将整体图像分割为若干个图像，得到的单栋建筑图像可能被树木遮挡、窗户存在畸变等缺陷。

[0030] 得到单栋建筑的图像数据后，获得其表面图像，即贴图。随后进行步骤2：对单栋建筑的贴图进行语义分割和空间分割，通过语义分割得到建筑倾斜摄影的纹理图片，并根据纹理信息的重要性进行分类；通过空间分割，可区分建筑本身不同的空间特征，例如是否建筑倾斜、拉伸，是否存在窗户、窗户的大小位置等；并区分建筑的场景特征‑例如是否被树木遮挡等，从而将单栋建筑区分为不同的空间子区域。

[0031] 空间分割和纹理分割完毕后，进行步骤3.1：将步骤2得到的不同空间子区域的倾斜摄影纹理图片输入编码网络，得到纹理图片对应的隐码。此处，根据建筑物的不同的特征信息，分别对空间、纹理信息重要性不一样的区域采取不同的编码网络和编码方法，从而能够兼顾整栋建筑的空间和纹理信息。

[0032] 例如，对于建筑的主要外表面，可能存在钢筋混凝土的纹理、可能存在瓦片或砖块的纹理、或者水泥，甚至不同刷漆的纹理，这些纹理中既包含不同的风格，也包含不同的颜色、照明等信息；相对来说，即使整栋建筑存在一定角度的倾斜，通过后期的视角转换很容易将整栋建筑外观重建到正视的角度，因此在这些区域，纹理特征更为重要。为了充分展现纹理的颜色、风格、照明等，我们提出一种无阶编码的方法。

[0033] 本领域公知的是，目前常用的无阶编码的方法是一种叫做视觉词袋（Bag Dofvisual words, BoVW）的方法，该编码方法首先对局部特征fi∈M 进行矢量量化(VQ)，方D×d
法是将它们分配给有d 个元素的字典 C = c1… cd ∈ M 中最接近的视觉词。视觉词可以被认为是“原型特征”，是在训练过程中通过对示例局部特征进行聚类获得的。描述符隐码子ζ(fi)是指示对应于 fi 的视觉词的一位有效向量，然后平均池化这些一位有效向量产生视觉词出现次数的直方图。

[0034] 为了包含更多纹理信息，且为了便于修复缺损信息，我们提出一种局部聚合描述符的编码方法，该种局部聚合描述符的隐码子包含的信息更为丰富。首先，我们将局部图像的描述符分配给具有d个元素的字典，例如BoVW中的最邻近的视觉词；然后通过以下公式获得每个描述符的隐码子：ζ’(fi) =(fi − kCζ(fi)) ⊗ ζ(fi)，其中fi指代任一图像子区域的局部特征值, k指代该图像子区域对应的修复权重系数，C对应于BoVW 方法中拥有d个元素D×d的字典C = c1… cd ∈ M ，ζ(fi)对应于通过BoVW 方法获得的fi 的视觉词的一位有效向量即隐码子，⊗指代克罗内克Kronecker 积。

[0035] 直观地说，我们提出的局部聚合描述符的编码方法从局部特征值fi中减去相应的视觉词Cζ(fi )以及预期为其作出修复的权重系数的乘积，然后将差值赋值到d个可能的子向量之一中，并与BoVW方法获得的fi 的视觉词的隐码子即一位有效向量进行矩阵运算，从而获得包含信息更为丰富的每个视觉词的隐码子ζ’(fi )。可见，该隐码子ζ’(fi )累积一阶描述符的统计信息，而不是像 BoVW只是处理单个事件，因此我们提出的这种编码方法特别适应于图像存在轻度模糊，或者建筑由于树木遮挡导致建筑外观信息存在少部分缺失的图像编码，因此得到的纹理编码更能反应建筑物的风格、颜色、照明等信息，且能够适当处理例如由摄像机突然出现暂时抖动导致的图像轻度模糊和少部分缺损问题。

[0036] 本领域人员公知的是，即使是轻度模糊，也存在不同级别的轻度模糊。我们提出的这种方法还可以基于图像子区域轻度模糊的级别进行预判，从而设置其修复的权重系数k，从而可以针对不同级别的轻度模糊进行相应的修复，从而获得更好的修复效果。

[0037] 另一方面，由于倾斜摄影可能导致一栋建筑的窗户畸变严重，而本领域公知的是，透明窗户的纹理信息基本上相同的，因此在这些窗户区域，窗户的大小、位置、倾斜角度等空间特征更为重要，纹理特征不太重要。因此我们使用阶数敏感的编码方法。

[0038] 具体地，通过在需要重点处理空间信息的倾斜摄影的图像子区域再进一步划分成若干个对于空间敏感的图像微区域，从而强调这些区域的空间特征。同时，为了减少纹理编码的计算量，并使处理更为快速，在这些需要仅重点关注空间特征的子区域，可以不用上述我们提出的局部聚合描述符的编码方法，而替代地采用上述本领域公知的常用的视觉词袋（Bag ofvisual words, BoVW）的方法。当然本领域技术人员容易理解，在精度要求或者计算条件允许的情况下，也可以替代或叠加地使用我们提出的上述局部聚合描述符的编码方法。

[0039] 并且本领域技术人员可以理解，上述语义分割和空间分割并不是必须一起进行，也可以根据具体的情形和需求，只进行语义分割，或者只进行空间分割，只要其能最终保证整体建筑不拉伸，不畸变，能够保证纹理的逼真程度即可。

[0040] 通过采用以上两种方法，一方面既保留整体建筑及其局部特征的空间信息，同时充分挖掘和编码建筑物外观的纹理信息，同时对于例如由摄像机突然出现暂时抖动导致的图像轻度模糊，或者建筑物被小障碍物遮挡而导致的小部分缺损或失真可进行简单恢复，从而便于后面的进一步处理。

[0041] 上面编码及其调整方法，仅是对于轻度模糊以及小部分缺失或者失真的图像有效。对于图像模糊较为严重，以及存在较大范围缺失或者失真的图像，需要采取如下步骤3.2：将步骤3.1得到的不同子区域的隐码输入预训练的生成网络，生成修复的纹理图片。

[0042] 具体地，所述预训练生成网络，指的是采集大量正常的正视和/或斜视角度的不同建筑物表面的图像，通过机器学习的方法进行训练归类，形成参考集。机器学习的方法可以采用如下现有技术中已有的方法，例如，卷积神经网络CNN、深度卷积神经网络DCNN、线性回归、人工神经网络ANN等，在此不再赘述。

[0043] 获得预训练的生成网络后，输入步骤3.1得到的不同子区域的隐码进行训练，从而得到与相应子区域最为相近的预生成网络中的参考子集，并基于该参考子集中的特征信息对图像区域中模糊较为严重、或者较大范围缺失或者失真的部分进行填补、修复，从而获得修复的纹理图片。

[0044] 最后，修复的纹理图片生成后，进行步骤4：对步骤3.2生成的修复的纹理图片进行后处理，将其贴回到三维几何重建得到的建筑白膜上，得到完整的带修复纹理的重构建筑。

[0045] 通过以上的步骤，既通过我们提出的局部聚合描述符的编码方法修复了五维摄像头获得图像数据的小缺陷，也通过大数据训练模型的算法修正了五维摄像头获得图像数据的大缺陷，既保留了原始纹理的特征，又规避掉了从原始图片提取纹理时遇到的噪音、残损等问题，达到了很好的技术效果。

[0046] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干叠加、删除、改进和润饰，这些叠加、删除、改进和润饰也应视为本发明的保护范围。