本发明提供一种基于傅里叶变换的数字图像三维纹理重建方法，包括如下步骤：将已知拍摄方向下的图像分别按照二维傅里叶展开，得到在变换后的图像频域信息，相机出发的光线经过被测对象时，光线路径上的任意一点形成一个图像单元，将图像中像素点看作光线路径上所有图像单元合成的，构建图像频域信息预测模型，将已知拍摄方向下图像频域信息代入所述图像信息预测模型进行训练，然后将训练完成后的图像信息预测模型用于图像频域信息的预测，将预测得到的图像频域信息进行二维傅里叶逆变化，得到图像在任意拍摄角度下的像素值，完成三维纹理重建。本发明中同一个位置的纹理特征会随着视角的变化而变化，更加符合真实世界在图像中不同视角的反应。
1.一种基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，包括如下步骤：
S1：通过相机拍摄被测对象在已知拍摄方向 下的图像，计算得到被测对象在已知拍摄方向 下的位姿信息及图像信息；
S2：以被测对象在已知拍摄方向 下的图像为研究对象，将得到的图像分别按照二维傅里叶展开，得到变换后的图像频域信息 ，表示为：式中， 是第一个大于等于图像宽度的2 的 次方数； 是第一个大于等于图像高度的2的 次方数； ，表示像素点在像素坐标系中的行； ，表示像素点在像素坐标系中的列，表示像素点在图像坐标系中的行；表示像素点在图像坐标系中的列，表示像素点的像素值；表示虚数单位；
S3：相机出发的光线经过被测对象时，光线路径上的任意一点形成一个图像单元，将图像中像素点看作光线路径上所有图像单元合成的，构建图像频域信息预测模型；
S4：将光线沿光线路径等间距离散为N个点，表示为 、 … … ，将所述图像频域信息预测模型离散化，表示为：式中， 表示整个光线路径上叠加的图像频域信息，表示光线路径上的第 个点， 表示在 位置处得到的图像单元的透明度；表示在 位置处得到的图像单元的图像频域信息，表示光线在 位置处的模， 表示从 到 得到的图像单元的透明度叠加的指数形式，的计算过程为：式中， 表示在 位置处得到的图像单元的透明度， 表示光线在 位置处的模，表示光线路径上的第 个点；
S5：将被测对象沿世界坐标系的 、、三个方向等间距进行离散，利用被测对象离散点的位置信息，采用三线性插值的方法求解得到 的位置信息，得到光线在 位置处的模；
S6：将已知拍摄方向 下的图像频域信息代入离散化的图像频域信息预测模型中，采用梯度下降算法对离散化的图像频域信息预测模型进行多次训练，得到在 位置处的图像单元的透明度 及图像频域信息 ，完成模型的训练；
S7：针对任意被测对象的数字图像三维纹理重建方法，通过所述图像频域信息预测模型输出预测的图像频域信息 ，再通过二维傅里叶逆变换，得到图像在拍摄方向 下的像素值 ，完成三维纹理重建。
2.根据权利要求1所述的基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，步骤S3中，图像频域信息预测模型表示为：式中， 表示光线路径 上叠加的图像频域信息， 表示光线路径的起始点， 表示光线路径的终止点， 表示光线路径 上图像单元透明度叠加的指数表示形式， 表示以相机中心为原点 的矢量， ， ，表示光线的单位矢量， 为相机的方向信息，表示光线绕相机坐标系 轴旋转的角度，表示光线绕相机坐标系 轴旋转的角度； 表示在 位置处图像单元的透明度， 表示 位置处图像单元的图像频域信息。
3.根据权利要求1所述的基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，所述步骤S5中，三线性插值的过程为： 处于8个被测对象离散点围成的最小立方体中，利用立方体 中的八个顶点坐标b1、b2、b3、b4、b5、b6、b7、b8进行三线性插值，得到 在世界坐标系中的坐标，然后将 在世界坐标系中的坐标转换成相机坐标系中的坐标，计算得到光线在光线路径上任意点 位置处的模 ；
式中，为 的插值坐标，表示为 ， 为最小立方体 角点的坐标，表示为， 、 、 为中间计算参数。
4.根据权利要求1所述的基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，在模型的训练过程中，优化的目标损失函数 表示为：式中， 表示预测的图像频域信息和实际图像频域信息的均方根， 表示总变分正则化， 表示超参，控制正则化项 的大小。
基于傅里叶变换的数字图像三维纹理重建方法
技术领域
[0001] 本发明涉及数字图像处理技术领域，具体涉及一种基于傅里叶变换的数字图像三维纹理重建方法。
背景技术
[0002] 数字图像三维重建是指根据单视图或者多视图的图像重建三维信息的过程，在桥梁、建筑、地理坐标、数字化城市、元宇宙等领域中都有广泛的应用。
[0003] 相关技术中，图像三维重构主要是通过提取图像特征点，然后通过特征点匹配，从而通过三角关系恢复图像中的三维数据，在此基础上进行纹理贴图。该方法在物体的侧向、边界等位置常常出现较大的误差，会造成边界位置不清晰，纹理变形等。特别是对于纹理特征较弱的区域存在匹配失败的情况。因此，实有必要提供一种基于傅里叶变换的数字图像三维纹理重建方法解决上述问题。
发明内容
[0004] 本发明要解决的技术问题是在于提供一种基于傅里叶变换的数字图像三维纹理重建方法，其纹理信息是所在光线上的信息叠加，同一个位置的纹理特征会随着视角的变化而变化，更加符合真实世界在图像中不同视角的反应。
[0005] 为实现上述目的，本发明的技术方案为：
[0006] 一种基于傅里叶变换的数字图像三维纹理重建方法，包括如下步骤：
[0007] S1：通过相机拍摄被测对象在已知拍摄方向 下的图像，计算得到被测对象在已知拍摄方向 下的位姿信息及图像信息；
[0008] S2：以被测对象在已知拍摄方向 下的图像为研究对象，将得到的图像分别按照二维傅里叶展开，得到变换后的图像频域信息 ；
[0009] S3：相机出发的光线经过被测对象时，光线路径上的任意一点形成一个图像单元，将图像中像素点看作光线路径上所有图像单元合成的，构建图像频域信息预测模型；
[0010] S4：将光线沿光线路径等间距离散为N个点，表示为 、 … … ，将所述图像频域信息预测模型离散化，表示为：
[0011]
[0012] 式中， 表示整个光线路径上叠加的图像频域信息，表示光线路径上的第 个点， 表示在 位置处得到的图像单元的透明度； 表示在 位置处得到的图像单元的图像频域信息，表示光线在 位置处的模， 表示从 到 得到的图像单元的透明度叠加的指数形式， 的计算过程为：
[0013]
[0014] 式中， 表示在 位置处得到的图像单元的透明度， 表示光线在 位置处的模，表示光线路径上的第 个点；
[0015] S5：将被测对象沿世界坐标系的 、、三个方向等间距进行离散，利用被测对象离散点的位置信息，采用三线性插值的方法求解得到 的位置信息，得到光线在 位置处的模 ；
[0016] S6：将已知拍摄方向 下的图像频域信息代入离散化的图像频域信息预测模型中，采用梯度下降算法对离散化的图像频域信息预测模型进行多次训练，得到在 位置处的图像单元的透明度 及图像频域信息 ，完成模型的训练；
[0017] S7：针对任意被测对象的数字图像三维纹理重建方法，通过所述图像频域信息预测模型输出预测的图像频域信息 ，再通过二维傅里叶逆变换，得到图像在拍摄方向 下的像素值 ，完成三维纹理重建。
[0018] 优选的，步骤S2中，变换后的图像频域信息 表示为：
[0019]
[0020] 式中， 是第一个大于等于图像宽度的2的n次方数； 是第一个大于等于图像高度的2的n次方数； ，表示像素点在像素坐标系中的行； ，表示像素点在像素坐标系中的列，x表示像素点在图像坐标系中的行；y表示像素点在图像坐标系中的列， 表示像素点的像素值；j表示虚数单位。
[0021] 优选的，步骤S3中，图像频域信息预测模型表示为：
[0022]
[0023]
[0024] 式中， 表示光线路径 上叠加的图像频域信息， 表示光线路径的起始点， 表示光线路径的终止点， 表示光线路径 上图像单元透明度叠加的指数表示形式， 表示以相机中心为原点 的矢量， ，
， 表示光线的单位矢量， 为相机的方向信息，表示光线绕相机坐标系 轴旋转的角度，表示光线绕相机坐标系轴旋转的角度； 表示在 位置处图像单元的透明度， 表示 位置处图像单元的图像频域信息。
[0025] 优选的，所述步骤S5中，三线性插值的过程为： 处于8个被测对象离散点围成的最小立方体 中，利用立方体 中的八个顶点坐标b1、b2、b3、b4、b5、b6、b7、b8进行三线性插值，得到 在世界坐标系中的坐标，然后将 在世界坐标系中的坐标转换成相机坐标系中的坐标，计算得到光线在光线路径上任意点 位置处的模 ；
[0026] 三线性插值的具体计算过程为：
[0027]
[0028]
[0029]
[0030]
[0031] 式中，为 的插值坐标，表示为 ， 为最小立方体 角点的坐标，表示为， 、 、 为中间计算参数。
[0032] 优选的，在模型的训练过程中，优化的目标损失函数 表示为：
[0033]
[0034] 式中， 表示预测的图像频域信息和实际图像频域信息的均方根， 表示总变分正则化， 表示超参，控制正则化项 的大小。
[0035] 与相关技术相比，本发明的有益效果在于：
[0036] 传统方法得到的模型数据是一个固定值，所建立的三维模型在不同视角下看，其纹理是固定的，这与真实情况不相符，本发明所提出的三维纹理重建，其纹理信息是所在光线上的信息叠加，同一个位置的纹理特征会随着视角的变化而变化，更加符合真实世界在图像中不同视角的反应。
附图说明
[0037] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
[0038] 图1为被测对象的拍摄示意图；
[0039] 图2为被测对象离散化后的示意图；
[0040] 图3为光线从离散化后的示意图；
[0041] 图4为光线于被测对象相互计算的示意图。
具体实施方式
[0042] 为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合本申请的附图对本发明的具体实施方式作进一步的说明。
[0043] 请结合参阅图1‑4，本发明提供一种基于傅里叶变换的数字图像三维纹理重建方法，包括如下步骤：
[0044] S1：通过相机拍摄被测对象在已知拍摄方向 下的图像，计算得到被测对象在已知拍摄方向 下的位姿信息及图像信息。
[0045] 被测对象在已知拍摄方向 下的位姿信息及图像信息的计算方法采用本领域的常规技术。计算得到的位姿信息包括被测对象在世界坐标系、图像坐标系及像素坐标系中的位置坐标；图像信息包括图像中像素点的像素值 。
[0046] S2：以被测对象在已知拍摄方向 下的图像为研究对象，将得到的图像分别按照二维傅里叶展开，得到变换后的图像频域信息 ：
[0047]
[0048] 式中， 是第一个大于等于图像宽度的2的n次方数； 是第一个大于等于图像高度的2的n次方数； ，表示像素点在像素坐标系中的行； ，表示像素点在像素坐标系中的列，x表示像素点在图像坐标系中的行；y表示像素点在图像坐标系中的列， 表示像素点的像素值；j表示虚数单位。
[0049] S3：相机出发的光线经过被测对象时，光线路径上的任意一点形成一个图像单元，将图像中像素点看作光线路径上所有图像单元合成的，构建图像频域信息预测模型：
[0050]
[0051]
[0052] 式中， 表示光线路径 上叠加的图像频域信息， 表示光线路径的起始点， 表示光线路径的终止点， 表示光线路径 上图像单元透明度叠加的指数表示形式， 表示以相机中心为原点 的矢量， ，
，表示光线的单位矢量， 为相机的方向信息，表示光线绕相机坐标系 轴旋转的角度，表示光线绕相机坐标系轴旋转的角度； 表示在 位置处图像单元的透明度， 表示 位置处图像单元的图像频域信息。
[0053] S4：将光线沿光线路径等间距离散为N个点，表示为 、 … … ，将所述图像频域信息预测模型离散化，表示为：
[0054]
[0055] 式中， 表示整个光线路径上叠加的图像频域信息，表示光线路径上的第 个点， 表示在 位置处得到的图像单元的透明度； 表示在 位置处得到的图像单元的图像频域信息，表示光线在 位置处的模， 表示从 到 得到的图像单元的透明度叠加的指数形式， 的计算过程为：
[0056]
[0057] 式中， 表示在 位置处得到的图像单元的透明度， 表示光线在 位置处的模，表示光线路径上的第 个点。
[0058] 光线经过被测对象时，在光线路径上的任意一点均会形成一个具有一定透明度的图像单元，将光线路径上所有的图像单元进行叠加，即可得到该条光线所对应的像素点，因此将光线路径上所有图像单元的频域信息进行叠加，即可得到像素点的频域信息。
[0059] 请参阅图3， 、 … … 表示光线的离散点，其中， 为光线的起始点，为光线路径的终止点， 表示光线路径上的任意点。
[0060] S5：将被测对象沿世界坐标系的 、、三个方向等间距离散为多个单点的离散模型，利用被测对象中离散点的位置信息，采用三线性插值的方法求解得到光线路径上光线路径上任意点 的位置信息，得到光线在光线路径上任意点 位置处的模 。
[0061] 请参阅图4，图4中，实心点表示被测对象离散化的点，空心点表示光线路径上离散化的点，当实心点与空心点重合时，直接以实心点的位置信息作为空心点的位置信息；实心点与空心点不重合时，空心点处于8个实心点围成的最小立方体 中，利用立方体 中的八个顶点坐标b1、b2、b3、b4、b5、b6、b7、b8进行三线性插值，即可得到 在世界坐标系中的坐标，完成位置确定。然后将 在世界坐标系中的坐标转换成相机坐标系中的坐标，即可得到光线在光线路径上任意点 位置处的模 ，
[0062] 三线性插值的具体计算过程为：
[0063]
[0064]
[0065]
[0066]
[0067] 式中，为插值点 的坐标，表示为 ， 为方体 角点的坐标，表示为， 、 、 表示中间计算参数。
[0068] S6：将已知拍摄方向 下的图像频域信息代入离散化的图像频域信息预测模型中，采用梯度下降算法对离散化的图像频域信息预测模型进行多次训练，得到在光线路径上任意点 位置处的图像单元的透明度 及图像频域信息 ，完成模型的训练。
[0069] 在模型的训练过程中，将训练的数据分为训练集和测试集，利用训练集对模型进行训练，用测试集测试模型的性能，以预测的图像频域信息与实际的图像频域信息的平方差最小为优化目标，完成模型参数的计算。在模型的训练过程中，优化的目标损失函数表示为：
[0070]
[0071] 式中， 表示预测的图像频域信息和实际图像频域信息的均方根， 表示总变分正则化， 表示超参，控制正则化项 的大小。
[0072] S7：针对任意被测对象的数字图像三维纹理重建方法，通过所述图像频域信息预测模型输出预测的图像频域信息 ，再通过二维傅里叶逆变换，得到图像在拍摄方向上的像素值 ：
[0073] 。
[0074] 与相关技术相比，本发明的有益效果在于：
[0075] 传统方法得到的模型数据是一个固定值，所建立的三维模型在不同视角下看，其纹理是固定的，这与真实情况不相符，本发明所提出的三维纹理重建，其纹理信息是所在光线上的信息叠加，同一个位置的纹理特征会随着视角的变化而变化，更加符合真实世界在图像中不同视角的反应。
[0076] 以上对本发明的实施方式作出详细说明，但本发明不局限于所描述的实施方式。对本领域的技术人员而言，在不脱离本发明的原理和精神的情况下对这些实施例进行的多种变化、修改、替换和变型均仍落入在本发明的保护范围之内。
