一种基于图像的重光照方法专利检索-人工神经网络人工智能专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

一种基于图像的重光照方法

阅读：335发布：2021-03-02

IPRDB可以提供一种基于图像的重光照方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于图像的重光照方法，属于计算机图形学领域。为了实现用尽可能少的样本尽可能准确地重光照，在图像样本和图像像素两个空间反复进行定量地随机采样，并用人工神经网络进行训练，直到所有像素点训练精度到设定阈值。考虑到人工神经网络在训练时有最小样本要求，因此在像素点训练样本不足时，利用集成学习的Bagging算法思想对其进行平均化处理。本发明在模拟的三维场景中进行测试，结果表明，与现有的技术相比，不仅训练时间少，健壮性强；在相同的相对误差精度下，重光照所需的图像样本更小，速度快实时性好，重构场景图像的PSNR值更高。，下面是一种基于图像的重光照方法专利的具体信息内容。

权利要求

1.一种基于图像的重光照方法，其特征在于，包括以下具体步骤：

步骤1：采集一组三维场景数据，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet，计算得到图像集ImageSet在R、G、B三个通道的平均值ImgAvg_R、ImgAvg_G、ImgAvg_B；

步骤2：在图像集ImageSet中随机采样，构成图像样本数为ImageNum的图像子集ImageSubset；

步骤3：在图像子集ImageSubset的像素空间中随机采样，获取人工神经网络的训练样本集，具体为：(1)在图像子集ImageSubset的像素空间中随机采样，构成像素点集，其中，采样数为PixNum，像素点的坐标为[Px，Py]；

(2)训练样本集包括分别对应人工神经网络的输入和输出的两个部分，其中，输入部分包括Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出部分为[LigX，LigY]与[Px，Py]相应处的图像RGB值；

步骤4：利用步骤3的训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差小于等于预设第一阈值δ1的像素点标记为该训练完成的人工神经网络；

步骤5，在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点由所有神经网络共同决定其输出；

步骤6：用训练好的人工神经网络测试图像集ImageSet，若相对均方误差达到预设第二阈值δ2，则保存训练好的人工神经网络，执行步骤7；否则，增加图像样本数ImageNum，返回

2；

步骤7：用训练好的神经网络重构光源在任意位置下的场景。

2.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，所述步骤3中采样数PixNum≥Pixmin，其中， Tmin是人工神经网络训练需要的最小样本数，a是系数且a≥1。

3.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，所述步骤4中利用训练样本集对人工神经网络进行训练前，对训练样本集进行归一化处理。

4.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，所述步骤4中的人工神经网络结构是7个输入节点、2个隐层、3个输出节点，其中，两个隐层的节点数相同，输入节点分别为Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B；输出节点为[LigX，LigY]与[Px，Py]相应处的图像RGB值；隐层的节点数Nhide由实验确定。

5.根据权利要求1或2或4所述的一种基于图像的重光照方法，其特征在于，人工神经网络训练需要的最小样本数Tmin＝b[(7+1)×Nhide+(Nhide+1)×Nhide+(Nhide+1)×3]，其中，b是系数且b≥10，Nhide是隐层的节点数。

6.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，步骤4中像素点的相对平方误差其中，表示第j张图像的第i个像素点的实际RGB值，Ij(Pixi)表示人工神经网络预测输出的第j张图像的第i个像素点的RGB值。

7.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，步骤5中当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点的输出由训练好的所有人工神经网络的输出简单平均得出。

8.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，所述步骤6中的相对均方误差其中，表示第j张图像的第i个像素点的实际RGB值，Ij(Pixi)表示人工神经网络预测输出的第j张图像的第i个像素点的RGB值。

9.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，步骤6中根据实际需要增加图像样本数ImageNum。

10.根据权利要求9所述的一种基于图像的重光照方法，其特征在于，图像样本数ImageNum增加20。

说明书全文

一种基于图像的重光照方法

技术领域

[0001] 本发明涉及一种基于图像的重光照方法，属于机器学习与图形学领域。

背景技术

[0002] 基于图像的重光照(Image-based Relighting，IBR)，也称基于图像的绘制(Image-based Rendering)，其目的是从捕获的图像出发，计算获得光传输矩阵并绘制出新的光源条件下的场景图像。它的最大优势是无需场景的几何信息，渲染不受场景复杂度影响，并且也能表现反射、折射、散射等各种光照效果。因此，IBR自提出以来，立刻成为图形学领域关注的焦点。

[0003] IBR往往需要通过密集采样获取图像样本，大大增加了工作强度和存储空间。能否利用机器学习方法，通过小样本的采样，尽可能准确的实现基于图像的重光照，是亟需解决的问题。

发明内容

[0004] 本发明所要解决的技术问题是提供一种基于图像的重光照方法。通过图像样本逐渐增加、像素空间随机采样、三层神经网络进行训练以及Bagging集成学习思想的综合运用，从而实现了小样本、高精度的重光照效果。

[0005] 本发明为解决上述技术问题采用以下技术方案：

[0006] 本发明提供一种基于图像的重光照方法，其特征在于，包括以下具体步骤：

[0007] 步骤1：采集一组三维场景数据，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet，计算得到图像集ImageSet在R、G、B三个通道的平均值ImgAvg_R、ImgAvg_G、ImgAvg_B；

[0008] 步骤2：在图像集ImageSet中随机采样，构成图像样本数为ImageNum的图像子集ImageSubset；

[0009] 步骤3：在图像子集ImageSubset的像素空间中随机采样，获取人工神经网络的训练样本集，具体为：

[0010] (1)在图像子集ImageSubset的像素空间中随机采样，构成像素点集，其中，采样数为PixNum，像素点的坐标为[Px，Py]；

[0011] (2)训练样本集包括分别对应人工神经网络的输入和输出的两个部分，其中，输入部分包括Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出部分为[LigX，LigY]与[Px，Py]相应处的图像RGB值；

[0012] 步骤4：利用步骤3的训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差小于等于预设第一阈值δ1的像素点标记为该训练完成的人工神经网络；

[0013] 步骤5，在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点由所有神经网络共同决定其输出；

[0014] 步骤6：用训练好的人工神经网络测试图像集ImageSet，若相对平方误差达到预设第二阈值δ2，则保存训练好的人工神经网络，执行步骤7；否则，增加图像样本数ImageNum，返回2；

[0015] 步骤7：用训练好的神经网络重构光源在任意位置下的场景。

[0016] 作为本发明的进一步优化方案，所述步骤3中采样数PixNum≥Pixmin，其中，Tmin是人工神经网络训练需要的最小样本数，a是系数且a≥1)。

[0017] 作为本发明的进一步优化方案，所述步骤4中利用训练样本集对人工神经网络进行训练前，对训练样本集进行归一化处理。

[0018] 作为本发明的进一步优化方案，所述步骤4中的人工神经网络结构是7个输入节点、2个隐层、3个输出节点，其中，两个隐层的节点数相同，输入节点分别为Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B；输出节点分别为[LigX，LigY]与[Px，Py]相应处图像的RGB值；隐层的节点数Nhide由实验确定。

[0019] 作为本发明的进一步优化方案，人工神经网络训练需要的最小样本数Tmin＝b[(7+1)×Nhide+(Nhide+1)×Nhide+(Nhide+1)×3]，其中，b是系数且b≥10。

[0020] 作为本发明的进一步优化方案，步骤4中像素点的相对平方误差其中，表示第j张图像的第i个像素点的
实际RGB值，Ij(Pixi)表示人工神经网络预测输出的第j张图像的第i个像素点的RGB值。

[0021] 作为本发明的进一步优化方案，步骤5中当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点的输出由训练好的所有人工神经网络的输出简单平均得出。

[0022] 作为本发明的进一步优化方案，所述步骤 6中相对均方误差[0023] 作为本发明的进一步优化方案，步骤6中根据实际需要增加图像样本数ImageNum。

[0024] 作为本发明的进一步优化方案，图像样本数ImageNum增加20。

[0025] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明在模拟的两个三维场景中进行测试，结果表明，与现有的技术相比，不仅训练时间少，健壮性强；在相同的相对误差精度下，重光照所需的图像样本更少，重构场景图像的PSNR值更高。

附图说明

[0026] 图1是本发明的方法流程图。

[0027] 图2是分别采用本发明与现有技术的Dragon和Mitsuba场景的训练误差和训练时间的比较图，其中，(a)是Dragon场景的训练误差，(b)是Mitsuba场景的训练误差，(c)Dragon场景的训练时间，(d)是Mitsuba场景的训练时间。

具体实施方式

[0028] 下面结合附图对本发明的技术方案做进一步的详细说明：

[0029] 本发明一种基于图像的重光照方法，如图1所示，包括：

[0030] 步骤1：采集一组三维场景数据(Dagon，Mitsuba)，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet；计算图像集在R、G、B三个通道的平均值，得到ImgAvg_R、ImgAvg_G、ImgAvg_B；场景数据具体如表1所示。

[0031] 表1场景数据

[0032]场景光源分布图像尺寸
Dragon 31×31 64×48
Mitsuba 21×21 64×48

[0033] 步骤2：在图像集ImageSet中随机采样，构成图像子集ImageSubset，图像样本数为ImageNum。

[0034] 步骤3：在图像子集像ImageSubset的像素点中随机采样，获取人工神经网络需要的训练样本集；

[0035] (1)在图像子集像ImageSubset的像素空间随机采样，构成像素点集，采样数为PixNum，像素点的坐标为[Px，Py]；

[0036] (2)训练样本集由输入、输出两个部分组成，其中输入属性包括LigX、LigY、Px、Py、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出属性为[LigX，LigY]与[Px，Py]相应处的图像RGB值。

[0037] 步骤4：利用训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差RSE≤预设阈值δ1的像素点标记为该训练完成的人工神经网络。

[0038] 步骤5：在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记像素点不满足人工神经网络训练的最小样本要求，利用Bagging集成学习的思想，由所有神经网络共同决定其输出。

[0039] 步骤6：用训练好的人工神经网络测试图像集ImageSet，如果相对平方误差达到预设阈值δ2，则保存训练好的人工神经网络；否则，增加图像样本数ImageNum，从步骤2重新开始。

[0040] 步骤7：用训练好的人工神经网络重构任意光源位置下的场景。随机采样与训练Imageset同等数量的图像集ImagesetTest，用训练好的神经网络重构场景。

[0041] 如图2所示，与Ren等人在“Image Based Relighting Using Neural Networks.ACM Transactions on Graphics,2015.34(4)”文中的技术相比。其中，图2中的(a)和(b)分别是Dragon和Mitsuba场景的训练误差图，(c)和(d)分别是Dragon和Mitsuba场景的训练时间示意图。由图2明显可知，随着图像样本数的增加，采用本发明的方法(图中虚线所示)，RMSE明显比Ren方法下降的快，也就意味需要更少的样本达到相同的精度；同样的本发明的方法所需要的训练时间也低于Ren方法。

[0042] 表2是对Dragon和Mitsuba两个场景的测试数据进行场景重构结果，表明采用较少的图像可以获得比Ren方法更低RMSE值。

[0043] 表3场景重构结果

[0044]

[0045] 以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

标题	发布/更新时间	阅读量
人工神经网络运算电路-专利编号CN107862380A	2020-05-13	1118
人工神经网络-专利编号CN103927583B	2020-05-11	853
人工神经网络-专利编号CN1846218A	2020-05-13	916
人工神经网络-专利编号CN103927583A	2020-05-12	140
人工神经网络-专利编号CN110892423A	2020-05-11	1040
一种人工神经网络算法-专利编号CN106372724A	2020-05-13	943
人工神经网络-专利编号CN109564633A	2020-05-12	250
人工神经网络-专利编号CN109416760A	2020-05-12	433
人工神经网络-专利编号CN110121723A	2020-05-11	510
人工神经网络-专利编号CN110309905A	2020-05-11	526

一种基于图像的重光照方法

一种基于图像的重光照方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式