家具布局方法及电子设备转让专利
申请号 : CN202010653108.6
文献号 : CN112257328B
文献日 : 2021-09-28
发明人 : 初颖 , 向海明
申请人 : 武汉智筑完美家居科技有限公司
摘要 :
权利要求 :
1.一种家具布局方法,其特征在于,包括:获取待处理图像,所述待处理图像为不包含家具的户型图;
将所述待处理图像输入训练好的生成对抗网络GAN模型,以使所述训练好的GAN模型输出目标布局图像,所述目标布局图像为包含家具的户型图;
其中,所述训练好的GAN模型是根据多对含家具的户型图以及对应的不包含家具的户型图训练得到的;
所述训练好的GAN模型包括生成器及鉴别器,所述训练好的GAN模型的迭代训练包括:S1.获取样本图像集合,所述样本图像集合包含多对图像,其中每对图像包含一张含家具的户型图以及一张不包含家具的户型图,且每对所述图像中的户型属于同一户型;
S2.将任一图像对中不包含家具的户型图输入至所述生成器中,获得预测的包含家具的户型图;
S3.将所述预测的包含家具的户型图、所述任一图像对中不包含家具的户型图、所述任一图像对中包含家具的户型图输入至所述鉴别器中,获得损失函数以及鉴别结果;
S4.若所述鉴别结果不符合预设目标阈值,则根据所述损失函数调整所述GAN模型参数,并重复执行S2和S3,直至所述鉴别结果符合预设目标阈值时停止迭代训练;
所述损失函数为:
其中,x1为不含家具的户型图特征向量,y1为包含家具的户型图特征向量,x2为不含家具的房间特征向量,y2为包含家具的房间特征向量,z为根据GAN模型生成的预测包含家具的房间户型图的特征向量, 为GAN模型中x1与y1之间户型图特征向量的损失函数, 为GAN模型中x1与z之间户型图特征向量的损失函数, 为GAN模型中x2与y2之间房间特征向量的损失函数,为GAN模型中x2与z之间房间特征向量的损失函数, 为GAN模型中x2与z之间家具向量特征的损失函数,λ1为GAN模型中x1、y1、z之间的户型图特征向量损失函数的权重系数,λ2为GAN模型中x2、y2、z之间的房间特征向量损失函数的权重系数,λ3为GAN模型中x2与z之间家具向量特征损失函数的权重系数。
2.根据权利要求1所述的方法,其特征在于,所述预设目标阈值为0.5。
3.根据权利要求1所述的方法,其特征在于,在所述训练好的GAN模型输出目标布局图像之后,还包括:
利用预设尺寸的滑动窗按照由上到下、由左到右的顺序依次提取所述目标布局图像的所有RGB值及每个RGB值对应的位置信息;
根据预设的家具RGB数值对照表获取所述目标布局图像中每个RGB值对应的家具类型,并根据每个RGB值对应的位置信息以及所述目标布局图像的户型图生成家具布局图。
4.根据权利要求3所述的方法,其特征在于,在所述根据每个RGB值对应的位置信息以及所述目标布局图像的户型图生成家具布局图之后,还包括:获得所述家具的RGB值对应的实体家具的规格及图形,并根据所述目标布局图像的户型、所述目标布局图像中家具的位置参数、所述实体家具的规格及图形生成实体家具布局图;
将所述待处理图像及对应的实体家具布局图存储在数据库中。
5.根据权利要求3或4所述的方法,其特征在于,所述RGB值用于区分不同类型的家具。
6.一种家具布局装置,其特征在于,包括:获取模块,用于获取待处理图像,所述待处理图像为不包含家具的户型图;
输入模块,用于将所述待处理图像输入训练好的生成对抗网络GAN模型,以使所述训练好的GAN模型输出目标布局图像,所述目标布局图像为包含家具的户型图;其中,所述训练好的GAN模型是根据多对含家具的户型图以及对应的不包含家具的户型图训练得到的,所述训练好的GAN模型包括生成器及鉴别器;
迭代训练模块,用于通过如下迭代训练过程获得训练好的GAN模型:S1.获取样本图像集合,样本图像集合包含多对图像,其中每对图像包含一张含家具的户型图以及一张不包含家具的户型图,且每对图像中的户型属于同一户型;
S2.将任一图像对中不包含家具的户型图输入至生成器中,获得预测的包含家具的户型图;
S3.将所述预测的包含家具的户型图、所述任一图像对中不包含家具的户型图、所述任一图像对中包含家具的户型图输入至所述鉴别器中,获得损失函数以及鉴别结果;
S4.若所述鉴别结果不符合预设目标阈值,则根据所述损失函数调整所述GAN模型参数,并重复执行S2和S3,直至所述鉴别结果符合预设目标阈值时停止迭代训练;
所述损失函数为:
其中,x1为不含家具的户型图特征向量,y1为包含家具的户型图特征向量,x2为不含家具的房间特征向量,y2为包含家具的房间特征向量,z为根据GAN模型生成的预测包含家具的房间户型图的特征向量, 为GAN模型中x1与y1之间户型图特征向量的损失函数, 为GAN模型中x1与z之间户型图特征向量的损失函数,为G AN模 型中 x2 与y 2之 间房 间特 征向 量的 损失 函数 , 为GAN模型中x2与z之间房间特征向量的损失函数,为GAN模型中x2与z之间家具向量特征的损失函数,λ1为GAN模型中x1、y1、z之间的户型图特征向量损失函数的权重系数,λ2为GAN模型中x2、y2、z之间的房间特征向量损失函数的权重系数,λ3为GAN模型中x2与z之间家具向量特征损失函数的权重系数。
7.一种电子设备,其特征在于,包括至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至5任一项所述的家具布局方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至5任一项所述的家具布局方法。
说明书 :
家具布局方法及电子设备
技术领域
背景技术
种家具摆放的规则,并规则自动生成家具布局图。
差的问题。
发明内容
型;
家具的房间户型图的特征向量, 为GAN模型中x1与y1之间户型图特征向量
的损失函数, 为GAN模型中x1与z之间户型图特征向量的损失 函
数, 为GAN模型中x2与y2之间房间特征向量的损失函数,
为GAN模型中x2与z之间房间特征向量的损 失函数,
为GAN模型中x2与z之间家具向量特征的损 失函数,λ1为GAN模型中x1、
y1、z之间的户型图特征向量损失函数的 权重系数,λ2为GAN模型中x2、y2、z之间的房间特征
向量损失函数 的权重系数,λ3为GAN模型中x2与z之间家具向量特征损失函数的权重 系数。
图。
布局图;
述训练好的GAN模型是根据多对含家具的户型图以及 对应的不包含家具的户型图训练得
到的。
第一方面各种可能的家具布局方法。
反映不包含家具的户型图与包含家具的户型图 之间图像特征的内部联系;并将待处理图
像输入至训练好的GAN模型获得 期望的目标布局图像,其中目标布局图像中设计了每个房
间设置的家具以 及每件家具的具体摆放位置。在训练GAN模型的过程中,利用多对含家具
的户型图以及对应的不包含家具的户型图对GAN模型进行训练,使得利用 GAN模型可以满
足多种户型图家具布局设计需求,提高了家具布局设计的 应用范围。
附图说明
发明的一些实施例,对于本领域普通技术人员来讲,在 不付出创造性劳动性的前提下,还
可以根据这些附图获得其他的附图。
具体实施方式
的实施例仅仅是本发明申请一部分实施例, 而不是全部的实施例。基于本发明申请中的实
施例,本领域普通技术人员 在没有做出作出创造性劳动前提下所获得的所有其他实施例,
都属于本发 明申请保护的范围。
定。
个房间的功能和尺寸,合理的规划和安排 每个家具的规格以及摆放位置,设计出图2中的
满足用户需求的家具布局。
空间中进行摆放并判断家具摆放是否符合规则自动生 成家具布局图,减少设计师的工作
量,提高设计室内家具布局图的效率。
对含家具的户型图以及对应的不包含家具的户型图对GAN 模型进行训练,在训练GAN模型
的过程中,对含家具的户型图中的户型、 房间以及家具的图像特征进行标注,对不包含家
具的户型图中的户型及房 间图像特征进行标注,并且根据标注的图像特征设定GAN模型的
损失函 数,提高了训练好的GAN模型的准确度。在训练GAN模型的过程中,利 用多对含家具
的户型图以及对应的不包含家具的户型图对GAN模型进行 训练,使得利用GAN模型可以满
足多种户型图家具布局设计需求,提高 了家具布局设计的应用范围。
图的户型图,待处理图像为不包含家具的 户型图。示例性的,如图1所示,图1为不包含家具
的待处理图像,即待 处理图像包含户型图特征及房间特征,不包含家具特征的图像。可选
的, 待处理图像可以为一张不包含家具的户型图,也可以为多张不包含家具的 户型图。当
待处理图像可以为一张不包含家具的户型图时,生成一张包含 家具的户型图,当待处理图
像可以为多张不包含家具的户型图时,对应的 生成多张包含家具的户型图,实现了批量生
成家具布局图的目的。
对含家具的户型图以及对应的不包含家具的户 型图训练得到的。
模型进行训练,使得训练好的GAN模型能够准确的 反映不包含家具的户型图与包含家具的
户型图之间图像特征的内部联系。 获得训练好的GAN模型之后,将待处理图像输入至训练
好的GAN模型获 得期望的目标布局图像,其中目标布局图像的户型图与待处理图像的户型
图 一致,目标布局图像中设计了每个房间设置的家具以及每件家具的具体摆放 位置,即
利用训练好的GAN模型能够依据不包含家具的户型图生成包含家具 布局的户型图。示例性
的,图1为不包含家具的户型图,将图1中的户型图 输入至训练好的GAN模型之后,获得图2
包含家具的户型图,其中图1与图 2的户型图一致,图2中设计了每个房间的家具以及每件
家具的摆放位置, 即图2提供了图1户型图对应的家具布局图,实现了根据户型图获得对应
的 家具布局图的目的。
家具的户型图与包含家具的户型图之间图像 特征的内部联系;并将待处理图像输入至训
练好的GAN模型获得期望的 目标布局图像,其中目标布局图像中设计了每个房间设置的家
具以及每件 家具的具体摆放位置。本发明实施例提供的家具布局方法,在训练GAN 模型的
过程中,利用多对含家具的户型图以及对应的不包含家具的户型图 对GAN模型进行训练,
使得利用GAN模型可以实现多种户型图家具布局 设计,满足多种风格的家居设计需求,提
高了家具布局设计的应用范围。
型的核心思想是训练一对相互竞争的网络, 包含一个生成器和一个鉴别器。生成器的目的
是制作逼真的图像,鉴别器 的目的是区分接收的伪造品和真实图像。两者交替训练,并且
相互竞争。 生成器和鉴别器所用的网络通常由包含卷积层和完全连接层的神经网络 实
现。生成器和鉴别器必须是可微分的,但不必是直接可逆的。生成器从 潜在空间中随机采
样作为输入,其输出结果需要尽量模仿训练集中的真实 样本。鉴别器的输入是真实样本或
生成器的输出,其目的是尽可能分辨出 生成器的输出和真实样本。生成器则要尽可能地欺
骗鉴别器。两个网络相 互对抗、不断调整参数,最终目的是使鉴别器无法判断生成器的输
出结果 是否真实。
属于同一户型。在本发明实施例中,可以通过设 置不同的RGB值来区分不同类型的家具以
及不同的房间,根据预设的家具 RGB数值对照表可获得样本图像中每个家具的RGB数值,以
及根据预设的 房间RGB数值对照表获得样本图像中每个房间的RGB数值。房间RGB数值 对
照表可根据不同的设计风格需求进行调整。
图像中标注RGB后的含家具的户型图,如图5 所示,通过家具RGB数值对照表找到所有家具
对应的RGB数值,再将样本 图像中每个家具变换为不同颜色的矩形,其中矩形的尺寸与样
本图像中家具 的尺寸相同,矩形填充的颜色与家具的RGB数值对应的颜色相同。其中,如
图5所示,在不同家具对应的矩形中填充不同的图案表示不同的家具的RGB 数值对应的颜
色。
像中标注RGB后的不含家具的户型图,如图6 所示,通过房间RGB数值对照表找到所有房间
对应的RGB数值,再将样本 图像中每个房间填充为RGB数值对应的颜色。其中,如图6所示,
在不同房 间中填充不同的图案表示不同的房间的RGB数值对应的颜色。
成器根据样本图像的户型特征以及房间特征生 成预测户型图,其中预测户型图中的户型
特征和房间特征的与样本图像中 不包含家具的户型图中标注了户型特征以及房间特征相
同,预测户型图中 还包含了家具布局设计。预测的户型图是通过GAN模型获得的不同家具
RGB值,在预测的户型图中,不同的家具填充RGB值对应的颜色。图7为 本发明实施例提供的
预测的包含家具的户型图。如图7所示,最终预测的 户型图中,通过矩形的位置、尺寸以及
家具的类型对应的RGB数值设计家 具布局。并根据RGB数值对应的家具类型的颜色填充矩
形区域,最终获得 包含家具的户型图。如图7所示,在预测的包含家具的户型图中,在不同
家具对应的矩形中填充不同的图案表示不同的家具的RGB数值对应的颜 色。
果。
了解图像是来自真实数据样本中的图像还是来 自生成器生成的图像,来判断图片的真假。
鉴别器将判断结果发送给生成 器,使生成器能够产生更好质量的伪造品。一般在GAN模型
的训练过程中,D表示鉴别器,G表示生成器,x为真实图像,y为对应的图像,z为预 测的图
像,鉴别器D(x,y)表示鉴别器判断真实图像为真的概率, D(y,G(x,y))表示鉴别器判断预
测图片为真的概率,在GAN模型的训练 过程中,根据损失函数调整GAN模型的参数,使得D
(x,y)输出的结果 为1,D(y,G(x,y))输出的结果为0。
率。
征以及房间特征,生成器根据户型特征以及房间 特征生成预测户型图,其中预测户型图为
包含家具布局的户型图,预测户 型图中的户型特征和房间特征的与样本图像中不包含家
具的户型图中标 注了户型特征以及房间特征相同。再将预测的包含家具的户型图、任一图
像对中不包含家具的户型图、任一图像中对包含家具的户型图以及损失函 数输入至鉴别
器中,获得鉴别结果。其中,预测的包含家具的户型图中不 仅包含户型特征以及房间特征,
还包含每个房间内家具的特征。示例性的, 本发明实施例提供的GAN模型的损失函数如公
式(2)所示:
家具的房间户型图的特征向量, 为GAN模型中x1与y1之间户型图特征向量的
损失函数, 为GAN模型中x1与z之间户型图特征向量的损失 函数,
为 GA N 模型 中 x2 与 y2 之间 房 间 特征 向 量的 损 失函 数 ,
为GAN模型中x2与z之间房间特征向量的损 失函数,
为GAN模型中x2与z之间家具向量特征的损 失函数,λ1为GAN模型中x1、y1、
z之间的户型图特征向量损失函数的 权重系数,λ2为GAN模型中x2、y2、z之间的房间特征向
量损失函数 的权重系数,λ3为GAN模型中x2与z之间家具向量特征损失函数的权重 系数。
具的布局特征,包括家具的类型以及家具的尺 寸和摆放位置等特征。因此,在损失函数的
定义中参考了真实图像中户型 特征、每个房间的特征及房间中家具的特征。例如,厨房与
厨具的对应关 系,马桶与卫生间的对应关系,并且还参考了当家具摆放错误时的惩罚关
系等。
0.5,说明此时已获得训 练好的GAN模型。
的GAN模型能够准确的识别和反应不包含家具 的户型图与包含家具的户型图之间细化特
征的对应关系。具体的,在训练 GAN模型的过程中,分析样本图像与真实图像中代表家具特
征的矩形的中 心位置、矩形的尺寸以及矩形颜色对应的RGB值获得家具特征的对应关系,
并根据家具特征的对应关系调整损失函数,使得GAN模型能够实现生成带 有家具特征的户
型图。
的图像之间存在偏差,需要调整生成器的参数, 使得生成器预测的图像越来越接近真实的
图像。因此,若当鉴别结果不符 合预设目标阈值时,根据所述损失函数调整所述GAN模型参
数,并重复执 行S402和S403,重复执行生成器生成过程以及鉴别器的假别过程,直至鉴 别
器无法识别出预测的图像的真假,输出的鉴别结果为0.5时停止迭代训练, 认为当前的GAN
模型满足图像预测的要求,能够实现依据不包含家具的户 型图生成包含家具户型图的目
的。
家具的户型图、所述任一图像对中不包含家具 的户型图、所述任一图像中对包含家具的户
型图输入至所述鉴别器中,获 得鉴别结果以及损失函数,若鉴别结果不符合预设目标阈
值,则根据损失 函数调整所述GAN模型参数,当鉴别结果符合预设目标阈值时停止迭代 训
练。本实施例通过设定损失函数中真实图像中户型特征、每个房间的特 征及房间中家具的
特征,并设定每个房间的特征以及房间中家具的特征的 权重系数,在训练GAN模型的过程
中利用损失函数不断地调整GAN模型, 使得训练好的GAN模型能够准确的识别和反应不包
含家具的户型图与包 含家具的户型图之间细化特征的对应关系,提高了GAN模型生成的包
含 家具的户型图的准确性。在本发明实施例中,还利用多种户型图的样本图 像训练GAN模
型,使得训练好的GAN模型能够批量地输出多种包含家具 的户型图,使得GAN模型适用于户
型多种不同类型的户型,提高GAN模 型应用的多样性。
步骤如下:
上到下、由左到右的顺序依次提取目标布局 图像的中不同颜色矩形的颜色及位置信息。示
例性的,将预设尺寸的滑动 窗由上到下、由左到右的顺序遍历整个户型图,当滑动窗移动
到某个区域 时,识别出当前区域带有颜色,且带有颜色区域占整个滑动窗的比例大于 预
设比例,则根据当前区域颜色确定该区域对应的RGB值,并且根据当 前区域的中心位置确
定家具的摆放位置。按照上述过程,依次提取目标布 局图像的所有RGB值及每个RGB值对应
的位置信息,再根据预设家具 RGB表获取目标布局图像中每个RGB值对应的家具类型。其
中,预设比 例通常为70%。
布局图。
户型图生成家具布局图。示例性的,RGB数 值为0‑255‑127时,对应的家具为床,再根据0‑
255‑127对应的位置信息, 将家具床摆放在目标布局图像中,由此可获得带有家具布局的
户型图。
具的RGB值对应的实体家具图,并根据目标布 局图像的户型、目标布局图像中家具的位置
参数、实体家具的规格及图形 生成实体家具布局图。示例性的,同一个家具的RGB值可以对
应不同风 格的、同等功能的家具,通过修改家具的RGB值对应的实体家具的风格, 可以获
得不同特色的家具布局图,实现了家具布局图风格的多样性。
到与待处理图像相同的户型图,则可以直接根 据数据库获得所述待处理图像对应的实体
家具布局图,无需再根据GAN 模型生成家具布局图,简化了生成家具布局图的过程,提高了
效率。
布局图中的家具替换为实体家具,使得家具布 局图更加贴近真实的家具布局效果,实现了
家具布局图风格的多样性。通 过将待处理图像及对应的实体家具布局图存储在数据库中,
在根据GAN 模型生成家具布局图之间,实现了直接根据数据库获得所述待处理图像对 应
的实体家具布局图,提高了设计家具布局图的效率。
模型是根据多对含家具的户型图以及对应的不包含 家具的户型图训练得到的。
本图像集合,样本图像集合包含多对图像,其 中每对图像包含一张含家具的户型图以及一
张不包含家具的户型图,且每 对图像中的户型属于同一户型;S2.将任一图像对中不包含
家具的户型图输 入至生成器中,获得预测的包含家具的户型图;S3.将所述预测的包含家
具 的户型图、所述任一图像对中不包含家具的户型图、所述任一图像对中包 含家具的户
型图输入至所述鉴别器中,获得损失函数以及鉴别结果;S4. 若所述鉴别结果不符合预设
目标阈值,则根据所述损失函数调整所述GAN 模型参数,并重复执行S2和S3,直至所述鉴别
结果符合预设目标阈值时停 止迭代训练。
对应的位置信息;根据预设的家具RGB数值对 照表获取所述目标布局图像中每个RGB值对
应的家具类型,并根据每个 RGB值对应的位置信息以及所述目标布局图像的户型图生成家
具布局图。
像中家具的位置参数、所述实体家具的规格及 图形生成实体家具布局图;将待处理图像及
对应的实体家具布局图存储在 数据库中。
计算机程序,处理器101执行计算机程 序时实现如下步骤:获取待处理图像,待处理图像为
不包含家具的户型图; 将待处理图像输入训练好的生成对抗网络GAN模型,以使训练好的
GAN模 型输出目标布局图像,目标布局图像为包含家具的户型图;其中,训练好的 GAN模型
是根据多对含家具的户型图以及对应的不包含家具的户型图训练 得到的。
张不包含家具的户型图,且每对图像中的户型属 于同一户型;S2.将任一图像对中不包含
家具的户型图输入至生成器中,获 得预测的包含家具的户型图;S3.将所述预测的包含家
具的户型图、所述任 一图像对中不包含家具的户型图、所述任一图像对中包含家具的户型
图输 入至所述鉴别器中,获得损失函数以及鉴别结果;S4.若所述鉴别结果不符 合预设目
标阈值,则根据所述损失函数调整所述GAN模型参数,并重复执 行S2和S3,直至所述鉴别结
果符合预设目标阈值时停止迭代训练。
RGB值对应的位置信息;根据预设的家具RGB数 值对照表获取所述目标布局图像中每个RGB
值对应的家具类型,并根据每 个RGB值对应的位置信息以及所述目标布局图像的户型图生
成家具布局 图。
布局图像中家具的位置参数、所述实体家具的规 格及图形生成实体家具布局图;将待处理
图像及对应的实体家具布局图存 储在数据库中。
布局方法。
分,仅仅为一种逻辑功能划分,实际实现时可以 有另外的划分方式,例如多个模块可以结
合或者可以集成到另一个系统, 或一些特征可以忽略,或不执行。另一点,所显示或讨论的
相互之间的耦 合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或
通信连接,可以是电性,机械或其它的形式。
个网络单元上。可以根据实际的需要选择其中的 部分或者全部模块来实现本实施例方案。
单元既可以采用硬件的形式实现,也可以采用 硬件加软件功能单元的形式实现。
机设备(可以是个人计算机,服务器,或者网络 设备等)或处理器执行本申请各个实施例所
述方法的部分步骤。
专用集成电路(Application Specific Integrated Circuit, 简称ASIC)等。通用处理器
可以是微处理器或者该处理器也可以是任何 常规的处理器等。结合发明所公开的方法的
步骤可以直接体现为硬件处理 器执行完成,或者用处理器中的硬件及软件模块组合执行
完成。
体系结构(Extended Industry Standard Architecture, 简称EISA)总线等。总线可以分
为地址总线、数据总线、控制总线等。 为便于表示,本申请附图中的总线并不限定仅有一根
总线或一种类型的总 线。
程只读存储器(EPROM),可编程 只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储
器, 磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称ASIC)
中。当然,处理器和存储介质也可 以作为分立组件存在于电子设备或主控设备中。
程序在执行时,执行包括上述各方法实施例的步 骤;而前述的存储介质包括:ROM、RAM、磁
碟或者光盘等各种可以存 储程序代码的介质。
依然可以对前述各实施例所记载的技术方案进 行修改,或者对其中部分或者全部技术特
征进行等同替换;而这些修改或 者替换,并不使相应技术方案的本质脱离本发明各实施例
技术方案的范围。