本发明属于信息技术领域，具体涉及一种基于图像理解的移动终端信息推荐系统及其方法。所述基于图像理解的移动终端信息推荐方法，通过建立图像识别模型；获取场景图像；利用数字图像处理技术对场景图像进行预处理；通过图像识别模型识别场景图像，并将场景图像转化成数据信息；将数据信息作为检索式输入检索引擎；通过检索引擎将检索结果反馈成推荐信息，打造更智能的信息推荐系统，提供更直接的UI交互体验，改善推荐结果的相关性，有助于提升产品形象和用户粘度。
1.一种基于图像理解的移动终端信息推荐方法，其特征在于，所述方法包括以下步骤：建立图像识别模型；
通过图像识别模型识别场景图像，并将场景图像转化成数据信息；
2.根据权利要求1所述的基于图像理解的移动终端信息推荐方法，其特征在于：所述预处理包括完成滤波、增强、复原中的一种或多种。
3.根据权利要求1所述的基于图像理解的移动终端信息推荐方法，其特征在于：所述图像识别模型包括图片识别模型。
4.根据权利要求3所述的基于图像理解的移动终端信息推荐方法，其特征在于：所述图片识别模型通过利用递归神经网络(RNN)分割图片、卷积神经网络识(CNN)别图片物体。
5.根据权利要求1所述的基于图像理解的移动终端信息推荐方法，其特征在于：所述图像识别模型包括图片语义模型。
6.根据权利要求5所述的基于图像理解的移动终端信息推荐方法，其特征在于：所述图片语义模型通过利用Attention机制生成图片语义描述。
7.根据权利要求1所述的基于图像理解的移动终端信息推荐方法，其特征在于：所述数据信息包括图片识别信息和/或图片语义信息。
8.根据权利要求1或7所述的基于图像理解的移动端信息推荐方法，其特征在于：所述数据信息经图像理解引擎进行扩展，图像理解引擎经文-图、图文联想后对数据信息进行扩展。
9.一种基于图像理解的移动终端信息推荐系统，包括移动终端、云端，所述云端与移动终端进行数据对接，其特征在于：所述信息推荐系统包括获取模块、图像处理模块、图像理解模块、检索模块、显示模块；
所述图像处理模块，用于将所述的获取场景图像进行预处理；
所述图像理解模块，用于存储图像识别模型，对预处理后的图片进行识别，通过图片识别模型将场景图像转化成数据信息；
10.根据权利要求9所述的基于图像理解的移动终端信息推荐系统，其特征在于：所述获取模块获取场景图像包括移动终端本地存储的图像或通过移动终端摄像头获取的图像。
11.根据权利要求9所述的基于图像理解的移动终端信息推荐系统，其特征在于：所述图像处理模块调用开源机器学习库OpenCV中的方法完成。
12.根据权利要求9所述的基于图像理解的移动终端信息推荐系统，其特征在于：所述图像理解模块设置于移动终端，在移动终端以C++方式实现为一个.so形式的动态链接库，同时提供JNI接口给java端调用。
13.根据权利要求9所述的基于图像理解的移动终端信息推荐系统，其特征在于：还包括图像理解引擎模块，所述图像理解引擎模块用于应用seq2seq的深度学习模型实现文-图、图-文联想一种或多种的输出。
14.根据权利要求9所述的基于图像理解的移动终端信息推荐系统，其特征在于：还包括编码压缩模块和解压解码模块，所述编码压缩模块用于将数据信息编码压缩，所述解压解码模块用于对接收到的压缩信息进行解压和解码。
一种基于图像理解的移动终端信息推荐系统及其方法
技术领域
[0001] 本发明属于信息技术领域，具体涉及一种基于图像理解的移动终端信息推荐系统及其方法。
背景技术
[0002] 随着AI技术的发展以及处理器计算能力的提升,图像的分割和识别准确率一直在提升,当前的CNN，RNN/LSTM，Attention等一系列深度学习技术的已经可以对一副图片中包含的物体进行准确的分割和识别，甚至可以提取图像中所包含的语义信息,自动生成对图片的理解。这种通过机器理解图像的技术，为移动终端社交应用的信息获取提供了又一便捷，快速的方案，只要移动终端通过深度学习技术(CNN，RNN，Attenion)识别图片中物体并通过Attention(注意力)机制生成对图像理解的文本描述，将识别结果(图片中物体识别和图像的文本描述)编码后传传给云端的图像理解引擎做文-图，图-文联想，经过联想后的结果作为检索式检索引擎的输入，云端对结果进行过滤和编码后推荐给移动终端，移动终端解码和进行UI渲染，展示结果。
[0003] 信息推荐系统的应用有一定的场景性应用需求，比如扫图购物，社交推荐等需要实现基于图片而不是文字的信息获取，并且现实世界是一个多姿多彩的图像世界，文字只是我们对现实世界理解的描述，移动电子商务、移动社交、AR等应用有从现实世界中的图像中直接获取信息的迫切需求。
发明内容
[0004] 为了解决上述不能做到对图像理解的实时处理，需要将图像传输到云端后再处理，传输数据量较大，且存在时延，体验比较差等问题，本发明提供一种基于图像理解的移动终端信息推荐系统及其方法。
[0005] 为实现上述目的，本发明所采用的技术方案是：一种基于图像理解的移动终端信息推荐方法，所述方法包括以下步骤：
[0006] 建立图像识别模型；
[0007] 获取场景图像；
[0008] 利用数字图像处理技术对场景图像进行预处理；
[0009] 通过图像识别模型识别场景图像，并将场景图像转化成数据信息；
[0010] 将数据信息作为检索式输入检索引擎；
[0011] 通过检索引擎将检索结果反馈成推荐信息。
[0012] 进一步的，预处理包括完成滤波、增强、复原中的一种或多种。
[0013] 进一步的，图像识别模型包括图片识别模型。
[0014] 进一步的，图片识别模型通过利用递归神经网络(RNN)分割图片、卷积神经网络识(CNN)别图片物体。
[0015] 进一步的，图像识别模型包括图片语义模型。
[0016] 进一步的，图片语义模型通过利用Attention机制生成图片语义描述。
[0017] 进一步的，数据信息包括图片识别模型和/或图片语义信息。
[0018] 进一步的，所述数据信息经图像理解引擎进行扩展，图像理解引擎经文-图、图文联想后对数据信息进行扩展。
[0019] 一种基于图像理解的移动终端信息推荐系统，包括移动终端、云端，所述云端与移动终端进行数据对接，所述信息推荐系统包括获取模块、图像处理模块、图像理解模块、传输模块、显示模块；
[0020] 所述获取模块，用于获取场景图像；
[0021] 所述图像处理模块，用于将所述的获取场景图像进行预处理；
[0022] 所述图像理解模块，用于存储图像识别模型，对预处理后的图片进行识别，通过图片识别模型将场景图像转化成数据信息；
[0023] 所述检索模块，用于根据数据信息进行检索；
[0024] 所述传输模块，用于实现信息推荐系统与云端的交互；
[0025] 所述显示模块，用于显示云端检索的结果。
[0026] 进一步的，获取模块获取场景图像包括移动终端本地存储的图像或通过移动终端摄像头获取的图像。
[0027] 进一步的，图像处理模块调用开源机器学习库OpenCV中的方法完成。
[0028] 进一步的，图像理解模块设置于移动终端，在移动终端以C++方式实现为一个.so形式的动态链接库，同时提供JNI接口给java端调用。
[0029] 进一步的，还包括图像理解引擎模块，所述图像理解引擎模块用于应用seq2seq的深度学习模型实现文-图、图-文联想一种或多种的输出。
[0030] 进一步的，还包括编码压缩模块和解压解码模块，所述编码压缩模块用于将数据信息编码压缩，所述解压解码模块，用于对接收到的压缩信息进行解压和解码。
[0031] 本发明提供一种基于图像理解的移动终端信息推荐系统及其方法，通过建立图像识别模型；获取场景图像；利用数字图像处理技术对场景图像进行预处理；通过图像识别模型识别场景图像，并将场景图像转化成数据信息；将数据信息作为检索式输入检索引擎；通过检索引擎将检索结果反馈成推荐信息，打造更智能的信息推荐系统，提供更直接的UI交互体验，改善推荐结果的相关性，有助于提升产品形象和用户粘度。
附图说明
[0032] 图1为实施例一基于图像理解的移动终端信息推荐系统的示意图；
[0033] 图2为基于图像理解的移动终端信息推荐方法的流程图；
[0034] 图3为实施例二基于图像理解的移动终端信息推荐系统的示意图。
具体实施方式
[0035] 下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。
[0036] 实施例一
[0037] 如图1所示，一种基于图像理解的移动终端信息推荐系统，包括移动终端1、云端2，所述云端2与移动终端1进行数据对接，所述移动终端1包括获取模块11、图像处理模块12、图像理解模块13、显示模块14、编码压缩模块15、解压解码模块16；
[0038] 所述获取模块11，用于获取场景图像，所述场景图像包括移动终端本地存储的图像或通过移动终端摄像头获取的图像；
[0039] 所述图像处理模块12，用于将所述的获取场景图像进行预处理，调用开源机器学习库OpenCV中的方法完成；
[0040] 所述图像理解模块13，用于对预处理后的图片进行识别，通过图像识别模型将场景图像转化成数据信息；图像理解模块设置于移动终端，在移动终端以C++方式实现为一个.so形式的动态链接库，同时提供JNI接口给java端调用；
[0041] 所述编码压缩模块15用于将数据信息进行编码压缩，即移动终端将数据信息进行编码和压缩后传输给云端，作为云端检索的原始输入；
[0042] 所述解压解码模块16，用于对接收到的压缩信息进行解压和解码，移动终端对云端的检索结果进行解压和解码；
[0043] 显示模块14，用于显示云端检索的结果。
[0044] 云端2包括图像理解引擎模块21、检索模块22、编码压缩模块23、解压解码模块24；
[0045] 所述检索模块21根据数据信息进行检索；
[0046] 所述编码压缩模块22用于将检索的数据信息编码压缩；
[0047] 所述解压解码模块23设于云端上，用于对接收到的压缩信息进行解压和解码；
[0048] 所述图像理解引擎模块24用于应用seq2seq的深度学习模型实现图-文、文-图联想的输出，扩展了移动端传递过来的原始数据信息，其输出作为检索引擎的输入。
[0049] 信息推荐系统还包括传输模块，所述传输模块用于实现移动终端信息推荐系统与云端的交互。
[0050] 如图2所示，一种基于图像理解的移动终端信息推荐方法，所述方法包括以下步骤：
[0051] S1：建立图像识别模型，包括，
[0052] S11：建立图片识别模型，通过利用递归神经网络RNN分割图片、卷积神经网络CNN识别图片物体；
[0053] S111：从视觉图像库训练递归神经网络RNN、卷积神经网络CNN获得图像识别模型，即在配置机器学习的云端或者集群上训练一个CNN网络，用于识别任务；训练一个RNN网络，用于分割任务，训练数据从大规模视觉图像库Image Net获取；
[0054] S112：采用迁移学习方法，对步骤S111获得的图像识别模型的参数进行调整和优化，使用爬虫、众包方式或者图像采集车实地收集图像(10000+)，使用这部分数据对S111中训练的CNN网络进行微调，基本方法就是采用迁移学习的方法，完成对CNN和RNN网络参数的调优，使得训练的网络在实际数据上工作得更好；
[0055] S113：将步骤S112中调整和优化的图像识别模型移植到移动终端，将S112中获取的模型移植到移动终端，考虑到移动终端的性能和功耗问题，以C++方式实现为一个.so形式的动态链接库，同时提供JNI接口给java端调用；
[0056] S12：图片语义模型通过利用Attention机制生成图片语义描述；
[0057] S121：从视觉图像库训练一个模型，即使用ImageNet数据训练一个基本模型；
[0058] S122：采用迁移学习方法，对步骤S121获得的图像识别模型的参数进行调整和优化；
[0059] S123：将步骤S122中调整和优化的图像识别模型移植到移动终端，移植到移动终端，实现的形式也是动态库的形式，同时提供JNI接口给java层调用；
[0060] S2：获取场景图像；
[0061] S3：利用数字图像处理技术完成滤波、增强、复原等方式对步骤S2中的场景图像进行预处理，也可以调用开源机器学习库OpenCV中相关方法去完成；
[0062] S4：通过图像识别模型识别场景图像，并将场景图像转化成数据信息，所述数据信息包括原始图像信息，分割后的图片以及识别生成的图像语义信息；
[0063] S5：将数据信息经过编码和压缩后传给云端，作为检索式输入检索引擎；
[0064] 云端通过解压解码模块将移动终端传输过来的压缩数据信息传给云端图像理解引擎模块，图像理解引擎模块通过深度学习中的seq-seq模型实现图-文，文-图联想后将结果作为检索引擎的输入，检索引擎通过文本、图像检索将结果编码压缩后返回给移动终端；
[0065] S6：通过检索引擎将检索结果反馈成推荐信息，通过解压解码后显示于移动终端。
[0066] 实施例二
[0067] 如图2和图3所示，本实施例与实施例一的区别在于图像理解模块21设置于云端2；图像理解模块将场景图像转化为数据信息，所述数据信息作为图像理解引擎模块22的输入，图像理解引擎模块22通过深度学习中的seq-seq模型实现图-文，文-图联想后将结果作为检索引擎的输入，检索引擎通过文本、图像检索将结果编码压缩后返回给移动终端，移动终端通过解压解码后显示推荐信息。
[0068] 因此，本发明本通过在移动终端利用递归神经网络对图像进行分割，卷积神经网络对图像进行识别，Attention机制识别图像语义信息，利用图像理解引擎模块输出的结果作为检索引擎完成相关信息的检索，打造更智能的信息推荐系统，提供更直接的UI交互体验，改善推荐结果的相关性，有助于提升产品形象和用户粘度。
[0069] 上述仅为本发明的优选具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
