基本信息:
- 专利标题： 一种图像文本联合数据处理方法、设备及介质
- 申请号：CN202410855217.4 申请日：2024-06-28
- 公开(公告)号：CN118708750A 公开(公告)日：2024-09-27
- 发明人： 陈文杰 , 龚俞宁
- 申请人： 重庆电子工程职业学院
- 申请人地址： 重庆市沙坪坝区陈家桥镇
- 专利权人： 重庆电子工程职业学院
- 当前专利权人： 重庆电子工程职业学院
- 当前专利权人地址： 重庆市沙坪坝区陈家桥镇
- 代理机构： 重庆鼎慧峰合知识产权代理事务所(普通合伙)
- 代理人： 刘浩林
- 主分类号： G06F16/583
- IPC分类号： G06F16/583 ; G06T5/90 ; G06F40/284 ; G06F40/295 ; G06F18/214
摘要：
本发明提供一种图像文本联合数据处理方法、设备及介质，包括：获取图像数据和图像对应文本数据，采用pnmix法对图像进行数据增强，得到的第一图像数据集和第一图像对应文本数据集；构建常用颜色词汇表，识别第一图像对应文本数据集，将第一图像对应文本数据集中的颜色词汇与常用颜色词汇表中的颜色对比；若常用颜色词汇表存在相同颜色，将第一图像对应文本数据集中的颜色词汇替换为下划线。以解决现有技术中存在的在跨模态模型的数据训练过程中，由于图像数据与文本数据这两种模态具有不同的表达方式，使得图像的视觉特征在增强后而改变，使得图像与文本出现语义不一致，而导致后续训练的模型在实际应用中的精度下降的技术问题。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F16/00 | 信息检索；数据库结构；文件系统结构 |
| --------G06F16/10 | .文件系统；文件服务器 |
| ----------G06F16/58 | ..使用元数据的特征检索，例如，不来自内容或者元数据派生的 |
| ------------G06F16/583 | ...使用从内容中自动派生的元数据 |