基本信息:
- 专利标题： 一种基于多模态的肿瘤分类模型训练方法
- 申请号：CN202410980569.2 申请日：2024-07-22
- 公开(公告)号：CN118521834A 公开(公告)日：2024-08-20
- 发明人： 李婷 , 徐楼喆 , 陈祎 , 陈姝蓉 , 张婕 , 李豫
- 申请人： 中国医学科学院生物医学工程研究所
- 申请人地址： 天津市南开区白堤路236号
- 专利权人： 中国医学科学院生物医学工程研究所
- 当前专利权人： 中国医学科学院生物医学工程研究所
- 当前专利权人地址： 天津市南开区白堤路236号
- 代理机构： 天津企兴智财知识产权代理有限公司
- 代理人： 石倩倩
- 主分类号： G06V10/764
- IPC分类号： G06V10/764 ; G06N3/045 ; G06N3/0464 ; G06N3/084 ; G06T7/00 ; G06V10/774 ; G06V10/80 ; G06V10/82
摘要：
本发明提供了一种基于多模态的肿瘤分类模型训练方法，包括以下步骤：S1、采集肿瘤患者的白光图像和超声图像，并标注类型标签；S2、对S1采集到的白光图像和超声图像进行归一化处理；S3、使用经过归一化处理的超声图像训练分割模型，对超声图像进行裁剪，去除与病变无关的组织图像；S4、分别采集S1采集到的白光图像的特征和S3剪裁后的超声图像的特征；S5、将S4中的白光图像的特征和超声图像的特征进行特征融合，使用融合后的特征训练多模态特征融合神经网络模型，形成肿瘤分类模型。本发明有益效果：对超声和白光图像使用了多模态内镜特征融合模型，实现白光内镜和超声内镜所携带的信息的互补，具有高准确性泛化能力强的优点。