一种内窥镜手术中基于语音分析的图像处理方法及系统转让专利
申请号 : CN202110429584.4
文献号 : CN112991333B
文献日 : 2021-08-10
发明人 : 刘茗露 , 白蓉 , 白银
申请人 : 强基(上海)医疗器械有限公司
摘要 :
权利要求 :
1.一种内窥镜手术中基于语音分析的图像处理方法,其中,所述方法包括:获得第一监视器的第一屏幕分辨率;
获得第一内镜的第一监测组织结构;
依据所述第一监测组织结构获得第一监测精度;
由所述第一屏幕分辨率和所述第一监测精度获得所述第一监视器的第一网格划分标准;
依据所述第一网格划分标准获得第一划分指令,所述第一划分指令用于对所述第一监视器进行网格划分;
获得所述第一监视器的第一网格坐标信息;
获得第一医生的第一语音信息;
对所述第一语音信息进行提取,获得第一调整坐标;
依据所述第一网格坐标信息获得所述第一调整坐标的第一位置信息;
由所述第一语音信息获得第一调整内容;
依据所述第一调整内容和所述第一位置信息获得第一调整指令;
获得所述第一内镜的第一显示图像;
依据所述第一调整指令对所述第一显示图像进行调整;
所述方法包括:
获得第二医生的第二语音信息;
将所述第一语音信息、所述第二语音信息输入至第一内容比对模型,获得第一内容差异信息;
依据所述第一内容差异信息判断所述第二语音信息是否为所述第一语音信息的补充信息;
若所述第二语音信息为所述第一语音信息的补充信息,获得第一补充内容;
依据所述第一补充内容获得第二调整坐标;
依据所述第一网格坐标信息获得所述第二调整坐标的第二位置信息;
依据所述第一补充内容和所述第二位置信息获得第二调整指令;
依据所述第二调整指令对所述第一显示图像进行调整。
2.如权利要求1所述的方法,其中,所述方法包括:将所述第一语音信息、所述第二语音信息输入至第一内容比对模型进行训练,所述第一内容比对模型通过多组训练数据训练所得,其中,所述多组训练数据中的每一组训练数据均包括:所述第一语音信息、所述第二语音信息和所述第一内容差异信息的标识信息;
获得所述第一内容比对模型的第一输出结果,所述第一输出结果包括所述第一内容差异信息。
3.如权利要求1所述的方法,其中,所述方法包括:若所述第二语音信息不为所述第一语音信息的补充信息,由所述第一内容差异信息获得第一差异程度;
判断所述第一差异程度是否超过第一阈值;
若所述第一差异程度超过所述第一阈值,将所述第一内容差异信息发送至第一会诊中心。
4.如权利要求3所述的方法,其中,所述方法包括:获得所述第一监测组织结构的第一病变类型;
依据所述第一病变类型获得所述第一内镜的第一历史调整信息;
依据所述第一历史调整信息构建内窥镜图像处理数据库;
依据所述内窥镜图像处理数据库对所述第一内容差异信息进行分析,获得所述第一语音信息和所述第二语音信息的第一权重比;
获得第一添加指令,所述第一添加指令用于将所述第一权重比添加至所述第一内容差异信息。
5.如权利要求1所述的方法,其中,所述方法包括:由所述第一语音信息获得第二调整内容,其中,所述第二调整内容包括第一颜色调整方案;
由所述第一位置信息获得第一网格调整区域;
由所述第一颜色调整方案和所述第一网格调整区域获得第一颜色调整区域;
获得所述第一网格调整区域的第一轮廓信息;
依据所述第一颜色调整方案和所述第一轮廓信息获得第三调整指令;
依据所述第三调整指令对所述第一显示图像进行调整。
6.如权利要求5所述的方法,其中,所述方法包括:由所述第一颜色调整方案获得第一调整颜色信息;
获得所述第一调整颜色信息的第一色度;
获得所述第一轮廓信息的第二色度;
由所述第一色度和所述第二色度获得第一过渡颜色;
依据所述第一过渡颜色对所述第一轮廓信息进行过渡处理。
7.一种内窥镜手术中基于语音分析的图像处理系统,其中,所述系统包括:第一获得单元,所述第一获得单元用于获得第一监视器的第一屏幕分辨率;
第二获得单元,所述第二获得单元用于获得第一内镜的第一监测组织结构;
第三获得单元,所述第三获得单元用于依据所述第一监测组织结构获得第一监测精度;
第四获得单元,所述第四获得单元用于由所述第一屏幕分辨率和所述第一监测精度获得所述第一监视器的第一网格划分标准;
第五获得单元,所述第五获得单元用于依据所述第一网格划分标准获得第一划分指令,所述第一划分指令用于对所述第一监视器进行网格划分;
第六获得单元,所述第六获得单元用于获得所述第一监视器的第一网格坐标信息;
第七获得单元,所述第七获得单元用于获得第一医生的第一语音信息;
第八获得单元,所述第八获得单元用于对所述第一语音信息进行提取,获得第一调整坐标;
第九获得单元,所述第九获得单元用于依据所述第一网格坐标信息获得所述第一调整坐标的第一位置信息;
第十获得单元,所述第十获得单元用于由所述第一语音信息获得第一调整内容;
第十一获得单元,所述第十一获得单元用于依据所述第一调整内容和所述第一位置信息获得第一调整指令;
第十二获得单元,所述第十二获得单元用于获得所述第一内镜的第一显示图像;
第一调整单元,所述第一调整单元用于依据所述第一调整指令对所述第一显示图像进行调整;
所述系统还包括:
第十三获得单元,所述第十三获得单元用于获得第二医生的第二语音信息;
第一输入单元,所述第一输入单元用于将所述第一语音信息、所述第二语音信息输入至第一内容比对模型,获得第一内容差异信息;
第一判断单元,所述第一判断单元用于依据所述第一内容差异信息判断所述第二语音信息是否为所述第一语音信息的补充信息;
第十四获得单元,所述第十四获得单元用于若所述第二语音信息为所述第一语音信息的补充信息,获得第一补充内容;
第十五获得单元,所述第十五获得单元用于依据所述第一补充内容获得第二调整坐标;
第十六获得单元,所述第十六获得单元用于依据所述第一网格坐标信息获得所述第二调整坐标的第二位置信息;
第十七获得单元,所述第十七获得单元用于依据所述第一补充内容和所述第二位置信息获得第二调整指令;
第二调整单元,所述第二调整单元用于依据所述第二调整指令对所述第一显示图像进行调整。
8.一种内窥镜手术中基于语音分析的图像处理系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现权利要求1‑6任一项所述方法的步骤。
说明书 :
一种内窥镜手术中基于语音分析的图像处理方法及系统
技术领域
背景技术
组成。电子内窥镜具有很高的分辨能力,可以观察到人体组织的微细结构;内镜视野宽阔,
前端的弯曲角度大,避免了盲区,还可利用电视信息中心调整红、蓝、绿不同颜色去观察不
同的组织结构,从而达到各种组织结构的最佳分辨能力。而现有技术中对于内窥镜的实时
显示图像的调整需要多名医生的配合,且需要反复调整,以使内窥镜实时显示图像达到预
期的效果。
发明内容
且不够智能化的技术问题。实现了基于语音分析技术,依据医生在调整内窥镜的过程中的
语音指令对内窥镜显示图像进行网格式的精确调整,使得内窥镜显示图像处理更为高效、
智能的技术目的。
据所述第一监测组织结构获得第一监测精度;由所述第一屏幕分辨率和所述第一监测精度
获得所述第一监视器的第一网格划分标准;依据所述第一网格划分标准获得第一划分指
令,所述第一划分指令用于对所述第一监视器进行网格划分;获得所述第一监视器的第一
网格坐标信息;获得第一医生的第一语音信息;对所述第一语音信息进行提取,获得第一调
整坐标;依据所述第一网格坐标信息获得所述第一调整坐标的第一位置信息;由所述第一
语音信息获得第一调整内容;依据所述第一调整内容和所述第一位置信息获得第一调整指
令;获得所述第一内镜的第一显示图像;依据所述第一调整指令对所述第一显示图像进行
调整。
率;第二获得单元,所述第二获得单元用于获得第一内镜的第一监测组织结构;第三获得单
元,所述第三获得单元用于依据所述第一监测组织结构获得第一监测精度;第四获得单元,
所述第四获得单元用于由所述第一屏幕分辨率和所述第一监测精度获得所述第一监视器
的第一网格划分标准;第五获得单元,所述第五获得单元用于依据所述第一网格划分标准
获得第一划分指令,所述第一划分指令用于对所述第一监视器进行网格划分;第六获得单
元,所述第六获得单元用于获得所述第一监视器的第一网格坐标信息;第七获得单元,所述
第七获得单元用于获得第一医生的第一语音信息;第八获得单元,所述第八获得单元用于
对所述第一语音信息进行提取,获得第一调整坐标;第九获得单元,所述第九获得单元用于
依据所述第一网格坐标信息获得所述第一调整坐标的第一位置信息;第十获得单元,所述
第十获得单元用于由所述第一语音信息获得第一调整内容;第十一获得单元,所述第十一
获得单元用于依据所述第一调整内容和所述第一位置信息获得第一调整指令;第十二获得
单元,所述第十二获得单元用于获得所述第一内镜的第一显示图像;第一调整单元,所述第
一调整单元用于依据所述第一调整指令对所述第一显示图像进行调整。
处理器执行所述程序时实现上述第一方面所述方法的步骤。
音指令进行分析提取,实现对监视器显示图像进行网格化区域调整,从而实现了基于语音
分析技术对内窥镜显示图像进行网格式的精确调整,使得内窥镜显示图像处理更为高效、
智能的技术目的。
明显易懂,以下特举本申请的具体实施方式。
附图说明
19,第十获得单元20,第十一获得单元21,第十二获得单元22,第一调整单元23,总线300,接
收器301,处理器302,发送器303,存储器304,总线接口305。
具体实施方式
且不够智能化的技术问题。实现了基于语音分析技术,依据医生在调整内窥镜的过程中的
语音指令对内窥镜显示图像进行网格式的精确调整,使得内窥镜显示图像处理更为高效、
智能的技术目的。
施例的限制。
色去观察不同的组织结构,从而达到各种组织结构的最佳分辨能力。而对于内窥镜的实时
显示图像的调整需要多名医生的配合,且需要反复调整,以使内窥镜实时显示图像达到预
期的效果。现有技术中还存在着对于内窥镜实时反馈图像的角度、颜色等调整依赖人工,处
理效率较低且不够智能化的技术问题。
一监测组织结构获得第一监测精度;由所述第一屏幕分辨率和所述第一监测精度获得所述
第一监视器的第一网格划分标准;依据所述第一网格划分标准获得第一划分指令,所述第
一划分指令用于对所述第一监视器进行网格划分;获得所述第一监视器的第一网格坐标信
息;获得第一医生的第一语音信息;对所述第一语音信息进行提取,获得第一调整坐标;依
据所述第一网格坐标信息获得所述第一调整坐标的第一位置信息;由所述第一语音信息获
得第一调整内容;依据所述第一调整内容和所述第一位置信息获得第一调整指令;获得所
述第一内镜的第一显示图像;依据所述第一调整指令对所述第一显示图像进行调整。
传感器接受到体腔内粘膜面反射来的光,将此光转换成电信号,再通过导线将信号输送到
电视信息中心,再经过电视信息中心将这些电信号经过贮存和处理,最后传输到电视监视
器中在屏幕上显示出受检脏器的彩色粘膜图像。所述第一监视器用于将内窥镜所捕获的图
像进行显示,以便于医生对其进行分析,并依据图像对内窥镜的角度等进行调整。而不同的
电子内窥镜系统的电视监视器的分辨率不同,所呈现的图像清晰度也不同,通过获得所述
第一屏幕分辨率,为后续对监视器屏幕进行网格划分奠定了基础。
等。可在不同的手术类型中对不同的人体组织结构进行监测成像,同时,内窥镜的使用方式
不同,对其成像的清晰度和监测范围也不同。所述第一监测精度包括对于所述第一内镜的
成像质量、监测范围、颜色饱和度的要求,所述第一监测精度决定了对于所述第一监视器屏
幕网格划分的精度。
所述第一监视器的网格划分越精细。所述第一网格划分标准包括所划分的网格数量、网格
大小,所述第一网格划分标准越高,网格划分越精细。获得所述第一网格划分标准之后,获
得所述第一划分指令并执行,对所述第一监视器的显示图像进行网格划分。
第一内镜获得患者组织结构图像之后,由于内镜的监测角度发生偏差导致图像缺失,则可
依据所述第一监视器中缺失图像部位的网格坐标判断对于所述第一内镜的调整角度,从而
实现对内镜的精确调整,提高内镜使用效率,提升手术安全。
信息,对其语音信息进行提取,获得所述第一语音信息中需要调整的坐标信息,即所述第一
调整坐标,继而依据所划分的所述第一网格坐标信息对所述第一调整坐标进行定位,从而
对所述第一监视器显示图像中的调整区域进行定位。通过语音识别提取关键词,提高了图
像处理的效率。
血管、薄膜等组织的形状和颜色的细微变化。实际的病变组织,经过外界光源的照射、内窥
镜系统的采集以及显示器的显示后,不可避免的会发生颜色失真,且由于内窥镜前端与治
疗点的位置的偏差,也会导致采集的图像缺失。故需要通过监视器的实时图像对所述第一
内窥镜的角度、位置及图像颜色及进行调整。
显示图像的调整内容。从而依据上述内容获得所述第一调整指令。
像,提高内窥镜使用效率,提高手术安全性。
内容之后,同时获得所述第二医生的语音信息,并将所述第一语音信息、所述第二语音信息
输入至所述第一内容比对模型对语音信息进行分析,所述第一内容比对模型为一神经网络
模型,具有不断学习、获取经验来处理数据的特点,由所述第一内容比对模型获得所述第一
内容差异信息,为所述第一语音信息与所述第二语音信息的内容差异。从而依据所述第一
内容差异信息判断所述第二语音信息是否为所述第一语音信息的补充信息,若是,则依据
所述第二语音信息中的补充内容对所述第一显示图像进行调整。
每一组训练数据均包括:所述第一语音信息、所述第二语音信息和所述第一内容差异信息
的标识信息;
能的许多基本特征,是一个高度复杂的非线性动力学习系统。所述神经网络模型通过训练
数据训练的过程本质上为监督学习的过程。所述多组中的训练数据中的每一组训练数据均
包括:所述第一语音信息、所述第二语音信息和所述第一内容差异信息的标识信息;在获得
所述第一语音信息、所述第二语音信息的情况下,神经网络模型会输出所述第一内容差异
信息的标识信息来对神经网络模型输出的所述第一内容差异信息进行校验,如果输出的所
述第一内容差异信息同标识的所述第一内容差异信息相一致,则本数据监督学习完成,则
进行下一组数据监督学习;如果输出的所述第一内容差异信息同标识的所述第一内容差异
信息不一致,则神经网络模型自身进行调整,直到神经网络模型达到预期的准确率后,进行
下一组数据的监督学习。通过训练数据使神经网络模型自身不断地修正、优化,通过监督学
习的过程来提高神经网络模型处理所述数据的准确性,进而使得所述第一内容差异信息更
加准确。
过所述第一阈值,则代表所述第一语音信息和所述第二语音信息的内容不相同,则需要将
所述第一内容差异信息发送至所述第一会诊中心进行会诊,之后再获得对于所述第一内镜
的具体调整措施。
第一监测组织结构的内窥镜图像处理方式,从而依据所述内窥镜图像处理数据库对所述第
一内容差异信息进行分析,获得所述第一语音信息和所述第二语音信息中内容有效度的权
重占比,所述第一权重占比用于评估对于内窥镜及其显示图像不同调整方式的有效程度占
比。获得所述第一权重比之后,将所述第一权重比添加至所述第一内容差异信息,一起发送
至会诊中心进行会诊。
可能会产生错误的判断,这会直接影响到病灶的诊疗情况及医生对该内窥镜系统的接受程
度,另一方面,颜色失真也会影响到图像的特征提取以及后续的图像处理准确度。因此,在
进行图像分析前,内窥镜图像预处理的关键步骤之一就是颜色校正。依据第一语音信息获
得所述第一医生对于所述第一网格调整区域的颜色调整方式,并进一步确定颜色调整区域
的轮廓,通过生成所述第三调整指令,依据所述第一轮廓信息对所述第一显示图像进行颜
色调整,从而通过颜色校正,使得所述第一显示图像更为清晰、有效。
调整区域的调整颜色及色度以及调整区域之外的颜色及色度,从而通过分析色度信息获得
所述第一过渡颜色,依据所述第一过渡颜色对所述第一轮廓信息进行修饰填充,从而通过
修复轮廓,避免所述第一显示图像出现色彩断层,降低图像准确性。
语音指令进行分析提取,实现对监视器显示图像进行网格化区域调整,从而实现了基于语
音分析技术对内窥镜显示图像进行网格式的精确调整,使得内窥镜显示图像处理更为高
效、智能的技术目的。
进一步获得所述第一语音信息与所述第二语音信息的内容差异信息,基于训练模型能够不
断学习、获取经验来处理数据的特点,使得所获得的所述第一内容差异信息更为准确。
示,所述系统包括:
其中,所述多组训练数据中的每一组训练数据均包括:所述第一语音信息、所述第二语音信
息和所述第一内容差异信息的标识信息;
重比;
种内窥镜手术中基于语音分析的图像处理方法的详细描述,本领域技术人员可以清楚的知
道本实施例中一种内窥镜手术中基于语音分析的图像处理系统,所以为了说明书的简洁,
在此不再详述。
该程序被处理器执行时实现前文所述一种内窥镜手术中基于语音分析的图像处理方法的
任一方法的步骤。
储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之
类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步
描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器
303可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。
一监测组织结构获得第一监测精度;由所述第一屏幕分辨率和所述第一监测精度获得所述
第一监视器的第一网格划分标准;依据所述第一网格划分标准获得第一划分指令,所述第
一划分指令用于对所述第一监视器进行网格划分;获得所述第一监视器的第一网格坐标信
息;获得第一医生的第一语音信息;对所述第一语音信息进行提取,获得第一调整坐标;依
据所述第一网格坐标信息获得所述第一调整坐标的第一位置信息;由所述第一语音信息获
得第一调整内容;依据所述第一调整内容和所述第一位置信息获得第一调整指令;获得所
述第一内镜的第一显示图像;依据所述第一调整指令对所述第一显示图像进行调整。
施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产
品的形式。
或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令
到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一
个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在
流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
令系统的制造品,该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例,但本领域内
的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,
所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
之内,则本发明也意图包含这些改动和变型在内。