一种基于物联网的智能内窥镜影像的数据传输系统

摘要

本发明涉及一种基于物联网的智能内窥镜影像的数据传输系统，包括控制中心，所述控制中心连接端设有摄像系统，所述控制中心输出端设有AR后台、AI后台、专家终端和显示器，所述AR后台和AI后台输出端与显示器输入端连接，所述专家终端输出端与AR后台输入端连接，所述AR后台包括AR处理器，所述AR处理器连接端设有第一图像分析系统，所述第一图像分析系统输入端设有结构数据库以及输出端设有第一报警单元，所述AI后台包括AI处理器。本发明通过运用AR技术和AI技术对内窥镜手术中解剖结构进行智能分析另外能够实现专家远程指导手术，为医生提供多重参考，降低手术风险。

权利要求

1.一种基于物联网的智能内窥镜影像的数据传输系统，其特征在于，包括控制中心（1），所述控制中心（1）连接端设有摄像系统（2），所述控制中心（1）输出端设有AR后台（3）、AI后台（4）、专家终端（5）和显示器（6），所述AR后台（3）和AI后台（4）输出端与显示器（6）输入端连接，所述专家终端（5）输出端与AR后台（3）输入端连接，所述AR后台（3）包括AR处理器（7），所述AR处理器（7）连接端设有第一图像分析系统（8），所述第一图像分析系统（8）输入端设有结构数据库（9）以及输出端设有第一报警单元（10），所述AI后台（4）包括AI处理器（11），所述AI处理器（11）连接端设有第二图像分析系统（12），所述第二图像分析系统（12）输入端设有病灶数据库（13）以及输出端设有第二报警单元（14），所述专家终端（5）内部设有图片编辑器（15）和图片接收/发送单元（16），其中：所述摄像系统（2）用于拍摄图片，并将所述图片传输给所述控制中心（1）；

所述控制中心（1）用于将接收到的图片传输给所述AR处理器（7）、所述AI处理器（11）及所述专家终端（5）；

所述AR处理器（7）用于将从控制中心（1）接收的图片发送给第一图像分析系统（8），以及通过AR技术将所述第一图像分析系统（8）反馈的图片和所述专家终端（5）反馈的编辑了标注的图片叠加生成AR图像数据，并控制将所述AR图像数据显示在显示器（6）上；

所述第一图像分析系统（8）用于将接收到的图片与结构数据库（9）内部存有的解剖结构图片进行对比，然后获取对应的解剖结构图片并发送给AR处理器（7）；

所述AI处理器（11）用于将从控制中心（1）接收的图片发送给第二图像分析系统（12），并基于所述第二图像分析系统（12）的反馈结果，通过AI技术在所述从控制中心（1）接收的图片上标识出病灶的区域，以及控制将标识后的图片通过显示器（6）进行显示；

所述第二图像分析系统（12）用于将接收到的图片与病灶数据库（13）内部存有的病灶结构图片进行对比，获取与所述接收到的图片对应的病灶结构图片，并发送给AI处理器（11）；

所述图片编辑器（15）用于根据用户指令将从所述控制中心（1）接收的图片进行编辑标注；

所述图片接收/发送单元（16）用于从所述控制中心（1）接收图片以及发送编辑标注后的图片至所述AR处理器（7）。

2.如权利要求1所述一种基于物联网的智能内窥镜影像的数据传输系统，其特征在于，所述控制中心（1）内部设有数据输出单元（17）和数据输入单元（18），所述数据输出单元（17）与AR后台（3）、AI后台（4）、显示器（6）和专家终端（5）连接，所述数据输入单元（18）与摄像系统（2）和专家终端（5）连接。

3.如权利要求1所述一种基于物联网的智能内窥镜影像的数据传输系统，其特征在于，所述摄像系统（2）包括摄像头，所述摄像头内部设有用于将摄像头拍摄影像截图的截图模块（19）和用于发送截图图片的图片发送单元（20）。

4.如权利要求3所述一种基于物联网的智能内窥镜影像的数据传输系统，其特征在于，所述摄像头、显示器（6）和控制中心（1）均设置于内窥镜设备上。

5.如权利要求1所述一种基于物联网的智能内窥镜影像的数据传输系统，其特征在于，所述AR后台（3）和AI后台（4）输出端设有云端服务器（21），所述AR后台（3）和AI后台（4）均通过无线通信模块与云端服务器（21）连接，所述无线通信模块为zigbee模块。

6.如权利要求1所述一种基于物联网的智能内窥镜影像的数据传输系统，其特征在于，所述第一图像分析系统（8）和第二图像分析系统（12）均包括用于存储图片的图片存储单元，以及用于对图片进行对比分析的图片解析单元。

7.如权利要求1所述一种基于物联网的智能内窥镜影像的数据传输系统，其特征在于，所述结构数据库（9）包括存储解剖结构图的存储器。

8.如权利要求1所述一种基于物联网的智能内窥镜影像的数据传输系统，其特征在于，所述病灶数据库（13）包括存储带有病灶的解剖结构图的存储器。

说明书

一种基于物联网的智能内窥镜影像的数据传输系统

技术领域

[0001] 本发明属于医疗器械技术领域，尤其涉及一种基于物联网的智能内窥镜影像的数据传输系统。

背景技术

[0002] 医生在使用内窥镜做检查或手术时，都是观看内窥镜显示屏进行操作，仅依靠医生的经验，可能会分辨不出当前显示的身体结构，并且对于一些身体结构中可能会有病灶，只依靠医生的经验进行判断，误判率较高。

发明内容

[0003] 本发明提供了一种基于物联网的智能内窥镜影像的数据传输系统，通过运用AR技术和AI技术对内窥镜手术中拍摄到的身体结构进行智能分析指引，另外能够实现专家远程指导手术，提高手术的成功率，用以解决现有技术中提出的问题。

[0004] 本发明提供的技术方案如下：一种基于物联网的智能内窥镜影像的数据传输系统，包括控制中心，所述控制中心连接端设有摄像系统，所述控制中心输出端设有AR后台、AI后台、专家终端和显示器，所述AR后台和AI后台输出端与显示器输入端连接，所述专家终端输出端与AR后台输入端连接，所述AR后台包括AR处理器，所述AR处理器连接端设有第一图像分析系统，所述第一图像分析系统输入端设有结构数据库以及输出端设有第一报警单元，所述AI后台包括AI处理器，所述AI处理器连接端设有第二图像分析系统，所述第二图像分析系统输入端设有病灶数据库以及输出端设有第二报警单元，所述专家终端内部设有图片编辑器和图片接收/发送单元，其中：所述摄像系统用于拍摄图片，并将所述图片传输给所述控制中心；
所述控制中心用于将接收到的图片传输给所述AR处理器、所述AI处理器及所述专家终端；
所述AR处理器用于将从控制中心接收的图片发送给第一图像分析系统，以及通过AR技术将所述第一图像分析系统反馈的图片和所述专家终端反馈的编辑了标注的图片叠加生成AR图像数据，并控制将所述AR图像数据显示在显示器上；
所述第一图像分析系统用于将接收到的图片与结构数据库内部存有的解剖结构图片进行对比，然后获取对应的解剖结构图片并发送给AR处理器所述AI处理器用于将从控制中心接收的图片发送给第二图像分析系统，并基于所述第二图像分析系统的反馈结果，通过AI技术在所述从控制中心接收的图片上标识出病灶的区域，以及控制将标识后的图片通过显示器进行显示；
所述第二图像分析系统用于将接收到的图片与病灶数据库内部存有的病灶结构图片进行对比，获取与所述接收到的图片对应的病灶结构图片，并发送给AI处理器；
所述图片编辑器用于根据用户指令将从所述控制中心接收的图片进行编辑标注；
所述图片接收/发送单元用于从所述控制中心接收图片以及发送编辑标注后的图片至所述AR处理器。优选的，所述控制中心内部设有数据输出单元和数据输入单元，所述数据输出单元与AR后台、AI后台、显示器和专家终端连接，所述数据输入单元与摄像系统和专家终端连接。

[0005] 优选的，所述摄像系统包括摄像头，所述摄像头内部设有用于将摄像头拍摄影像截图的截图模块和用于发送截图图片的图片发送单元。

[0006] 优选的，所述摄像头、显示器和控制中心均设置于内窥镜设备上。

[0007] 优选的，所述AR后台和AI后台输出端设有云端服务器，所述AR后台和AI后台均通过无线通信模块与云端服务器连接，所述无线通信模块为zigbee模块。

[0008] 优选的，所述第一图像分析系统和第二图像分析系统均包括用于存储图片的图片存储单元，以及用于对图片进行对比分析的图片解析单元。

[0009] 优选的，所述结构数据库包括存储解剖结构图的存储器。

[0010] 优选的，所述病灶数据库包括存储带有病灶的解剖结构图的存储器。

[0011] 本发明中，1、控制中心将摄像系统拍摄的图片发送给AR后台，AR处理器将图片发送给第一图像分析系统，第一图像分析系统将图片与结构数据库内部存有的解剖结构图片进行对比，然后搜查出对应的解剖结构图片并发送给AR处理器，AR处理器利用AR技术将解剖结构图片及专家终端反馈的编辑标注后的图片叠加显示在显示器上，从历史数据及专家意见为医生的操作提供参考数据，提高医生手术操作的成功率；
2、控制中心将摄像系统拍摄的图片发送给AI后台，AI处理器将拍摄的图片发送给第二图像分析系统，第二图像分析系统处理该图片与病灶数据库内部存有的病灶结构图片进行对比，判断该图片是否有病灶的结构，获取与所述接收到的图片对应的病灶结构图片，并发送给AI处理器，AI处理器利用AI技术在拍摄的图片上标识出病灶的区域，然后将标识后的图片显示在显示器上，为医生进行病灶判断提供参考。

附图说明

[0012] 图1为本发明的整体结构示意图；图2为本发明的AR后台和AI后台结构示意图；
图3为本发明的专家终端结构示意图；
图4为本发明的控制中心结构示意图；
图5为本发明的摄像系统结构示意图。

[0013] 图中：1控制中心、2摄像系统、3 AR后台、4 AI后台、5专家终端、6显示器、7 AR处理器、8第一图像分析系统、9结构数据库、10第一报警单元、11 AI处理器、12第二图像分析系统、13病灶数据库、14第二报警单元、15图片编辑器、16图片接收/发送单元、17数据输出单元、18数据输入单元、19截图模块、20图片发送单元、21云端服务器。

具体实施方式

[0014] 实施例1：根据图1-3所示的一种基于物联网的智能内窥镜影像的数据传输系统，包括控制中心
1，所述控制中心1连接端设有摄像系统2，所述控制中心1输出端设有AR后台3、AI后台4、专家终端5和显示器6，所述AR后台3和AI后台4输出端与显示器6输入端连接，所述专家终端5输出端与AR后台3输入端连接，所述AR后台3包括AR处理器7，所述AR处理器7连接端设有第一图像分析系统8，所述第一图像分析系统8输入端设有结构数据库9以及输出端设有第一报警单元10，所述结构数据库9包括存储解剖结构图的存储器，所述AI后台4包括AI处理器
11，所述AI处理器11连接端设有第二图像分析系统12，所述第一图像分析系统8和第二图像分析系统12均包括用于存储图片的图片存储单元，以及用于对图片进行对比分析的图片解析单元，所述第二图像分析系统12输入端设有病灶数据库13以及输出端设有第二报警单元
14，所述病灶数据库13包括存储带有病灶的解剖结构图的存储器，所述专家终端5内部设有图片编辑器15和图片接收/发送单元16，其中：
所述摄像系统2用于拍摄图片，并将所述图片传输给所述控制中心1；
所述控制中心1用于将接收到的图片传输给所述AR处理器7、所述AI处理器11及所述专家终端5；
所述AR处理器7用于将从控制中心1接收的图片发送给第一图像分析系统8，以及通过AR技术将所述第一图像分析系统8反馈的图片和所述专家终端5反馈的编辑了标注的图片叠加生成AR图像数据，并控制将所述AR图像数据显示在显示器6上；
所述第一图像分析系统8用于将接收到的图片与结构数据库9内部存有的解剖结构图片进行对比，然后获取对应的解剖结构图片并发送给AR处理器7；
所述AI处理器11用于将从控制中心1接收的图片发送给第二图像分析系统12，并基于所述第二图像分析系统12的反馈结果，通过AI技术在所述从控制中心1接收的图片上标识出病灶的区域，以及控制将标识后的图片通过显示器6进行显示；
所述第二图像分析系统12用于将接收到的图片与病灶数据库13内部存有的病灶结构图片进行对比，获取与所述接收到的图片对应的病灶结构图片，并发送给AI处理器11；
所述图片编辑器15用于根据用户指令将从所述控制中心1接收的图片进行编辑标注；
所述图片接收/发送单元16用于从所述控制中心1接收图片以及发送编辑标注后的图片至所述AR处理器7。

[0015] 其中，解剖结构图片为人体任一器官对应的解剖结构图，通过反馈解剖结构图，可以使医生更清晰的了解当前摄像系统拍摄到的位置的内部结构，有助于医生后续的手术操作。

[0016] 本发明实施例还提供一种用于物联网的智能内窥镜影像的数据传输系统的数据处理方法，包括：摄像系统拍摄图片，将拍摄的图片传输给所述控制中心1；
控制中心将接收到的图片传输给AR处理器7、AI处理器11及专家终端5；
AR处理器7将从控制中心1接收的图片发送给第一图像分析系统8，以及通过AR技术将所述第一图像分析系统8反馈的图片和所述专家终端5反馈的编辑了标注的图片叠加生成AR图像数据，并控制将所述AR图像数据显示在显示器6上；
所述第一图像分析系统8将接收到的图片与结构数据库9内部存有的解剖结构图片进行对比，然后获取对应的解剖结构图片并发送给AR处理器7；
所述AI处理器11将从控制中心1接收的图片发送给第二图像分析系统12，并基于所述第二图像分析系统12的反馈结果，通过AI技术在所述从控制中心1接收的图片上标识出病灶的区域，以及控制将标识后的图片通过显示器6进行显示；
所述第二图像分析系统12将接收到的图片与病灶数据库13内部存有的病灶结构图片进行对比，获取与所述接收到的图片对应的病灶结构图片，并发送给AI处理器11；
专家终端5内的图片编辑器15根据用户指令将从所述控制中心1接收的图片进行编辑标注。

[0017] 控制中心将摄像系统拍摄的图片发送给AR处理器，AR处理器将图片发送给第一图像分析系统，第一图像分析系统将图片与结构数据库内部存有的解剖结构图片进行对比，然后搜查出对应的解剖结构图片并发送给AR处理器，AR处理器利用AR技术将解剖结构图片及专家终端反馈的编辑标注后的图片叠加显示在显示器上，从历史数据及专家意见为医生的操作提供参考数据，提高医生手术操作的成功率；控制中心将摄像系统拍摄的图片发送给AI处理器，AI处理器将拍摄的图片发送给第二图像分析系统，第二图像分析系统处理该图片与病灶数据库内部存有的病灶结构图片进行对比，判断该图片是否有病灶的结构，获取与所述接收到的图片对应的病灶结构图片，并发送给AI处理器，AI处理器利用AI技术在拍摄的图片上标识出病灶的区域，然后将标识后的图片显示在显示器上，为医生进行病灶判断提供参考。实施例2：
根据图2所示的一种基于物联网的智能内窥镜影像的数据传输系统，所述AR后台3和AI后台4输出端设有云端服务器21，所述AR后台3和AI后台4均通过无线通信模块与云端服务器21连接，所述无线通信模块为zigbee模块，AR后台3和AI后台4能够将存储的图片、搜索对比的图片以及编辑标注的带有病灶的图片同步至云端服务器21，便于备份存储，为医疗纠纷提供证据，以及便于后期查看病情状况。

[0018] 根据图4所示的一种基于物联网的智能内窥镜影像的数据传输系统，所述控制中心1内部设有数据输出单元17和数据输入单元18，所述数据输出单元17与AR后台3、AI后台4、显示器6和专家终端5连接，所述数据输入单元18与摄像系统2和专家终端5连接，方便图片的输入与输出；
根据图5所示的一种基于物联网的智能内窥镜影像的数据传输系统，所述摄像系统2包括摄像头，所述摄像头内部设有用于将摄像头拍摄影像截图的截图模块19和用于发送截图图片的图片发送单元20，所述摄像头、显示器6和控制中心1均设置于内窥镜设备上，能够将内窥镜设备上摄像头拍摄的视频进行截图然后通过图片发送单元20发送至控制中心1，由控制中心1分配发送。

[0019] 本发明工作原理：使用时，摄像头拍摄内手术解剖部位的视频，然后通过截图模块19截图并通过图片发送单元20将截图图片发送至控制中心1，控制中心1将图片同时发送给AR后台3、AI后台4、显示器6和专家终端5，显示器6显示图片，方便医生进行手术操作；
截图图片发送给AR后台3，AR处理器7将截图图片发送给第一图像分析系统8，第一图像分析系统8将截图图片与结构数据库9内部存有的解剖结构图片进行对比，然后搜查出对应的解剖结构图片并发送给AR处理器7，AR处理器7利用AR技术将解剖结构图片与专家终端5反馈的图片叠加显示在显示器6上，为医生操作提供参考，当查找不到解剖结构图片时，第一报警单元10通过显示器6报警；
截图图片发送给AI后台4，AI处理器11将截图的解剖结构图片发送给第二图像分析系统12，第二图像分析系统12处理截图图片与病灶数据库13内部存有的病灶结构图片进行对比，判断解剖图片是否存在病灶结构，并且将该截图对应的病灶结构图片发送给AR处理器
7，AR处理器7利用AI技术将截图图片标识出病灶的区域，然后将标识后的解剖图片显示在显示器6上，为医生后续操作提供参考，当确定存在病灶时，第二报警单元14通过显示器6报警；
截图图片发送给专家终端5，能够实现专家远程手术实时指导，将内镜下实时视频截图的图片通过数据输入单元18输入到专家终端5上，专家在观看终端上通过图片编辑器15编辑截图图片，编辑的截图图片反馈给AR处理器7，由 AR处理器7利用AR技术将获取的解剖结构图片与专家终端5反馈的图片叠加显示在显示器6上；
AR后台3和AI后台4能够将存储的截图图片、搜索对比的图片以及编辑标注的带有病灶的图片同步至云端服务器21，便于备份存储，为医疗纠纷提供证据，以及便于后期查看病情状况。

[0020] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

[0021] 本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0022] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

[0023] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

[0024] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。