本发明公开了一种用于巡检设备温度的基于增强现实的巡检装置，其特征在于，所述巡检装置包括：用于同步获取包含目标设备的第一场景的红外图像和可见光图像红外摄像机和可见光摄像机、增强现实眼镜以及控制器，所述控制器从所述可见光图像中识别目标设备并且从所述红外图像确定所述目标设备的温度信息，确定所述目标设备在所述镜架摄像头图像中的位置，将所述目标设备的温度信息的展示图像与所述现实图像耦合后投射于巡检员的眼中。本发明通过所述基于增强现实的巡检装置可以在远离目标设备的情况下巡检设备温度，提高了巡检效率和质量，避免了巡检人员进入危险环境，并且有效防止了误检和漏检。
1.一种用于巡检设备温度的基于增强现实的巡检方法，所述方法包括以下步骤：
S000，提供一种巡检装置，所述巡检装置包括：红外摄像机和可见光摄像机、增强现实眼镜以及控制器；其中，所述红外摄像机和所述可见光摄像机位于目标设备附近用于同步获取包含目标设备的第一场景的红外图像和可见光图像；所述增强现实眼镜远离目标设备并且包括镜架摄像头，所述镜架摄像头用于获取与佩戴所述增强现实眼镜的巡检员看到的第二场景的现实图像相同的镜架摄像头图像；所述控制器用于从所述可见光图像中识别目标设备并且利用所述红外图像确定所述目标设备的温度信息；所述控制器还用于确定所述目标设备在所述镜架摄像头图像中的位置，将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的展示图像，以及控制所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中；
S100，用所述红外摄像机和所述可见光摄像机同步获取包含目标设备的第一场景的红外图像和可见光图像；
S200，巡检员使用所述增强现实眼镜观察包括所述目标设备的第二场景的现实图像，并且在进行步骤S100的同时所述镜架摄像头同步获取第二场景的镜架摄像头图像；
S300，从所述可见光图像中识别目标设备并且从所述红外图像确定所述目标设备的温度信息；
S400，控制器通过已经看到该目标设备的第一场景的可见光图像和此时可见光摄像机的第一位置信息来确定目标设备的位置信息，然后根据所述增强现实眼镜的第二位置信息和所述目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的第三位置；根据第二位置信息和数据库中记载的目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的第四位置；并且在第三位置和第四位置不一致时发出警告信息提示发生定位错误；
S500，将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的展示图像；
S600，通过所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中。
2.根据权利要求1的所述用于巡检设备温度的基于增强现实的巡检方法，其中在步骤S100中，所述红外摄像机和所述可见光摄像机通过联动变焦以改善第一场景的红外图像和可见光图像的质量并保持所述红外图像和所述可见光图像一致。
3.根据权利要求1的所述用于巡检设备温度的基于增强现实的巡检方法，其中，在步骤S400中，从所述镜架摄像头图像中识别所述目标设备以确定所述目标设备在所述镜架摄像头图像中的位置；
在步骤S500中，将所述目标设备的温度信息转换为文字和/或图案以形成所述展示图像；
在步骤S600中，将所述展示图像耦合在所述现实图像中所述目标设备处。
4.根据权利要求1的所述用于巡检设备温度的基于增强现实的巡检方法，其中在步骤S300中，用所述第一位置跟踪器实时获取所述红外摄像机和可见光摄像机的第一位置信息，根据所述可见光图像和/或所述红外图像确定所述目标设备的位置信息；
在步骤S400中，用所述第二位置跟踪器实时获取所述增强现实眼镜的第二位置信息，根据所述第二位置信息和步骤S300中确定的所述目标设备的位置信息确定所述目标设备在所述镜架摄像头图像中的位置；
在步骤S500中，将所述目标设备的温度信息转换为文字和/或图案并与所述目标设备的模型图像结合以形成所述展示图像；
在步骤S600中，将所述展示图像耦合在所述现实图像中所述目标设备处。
5.根据权利要求1-4中任一项的所述用于巡检设备温度的基于增强现实的巡检方法，其中在步骤S100中，用可移动载具移动所述红外摄像机和可见光摄像机以获取包含目标设备的第一场景的红外图像和可见光图像。
6.根据权利要求5的所述用于巡检设备温度的基于增强现实的巡检方法，其中，所述可移动载具包括有人或无人操控的机器人、飞行器、车辆和船舶。
一种用于巡检设备温度的基于增强现实的巡检方法
技术领域
[0001] 本发明涉及一种基于增强现实的红外温度巡检的装置和方法。
背景技术
[0002] 电力线路需经常检测各个电力部件的温度情况，如果故障隐患得不到及时处理,则可能发展成为线路故障甚至线路事故。为了确保电力线路和电力系统的安全性与稳定性,应做好线路的维护工作,使其在运行过程中始终处于良好的状态。
[0003] 电力线路温度巡检管理是确保输电线路设备与安全稳定的基础性工作,通过巡视检查来了解和掌握线路运行情况和周围环境, 及时发现线路和设备中存在的各种安全隐患,用以制定检修内容, 将故障控制在最小范围内,最终确保整个电力系统的稳定性。
[0004] 目前电力线路部件的温度检测需要巡检人员使用红外温度计进行温度测量，但由于电力线路的部件位置高低不同，部件大小不同，巡检人员瞄准困难，经常造成检测温度不准的情况。
[0005] 本发明中使用了AR增强现实的概念，所述AR增强现实是指：借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确"放置"在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交互、三维注册的新特点。
发明内容
[0006] 为解决上述问题，本发明提供以下技术方案。
[0007] 在一个方面，本发明提供一种用于巡检设备温度的基于增强现实的巡检装置，其特征在于，所述巡检装置包括：红外摄像机和可见光摄像机、增强现实眼镜以及控制器，其中，
[0008] 所述红外摄像机和所述可见光摄像机用于同步获取包含目标设备的第一场景的红外图像和可见光图像；
[0009] 所述增强现实眼镜还包括镜架摄像头，所述镜架摄像头用于获取与佩戴所述增强现实眼镜的巡检员看到的第二场景的现实图像相同的镜架摄像头图像；
[0010] 所述控制器用于从所述可见光图像中识别目标设备并且利用所述红外图像确定所述目标设备的温度信息；所述控制器还用于确定所述目标设备在所述镜架摄像头图像中的位置，将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的展示图像，以及控制所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中。
[0011] 进一步地，所述红外摄像机和所述可见光摄像机具有联动的变焦装置。
[0012] 进一步地，所述巡检装置还包括第一位置跟踪器和第二位置跟踪器，所述第一位置跟踪器用于实时获取所述红外摄像机和可见光摄像机的第一位置信息，所述第二位置跟踪器用于实时获取所述增强现实眼镜的第二位置信息。
[0013] 进一步地，所述巡检装置还包括可移动载具，所述可移动载具用于安置并移动所述户外摄像机和可见光摄像机。
[0014] 进一步地，所述可移动载具包括有人或无人操控的机器人、飞行器、车辆和船舶。
[0015] 在另一个方面，本发明提供一种用于巡检设备温度的基于增强现实的巡检方法，所述方法包括以下步骤：
[0016] S000，提供上述任一项的所述巡检装置；
[0017] S100，用所述红外摄像机和所述可见光摄像机同步获取包含目标设备的第一场景的红外图像和可见光图像；
[0018] S200，巡检员使用所述增强现实眼镜观察包括所述目标设备的第二场景的现实图像，并且在进行步骤S100的同时所述镜架摄像头同步获取第二场景的镜架摄像头图像；
[0019] S300，从所述可见光图像中识别目标设备并且从所述红外图像确定所述目标设备的温度信息；
[0020] S400，确定所述目标设备在所述镜架摄像头图像中的位置；
[0021] S500，将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的展示图像；
[0022] S600，通过所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中。
[0023] 进一步地，在步骤S100中，所述红外摄像机和所述可见光摄像机通过联动变焦以改善第一场景的红外图像和可见光图像的质量并保持所述红外图像和所述可见光图像一致。
[0024] 进一步地，在步骤S400中，从所述镜架摄像头图像中识别所述目标设备以确定所述目标设备在所述镜架摄像头图像中的位置；
[0025] 在步骤S500中，将所述目标设备的温度信息转换为文字和/或图案以形成所述展示图像；
[0026] 在步骤S600中，将所述展示图像耦合在所述现实图像中所述目标设备处。
[0027] 进一步地，在步骤S300中，用所述第一位置跟踪器实时获取所述红外摄像机和可见光摄像机的第一位置信息，根据所述可见光图像和/或所述红外图像确定所述目标设备的位置信息；
[0028] 在步骤S400中，用所述第二位置跟踪器实时获取所述增强现实眼镜的第二位置信息，根据所述第二位置信息和步骤S300中确定的所述目标设备的位置信息确定所述目标设备在所述镜架摄像头图像中的位置；
[0029] 在步骤S500中，将所述目标设备的温度信息转换为文字和/或图案并与所述目标设备的模型图像结合以形成所述展示图像；
[0030] 在步骤S600中，将所述展示图像耦合在所述现实图像中所述目标设备处。
[0031] 进一步地，在步骤S100中，用可移动载具移动所述红外摄像机和可见光摄像机以获取包含目标设备的第一场景的红外图像和可见光图像。
[0032] 本发明通过所述基于增强现实的巡检装置可以在远离目标设备的情况下巡检该设备的温度情况，大大提高了巡检人员检测温度的效率和检测质量，避免了巡检人员进入危险环境，并且有效防止了巡检人员误检、漏检情况的发生。
具体实施方式
[0033] 为了便于本领域技术人员的理解，下面结合实施例对本发明作进一步的描述。
[0034] 实施例1
[0035] 根据本发明的一种用于巡检设备温度的基于增强现实的巡检装置，包括：联立的红外摄像机和可见光摄像机、增强现实眼镜以及控制器。
[0036] 所述红外摄像机和所述可见光摄像机用于同步获取包含目标设备的第一场景的红外图像和可见光图像。所述红外摄像机和所述可见光摄像机是现有技术中可获得的任意合适的产品，尤其是具有高分辨率的那些，可以安装在无人机或无人车辆或无人船舶上，通过遥控进入高山、深壑、密林、洞穴、洪灾、火灾等人员难以到达地区，在目标设备的附近获取第一场景的图像。
[0037] 所述增强现实眼镜包括镜架摄像头，所述镜架摄像头用于获取与佩戴所述增强现实眼镜的巡检员看到的第二场景的现实图像相同的镜架摄像头图像。所述增强现实眼镜可以是任意合适的增强现实设备，例如各种市售的增强现实眼镜和头盔等。
[0038] 所述控制器包括与增强现实眼镜组合的或分立的计算机，其与红外摄像机、可见光摄像机和增强现实眼镜通过有线或无线的方式通讯连接。所述控制器利用已知的算法以及任选的目标设备的数据库从所述可见光图像中识别目标设备。由于可见光波长较短，图像清晰度较高，因此适于识别目标设备。红外线波长较长，红外图像与可见光图像相比往往较为模糊，难以从中准确识别目标设备，然而红外图像可用于实时、遥测、直观和定量的方式测量温度，用来检测发电厂、变电所和输电线路的运转设备和带电设备非常方便、有效。在本发明中，可以将可见光图像与红外图像进行比对来确定红外图像中对应于目标设备的部分，然后提取与可见光图像中目标设备所在区域对应的红外图像的温度数值，来确定所述目标设备的温度信息。所述温度信息包括目标设备的各个关键点的温度、不同区域和设备整体的平均温度和温度分布、以及温度随时间的变化情况等。
[0039] 在一些情况下，通过使可见光摄像机和红外摄像机联动变焦，这样既可以通过变焦来方便地获取目标设备的更清晰的可见光图像和更细致的红外图像，又能保持所述红外图像和所述可见光图像一致。
[0040] 在巡检过程中，巡检员可以处于远离目标设备的位置。当巡检员佩戴增强现实眼镜观察包括目标设备的第二场景时，目标设备可能在第二场景被看到，也可能因距离和障碍物遮挡等原因而不能被看到。
[0041] 因此，当增强现实眼镜的镜架摄像头获取了第二场景的镜架摄像头图像后，如果控制器在其中找到目标设备的图像，也即是说目标设备能被巡检员看到，则可直接在所述镜架摄像头图像中确定目标设备的位置，将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的数字/图案等展示图像，然后控制所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中，使巡检员在第二场景的现实图像中看到目标设备的温度信息，进而采取相应措施以完成对该目标设备的巡检。
[0042] 当增强现实眼镜的镜架摄像头获取了第二场景的镜架摄像头图像后，如果控制器在其中找不到目标设备的图像，也即是说目标设备不能被巡检员看到，则需要通过已经看到该目标设备的第一场景的可见光图像和此时可见光摄像机的第一位置信息来确定目标设备的位置信息，然后根据所述增强现实眼镜的第二位置信息和所述目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的位置。根据可见光图像和可见光摄像机的第一位置信息计算目标设备位置的方法，以及根据固定在增强现实眼镜上的镜架摄像头的第二位置信息和目标设备的位置信息计算目标设备在镜架摄像头图像中的位置的方法，都可采用本领域中已知的方法进行。接着，控制器将所述目标设备的温度信息转换为文字和/或图案并与所述目标设备的模型图像结合以形成所述展示图像；并将所述展示图像耦合在所述现实图像中所述目标设备处，使巡检员在第二场景的现实图像中看到目标设备的温度信息。在一些情况下，包括目标设备的模型图像的展示图像可以浮现在现实图像之上。在另一些情况下，可将展示图像置于现实图像之下，并将展示图像处的现实图像进行透明化处理，以便以更自然的方式呈现。
[0043] 在一些情况下，无论在第二场景中能否看到目标设备，都通过已经看到该目标设备的第一场景的可见光图像和此时可见光摄像机的第一位置信息来确定目标设备的位置信息，然后根据所述增强现实眼镜的第二位置信息和所述目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的位置。
[0044] 在一些情况下，控制器根据第二位置信息和数据库中记载的目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的位置。任选地，控制器用根据第一位置信息和可见光图像确定的目标设备的位置信息与数据库中记载的目标设备的位置信息进行比较，并且在不一致时，向巡检员发出警告信息已提示可能发生定位错误，警告信息包括震动、文字和声音信息以及使展示图像闪烁等。
[0045] 在一些情况下，还在可见光摄像机或红外摄像机处设有激光测距仪用于测量目标设备的位置信息。在一些情况下，还可在可见光摄像机、红外摄像机和镜架摄像头处设置激光笔，用于在目标设备上照射激光标记，这样可以在镜架摄像头图像中直接按照激光标记的位置确定目标设备的位置，也可以根据激光标记在可见光图像和镜架摄像头图像中的形状和尺寸变化(例如通过三角测量法)计算目标设备相对于可见光摄像机和镜架摄像头的相对位置，从而更加精准地确定目标设备的位置信息。这样获得的目标设备位置信息可用于建立或更新目标设备数据库中的相应信息。
[0046] 以上所述，仅为本实用发明的较佳实施例，不能以此限定本实用发明实施范围；凡依本发明申请专利范围及创作说明书内容所作的简单的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。
