一种采用视频图像和/或数码照片监测室外显示屏的系统和方法，系统设有：安装在室外显示屏前侧的图像采集装置，与图像采集装置连接的图像监测装置(设有智能图像识别，通信协议处理和智能判别比对三个模块)以及通信装置。监测方法是：图像采集装置实时拍摄室外显示屏的显示内容，并把拍摄的视频和/或数码照片传送给图像监测装置，由后者对视频或数码照片进行逐点点阵或整体图文内容的两种识别，再将处理后的显示屏图像点阵文件与控制中心的原始图像文件进行比对，判断显示是否正确。发现显示有误就详细检查差错的点阵数量，得出室外显示屏LED的正确工作率和自动产生告警信号，经由通信装置传送给控制中心，以便维护人员及时排除故障。
1.一种采用视频图像和/或数码照片监测室外显示屏的系统，其特征在于：所述系统包括：安装在室外显示屏前侧的图像采集装置，与该图像采集装置连接的由工控机或PC机或嵌入式处理单元构成的图像监测装置，以及通信装置；所述图像采集装置是摄像机或数码照相机或USB接口摄像头；监测装置中设有智能图像识别，通信协议处理和智能判别比对三个模块；其中，智能图像识别模块，用于对来自图像采集装置的视频或图像进行识别处理：按照点阵逐点识别图像，自动判断室外显示屏中每个发光二级管LED的亮、灭与颜色状态，或对整幅图像进行图文识别，获知室外显示屏的显示内容，然后，再将经过图像识别后的图像点阵数据或文字传送给智能判别比对模块；
智能判别比对模块，负责将由智能图像识别模块识别处理后的图像点阵数据或文字与室外显示屏控制中心要求各个室外显示屏显示的原图数据进行比对，判断该室外显示屏显示的图像和文字是否正确，如果发现显示数据不正确时，再进行详细检查和判别其中发生差错的点阵数量，进而得出该室外显示屏发光二级管LED的正确工作率；当正确率小于设定门限值时，藉由通信协议处理模块自动产生告警信号，再经由所述通信装置传送给室外显示屏控制中心，以便提供及时维护；
通信协议处理模块，负责所述通信装置与室外显示屏控制中心进行实时通信的协议转换，以便从室外显示屏控制中心得到当前室外显示屏需要正确显示的信息内容，并把图像采集装置拍摄的图像或视频发送给室外显示屏控制中心。
2.根据权利要求1所述的系统，其特征在于：所述由工控机或PC机或嵌入式处理单元构成的图像监测装置是一台设备，或者是采用以太网接口、异步串行接口或USB接口方式相互连接的分布式多台设备。
3.根据权利要求1所述的系统，其特征在于：所述通信装置包括有线和/或无线数据通信传输设备。
4.一种采用视频图像和/或数码照片监测室外显示屏的系统的监测方法，其特征在于：包括下列操作步骤：
（1）图像采集装置采用标准的数码视频和/或数码照片格式对室外显示屏的显示内容进行实时拍摄，并把拍摄后的视频和/或数码照片传送给图像监测装置；
（2）图像监测装置中的智能图像识别模块对接收的视频和/或数码照片进行检测：先按照点阵逐点识别图像，自动判断室外显示屏中每个发光二级管的亮、灭与颜色，或者对视频图像或数码照片进行整体图文识别，得到室外显示屏当前的显示内容后，将经过图像识别后的图像点阵数据或文字内容传送给智能判别比对模块；
同时，通信协议处理模块负责经由通信装置与室外显示屏控制中心进行实时通信，从室外显示屏控制中心获得室外显示屏当前需要正确显示的内容，以及把图像采集装置拍摄的视频和/或数码照片发送给室外显示屏控制中心；
（3）智能判别比对模块负责将智能图像识别模块处理后的图像点阵数据或文字内容与室外显示屏控制中心要求下属各个室外显示屏显示的原始图像文件进行比对，判断下属室外显示屏所显示的图像和文字是否正确；如果发现室外显示屏的显示图像或文字有误，再详细检查和判别其中发生差错的点阵数量，进而得出室外显示屏发光二级管的正确工作率；当正确率小于设定门限值时，藉由通信协议处理模块自动产生告警信号，再经由所述通信装置传送给室外显示屏控制中心，以便维护人员及时排除故障。
5.根据权利要求4所述的方法，其特征在于：所述步骤（2）中，智能判别比对模块按照点阵逐点识别图像，自动判断室外显示屏中每个发光二级管的亮、灭与颜色的检测过程包括下列操作内容：（21）因室外显示屏设有N×M个发光二极管，在对室外显示屏预先拍摄的一段标准视频或标准数码照片上，按照每个LED为一个子区域对室外显示屏进行点阵划分，再根据其中每个LED的实际颜色和亮、灭将每个子区域划分为不同工作状态后，保存该基本设置；
（22）智能图像识别模块就根据预设的各个区域对其所得到的视频和/或数码照片进行子区域检测，判别每个子区域的LED颜色和亮，灭状态；也就是图像识别模块将每个子区域或像素的亮、灭和颜色组合为一张以像素为基本单元的文件，判断该文件中的像素是否与室外显示屏的像素一一对应；
（23）控制中心通过发送每个LED的全亮和/或全灭的测试图案，智能图像识别模块就根据存储的该室外显示屏的基本设置识别其中某个或某些不能正常发光或正常熄灭的LED，以识别判断损坏的单个发光二极管：此时要注意准确区分阳光反射所引起的LED假亮或偏色。
6.根据权利要求4或5所述的方法，其特征在于：所述步骤（2）中，智能判别比对模块综合使用整体图文识别和逐个LED识别两种方法检测室外显示屏是否工作正常，以便既能判断室外显示屏发布的图文信息的实际显示效果，又能发现其中个别或某些损坏的LED；
因个别LED损坏不影响室外显示屏的信息正确发布，对于这些损坏器件，控制中心会根据实际情况给维护人员下达非紧急维护命令，以降低维护费用。
采用视频图像和/或数码照片监测室外显示屏的系统和方
法
技术领域
[0001] 本发明涉及一种采用视频图像和/或数码照片监测室外显示屏的系统和方法，属于无线通信与远程控制的技术领域。
背景技术
[0002] 随着我国城市化的发展，城市内部与各个城市之间的道路都呈快速增加之势，并且，各个主要大中型城市都在主要道路上空根据实际需要建设了大量的室外显示屏，用于告示前方或周围的交通状况。由于这些室外显示屏一年四季全天候处于室外自然环境条件的工作状态，需要经受高温、低温，风吹、日晒、雨淋等各种恶劣环境的考验。目前，它们的工作是采用对内部发光二极管的控制电路的工作电压和电流进行检测来判断室外显示屏上的每个发光二极管是否工作正常；即现有技术只是在设备内部检测其自身的发光二级管是否发生故障。但是，当设备本身出现问题或者发光二极管处于临界工作状态下都无法检测到故障。尤其是这种检测方法无法提供直观显示，无法鉴别室外显示屏的实际显示效果和图像。再者，室外显示屏常年工作在室外，一旦出现故障时，建设和维护部门都无法主动发现设备的问题，现在基本上都是行人或者驾驶员看到室外显示屏出现问题后，拨打市政府或交管局投诉电话，再由受理机构转告给维护和建设单位，执行的维护和建设都只是被动地维修设备，无法提高维护的时效性和主动性。总之，在实际检测和维护效果上，现有技术既不能直观显示室外显示屏的工作状态是否正常，更不能提供直观显示的视频和图像照片，用于判断室外显示屏显示的内容是否和系统发布的内容是否保持一致，会不会因发光二级管工作异常或者被坏人利用而出现政治问题。因此，如何改进室外显示屏的检测与维护工作，就成为业内科技人员关注的一个焦点。
发明内容
[0003] 有鉴于此，本发明的目的是提供一种采用视频图像和/或数码照片监测室外显示屏的系统和方法，本发明采用智能图像识别的方式，主动对室外显示屏进行图像识别，及时发现出现故障的室外显示屏。而且，本发明监测方法独立于被监测的室外显示屏，不受被检测对象的工作状态的限制；采用直观的视频图像和/或数码照片来辅助判断，具备独立性、直观性、智能性的特点。
[0004] 为了达到上述目的，本发明提供了一种采用视频图像和/或数码照片监测室外显示屏的系统，其特征在于：所述系统包括：安装在室外显示屏前侧的图像采集装置，与该图像采集装置连接的由工控机或PC机或嵌入式处理单元构成的图像监测装置，以及通信装置；所述图像采集装置是摄像机或数码照相机或USB接口摄像头；监测装置中设有智能图像识别，通信协议处理和智能判别比对三个模块；其中，
[0005] 智能图像识别模块，用于对来自图像采集装置的视频或图像进行识别处理：按照点阵逐点识别图像，自动判断室外显示屏中每个发光二级管LED的亮、灭与颜色状态，或对整幅图像进行图文识别，获知室外显示屏的显示内容，然后，再将经过图像识别后的图像点阵数据或文字传送给智能判别比对模块；
[0006] 智能判别比对模块，负责将由智能图像识别模块识别处理后的图像点阵数据或文字与室外显示屏控制中心要求各个室外显示屏显示的原图数据进行比对，判断该室外显示屏显示的图像和文字是否正确，如果发现显示数据不正确时，再进行详细检查和判别其中发生差错的点阵数量，进而得出该室外显示屏发光二级管LED的正确工作率；当正确率小于设定门限值时，藉由通信协议处理模块自动产生告警信号，再经由所述通信装置传送给室外显示屏控制中心，以便提供及时维护；
[0007] 通信协议处理模块，负责所述通信装置与室外显示屏控制中心进行实时通信的协议转换，以便从室外显示屏控制中心得到当前室外显示屏需要正确显示的信息内容，并把图像采集装置拍摄的图像或视频发送给室外显示屏控制中心。
[0008] 为了达到上述目的，本发明还提供了一种采用视频图像和/或数码照片监测室外显示屏的系统的监测方法，其特征在于：包括下列操作步骤：
[0009] （1）图像采集装置采用标准的数码视频和/或数码照片格式对室外显示屏的显示内容进行实时拍摄，并把拍摄后的视频和/或数码照片传送给图像监测装置；
[0010] （2）图像监测装置中的智能图像识别模块对接收的视频和/或数码照片进行检测：先按照点阵逐点识别图像，自动判断室外显示屏中每个发光二级管的亮、灭与颜色，或者对视频图像或数码照片进行整体图文识别，得到室外显示屏当前的显示内容后，将经过图像识别后的图像点阵数据或文字内容传送给智能判别比对模块；
[0011] 同时，通信协议处理模块负责经由通信装置与室外显示屏控制中心进行实时通信，从室外显示屏控制中心获得室外显示屏当前需要正确显示的内容，以及把图像采集装置拍摄的视频和/或数码照片发送给室外显示屏控制中心；
[0012] （3）智能判别比对模块负责将智能图像识别模块处理后的图像点阵数据或文字内容与室外显示屏控制中心要求下属各个室外显示屏显示的原始图像文件进行比对，判断下属室外显示屏所显示的图像和文字是否正确；如果发现室外显示屏的显示图像或文字有误，再详细检查和判别其中发生差错的点阵数量，进而得出室外显示屏发光二级管的正确工作率；当正确率小于设定门限值时，藉由通信协议处理模块自动产生告警信号，再经由所述通信装置传送给室外显示屏控制中心，以便维护人员及时排除故障。
[0013] 本发明采用视频图像和/或数码照片对室外显示屏进行检测的系统和方法的创新技术关键是采用独立的图像采集装置拍摄室外显示屏的视频图像和/或数码照片，再对该视频图像和/或数码照片进行图像识别，根据识别结果判断室外显示屏的工作状态，进而判断每个发光二极管的亮、灭和颜色状态。也就是直观地通过图像识别方式判断室外显示屏的每个像素点的工作状态及其显示内容是否正确有误，保证室外显示屏能够处于正常工作状态。
[0014] 本发明有益效果：本发明能通过独立视频图像和/或数码照片实时监测室外显示屏的显示内容和工作状态，监测方法独立于被监测的室外显示屏，不受被检测对象的工作状态限制；采用直观的视频图像和/或数码照片进行判断，具备独立性、直观性、智能性的特点；能够降低设备维护时间，提高和保证整个室外显示屏装置的正常与有效的运行，降低维护成本。而且，本发明设备简单、紧凑，安装便利、快捷，使用容易、可靠，所以，本发明的推广应用前景看好。
附图说明
[0015] 图1是本发明采用视频图像和/或数码照片监测室外显示屏的系统结构组成示意图。
[0016] 图2是本发明采用视频图像和/或数码照片监测室外显示屏的系统监测方法流程图。
具体实施方式
[0017] 为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细描述。
[0018] 参见图1，介绍本发明采用视频图像和/或数码照片监测室外显示屏的系统的结构组成，该系统包括：安装在室外显示屏前侧的图像采集装置（包括摄像机、数码照相机、USB接口摄像头等），与该图像采集装置连接的图像监测装置（由工控机或PC机或嵌入式处理单元构成）、通信装置（有线和/或无线数据通信传输设备）以及电源装置。图像监测装置可以是一台设备，也可以是采用以太网接口、异步串行接口，USB接口或者其他数据传输方式相互连接的分布式多台设备。图像监测装置中设有智能图像识别，通信协议处理和智能判别比对三个模块。其中，智能图像识别模块负责对来自图像采集装置的视频或图像进行处理：按照点阵逐点识别图像，自动判断室外显示屏中每个LED的亮、灭与颜色状态，或对整幅图像进行图文识别，获知室外显示屏的显示内容，再将经过图像识别后的点阵数据或文字、图像数据传送给智能判别比对模块。
[0019] 智能判别比对模块负责将由智能图像识别模块处理后的图像文件与室外显示屏控制中心要求各个室外显示屏显示的原图数据进行比对，判断室外显示屏显示的图像和文字是否正确，如果发现显示数据不正确时，再进行详细检查和判别其中发生差错的点阵数量，进而得出该室外显示屏发光二级管LED的正确工作率；当正确工作率小于设定门限值时，藉由通信协议处理模块自动产生告警信号，再经由所述通信装置传送给室外显示屏控制中心，以便提供及时维护。
[0020] 通信协议处理模块负责所述通信装置与室外显示屏控制中心进行实时通信的协议转换，以便从室外显示屏控制中心得到当前室外显示屏需要正确显示的信息内容，并把图像采集装置拍摄的图像或视频发送给室外显示屏控制中心。
[0021] 参见图2，介绍本发明采用视频图像和/或数码照片监测室外显示屏的系统的监测方法的具体操作步骤：
[0022] 步骤1，图像采集装置采用标准的数码视频和/或数码照片格式对室外显示屏的显示内容进行实时拍摄，并把拍摄后的视频图像和/或数码照片传送给图像监测装置。
[0023] 步骤2，图像监测装置中的智能图像识别模块对接收的视频和/或数码照片进行检测：先按照点阵逐点识别图像，自动判断室外显示屏中每个发光二级管的亮、灭与颜色，或者对视频图像或数码照片进行整体图文识别，得到室外显示屏当前的显示内容后；将经过图像识别后的点阵数据或图文内容传送给智能判别比对模块；同时，通信协议处理模块负责经由通信装置与室外显示屏控制中心实时交互通信，从室外显示屏控制中心获得室外显示屏当前需要正确显示的内容，再把图像采集装置拍摄的视频和/或数码照片发送给室外显示屏控制中心。
[0024] 该步骤中，智能判别比对模块综合使用整体图文识别和逐个LED识别两种方法检测室外显示屏是否工作正常，以便既能判断室外显示屏发布的图文信息的实际显示效果，又能发现其中个别或某些损坏的LED；因个别LED损坏不影响室外显示屏的信息正确发布，对于这些损坏器件，控制中心会根据实际情况给维护人员下达非紧急维护命令，以降低维护费用。
[0025] 另外，该步骤中的智能判别比对模块按照点阵逐点识别图像，自动判断室外显示屏中每个发光二级管的亮、灭与颜色的检测过程的具体操作内容如下：
[0026] （21）因室外显示屏设有N×M个发光二极管，在对室外显示屏预先拍摄的一段标准视频或标准数码照片上，按照每个LED为一个子区域对室外显示屏进行点阵划分，再根据其中每个LED的实际颜色和亮、灭将每个子区域划分为不同工作状态后，保存该基本设置；
[0027] （22）智能图像识别模块就根据预设的各个区域对其所得到的视频和/或数码照片进行子区域检测，判别每个子区域的LED颜色和亮，灭状态；也就是图像识别模块将每个子区域或像素的亮、灭和颜色组合为一张以像素为基本单元的文件，判断该文件中的像素是否与室外显示屏的像素一一对应；
[0028] （23）控制中心通过发送每个LED的全亮和/或全灭的测试图案，智能图像识别模块就根据存储的该室外显示屏的基本设置识别其中某个或某些不能正常发光或正常熄灭的LED，以识别判断损坏的单个发光二极管：此时要注意准确区分阳光反射所引起的LED假亮或偏色。
[0029] 步骤3，智能判别比对模块负责将智能图像识别模块处理后的图像点阵文件与室外显示屏控制中心要求下属各个室外显示屏显示的原始图像文件进行比对，判断下属室外显示屏所显示的图像和文字是否正确；如果发现室外显示屏的显示图像或文字有误，再详细检查和判别其中发生差错的点阵数量，进而得出室外显示屏发光二级管的正确工作率；当正确率小于设定门限值时，藉由通信协议处理模块自动产生告警信号，再经由所述通信装置传送给室外显示屏控制中心，以便维护人员及时排除故障。
[0030] 本发明已经进行了实施试验，下面简要说明实施例的试验情况：
[0031] （1）在室外显示屏前方架设一台摄像机或照相机作为图像采集装置，用于对室外显示屏的显示内容与工作状态进行实时拍摄。
[0032] （2）图像采集装置通过以太网接口、异步串行接口、USB接口或者其他数据传输方式将拍摄到的视频图像和/或数码照片传送到图像监测装置中的智能图像识别模块。
[0033] （3）智能图像识别模块采用下述两种图像识别方法进行图像识别：
[0034] A是逐个LED识别法：因室外显示屏是由N×M个发光二极管LED组成，预先拍摄一段标准的视频图像或者一张标准数码照片，在该标准的视频图像或数码照片上对室外显示屏划分点阵，每个LED为一个独立子区域（像素），每个子区域（像素）的状态根据室外显示屏的LED实际颜色划分为亮、灭、颜色（红，绿，蓝，黄）等多种不同状态，设置完毕后，保存该基本设置。智能图像识别模块根据预先设置的区域对接收到的视频或图片进行子区域检测，判别每个设置好的子区域的颜色和亮、灭状态。智能图像识别模块将每个子区域（像素）的亮灭和颜色组合成一张以像素为基本元素的文件。该文件中的像素点与室外显示屏的LED一一对应。
[0035] 该方法能够智能识别某单个LED损坏的情况。具体方法是：控制中心在适当时间发送全亮测试图案，由本发明实施例系统识别出某些不能正常发光（不亮或颜色不正确）的LED；然后，中心发送全灭测试图案，再由本发明实施例系统识别出某些不能正常熄灭的LED。以上两种情况均可视为某些LED损坏，此时，实施例系统均会自动识别并发送告警、坏LED位置的相关信息至室外显示屏控制中心。需要注意的问题为：智能识别模块必须要区分阳光反射所引起的LED假亮、偏色等问题。
[0036] B是整体图文识别法：室外显示屏前方的摄像机或者照相机拍摄其显示内容，由图像监测装置对拍摄到的照片或视频进行图像识别，图像识别方法是将拍摄到的照片或视频先送到智能图像识别模块进行处理后，得到识别后的像素文件或图文内容送给智能判别比对模块。同时，通信协议处理模块负责与室外显示屏的控制中心进行通信，获得当前室外显示屏应该显示的点阵数据，也将该点阵数据送给智能判别比对模块。智能判别比对模块则将智能图像识别模块处理后的图像和文字与室外显示屏控制中心下发的点阵数据图像和文字件进行比对，并将对比后的判别结果上报控制中心，以便产生告警信息[0037] （4）上述两种判别方式可以综合使用，既能判断室外显示屏发布的实际显示效果（文字、图像），又能发现某些损坏的LED。（个别LED坏，可能不影响室外显示屏信息的正确发布，对这些坏点，维护中心可根据实际情况给维护人员发出非紧急维护命令，从而降低维护费用）
[0038] 本发明的实施试验是成功的，实现了发明目的。
