一种基于视频的自习教室智能引导系统以及引导方法

摘要

本发明公开了一种基于视频的自习教室智能引导系统以及引导方法，其中引导方法包括：步骤1，根据预设的自习教室需求模型和教室资源供应约束，形成初始教室开放方案；步骤2，通过识别各教室采集的视频图像，得到对应的自习教室的座位占用状态；步骤3，根据座位占用状态、座位需求约束以及用户座位需求对初始教室开放方案进行修正，得到能耗最小的最优调度方案；步骤4，依据最优调度方案，进行教室开放，并依据用户座位需求，推送自习教室开放信息以及相应的座位占用状态信息。本发明通过基于视频的实时信息以及学生的座位需求信息对自习教室资源调度方案进行反馈修正，使得自习教室调度开放方案既考虑了节能降耗，又兼顾满足学生的自习需求。

权利要求

1.一种基于视频的自习教室智能引导方法，其特征在于，包括：步骤1，根据预设的自习教室需求模型和教室资源供应约束，形成初始教室开放方案；

学期初、学期中、考试周分别对应不同的需求模型，教室资源供应约束如下：其中， 为第n种教室数量的下限； 为第n种教室数量的上限； 为第k天第n种自习教室的开放量；

步骤2，通过识别各教室采集的视频图像，得到对应的自习教室的座位占用状态；

步骤3，根据座位占用状态、座位需求约束以及用户座位需求对初始教室开放方案进行修正，得到能耗最小的最优调度方案；最优调度方案通过求解如下目标函数：其中，Ek为第k天开放自习教室的整体耗能总和；

为第k天第n种自习教室的开放量；

为第k天第n种自习教室的平均能耗系数；

步骤4，依据最优调度方案，进行教室开放，并依据用户座位需求，推送自习教室开放信息以及相应的座位占用状态信息。

2.如权利要求1所述的基于视频的自习教室智能引导方法，其特征在于，将自习教室按照座位数量的多少划分为不同类型，教室开放方案中包括开放教室的类型以及不同类型教室的开放数量信息。

3.如权利要求1所述的基于视频的自习教室智能引导方法，其特征在于，座位需求约束如下：其中， 为在第k天第n种自习教室的开放数量；ln为第n种教室座位的数量； 为第k天自习教室座位的实际需求量。

4.一种基于视频的自习教室智能引导系统，其特征在于，包括：视频采集模块，布置在各自习教室中，用于采集各自习教室的实时图像；

客户端，用于向服务器发送座位需求信息，以及接受服务器推送的信息；

服务器，用于接收视频采集模块以及客户端的座位需求信息，并依据预设信息，计算教室开放方案，并向客户端推送自习教室开放信息以及相应的座位占用状态信息；服务器包括：数据库模块，用于存储视频图像以及自习教室的座位占用状态信息；

初始化模块，用于依据预设的自习教室需求模型和教室资源供应约束，形成初始教室开放方案；

图像智能识别模块，用于接收并识别各教室采集的视频图像，得到对应的自习教室的座位占用状态；

智能调度模块，用于根据座位占用状态以及客户端推送的用户座位需求对初始教室开放方案进行修正，得到能耗最小的最优调度方案；

智能引导模块，用于依据最优调度方案，进行教室开放，并依据用户座位需求，推送自习教室开放信息以及相应的座位占用状态信息。

说明书

一种基于视频的自习教室智能引导系统以及引导方法

技术领域

[0001] 本发明涉及智能调度技术领域，具体涉及一种基于视频的自习教室智能引导系统以及引导方法。

背景技术

[0002] 随着计算机、互联网等技术的发展，智慧校园建设目标对学校优化管理提出了新的要求，如何根据有关教室需求信息制定合理的开放计划，改变传统粗放化管理的模式，成为满足智慧校园高效管理的新需求。

[0003] 公开号为CN103577910A的发明专利文献公开了一种基于RFID的会议管理系统，将控制中心服务器、若干RFID标签、数据库服务器、中间件服务器、客户端、读卡器、I/O采集控制模块和LED屏导航终端网络相互连接，能够完成会议提醒，引导入座，会议签到和会议签出等工作。

[0004] 公开号为CN105205900A的发明专利文献公开了一种基于视频识别的动态自适应公交客流统计装置，包括双目摄像头和CPU中央处理器。结合图像识别算法，统筹考虑运力高峰时段，针对不同时段，运用不同的图像识别算法，并针对不同算法给出不同权重值，以此综合判断当前客流，大大提高了客运高峰时段和稀疏时段的统计准确率。

[0005] 公开号为CN105227928A的发明专利文献公开了一种基于视频传感器网络的动态目标监测系统，包括视频输入端，视频预处理端，视频处理核心，视频输出端和网络控制端。通过模块化设计，结合视频传感器网络，实现对室内动态目标的检测与跟踪，可以作为一种智能室内监控的解决方案。

[0006] 公开号为CN105120246A的发明专利文献公开了一种基于视频监控的虚拟现实系统，包括监控服务器、虚拟现实服务器和存储器，虚拟现实服务器创建各监视区域的背景图像模型和前景图像模型，停车场监控中心和停车场监控终端之间的网络带宽传输适合于网络的多分辨率模型。根据本发明，可以实现能够适应网络环境的真实直观的停车场监控。

[0007] 公开号为CN105208326A的发明专利文献公开了一种基于视频云的城市区域公共安全威胁预警方法及系统，利用视频云技术将视频流汇聚到云端服务器上，对视频流进行智能分析得到处理结果，将处理结果与视频模式库和语义模式库比对获得比对结果，比对结果达到预警条件时生成预警信息。

[0008] 公开号为CN105069407A的发明专利文献公开了一种基于视频的交通流量获取方法，通过绘制虚拟线框获取检测区域，然后提取每一块连通区域中的特征点，并进行特征点匹配，从而完成交通流量的获取。

[0009] 公开号为CN105072740A的发明专利文献公开了一种基于图像视频处理的照明灯智能控制方法，对摄像头获取的视频流序列运用动态行人检测算法检测动态行人，确定是否发出开灯指令。

[0010] 南京审计学院秦新国等提出了一种基于规则库的教室资源管理系统设计与实现方法；天津工业大学王慧宇等提出了一种基于物联技术的教室管理系统设计与构建方法；西安交通大学刘宏磊等通过智能实时的教室资源管理平台实现了自习教室的动态查询、预订等功能。

[0011] 现在高校校园中自习室一座难求，尤其是临近考试的时候，通常需要逐个教室依次察看是否还是空位，耗费时间长，从教室管理的角度而言，也会出现教室开放多，自习学生少，或者教室开放少，自习学生多等不均衡的状态，不能高效利用教育资源。

发明内容

[0012] 针对现有技术的不足，本发明提供了一种基于视频的自习教室智能引导系统及引导方法。本发明基于视频信息的智能识别技术，通过智能调度算法，给出整体能耗最小的自习教室优化调度安排，在满足学生自习需求的同时，还达到节能降耗，降低运营成本的目的，与此同时，通过教室座位占用信息分布的自动推送，可以降低用户寻找自习教室的时间成本，从而提升教室资源的利用率与使用便捷度。

[0013] 一种基于视频的自习教室智能引导方法，包括：

[0014] 步骤1，根据预设的自习教室需求模型和教室资源供应约束，形成初始教室开放方案；

[0015] 步骤2，通过识别各教室采集的视频图像，得到对应的自习教室的座位占用状态；

[0016] 步骤3，根据座位占用状态、座位需求约束以及用户座位需求对初始教室开放方案进行修正，得到能耗最小的最优调度方案；

[0017] 步骤4，依据最优调度方案，进行教室开放，并依据用户座位需求，推送自习教室开放信息以及相应的座位占用状态信息。

[0018] 由于不同时段座位的需求量不同，优选地，学期初、学期中、考试周分别对应不同的需求模型。以获得更为理想的初始教室开放方案。不同时段的自习教室需求模型依据长期形成的不同时段学生对自习教室需求量的统计结果得到的经验模型。

[0019] 作为优选，将自习教室按照座位数量的多少划分为不同类型，教室开放方案中包括开放教室的类型以及不同类型教室的开放数量信息。

[0020] 步骤2中的视频图像识别采用现有技术，需要识别图像中的数字(座位号)以及人脸，数字识别包括灰度图像处理、边缘检测、形态滤波、匹配比对等步骤，人脸识别包括二值化处理，边缘检测以及霍夫圆检测等步骤，在进行数字识别或人脸识别之前采用直方图均衡化方法对原始图像进行处理以增加对比度，便于识别。

[0021] 步骤3中的最优调度方案既需要满足学生的座位需求，又能够使能耗最小。

[0022] 作为优选，步骤3中，求解如下目标函数，得到最优调度方案：

[0023]

[0024] 其中，Ek为第k天开放自习教室的整体耗能总和；

[0025] Pik为第k天第i种自习教室的开放量；

[0026] 为第k天第i种自习教室的平均能耗系数。

[0027] 作为优选，教室资源供应约束如下：

[0028]

[0029] 其中，其中， 为第n种教室数量的下限； 为第n种教室数量的上限；Pik为第n天第k种自习教室的开放量。

[0030] 作为优选，座位需求约束如下：

[0031]

[0032] 其中， 为在第k天第i种自习教室的开放数量；li为第i种教室座位的数量； 为第k天自习教室座位的实际需求量。

[0033] 本发明还提供了一种基于视频的自习教室智能引导系统，包括：

[0034] 视频采集模块，布置在各自习教室中，用于采集各自习教室的实时图像；

[0035] 客户端，用于向服务器发送座位需求信息，以及接受服务器推送的信息；

[0036] 服务器，用于接收视频采集模块以及客户端的座位需求信息，并依据预设信息，计算教室开放方案，并向客户端推送自习教室开放信息以及相应的座位占用状态信息。

[0037] 在客户端显示座位占用状态时，利用不同的颜色表示不同的占用状态，例如，红色代表自习教室70％以上座位被占用，黄色代表自习教室30％～70％座位被占用，绿色代表自习教室30％以下座位被占用。

[0038] 作为优选，服务器包括：

[0039] 数据库模块，用于存储视频图像以及自习教室的座位占用状态信息；

[0040] 初始化模块，用于依据预设的自习教室需求模型和教室资源供应约束，形成初始教室开放方案；

[0041] 图像智能识别模块，用于接收并识别各教室采集的视频图像，得到对应的自习教室的座位占用状态；

[0042] 智能调度模块，用于根据座位占用状态以及客户端推送的用户座位需求对初始教室开放方案进行修正，得到能耗最小的最优调度方案；

[0043] 智能引导模块，用于依据最优调度方案，进行教室开放，并依据用户座位需求，推送自习教室开放信息以及相应的座位占用状态信息。

[0044] 本发明提供的引导方法基于教室资源配置的经验模型，通过基于视频的实时信息以及学生的座位需求信息对自习教室资源调度方案进行反馈修正，使得自习教室调度开放方案的制定过程既考虑了节能降耗，又兼顾满足学生的自习需求，资源管理调度更为合理。

附图说明

[0045] 图1为本发明基于视频的自习教室智能引导方法的流程图；

[0046] 图2为本发明基于视频的自习教室智能引导系统的组成示意图；

[0047] 图3为图像识别算法功能流程图；

[0048] 图4为实施例2的应用情景实例示意图；

[0049] 图5a为整个校园中各个教学楼的座位占用情况示意图；

[0050] 图5b中分楼层显示某一教学楼中各个自习教室的座位占用情况(即智能引导模块的界面示意图)；

[0051] 图6a、图6b为详细座位占有情况示意图。

具体实施方式

[0052] 下面结合附图，对本发明基于视频的自习教室智能引导系统以及方法做详细描述。

[0053] 实施例1

[0054] 如图1所示，一种基于视频的自习教室智能引导方法，包括：

[0055] 步骤1，根据预设的自习教室需求模型和教室资源供应约束，形成初始教室开放方案。

[0056] 本实施例中将自习教室按照数量多少不同，划分为大、中、小三种类型。依据自习座位需求的紧张程度，学期初、学期中、考试周分别对应不同的需求模型。不同时段的需求模型依据相应时段的自习座位占用情况统计得到。

[0057] 教室资源供应约束如下：

[0058]

[0059] 其中，其中， 为第n种教室数量的下限； 为第n种教室数量的上限； 为第n天第k种自习教室的开放量。

[0060] 步骤2，通过识别各教室采集的视频图像，得到对应的自习教室的座位占用状态。

[0061] 视频图像的识别包括数字的识别和人脸的识别，通过视频图像识别得到实时的各个开放自习教室内座位实际占用情况以及人数，识别的流程图如图3所示，依次包括如下步骤：

[0062] A、载入场景图像；

[0063] B、进行区域标定模式选择，区域标定模式分为两种，一种是连续标定方法，即按座位顺序号连续自动进行标定识别；另一种是通过人机界面输入指定座位号进行单独标定识别；

[0064] C、对选定区域进行存储，并使用识别算法进行检测；

[0065] D、如果满足刷新时间的需要，则进行数据库更新。

[0066] 数字识别算法包括灰度图像处理、边缘检测、形态滤波、匹配对比等步骤，具体包括：

[0067] 步骤a，创建数字图片库，内含10个印刷体阿拉伯数字。

[0068] a-1)将每张数字图片拉伸到统一的32*16像素的大小；

[0069] a-2)对各数字图片分别进行二值化，使其只有黑白两色，易于神经网络的识别；

[0070] a-3)将像素作为元素读入矩阵，并保存为demo.mat。其中矩阵的每一列为该图片的像素，规模为512*10的矩阵，完成数字样本库的建立。

[0071] 步骤b，使用matlab神经网络工具箱及相关函数进行训练。

[0072] b-1)首先读入步骤a处理好的数字样本库；

[0073] b-2)设置相关的参数，如最大迭代次数、允许目标误差等；

[0074] b-3)对该图像进行灰度图像的处理，然后进行边缘检测、腐蚀、填充，最后进行形态滤波。

[0075] 步骤c，图像与字符分割。

[0076] c-1)首先将数字区域识别出来，采取寻找图像中白点的左上角和右下角的方法，确定一个矩形的数字区域；

[0077] c-2)由于座位号是两位数，而数字样本是对单独的数字进行处理的。所以需要将图像分割成单个数字的形式；

[0078] c-3)将分割出的座位号数字与数字样本库进行对比，通过神经网络输出对应序号，然后输出对应的标准数字。

[0079] 人脸识别算法包括二值化处理、边缘检测及霍夫圆检测等步骤。由于人头是刚性的圆形或者椭圆形结构，利用对圆形或者椭圆形的检测算法，检测出图像中的人头，进而统计出图像中学生的数目。

[0080] 颜色去光照处理算法采用直方图均衡化方法。通过这种方法，亮度可以更好地在直方图上分布，可以增强局部的对比度而不影响整体的对比度。

[0081] 通过图像识别算法得到实时的各个开放自习教室内座位实际占用情况以及人数。

[0082] 步骤3，根据座位占用状态、座位需求约束以及用户座位需求对初始教室开放方案进行修正，得到能耗最小的最优调度方案；

[0083] 步骤3中，求解如下目标函数，得到最优调度方案：

[0084]

[0085] 其中，Ek为第k天开放自习教室的整体耗能总和；

[0086] Pik为第k天第i种自习教室的开放量；

[0087] 为第k天第i种自习教室的平均能耗系数。

[0088] 座位需求约束如下：

[0089]

[0090] 其中， 为在第k天第i种自习教室的开放数量；li为第i种教室座位的数量； 为第k天自习教室座位的实际需求量。

[0091] 步骤4，依据最优调度方案，进行教室开放，并依据用户座位需求，推送自习教室开放信息以及相应的座位占用状态信息。

[0092] 最优调度方案给出相应时段开放的自习教室个数及开放的自习教室的类型，根据用户的需要，通过多层次引导模型进行信息匹配，并将输出的引导信息自动推送到用户的智能手机客户端上。

[0093] 多层次引导模型是指：不同需求层次构建的模型，例如如果用户需要显示整个校园内的座位占用情况，则以教学楼为单位显示占座情况，如果用户需要显示某个教学楼的座位占用情况，则以该教学楼各个楼层为单位显示占座情况，如果用户需要显示某间自习教室后的座位占用情况，则以座位给单位显示占座情况。

[0094] 本发明从高校校园困扰同学的“自习室一座难求”问题入手，充分结合现有的视频监控、图像处理、人脸识别、人数统计、信息管理、移动信息推送等技术，为学生提供良好的自习体验。通过对视频或者图像中的场景进行智能识别，智能识别出每个座位的人员占用情况，统计出在某一时刻自习教室的座位分布状况，并将这些信息及时存储到服务器并推送到学生的智能手机客户端上。如此一来，学生再也不必为找不到自习座位而烦恼，而是可以通过手机，实时查看到自习教室的座位使用情况，从而迅速找到能够自习的教室，大大提高教室资源的利用率与使用便捷度。

[0095] 实施例2

[0096] 如图2所示，一种基于视频的自习教室智能引导系统，包括：

[0097] 视频采集模块，布置在各自习教室中，用于采集各自习教室的实时图像；

[0098] 客户端，用于向服务器发送座位需求信息，以及接受服务器推送的信息；

[0099] 服务器，用于接收视频采集模块以及客户端的座位需求信息，并依据预设信息，计算教室开放方案，并向客户端推送自习教室开放信息以及相应的座位占用状态信息。

[0100] 视频采集模块包括布置在自习教室上方的wifi无线摄像头以及远端的射频单元，wifi无线摄像头用于实时获取自习教室内部的图像，所采集的图像经由远端的射频单元传送至服务器进行处理，服务器通过识别图像，获得教室内部的实时监控数据。

[0101] 其中，服务器包括：

[0102] 数据库模块，用于存储视频图像以及自习教室的座位占用状态信息；

[0103] 初始化模块，用于依据预设的自习教室需求模型和教室资源供应约束，形成初始教室开放方案；

[0104] 图像智能识别模块，用于接收并识别各教室采集的视频图像，得到对应的自习教室的座位占用状态；

[0105] 智能调度模块，用于根据座位占用状态以及客户端推送的用户座位需求对初始教室开放方案进行修正，得到能耗最小的最优调度方案；

[0106] 智能引导模块，用于依据最优调度方案，进行教室开放，并依据用户座位需求，推送自习教室开放信息以及相应的座位占用状态信息。

[0107] 通过对视频或者图像中的场景进行智能识别，识别出每个自习教室的座位占用情况，将信息及时存储到数据库，智能调度模块根据当前座位利用情况，利用智能调度算法给出自习教室开放方案，并将开放的资源信息输出到智能引导模块。智能引导模块根据客户端的座位需要，通过多层次引导模型进行信息匹配，并将输出的引导信息自动推送到用户的智能手机客户端上。

[0108] 服务器中预先存储有自习教室的楼层分布模型、教室课时动态占用模型以及不同时段自习教室的需求模型，其中，自习教室的楼层分布模型包括教学楼分布模型以及每个楼层教室分布模型图。教室课时动态占用模型包括每间教室的课时时间、开放自习时间以及特殊关闭信息等。

[0109] 用户的应用情景实例分为三种，如图4所示。

[0110] 1)查看附近的自习教室情况；

[0111] 2)查看自习教室整体情况；

[0112] 3)查看特定的自习教室情况。

[0113] 智能引导模块APP界面如图5a、图5b所示，可以直观地显示各个自习教室座位的空闲程度，在地图上以颜色的形式直观表现教室占用情况，颜色最深的圆代表人很多几乎无空位(70％以上被占用)，颜色深浅适中的圆代表还有一些空位(占用率30％-70％)，颜色最浅的圆代表空闲有很多空位(30％以下占用)。每一间开放教室的详细座位占有情况如图6a、图6b所示。