本发明公开了一种基于深度学习的区域内遗失物品检测方法，具体包括以下步骤：S1：在选定的区域内，采用深度学习目标检测算法模型检测人员和异物，持续判断是否有人员进入，锁定人员ID；同时进行异物的检测，如没有出现异物，则持续做异物检测的判断；S2：检测出现异物之后，锁定异物ID，将异物ID与所述步骤S1中的人员ID进行关联匹配，动态匹配距离最近的异物和人员，得到具有异物关联属性的人员ID；S3：判断该具有异物关联属性的人员ID是否离开选定的区域，若检测到具有异物关联属性的人员ID离开了选定的区域，再判断与其关联的异物是否还在选定的区域内，若在，则判断该异物是遗失物，输出告警结果，完成遗失物检测。
1.一种基于深度学习的区域内遗失物品检测方法，其特征在于，具体包括以下步骤：
S1：在选定的区域内，采用深度学习目标检测算法模型检测人员和异物，持续判断是否有人员进入，锁定人员ID；同时进行异物的检测，如没有出现异物，则持续做异物检测的判断；
S2：检测出现异物之后，锁定异物ID，将异物ID与所述步骤S1中的人员ID进行关联匹配，动态匹配距离最近的异物和人员，得到具有异物关联属性的人员ID；
S3：判断该具有异物关联属性的人员ID是否离开选定的区域，若检测到具有异物关联属性的人员ID离开了选定的区域，再判断与其关联的异物是否还在选定的区域内，若在，则判断该异物是遗失物，输出告警结果，完成遗失物检测；
在所述步骤S1中，采用深度学习YOLOV5目标检测算法模型检测人员和异物，所述YOLOV5目标检测算法模型建立的方法为：
S11准备数据集：收集数据，切分数据，生成数据集；数据集中包括需要检测的异物类型；
S12增强处理：再使用Mosaic数据增强方式进行数据增强，获得增强数据集，再将增强数据集划分为训练集和测试集；
S13搭建YOLOV5目标检测算法模型：输入训练集的数据并训练，并得到YOLOV5目标检测算法模型权重；
在所述步骤S2中，采用深度学习Deepsort目标追踪算法追踪人员ID和物品ID，所述Deepsort目标追踪算法具体包括：采用卡尔曼滤波器预测轨迹；采用匈牙利算法将预测得到的轨迹和当前帧中的检测结果进行级联匹配和IOU匹配；利用卡尔曼滤波更新轨迹确定追踪结果确定异物ID、人员ID以及具有异物关联属性的人员ID在所述步骤S3中，判断该具有异物关联属性的人员ID是否离开选定的区域具体包括：
在Deepsort目标追踪算法追踪到的人员ID结果上构建一个人员时序特征列表存储人员进出特征和时序特征，在一定时间序列内，将进入区域内未离开的人员ID标记为1，离开区域内的人员ID标记为0；人员ID的进出行为和时序关联性进行分析，在顺序时序下当进出特征满足正态分布时，可判断人员ID的进出状态，当人员ID进出特征满足正态分布时，进出特征具体表现为010特点，这个特点代表着人员ID在顺序时序内进入了区域之后并且离开；当利用时序关联判断得到人员ID满足010特点时，则给对应的人员ID标记为进入区域后离开的状态。
2.根据权利要求1所述的基于深度学习的区域内遗失物品检测方法，其特征在于，在所述步骤S2中，采用中心点之间的距离判断异物ID与人员ID之间的从属关系，在Deepsort目标追踪算法追踪到的人员ID结果上计算人员ID的中心点位置，在YOLOV5目标检测算法模型检测的结果上计算异物ID的中心点位置，根据两个中心点位置之间的欧式距离计算异物ID与人员ID之间的从属关系，当异物ID距离人员ID最近时则将该异物ID判定是该异物ID的，再进行异物ID与人员ID的关联匹配。
3.根据权利要求2所述的基于深度学习的区域内遗失物品检测方法，其特征在于，在所述步骤S13中，使用搭建的YOLOV5目标检测算法模型进行人员检测的方法为：对选定的区域内的图像数据进行采集，再通过视频或者rtsp流，获取每帧图像数据；再检测每帧图像数据中是否有人员出现。
4.根据权利要求3所述的基于深度学习的区域内遗失物品检测方法，其特征在于，所述步骤S11中的生成数据集的方式具体为：采用视频抽帧的方式，对视频进行抽帧处理，生成数据集；在所述步骤S12中使用Mosaic数据增强方式进行数据增强具体为：采用旋转、裁剪和增减图像亮度的方式增强数据集。
5.根据权利要求3所述的基于深度学习的区域内遗失物品检测方法，其特征在于，在所述步骤S13中，若当前图像中YOLOV5目标检测算法模型检测到有人员时，则将检测结果保存，即矩形框四个点的坐标放入一个list列表中保存，并计算出该矩形框的中心点坐标，计算公式为：其中，xmin、xmax、ymin、ymax表示该矩形框的四个点坐标，c_x、c_y表示该矩形框的中心点坐标；根据中心点坐标判断人员是否进入规定区域，规定区域绘制使用opencv绘制，传入参数多边形坐标点得到具体区域；若中心点坐标处于选定的区域内，则判断该检测到的人员进入选定的区域。
6.根据权利要求3所述的基于深度学习的区域内遗失物品检测方法，其特征在于，在所述步骤S2中，采用搭建的YOLOV5目标检测算法模型检测每帧图像中出现的人员和物品并且赋予ID；再使用YOLOV5目标检测算法模型的检测结果作为预先训练好的Deepsort目标追踪算法模型的目标框输入，得到的一段轨迹作为当前帧图像轨迹，通过目标框和当前帧图像轨迹进行IOU交并比匹配，利用卡尔曼滤波根据轨迹状态预测下一帧图像目标框的状态，使用卡尔曼滤波观测值和估计值更新所有轨迹的状态，从而完成异物ID和人员ID追踪。
7.根据权利要求6所述的基于深度学习的区域内遗失物品检测方法，其特征在于，在所述步骤S2中，判断异物ID与人员ID之间的从属关系，即使用人员ID检测框与异物ID检测框的中心点坐标，计算异物ID与人员ID之间的欧式距离，计算公式为：其中，ρ为点(x2，y2)与点(x1，y1)之间的欧式距离，当异物静止时计算异物ID的中心坐标，并且计算当前帧人员ID的中心点坐标，使用异物ID的中心坐标和当前帧人员ID的中心点坐标作为两个点，通过欧式距离的公式计算，获得最小距离的人员ID，则判断该异物属于离它最近的人员ID，将该人员ID记为携带了该异物的人员命名为X_ID，即获取了具有异物关联属性人员X_ID的中心点坐标；
在所述步骤S3中，根据获取的具有异物关联属性人员X_ID的中心点坐标，采用步骤S1中的YOLOV5目标检测算法模型检测该具有异物关联属性人员X_ID是否在选定的区域内，当该具有异物关联属性人员X_ID不在选定的区域内的时，则采用时序关联进出特征判断该具有异物关联属性人员X_ID的人员的进出行为，当其满足010特征的正态分布时，则判断其离开了选定的区域。
基于深度学习的区域内遗失物品检测方法
技术领域
[0001] 本发明属于人工智能技术领域，尤其涉及一种人员追踪与目标物品检测的基于深度学习的区域内遗失物品检测方法。
背景技术
[0002] 现有的技术采用背景差分法或者帧间差分法来判断物品是否属于遗失物。这种方法对遗失物品的检测效果不好，检测容易受到环境的影响，产生大量的噪声，在实现遗失物检测时应用场景单一，依赖于固定不动的摄像头，依赖于图像背景，在生产场景使用时具有很大的缺陷。
[0003] 在中国专利文献CN111553414A中，公开了一种基于改进Faster R‑CNN的车内遗失物体检测方法，用到了深度学习计算机视觉领域的目标检测算法，从流程中可以看到，该方法使用了FasterR‑CNN作为目标检测的方法，根据目标检测得到的结果直接判断检测到的物品作为车内遗失物进行告警；主要的是改进FasterR‑CNN的网络结构，添加了ResNet101‑FPN路径增强方法，对多尺度特征图，使用ROI感兴趣区域的提取，最终预测边界框与类别。
[0004] 现有的目标检测算法得到的结果直接判断检测到的物品作为遗失物进行告警，总会有各种误报和漏报的产生，解决的是物品出现在区域内停留一定时间则划分为遗失物，这明显是不合理的，导致多样场景下遗失物检测误报严重的问题。
发明内容
[0005] 本发明要解决的技术问题是，提供一种结合时序特征的人员行为与物品间关联性，判断遗失物从属关系的基于深度学习的区域内遗失物品检测方法。
[0006] 为了解决上述技术问题，本发明采用的技术方案是：该基于深度学习的区域内遗失物品检测方法，具体包括以下步骤：
[0007] S1：在选定的区域内，采用深度学习目标检测算法模型检测人员和异物，持续判断是否有人员进入，锁定人员ID；同时进行异物的检测，如没有出现异物，则持续做异物检测的判断；
[0008] S2：检测出现异物之后，锁定异物ID，将异物ID与所述步骤S1中的人员ID进行关联匹配，动态匹配距离最近的异物和人员，得到具有异物关联属性的人员ID；
[0009] S3：判断该具有异物关联属性的人员ID是否离开选定的区域，若检测到具有异物关联属性的人员ID离开了选定的区域，再判断与其关联的异物是否还在选定的区域内，若在，则判断该异物是遗失物，输出告警结果，完成遗失物检测。
[0010] 需要理解的是，出现遗失物需要满足以下三种特点：
[0011] （1）伴随着人的出现，没有人的出现，则表明异物不是遗忘、丢失的；可能是风吹进入区域内的异物等，这明显不符合本发明对于遗失物的定义；
[0012] （2）人员的进入和离开，通常是判断遗失物的一个前置条件，没有人的进入、离开，区域内就算产生了异物，也可能是人员携带的物品，一段时间后仍然会被带走；遗失物的产生，总是伴随着人员进入并且离开区域后，产生异物出现；
[0013] （3）出现异物，当某个区域出现遗失物之后，区域中一定会多出一个物体；所以，判断是否为遗失物，区域内至少要出现一个异物。
[0014] 上述技术方案中，在选定的区域内，如果有异物出现，并且伴随着人员进入、离开行为（时序特征），此时对于该异物进行锁定并且做人员与物品的关联性分析,如果属于某人的某个物品被遗留，则对遗失物的出现进行预警输出，即具有物品从属关系的人员离开了该选定的区域则会产生遗失物告警；借助时间序列的人员进出判断方法，以及借助人员与物品之间的距离特征完成物品与人员之间的从属关系锁定，不会导致多样场景下遗失物检测误报严重的问题，本发明能够对人员追踪与目标物品检测，产生遗失物输出告警的结果更加准确。
[0015] 优选的，在所述步骤S1中，采用深度学习YOLOV5目标检测算法模型检测人员和异物，所述YOLOV5目标检测算法模型建立的方法为：S11准备数据集：收集数据，切分数据，生成数据集；数据集中包括需要检测的异物类型；
[0016] S12增强处理：再使用Mosaic数据增强方式进行数据增强，获得增强数据集，再将增强数据集划分为训练集和测试集；
[0017] S13搭建YOLOV5目标检测算法模型：输入训练集的数据并训练，并得到YOLOV5目标检测算法模型权重。
[0018] 优选的，在所述步骤S2中，采用深度学习Deepsort目标追踪算法追踪人员ID和物品ID，所述Deepsort目标追踪算法具体包括：采用卡尔曼滤波器预测轨迹；采用匈牙利算法将预测得到的轨迹和当前帧中的检测结果进行级联匹配和IOU匹配；利用卡尔曼滤波更新轨迹确定追踪结果确定异物ID、人员ID以及具有异物关联属性的人员ID。本发明所使用的Deepsort目标追踪算法在Sort算法的基础上增加了级联匹配（Matching Cascade）和新轨迹的确认（confirmed），提高了目标追踪的准确率。
[0019] 优选的，在所述步骤S3中，判断该具有异物关联属性的人员ID是否离开选定的区域具体包括：在Deepsort目标追踪算法追踪到的人员ID结果上构建一个人员时序特征列表存储人员进出特征和时序特征，在一定时间序列内，将进入区域内未离开的人员ID标记为1，离开区域内的人员ID标记为0；人员ID的进出行为和时序关联性进行分析，在顺序时序下当进出特征满足正态分布时，可判断人员ID的进出状态，当人员ID进出特征满足正态分布时，进出特征具体表现为010特点，这个特点代表着人员ID在顺序时序内进入了区域之后并且离开；当利用时序关联判断得到人员ID满足010特点时，则给对应的人员ID标记为进入区域后离开的状态。
[0020] 优选的，在所述步骤S2中，采用中心点之间的距离判断异物ID与人员ID之间的从属关系，在Deepsort目标追踪算法追踪到的人员ID结果上计算人员ID的中心点位置，在YOLOV5目标检测算法模型检测的结果上计算异物ID的中心点位置，根据两个中心点位置之间的欧式距离计算异物ID与人员ID之间的从属关系，当异物ID距离人员ID最近时则将该异物ID判定是该异物ID的；再进行异物ID与人员ID的关联匹配。
[0021] 人员出现与人员进出行为作为遗失物判断的前置条件，人员进出行为与是否是遗失物存在着客观关联，异物的产生则是直接决定了遗失物的检测准确度， 能否准确检测到异物的产生和算法准确度成直接关联，判断异物的从属逻辑属于是辅助判断，当知道异物属于谁的时候能够更好的判断是谁产生异物的概率，能提高判断准确度。
[0022] 优选的，在所述步骤S13中，使用搭建的YOLOV5目标检测算法模型进行人员检测的方法为：对选定的区域内的图像数据进行采集，再通过视频或者rtsp流，获取每帧图像数据；再检测每帧图像数据中是否有人员出现。
[0023] 优选的，所述步骤S11中的生成数据集的方式具体为：采用视频抽帧的方式，对视频进行抽帧处理，生成数据集；在所述步骤S12中使用Mosaic数据增强方式进行数据增强具体为：采用旋转、裁剪和增减图像亮度的方式增强数据集。
[0024] 优选的，在所述步骤S13中，若当前图像中YOLOV5目标检测算法模型检测到有人员时，则将检测结果保存，即矩形框四个点的坐标放入一个list列表中保存，并计算出矩形框的中心点坐标，计算公式为：
[0025] ；
[0026] 其中，xmin、xmax、ymin、ymax表示该矩形框的四个点坐标，c_x 、c_y表示该矩形框的中心点坐标；根据中心点坐标判断人员是否进入规定区域，规定区域绘制使用opencv绘制，传入参数多边形坐标点得到具体区域；若中心点坐标处于选定的区域内，则判断该检测到的人员进入选定的区域。
[0027] 优选的，在所述步骤S2中，采用搭建的YOLOV5目标检测算法模型检测每帧图像中出现的人员和物品并且赋予ID；再使用YOLOV5目标检测算法模型的检测结果作为预先训练好的Deepsort目标追踪算法模型的目标框输入，得到的一段轨迹作为当前帧图像轨迹，通过目标框和当前帧图像轨迹进行IOU交并比匹配，利用卡尔曼滤波根据轨迹状态预测下一帧图像目标框的状态，使用卡尔曼滤波观测值和估计值更新所有轨迹的状态，从而完成异物ID和人员ID追踪。
[0028] 优选的，判断异物ID与人员ID之间的从属关系，即使用人员ID检测框与异物ID检测框的中心点坐标，计算异物ID与人员ID之间的欧式距离，计算公式为：
[0029] ；
[0030] 其中，为点 与点 之间的欧式距离，当异物静止时计算异物ID的中心坐标，并且计算当前帧人员ID的中心点坐标，使用异物ID的中心坐标和当前帧人员ID的中心点坐标作为两个点，通过欧式距离的公式计算，获得最小距离的人员ID，则判断该异物属于离它最近的人员ID，将该人员ID记为携带了该异物的人员命名为X_ID，即获取了具有异物关联属性人员X_ID的中心点坐标；
[0031] 在所述步骤S3中，根据获取的具有异物关联属性人员X_ID的中心点坐标，采用步骤S1中的YOLOV5目标检测算法模型检测该具有异物关联属性人员X_ID是否在选定的区域内，当该具有异物关联属性人员X_ID不在选定的区域内的时，则采用时序关联进出特征判断该具有异物关联属性人员X_ID的人员的进出行为，当其满足010特征的正态分布时，则判断其离开了选定的区域。
附图说明
[0032] 图1为本发明的基于深度学习的区域内遗失物品检测方法遗失物属性定义图；
[0033] 图2为本发明的基于深度学习的区域内遗失物品检测方法的流程图；
[0034] 图3a为本发明实施例中人员进出行为时序特征分布图；
[0035] 图3b为根据图3a的人员进出行为时序特征分布的密度曲线图；
[0036] 图4为开始时检测进入区域的人员ID展示图；
[0037] 图5为图4的检测结果图。
具体实施方式
[0038] 下面结合附图对本发明实施例进行详细描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0039] 本实施例的基于深度学习的区域内遗失物品检测方法，具体包括以下步骤：
[0040] S1：在选定的区域内，采用深度学习目标检测算法模型检测人员和异物，持续判断是否有人员进入，锁定人员ID；同时进行异物的检测，如没有出现异物，则持续做异物检测的判断；
[0041] S2：检测出现异物之后，锁定异物ID，将异物ID与所述步骤S1中的人员ID进行关联匹配，动态匹配距离最近的异物和人员，得到具有异物关联属性的人员ID；
[0042] S3：判断该具有异物关联属性的人员ID是否离开选定的区域，若检测到具有异物关联属性的人员ID离开了选定的区域，再判断与其关联的异物是否还在选定的区域内，若在，则判断该异物是遗失物，输出告警结果，完成遗失物检测。
[0043] 需要理解的是，出现遗失物需要满足以下三种特点：
[0044] （1）伴随着人的出现，没有人的出现，则表明异物不是遗忘、丢失的；可能是风吹进入区域内的异物等，这明显不符合本发明对于遗失物的定义；
[0045] （2）人员的进入和离开，通常是判断遗失物的一个前置条件，没有人的进入、离开，区域内就算产生了异物，也可能是人员携带的物品，一段时间后仍然会被带走；遗失物的产生，总是伴随着人员进入并且离开区域后，产生异物出现；
[0046] （3）出现异物，当某个区域出现遗失物之后，区域中一定会多出一个物体；所以，判断是否为遗失物，区域内至少要出现一个异物。
[0047] 根据上面三个特点从而判定遗失物的第四个特点，异物从属关系。
[0048] 所述YOLOV5目标检测算法模型建立的方法为：
[0049] S11准备数据集：收集数据，切分数据，生成数据集；数据集中包括需要检测的异物类型；
[0050] S12增强处理：再使用Mosaic数据增强方式进行数据增强，获得增强数据集，再将增强数据集划分为训练集和测试集；
[0051] S13搭建YOLOV5目标检测算法模型：输入训练集的数据并训练，并得到YOLOV5目标检测算法模型权重。
[0052] 对输入的数据集使用了Mosaic数据增强方式，添加了自适应anchor训练方式，在backbone主干网络上与YOLOV 4类似，在输入主干网络时添加了一个Focus结构对特征图进行切片操作，使用了两个CSP结构，使用了GIOU_loss作为训练损失函数；Mosaic数据增强‑ YOLOV5中在训练模型阶段仍然使用了Mosaic数据增强方法，该算法是在CutMix数据增强方法的基础上改进而来的；CutMix仅仅利用了两张图片进行拼接，而Mosaic数据增强方法则采用了4张图片，并且按照随机缩放、随机裁剪和随机排布的方式进行拼接而成，这种增强方法可以将几张图片组合成一张，这样不仅可以丰富数据集的同时极大的提升网络的训练速度，而且可以降低本发明YOLOV5目标检测算法模型的内存需求。
[0053] Focus结构：该结构主要是通过切片操作来对输入图片进行裁剪。如原始输入图片大小为608*608*3，经过切片与拼接操作之后输出一个304*304*12的特征映射；接着经过一个通道个数为32的巻积层（该通道个数仅仅针对的是YOLOv5s结构，其它结构会有相应的变化），输出一个304*304*32大小的特征映射。
[0054] CSP结构：在YOLOV4网络结构中，仅仅在主干网络中设计了CSP结构；而YOLOV5中设计了两种CSP结构，CSP1_X结构应用于Backbone主干网络中，另一种CSP2_X结构则应用于Neck网络中。
[0055] 所谓的IOU Loss，即预测框与GT框之间的交集/预测框与GT框之间的并集；GIOU_Loss中增加了相交尺度的衡量方式，目的是解决IOU Loss中，预测框和GT框不相交时，Loss为0，IOU_loss不能优化两个框不相交的情况。
[0056] 此外，所述步骤S11中的生成数据集的方式具体为：采用视频抽帧的方式，对视频进行抽帧处理，生成数据集；在所述步骤S12中使用Mosaic数据增强方式进行数据增强具体为：采用旋转、裁剪和增减图像亮度的方式增强数据集。
[0057] 在所述步骤S13中，使用搭建的YOLOV5目标检测算法模型进行人员检测的方法为：对选定的区域内的图像数据进行采集，再通过视频或者rtsp流，获取每帧图像数据；再检测每帧图像数据中是否有人员出现。
[0058] 若当前图像中YOLOV5目标检测算法模型检测到有人员时，则将检测结果保存，即矩形框四个点的坐标放入一个list列表中保存，并计算出矩形框的中心点坐标，计算公式为：
[0059] ；
[0060] 其中，xmin、xmax、ymin、ymax表示该矩形框的四个点坐标，c_x 、c_y表示该矩形框的中心点坐标；根据中心点坐标判断人员是否进入规定区域，规定区域绘制使用opencv绘制，传入参数多边形坐标点得到具体区域；若中心点坐标处于选定的区域内，则判断该检测到的人员进入选定的区域。
[0061] 在所述步骤S2中，采用深度学习Deepsort目标追踪算法追踪人员ID和物品ID，所述Deepsort目标追踪算法在Sort算法的基础上增加了级联匹配和新轨迹的确认，具体包括：采用卡尔曼滤波器预测轨迹；采用匈牙利算法将预测得到的轨迹和当前帧中的检测结果进行级联匹配和IOU匹配；利用卡尔曼滤波更新轨迹确定追踪结果确定异物ID、人员ID以及具有异物关联属性的人员ID。此外，采用匈牙利算法进行级联匹配和IOU匹配之前还可以根据目标检测结果，进行一个reid判断（REID 行人重识别），进一步提高追踪准确率。
[0062] Deepsort目标追踪算法的前身是Sort算法，全称是Simple Online and Realtime Tracking；Sort算法最大特点是基于Faster R‑CNN的目标检测方法，并利用卡尔曼滤波算法+匈牙利算法，极大提高了多目标跟踪的速度，同时达到了SOTA的准确率。
[0063] 本实施例的Deepsort目标追踪算法模型主要特点：在SORT算法的基础上加入外观信息，借用了ReID领域模型来提取外观特征，减少了ID switch的次数；匹配机制从原来的基于IOU成本矩阵的匹配变成了级联匹配+IOU匹配。
[0064] Deepsort目标追踪算法模型的核心是卡尔曼滤波器和匈牙利算法，其中，卡尔曼滤波器（卡尔曼滤波算法）分为两个过程：预测和更新，该算法将目标的运动状态定义为8个正态分布的向量；预测：当目标经过移动，通过上一帧的目标框和速度等参数，预测出当前帧的目标框位置和速度等参数；更新：预测值和观测值，两个正态分布的状态进行线性加权，得到预测的状态。
[0065] 匈牙利算法，解决的是一个二分图分配问题，在MOT主要步骤中的计算相似度的IOU成本矩阵，得到了前后两帧的相似度矩阵；匈牙利算法就是通过求解这个相似度矩阵，从而解决前后两帧真正匹配的目标。
[0066] 在本实施例的Deepsort目标追踪算法模型中，采用自适应锚框计算，针对不同的数据集，都需要设定特定长宽的锚点框。在训练阶段，模型在初始锚点框的基础上输出对应的预测框，计算其与GT框之间的差距，并执行反向更新操作，从而更新整个网络的参数，因此设定初始锚点框也是比较关键的一环。
[0067] 此外，在所述步骤S2中，采用中心点之间的距离判断异物ID与人员ID之间的从属关系，在Deepsort目标追踪算法追踪到的人员ID结果上计算人员ID的中心点位置，在YOLOV5目标检测算法模型检测的结果上计算异物ID的中心点位置，根据两个中心点位置之间的欧式距离计算异物ID与人员ID之间的从属关系，当异物ID距离人员ID最近时则将该异物ID判定是该异物ID的，再进行异物ID与人员ID的关联匹配。
[0068] 在所述步骤S2中，采用搭建的YOLOV5目标检测算法模型检测每帧图像中出现的人员和物品并且赋予ID；再使用YOLOV5目标检测算法模型的检测结果作为预先训练好的Deepsort目标追踪算法模型的目标框输入，得到的一段轨迹作为当前帧图像轨迹，通过目标框和当前帧图像轨迹进行IOU交并比匹配，利用卡尔曼滤波根据轨迹状态预测下一帧图像目标框的状态，使用卡尔曼滤波观测值和估计值更新所有轨迹的状态，从而完成异物ID和人员ID追踪。
[0069] 在所述步骤S2中，判断异物ID与人员ID之间的从属关系，即使用人员ID检测框与异物ID检测框的中心点坐标，计算异物ID与人员ID之间的欧式距离，计算公式为：
[0070] ；
[0071] 其中，为点 与点 之间的欧式距离，当异物静止时计算异物ID的中心坐标，并且计算当前帧人员ID的中心点坐标，使用异物ID的中心坐标和当前帧人员ID的中心点坐标作为两个点，通过欧式距离的公式计算，获得最小距离的人员ID，则判断该异物属于离它最近的人员ID，将该人员ID记为携带了该异物的人员命名为X_ID，即获取了具有异物关联属性人员X_ID的中心点坐标；
[0072] 在所述步骤S3中，根据获取的具有异物关联属性人员X_ID的中心点坐标，采用步骤S1中的YOLOV5目标检测算法模型检测该具有异物关联属性人员X_ID是否在选定的区域内，当该具有异物关联属性人员X_ID不在选定的区域内的时，则采用时序关联进出特征判断该具有异物关联属性人员X_ID的人员的进出行为即是否离开选定的区域，当其满足010特征的正态分布时，则判断其离开了选定的区域。
[0073] 在所述步骤S3中，判断该具有异物关联属性的人员ID是否离开选定的区域具体包括：在Deepsort目标追踪算法追踪到的人员ID结果上构建一个人员时序特征列表存储人员进出特征和时序特征，在一定时间序列内，将进入区域内未离开的人员ID标记为1，离开区域内的人员ID标记为0；人员ID的进出行为和时序关联性进行分析，在顺序时序下当进出特征满足正态分布时，可判断人员ID的进出状态，当人员ID进出特征满足正态分布时，进出特征具体表现为010特点，这个特点代表着人员ID在顺序时序内进入了区域之后并且离开；当利用时序关联判断得到人员ID满足010特点时，则给对应的人员ID标记为进入区域后离开的状态。
[0074] 本实施例的基于深度学习的区域内遗失物品检测方法具体的实验环境如下表1所示：
[0075] 表1实验环境
[0076]
[0077] 各算法的对比如下表2所示：
[0078] 表2 各算法对比
[0079]
[0080] 如图3a、图3b所示，对本发明实施例中人员进出行为时序特征分布进行记录，并根据记录的人员进出行为时序特征绘制密度曲线图，其中，图3a所展示的是行为的人员进出行为时序特征分布图，时序特征构建时会根据人员距离区域中心给予一个特征值，图3a主要展示了一部分的特征分布，为图3b的特征密度曲线提供数据支撑；图3b所展示的是人员进出行为的时序特征密度曲线，从曲线上可以看出数据成峰波状，类似通信中010的信号，符合正态分布特征，当人员进出时序特征满足这种分布特点时，判断其具有进出行为；在图4中，算法开始时检测进入区域的ID，图4中可以看到两个ID，存在ID1、ID2，但只有ID1进入了选定的区域，在图5中可以看到ID1离开时，画面中遗留了手机，该手机则被判断为遗忘物（遗失物）进行告警。
[0081] 对于本领域的普通技术人员而言，具体实施例只是对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。
