本发明公开了一种实验设备状态检测方法及系统，其中方法如下：获取记录实验设备状态的图像集，将图像集中的一张图像入目标检测函数识别出图像中所有目标实验设备；将每个目标实验设备输入对应的一个图像分类函数，输出目标实验设备对应的状态分类置信度值；判断目标实验设备的状态分类置信度值是否大于阈值T；若目标实验设备的状态分类置信度值大于阈值，直接输出目标实验设备的状态分类置信度值；若目标实验设备的状态分类置信度值小于或等于阈值T，将目标实验设备的状态分类置信度值与相关矩阵相乘，并遍历相乘后的所有元素，将最大值的元素作为最终状态输出。本发明通过互相验证实验设备之间彼此的状态，以提升状态检测的精度。
1.一种实验设备状态检测方法，其特征在于：所述的方法步骤如下：
S1：获取记录实验设备状态的图像集，将图像集中的一张图像输入目标检测函数识别出图像中所有目标实验设备；
S2：将每个目标实验设备输入对应的一个图像分类函数，用于分类不同目标实验设备的状态，输出目标实验设备对应的状态分类置信度值；
S3：根据步骤S2得到目标实验设备的状态分类置信度值进行置信度阈值判断，判断目标实验设备的状态分类置信度值是否大于阈值T；若目标实验设备的状态分类置信度值大于阈值T，则执行步骤S4；若目标实验设备的状态分类置信度值小于或等于阈值T，则执行步骤S5；
S4：直接输出目标实验设备的状态分类置信度值，进入步骤S6；
S5：将目标实验设备的状态分类置信度值与相关矩阵相乘，并遍历相乘后的所有元素，将最大值的元素作为最终状态输出，进入步骤S6；其中所述的相关矩阵为目标实验设备与其他设备当前状态的相关矩阵；
S6：将S4或S5的结果作为最终状态输出，结束检测。
2.根据权利要求1所述的实验设备状态检测方法，其特征在于：在所述步骤S1中，先将图像进行滤波处理，然后将图像尺寸等比例缩放到指定的尺寸后，再输入目标检测函数。
3.根据权利要求1所述的实验设备状态检测方法，其特征在于：所述的目标检测函数的计算公式如下：其中，di表示在图像中检测到的实验设备i的框，x表示输入图像，OBJ()表示目标检测函数。
4.根据权利要求3所述的实验设备状态检测方法，其特征在于：目标设备i的状态j的最终输出 表示为：其中， 表示目标实验设备i为状态j的置信度；i为目标实验设备的类别编号，j为目标实验设备的状态编号； 且n为图像中可检测的目标实验设备数量；当时表示检测框为未知类别， 的取值越大则表示类别的置信度越高；T为整数，用来表示检测框的置信度阈值，且T < n；当类别的检测置信度大于T时，则认为检测结果是可靠的，当类别的检测置信度小于等于T时，检测结果的置信度需进一步经过验证； 表示检测框目标实验设备i的状态j与其他设备当前状态的相关矩阵，若状态不相关，则状态j为0；maxele{}函数表示输出矩阵的最大值元素。
5.根据权利要求1所述的实验设备状态检测方法，其特征在于：所述的图像分类函数为KNN、SVM、BP、CNN几种中的一种。
6.根据权利要求1所述的实验设备状态检测方法，其特征在于：对于训练图像，先对训练图像进行随机增强，具体地，对训练图像进行反转、往左往右旋转、放大缩小、翻转处理；
设置训练损失函数，将随机增强后的训练图像输入图像分类函数进行训练，将图像分类函数预测结果与真实结果使用定义的loss计算损失，基于计算的损失进行梯度反向传播进行参数优化。
7.一种实验设备状态检测系统，其特征在于：所述的系统包括：
目标检测模块，用于对输入的图像采用目标检测函数识别出图像中所有目标实验设备；
目标分类模块，用于将每个目标实验设备输入对应的一个图像分类函数，用于分类不同目标实验设备的状态，输出目标实验设备对应的状态分类置信度值；
阈值判断模块，用于根据得到目标实验设备的状态分类置信度值进行置信度阈值判断，判断目标实验设备的状态分类置信度值是否大于阈值T；
相关矩阵模块，用于将小于或等于阈值T的目标实验设备的状态分类置信度值与相关矩阵相乘，并遍历相乘后的所有元素，将最大值的元素作为最终状态输出；其中所述的相关矩阵为目标实验设备与其他设备当前状态的相关矩阵；
状态输出模块，用于输出大于阈值T的目标实验设备的状态分类置信度值，或将相关矩阵模块输出最大值的元素作为最终状态输出。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述实验设备状态检测方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时，实现如权利要求1至6任一项所述实验设备状态检测方法的步骤。
一种实验设备状态检测方法及系统
技术领域
[0001] 本发明涉及计算机识别技术领域，更具体的，涉及一种实验设备状态检测方法及系统。
背景技术
[0002] 时下理化生实验测评都是通过摄像机现场拍摄把学生做实验的视频保存下来，事后再通过实验老师观看实验操作的视频进行打分，观看完整的过程视频最大的缺点是要耗费很多时间，所以，为了节省时间、提高效率，在日常教学的过程中，可以利用计算机视觉技术检测实验设备的状态，并通过实验设备的状态推测学生做实验的效果。
[0003] 但现有技术存在的问题是深度学习模型固有存在的精度不足的问题，也即人工智能无法做到像人眼那样对目标状态的判断无误差，尤其是操作过程中出现局部遮挡的情况，更影响深度学习模型识别实验设备状态的精度。
[0004] 深度学习模型在实际应用场景中存在的最大问题是其上限已经很难通过修改模型结构来提升了，这也不可避免的导致模型在运算过程中存在对目标漏检测漏测的问题。
发明内容
[0005] 本发明为了解决以上现有技术存在的不足与缺陷的问题，提供了一种实验设备状态检测方法及系统，其通过互相验证实验设备之间彼此的状态，以提升状态检测的精度。
[0006] 为实现上述本发明目的，采用的技术方案如下：
[0007] 一种实验设备状态检测方法，所述的方法步骤如下：
[0008] S1：获取记录实验设备状态的图像，将图像输入目标检测函数识别出图像中所有目标实验设备；
[0009] S2：将每个目标实验设备输入对应的一个图像分类函数，用于分类不同目标实验设备 的状态，输出目标实验设备对应的状态分类置信度值；
[0010] S3：根据步骤S2得到目标实验设备的状态分类置信度值进行置信度阈值判断，判断目标实验设备的状态分类置信度值是否大于阈值T；若目标实验设备的状态分类置信度值大于阈值T，则执行步骤S4；若目标实验设备的状态分类置信度值小于或等于阈值T，则执行步骤S5；
[0011] S4：直接输出目标实验设备的状态分类置信度值，进入步骤S6；
[0012] S5：将目标实验设备的状态分类置信度值与相关矩阵相乘，并遍历相乘后的所有元素，将最大值的元素作为最终状态输出，进入步骤S6；其中所述的相关矩阵为目标实验设备与其他设备当前状态的相关矩阵；
[0013] S6：将S4或S5的结果作为最终状态输出，结束检测。
[0014] 优选地，步骤S1，先将图像进行滤波处理，然后将图像尺寸等比例缩放到指定的尺寸后，再输入目标检测函数。
[0015] 优选地，所述的目标检测函数的计算公式如下：
[0016]
[0017] 其中，di表示在图像中检测到的实验设备i的框，x表示输入图像，OBJ()表示目标检测函数。
[0018] 进一步地，所述的图像分类函数的计算公式如下：
[0019]
[0020] 其中， 表示目标实验设备i为状态j的置信度；i为目标实验设备的类别编号、j为目标实验设备的状态编号； 且n为图像中可检测的目标实验设备数量。
[0021] 再进一步地，目标设备i的状态j的最终输出 表示为：
[0022]
[0023]
[0024]
[0025] 当 时表示检测框为未知类别， 的取值越大则表示类别的置信度越高；T为整数，用来表示检测框的置信度阈值，且T
[0026] 优选地，所述的图像分类函数为KNN、SVM、BP、CNN几种中的一种。
[0027] 优选地，对于训练图像，先对训练图像进行随机增强，具体地，对训练图像进行反转、往左往右旋转、放大缩小、翻转处理；
[0028] 设置训练损失函数，将随机增强后的训练图像输入图像分类函数进行训练，将图像分类函数预测结果与真实结果使用定义的loss计算损失，基于计算的损失进行梯度反向传播进行参数优化。
[0029] 一种实验设备状态检测系统，所述的系统包括
[0030] 图像输入模块，用于获取记录实验设备状态的图像；
[0031] 目标检测模块，用于对输入的图像采用目标检测函数识别出图像中所有目标实验设备；
[0032] 目标分类模块，用于将每个目标实验设备输入对应的一个图像分类函数，用于分类不同目标实验设备 的状态，输出目标实验设备对应的状态分类置信度值；
[0033] 阈值判断模块，用于根据得到目标实验设备的状态分类置信度值进行置信度阈值判断，判断目标实验设备的状态分类置信度值是否大于阈值T；
[0034] 相关矩阵模块，用于将小于或等于阈值T的目标实验设备的状态分类置信度值与相关矩阵相乘，并遍历相乘后的所有元素，将最大值的元素作为最终状态输出；其中所述的相关矩阵为目标实验设备与其他设备当前状态的相关矩阵
[0035] 状态输出模块，用于输出大于阈值T的目标实验设备的状态分类置信度值，或将相关矩阵模块输出最大值的元素作为最终状态输出。
[0036] 一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述实验设备状态检测方法的步骤。
[0037] 一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现如所述实验设备状态检测方法的步骤。
[0038] 本发明的有益效果如下：
[0039] 本发明针对具体实验引入一些实验过程的条件约束方法，通过不同实验设备在实验过程中状态变化的互相约束，来互相验证实验设备之间彼此的状态，以提升状态检测的精度。本发明适用于常见深度学习模型，是在深度学习推理输出的结果添加一个针对结果的相关矩阵来提升结果的准确性。
附图说明
[0040] 图1是本发明一种实验设备状态检测方法的步骤流程图。
[0041] 图2是本发明一种实验设备状态检测系统的原理框图。
具体实施方式
[0042] 下面结合附图和具体实施方式对本发明做详细描述。
[0043] 实施例1
[0044] 如图1所示，一种实验设备状态检测方法，所述的方法步骤如下：
[0045] S1：获取记录实验设备状态的图像集，将图像集中的一张图像输入目标检测函数识别出该图像中所有目标实验设备；
[0046] S2：将每个目标实验设备输入对应的一个图像分类函数，用于分类不同目标实验设备 的状态，输出目标实验设备对应的状态分类置信度值；
[0047] S3：根据步骤S2得到目标实验设备的状态分类置信度值进行置信度阈值判断，判断目标实验设备的状态分类置信度值是否大于阈值T；若目标实验设备的状态分类置信度值大于阈值T，则执行步骤S4；若目标实验设备的状态分类置信度值小于或等于阈值T，则执行步骤S5；
[0048] S4：直接输出目标实验设备的状态分类置信度值，进入步骤S6；
[0049] S5：将目标实验设备的状态分类置信度值与相关矩阵相乘，并遍历相乘后的所有元素，将最大值的元素作为最终状态输出，进入步骤S6；其中所述的相关矩阵为目标实验设备与其他设备当前状态的相关矩阵；
[0050] S6：将S4或S5的结果作为最终状态输出，结束检测。
[0051] 在本实施例中，所述的相关矩阵是基于单个物理实验而设计的，实验过程中实验设备的状态之间存在着关联的作用，以伏安法测小灯泡功率的物理电学实验为例，例如H01表示小灯泡（点亮状态）和电池（导线接通），则H01是一定相关的，所以取值为1，再如，H02表示小灯泡（点亮状态）和电池（导线未连接），则H02取值为0。相关矩阵是具体到每个实验，设计一个设备之间状态相关的矩阵，当出现如灯泡亮了而电池未接通的冲突状态时，可以得知电池和灯泡这两个设备的状态其中有一个肯定误检了。
[0052] 在一个具体的实施例中，步骤S1，先将图像进行滤波处理，然后将图像尺寸等比例缩放到指定的尺寸后，再输入目标检测函数。
[0053] 在一个具体的实施例中，所述的目标检测函数的计算公式如下：
[0054]
[0055] 其中，di表示在图像中检测到的实验设备i的框，x表示输入图像，OBJ()表示目标检测函数。所述的框包含每个目标的类别信息和置信度信息，目标在图像中的坐标信息、长宽信息。
[0056] 在一个具体的实施例中，所述的图像分类函数的计算公式如下：
[0057]
[0058] 其中， 表示目标实验设备i为状态j的置信度；i为目标实验设备的类别编号、j为目标实验设备的状态编号； 且n为图像中可检测的目标实验设备数量。
[0059] 在一个具体的实施例中，目标设备i的状态j的最终输出 表示为：
[0060]
[0061]
[0062]
[0063] 当 时表示检测框为未知类别， 的取值越大则表示类别的置信度越高；T为整数，用来表示检测框的置信度阈值，且T
[0064] 在本实施例中，状态相关与否是根据具体物理实验而设计的，如伏安法测小灯泡功率实验，存在相关的状态，如电压表的指针指示有电流则一定存在电池两端已接线的状态，而电流表的指针指示有电流与电压表的指针状态则不存在相关性，因为即便不存在电压表，电流表也存在有读数的可能。
[0065] 本实施例通过利用实验过程中实验设备之间状态的关联性，通过设计借助实验设备之间状态的相关矩阵，从而得到那些置信度低于阈值或者未能检测出置信度的目标的真实状态，进而提升了实验设备状态检测能力。
[0066] 在本实施例中，所有图像分类函数都相同，由深度学习图像分类模型构成，所有的图像分类模型均适用本实施例分类置信度由训练好的图像分类模型推理得出。在本实施例中，在利用将图像分类函数对每个目标实验设备进行分类实把目标实验设备 的状态之前，先对图像分类函数进行迭代训练，或进行若干次训练，直至图像分类函数收敛，或精度达到某个阈值，结束训练。再利用训练好的图像分类函数进行识别。
[0067] 在本实施例中，所述的图像分类函数为KNN、SVM、BP、CNN几种中的一种。
[0068] 在一个具体的实施例中，对于训练图像，先对训练图像进行随机增强，对训练图像进行反转、往左往右旋转、放大缩小、翻转等等处理。利用预处理后的训练图像进行训练。
[0069] 设置训练损失函数，将随机增强后的训练图像输入图像分类函数进行训练，将图像分类函数预测结果与真实结果使用定义的loss计算损失，基于计算的损失进行梯度反向传播进行参数优化。
[0070] 根据迭代训练过程中保存训练集、验证集的准确率、损失值、学习率绘制学习曲线，来判断图像分类函数的学习情况，是否出现过拟合、欠拟合等。
[0071] 实施例2
[0072] 一种实验设备状态检测系统，所述的系统包括
[0073] 图像输入模块，用于获取记录实验设备状态的图像集；
[0074] 目标检测模块，用于将图像集中的一张图像采用目标检测函数识别出图像中所有目标实验设备；
[0075] 目标分类模块，用于将每个目标实验设备输入对应的一个图像分类函数，用于分类不同目标实验设备 的状态，输出目标实验设备对应的状态分类置信度值；
[0076] 阈值判断模块，用于根据得到目标实验设备的状态分类置信度值进行置信度阈值判断，判断目标实验设备的状态分类置信度值是否大于阈值T；
[0077] 相关矩阵模块，用于将小于或等于阈值T的目标实验设备的状态分类置信度值与相关矩阵相乘，并遍历相乘后的所有元素，将最大值的元素作为最终状态输出；其中所述的相关矩阵为目标实验设备与其他设备当前状态的相关矩阵
[0078] 状态输出模块，用于输出大于阈值T的目标实验设备的状态分类置信度值，或将相关矩阵模块输出最大值的元素作为最终状态输出。
[0079] 在一个具体的实施例中，所述的图像输入模块，先将图像进行滤波处理，然后将图像尺寸等比例缩放到指定的尺寸后，再将图像输入目标检测模块。
[0080] 在一个具体的实施例中，所述的目标检测模块中的目标检测函数的计算公式如下：
[0081]
[0082] 其中，di表示在图像中检测到的实验设备i的框，x表示输入图像，OBJ()表示目标检测函数。
[0083] 在一个具体的实施例中，所述的目标分类模块中的图像分类函数的计算公式如下：
[0084]
[0085] 其中， 表示目标实验设备i为状态j的置信度；i为目标实验设备的类别编号、j为目标实验设备的状态编号； 且n为图像中可检测的目标实验设备数量。
[0086] 在一个具体的实施例中，目标设备i的状态j的最终输出 表示为：
[0087]
[0088]
[0089]
[0090] 当 时表示检测框为未知类别， 的取值越大则表示类别的置信度越高；T为整数，用来表示检测框的置信度阈值，且T
[0091] 实施例3
[0092] 一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如实施例1所述实验设备状态检测方法的步骤。
[0093] 其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
[0094] 实施例4
[0095] 一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现如实施例1所述实验设备状态检测方法的步骤。
[0096] 即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0097] 显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
