操作设备的移动轨迹记录方法、装置、介质和计算设备

摘要

本发明的实施方式提供了一种操作设备的移动轨迹记录方法、装置、介质和计算设备。该方法包括：获取目标影像数据中在目标位置处进行标识的包围框数据；基于包围框数据，计算得到目标位置处的第一中心点数据；对第一中心点数据进行数据拟合以及插值操作，得到目标位置处的第一中心点数据对应的第二中心点数据；从目标影像数据标识的目标中选取参照物；基于参照物对应的第二中心点数据，对目标影像数据标识的操作设备的目标对应的第二中心点数据进行更新，并基于更新后的操作设备的目标对应的第二中心点数据计算得到操作设备的移动轨迹。本发明可以基于更新后的操作设备对应的目标的中心点数据计算得到操作设备更加准确的移动轨迹。

权利要求

1.一种操作设备的移动轨迹记录方法，包括：获取目标影像数据中在所述目标位置处进行标识的包围框数据；

基于所述包围框数据，计算得到所述目标位置处的第一中心点数据；

对所述第一中心点数据进行数据拟合以及插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据；

从所述目标影像数据标识的目标中选取参照物；

基于所述参照物对应的第二中心点数据，对所述目标影像数据标识的操作设备的目标对应的第二中心点数据进行更新，并基于更新后的所述操作设备的目标对应的第二中心点数据计算得到所述操作设备的移动轨迹；

其中，对所述第一中心点数据进行数据拟合以及插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据，包括：对所述第一中心点数据进行数据拟合，得到所述第一中心点数据对应的第一拟合中心点数据；

对所述第一拟合中心点数据进行插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据。

2.根据权利要求1所述的操作设备的移动轨迹记录方法，对所述第一中心点数据进行数据拟合，得到所述第一中心点数据对应的第一拟合中心点数据，包括：基于去噪算法对所述第一中心点数据进行去噪运算，得到去噪后的第一中心点数据；

对去噪后的所述第一中心点数据进行数据拟合，得到第一拟合中心点数据。

3.根据权利要求2所述的操作设备的移动轨迹记录方法，所述目标影像数据中包含与所述第一中心点数据对应的当前时刻，所述第一中心点数据包含中心点横向数据和中心点纵向数据，对去噪后的所述第一中心点数据进行数据拟合，得到第一拟合中心点数据，包括：

基于所述当前时刻对去噪后的所述第一中心点数据中的中心点横向数据进行数据拟合，得到所述中心点横向数据对应的横向拟合函数；

基于所述当前时刻和所述横向拟合函数计算得到横向拟合数据；

基于所述当前时刻对去噪后的所述第一中心点数据中的中心点纵向数据进行数据拟合，得到所述中心点纵向数据对应的纵向拟合函数；

基于所述当前时刻和所述纵向拟合函数计算得到纵向拟合数据；

将所述横向拟合数据和所述纵向拟合数据确定为所述第一中心点数据对应的第一拟合中心点数据。

4.根据权利要求3所述的操作设备的移动轨迹记录方法，对所述第一拟合中心点数据进行插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据，包括：基于所述当前时刻、所述第一拟合中心点数据中的中心点横向数据以及预设参数，计算得到横向光滑样条曲线系数；

基于所述当前时刻、所述第一拟合中心点数据中的中心点纵向数据以及所述预设参数，计算得到纵向光滑样条曲线系数；

从所述目标影像数据包含的当前时刻中选取最大时刻和最小时刻；

基于所述最大时刻和所述最小时刻，构建时间数据；

基于所述时间数据和所述横向光滑样条曲线系数，对所述中心点横向数据进行插值操作，得到插值中心点横向数据；

基于所述时间数据和所述纵向光滑样条曲线系数，对所述中心点纵向数据进行插值操作，得到插值中心点纵向数据；

基于所述插值中心点横向数据和所述插值中心点纵向数据得到所述目标位置处的第一中心点数据对应的第二中心点数据。

5.根据权利要求1所述的操作设备的移动轨迹记录方法，基于所述参照物对应的第二中心点数据，对所述目标影像数据标识的操作设备的目标对应的第二中心点数据进行更新，并基于更新后的所述操作设备的目标对应的第二中心点数据计算得到所述操作设备的移动轨迹，包括：

基于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据；

基于更新后的所述目标影像数据中与操作设备的目标对应的移动中心点数据，计算得到所述操作设备的移动轨迹。

6.根据权利要求5所述的操作设备的移动轨迹记录方法，所述参照物之外的目标为所述操作设备、用于采集原始影像数据的采集设备以及所述目标影像数据中目标位置处对应的操作目标中的至少一种。

7.根据权利要求6所述的操作设备的移动轨迹记录方法，当所述目标为操作设备时，基于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据，包括：从所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据；

基于所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据对所述操作设备对应的第二中心点数据进行更新，得到更新后的所述操作设备对应的移动中心点数据。

8.根据权利要求6所述的操作设备的移动轨迹记录方法，当所述目标为采集设备时，基于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据，包括：从所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述采集设备对应的第二中心点数据；获取所述目标影像数据的宽和高；

基于所述参照物对应的第二中心点数据、所述采集设备对应的第二中心点数据以及所述目标影像数据的宽和高对所述采集设备对应的第二中心点数据进行更新，得到更新后的所述采集设备对应的移动中心点数据。

9.根据权利要求6所述的操作设备的移动轨迹记录方法，当所述目标为操作目标时，基于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据，包括：从所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据；

基于所述参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据对所述操作目标对应的第二中心点数据进行更新，得到更新后的所述操作目标对应的移动中心点数据。

10.根据权利要求1所述的操作设备的移动轨迹记录方法，获取目标影像数据中在所述目标位置处进行标识的包围框数据，包括：基于类型映射字典获取目标影像数据中在所述目标位置处进行标识的包围框数据。

11.根据权利要求10所述的操作设备的移动轨迹记录方法，基于类型映射字典获取目标影像数据中在所述目标位置处进行标识的包围框数据之前，所述方法还包括：通过实例分割模型对所述操作设备的原始影像数据进行目标检测，得到所述原始影像数据中的所述目标位置处显示矩形包围框和/或所述目标位置处显示多边形包围框的目标影像数据；

基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框和/或所述目标位置处显示的多边形包围框，构建第一类型映射子字典和/或第二类型映射子字典；

基于所述第一类型映射子字典和/或所述第二类型映射子字典，生成类型映射字典。

12.根据权利要求11所述的操作设备的移动轨迹记录方法，基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框和/或所述目标位置处显示的多边形包围框，构建第一类型映射子字典和/或第二类型映射子字典，包括：基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框，构建包含所述矩形包围框的包围框数据的第一类型映射子字典；

和/或基于时序遍历所述目标影像数据中的所述目标位置处显示的多边形包围框，构建包含所述多边形包围框的包围框数据的第二类型映射子字典。

13.根据权利要求12所述的操作设备的移动轨迹记录方法，基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框，构建包含所述矩形包围框的包围框数据的第一类型映射子字典，包括：

从所述目标影像数据中获取基于时序的与所述目标位置处显示的矩形包围框对应的第一检测内容数据；所述第一检测内容数据中至少包含所述矩形包围框标识的目标的第一目标类型、第一当前时刻以及第一边界数据；所述第一边界数据为所述矩形包围框的包围框数据；

基于时序遍历所述第一检测内容数据，构建第一类型映射子字典；所述第一类型映射子字典中至少包含一个第一时间映射字典，所述第一时间映射字典与第一目标类型一一对应，且任意两个第一时间映射字典对应的第一目标类型不同。

14.根据权利要求13所述的操作设备的移动轨迹记录方法，基于时序遍历所述第一检测内容数据，构建第一类型映射子字典，包括：基于时序遍历所述第一检测内容数据，构建第一时间映射字典，所述第一时间映射字典中包含至少一个第一当前时刻与第一边界数据的时间键值对，其中，所述时间键值对中的第一当前时刻与第一边界数据从同一第一检测内容数据中获取；

基于所述第一检测内容数据和所述第一时间映射字典，构建第一类型映射子字典，所述第一类型映射子字典中包含至少一个第一目标类型与第一时间映射字典的类型键值对，所述第一目标类型与所述第一时间映射字典中的第一当前时刻和第一边界数据属于同一第一检测内容数据。

15.根据权利要求12所述的操作设备的移动轨迹记录方法，基于时序遍历所述目标影像数据中的所述目标位置处显示的多边形包围框，构建包含所述多边形包围框的包围框数据的第二类型映射子字典，包括：从所述目标影像数据中获取基于时序的与所述目标位置处显示的多边形包围框对应的第二检测内容数据；所述第二检测内容数据中至少包含所述多边形包围框标识的目标的第二目标类型、第二当前时刻以及第二边界数据；所述第二边界数据为所述多边形包围框的包围框数据；

对所述第二检测内容数据中的所述第二边界数据进行压缩，得到压缩后的第二检测内容数据；

基于压缩后的所述第二检测内容数据中的第二边界数据，计算得到所述第二边界数据对应的近似边界数据；

基于时序遍历所述第二检测内容数据和所述近似边界数据，构建第二类型映射子字典；所述第二类型映射子字典中至少包含一个第二时间映射字典，所述第二时间映射字典与第二目标类型一一对应，且任意两个第二时间映射字典对应的第二目标类型不同。

16.根据权利要求15所述的操作设备的移动轨迹记录方法，基于时序遍历所述第二检测内容数据和所述近似边界数据，构建第二类型映射子字典，包括：基于时序遍历所述第二检测内容数据和所述近似边界数据，构建第二时间映射字典，所述第二时间映射字典中包含至少一个第二当前时刻与近似边界数据的时间键值对，其中，所述时间键值对中的第二当前时刻与近似边界数据从同一第二检测内容数据中获取；

基于所述第二检测内容数据和所述第二时间映射字典，构建第二类型映射子字典，所述第二类型映射子字典中包含至少一个第二目标类型与第二时间映射字典的类型键值对，所述第二目标类型与所述第二时间映射字典中的第二当前时刻和近似边界数据属于同一第二检测内容数据。

17.根据权利要求15或16所述的操作设备的移动轨迹记录方法，对所述第二检测内容数据中的所述第二边界数据进行压缩，得到压缩后的第二检测内容数据，包括：对所述第二检测内容数据的所述第二边界数据进行压缩处理，得到所述第二边界数据对应的一维压缩边界数据；

对所述一维压缩边界数据进行还原处理，得到所述一维压缩边界数据对应的一维还原边界数据；

对所述一维还原边界数据进行计算，得到压缩后的第二边界数据；

通过所述压缩后的第二边界数据对所述第二检测内容进行更新，得到压缩后的第二检测内容数据。

18.根据权利要求17所述的操作设备的移动轨迹记录方法，对所述第二检测内容数据的所述第二边界数据进行压缩处理，得到所述第二边界数据对应的一维压缩边界数据，包括：

获取所述目标影像数据的宽和高，并确定压缩步长；

基于所述目标影像数据的宽和高以及所述压缩步长，计算得到初始化长度；

创建与所述第二边界数据对应的一维压缩边界数据，所述一维压缩边界数据的长度为所述初始化长度；

基于所述压缩步长和所述原始图像数据的宽对所述第二检测内容数据的所述第二边界数据进行压缩计算，得到所述第二边界数据对应的第一索引值；

基于所述第二边界数据和所述第一索引值计算得到所述一维压缩边界数据中与所述第一索引值对应的压缩边界数据。

19.根据权利要求18所述的操作设备的移动轨迹记录方法，对所述一维压缩边界数据进行还原处理，得到所述一维压缩边界数据对应的一维还原边界数据，包括：创建与所述一维压缩边界数据对应的一维还原边界数据，所述一维还原边界数据的长度为所述原始影像数据的宽和高的乘积；

基于所述压缩步长和所述目标图像数据的宽对所述一维压缩边界数据进行还原计算，得到所述一维压缩边界数据对应的第二索引值；

基于所述一维压缩边界数据和所述第二索引值计算得到所述一维还原边界数据中与所述第二索引值对应的还原边界数据。

20.根据权利要求19所述的操作设备的移动轨迹记录方法，对所述一维还原边界数据进行计算，得到压缩后的第二边界数据，包括：基于时序遍历所述一维还原边界数据，得到索引数据，所述索引数据对应的一维还原边界数据大于预设值；

基于所述索引数据和所述一维还原边界数据，计算得到压缩后的横向移动数据和纵向移动数据；

通过所述横向移动数据和所述纵向移动数据生成压缩后的第二边界数据。

21.根据权利要求15或16所述的操作设备的移动轨迹记录方法，基于压缩后的所述第二检测内容数据中的第二边界数据，计算得到所述第二边界数据对应的近似边界数据，包括：

从所述压缩后的第二检测内容数据的第二边界数据中获取各个第二当前时刻对应的目标的顶点移动数据；计算各个所述第二边界数据距所述顶点移动数据的距离；

基于所述距离最小的第二边界数据，计算得到所述第二边界数据对应的近似边界数据。

22.根据权利要求21所述的操作设备的移动轨迹记录方法，一个所述目标对应四个所述顶点移动数据，基于所述距离最小的第二边界数据，计算得到所述第二边界数据对应的近似边界数据，包括：

基于所述距离最小的第二边界数据，计算得到所述第二边界数据中的所述目标对应的四个边界数据；

当所述四个边界数据均为不同的数据或所述四个边界数据中存在三个边界数据的数据不同时，将所述四个边界数据确定为近似边界数据。

23.一种操作设备的移动轨迹记录装置，包括：获取单元，用于获取目标影像数据中在所述目标位置处进行标识的包围框数据；

计算单元，用于基于所述包围框数据，计算得到所述目标位置处的第一中心点数据；

操作单元，用于对所述第一中心点数据进行数据拟合以及插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据；

选取单元，用于从所述目标影像数据标识的目标中选取参照物；

更新单元，用于基于所述参照物对应的第二中心点数据，对所述目标影像数据标识的操作设备的目标对应的第二中心点数据进行更新，并基于更新后的所述操作设备的目标对应的第二中心点数据计算得到所述操作设备的移动轨迹；

其中，所述操作单元包括：

拟合子单元，用于对所述第一中心点数据进行数据拟合，得到所述第一中心点数据对应的第一拟合中心点数据；

插值子单元，用于对所述第一拟合中心点数据进行插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据。

24.根据权利要求23所述的操作设备的移动轨迹记录装置，所述拟合子单元包括：去噪模块，用于基于去噪算法对所述第一中心点数据进行去噪运算，得到去噪后的第一中心点数据；

拟合模块，用于对去噪后的所述第一中心点数据进行数据拟合，得到第一拟合中心点数据。

25.根据权利要求24所述的操作设备的移动轨迹记录装置，所述目标影像数据中包含与所述第一中心点数据对应的当前时刻，所述第一中心点数据包含中心点横向数据和中心点纵向数据，所述拟合模块包括：拟合子模块，用于基于所述当前时刻对去噪后的所述第一中心点数据中的中心点横向数据进行数据拟合，得到所述中心点横向数据对应的横向拟合函数；

第一计算子模块，用于基于所述当前时刻和所述横向拟合函数计算得到横向拟合数据；

所述拟合子模块，还用于基于所述当前时刻对去噪后的所述第一中心点数据中的中心点纵向数据进行数据拟合，得到所述中心点纵向数据对应的纵向拟合函数；

所述第一计算子模块，还用于基于所述当前时刻和所述纵向拟合函数计算得到纵向拟合数据；

确定子模块，用于将所述横向拟合数据和所述纵向拟合数据确定为所述第一中心点数据对应的第一拟合中心点数据。

26.根据权利要求25所述的操作设备的移动轨迹记录装置，所述插值子单元包括：第一计算模块，用于基于所述当前时刻、所述第一拟合中心点数据中的中心点横向数据以及预设参数，计算得到横向光滑样条曲线系数；

所述第一计算模块，还用于基于所述当前时刻、所述第一拟合中心点数据中的中心点纵向数据以及所述预设参数，计算得到纵向光滑样条曲线系数；

选取模块，用于从所述目标影像数据包含的当前时刻中选取最大时刻和最小时刻；

第一构建模块，用于基于所述最大时刻和所述最小时刻，构建时间数据；

插值模块，用于基于所述时间数据和所述横向光滑样条曲线系数，对所述中心点横向数据进行插值操作，得到插值中心点横向数据；

所述插值模块，还用于基于所述时间数据和所述纵向光滑样条曲线系数，对所述中心点纵向数据进行插值操作，得到插值中心点纵向数据；

第一更新模块，用于基于所述插值中心点横向数据和所述插值中心点纵向数据得到所述目标位置处的第一中心点数据对应的第二中心点数据。

27.根据权利要求23所述的操作设备的移动轨迹记录装置，所述更新单元包括：更新子单元，用于基于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据；

计算子单元，用于基于更新后的所述目标影像数据中与操作设备的目标类型对应的移动中心点数据，计算得到所述操作设备的移动轨迹。

28.根据权利要求27所述的操作设备的移动轨迹记录装置，所述参照物之外的目标为所述操作设备、用于采集原始影像数据的采集设备以及所述目标影像数据中目标位置处对应的操作目标中的至少一种。

29.根据权利要求28所述的操作设备的移动轨迹记录装置，当所述目标类型为操作设备时，所述更新子单元包括：

第一获取模块，用于从所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据；

第二更新模块，用于基于所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据对所述操作设备对应的第二中心点数据进行更新，得到更新后的所述操作设备对应的移动中心点数据。

30.根据权利要求28所述的操作设备的移动轨迹记录装置，当所述目标类型为采集设备时，所述更新子单元还包括：

第二获取模块，用于从所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述采集设备对应的第二中心点数据；

所述第二获取模块，还用于获取所述目标影像数据的宽和高；

第三更新模块，用于基于所述参照物对应的第二中心点数据、所述采集设备对应的第二中心点数据以及所述目标影像数据的宽和高对所述采集设备对应的第二中心点数据进行更新，得到更新后的所述采集设备对应的移动中心点数据。

31.根据权利要求29所述的操作设备的移动轨迹记录装置，当所述目标类型为操作目标时，所述更新子单元还包括：

第三获取模块，用于从所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据；

第四更新模块，用于基于所述参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据对所述操作目标对应的第二中心点数据进行更新，得到更新后的所述操作目标对应的移动中心点数据。

32.根据权利要求23所述的操作设备的移动轨迹记录装置，所述获取单元获取目标影像数据中在所述目标位置处进行标识的包围框数据的方式具体为：基于类型映射字典获取目标影像数据中在所述目标位置处进行标识的包围框数据。

33.根据权利要求32所述的操作设备的移动轨迹记录装置，所述装置还包括：检测单元，用于在所述获取单元基于类型映射字典获取目标影像数据中在所述目标位置处进行标识的包围框数据之前，通过实例分割模型对所述操作设备的原始影像数据进行目标检测，得到所述原始影像数据中的所述目标位置处显示矩形包围框和/或所述目标位置处显示多边形包围框的目标影像数据；

构建单元，用于基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框和/或所述目标位置处显示的多边形包围框，构建第一类型映射子字典和/或第二类型映射子字典；

生成单元，用于基于所述第一类型映射子字典和/或所述第二类型映射子字典，生成类型映射字典。

34.根据权利要求33所述的操作设备的移动轨迹记录装置，所述构建单元包括：第一构建子单元，用于基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框，构建包含所述矩形包围框的包围框数据的第一类型映射子字典；

和/或第二构建子单元，用于基于时序遍历所述目标影像数据中的所述目标位置处显示的多边形包围框，构建包含所述多边形包围框的包围框数据的第二类型映射子字典。

35.根据权利要求34所述的操作设备的移动轨迹记录装置，所述第一构建子单元包括：第四获取模块，用于从所述目标影像数据中获取基于时序的与所述目标位置处显示的矩形包围框对应的第一检测内容数据；所述第一检测内容数据中至少包含所述矩形包围框标识的目标的第一目标类型、第一当前时刻以及第一边界数据；所述第一边界数据为所述矩形包围框的包围框数据；

第二构建模块，用于基于时序遍历所述第一检测内容数据，构建第一类型映射子字典；

所述第一类型映射子字典中至少包含一个第一时间映射字典，所述第一时间映射字典与第一目标类型一一对应，且任意两个第一时间映射字典对应的第一目标类型不同。

36.根据权利要求35所述的操作设备的移动轨迹记录装置，所述第二构建模块包括：第一构建子模块，用于基于时序遍历所述第一检测内容数据，构建第一时间映射字典，所述第一时间映射字典中包含至少一个第一当前时刻与第一边界数据的时间键值对，其中，所述时间键值对中的第一当前时刻与第一边界数据从同一第一检测内容数据中获取；

所述第一构建子模块，还用于基于所述第一检测内容数据和所述第一时间映射字典，构建第一类型映射子字典，所述第一类型映射子字典中包含至少一个第一目标类型与第一时间映射字典的类型键值对，所述第一目标类型与所述第一时间映射字典中的第一当前时刻和第一边界数据属于同一第一检测内容数据。

37.根据权利要求34所述的操作设备的移动轨迹记录装置，所述第二构建子单元包括：第五获取模块，用于从所述目标影像数据中获取基于时序的与所述目标位置处显示的多边形包围框对应的第二检测内容数据；所述第二检测内容数据中至少包含所述多边形包围框标识的目标的第二目标类型、第二当前时刻以及第二边界数据；所述第二边界数据为所述多边形包围框的包围框数据；

压缩模块，用于对所述第二检测内容数据中的所述第二边界数据进行压缩，得到压缩后的第二检测内容数据；

第二计算模块，用于基于压缩后的所述第二检测内容数据中的第二边界数据，计算得到所述第二边界数据对应的近似边界数据；

第三构建模块，用于基于时序遍历所述第二检测内容数据和所述近似边界数据，构建第二类型映射子字典；所述第二类型映射子字典中至少包含一个第二时间映射字典，所述第二时间映射字典与第二目标类型一一对应，且任意两个第二时间映射字典对应的第二目标类型不同。

38.根据权利要求37所述的操作设备的移动轨迹记录装置，所述第三构建模块包括：第二构建子模块，用于基于时序遍历所述第二检测内容数据和所述近似边界数据，构建第二时间映射字典，所述第二时间映射字典中包含至少一个第二当前时刻与近似边界数据的时间键值对，其中，所述时间键值对中的第二当前时刻与近似边界数据从同一第二检测内容数据中获取；

所述第二构建子模块，还用于基于所述第二检测内容数据和所述第二时间映射字典，构建第二类型映射子字典，所述第二类型映射子字典中包含至少一个第二目标类型与第二时间映射字典的类型键值对，所述第二目标类型与所述第二时间映射字典中的第二当前时刻和近似边界数据属于同一第二检测内容数据。

39.根据权利要求37或38所述的操作设备的移动轨迹记录装置，所述压缩模块包括：压缩子模块，用于对所述第二检测内容数据的所述第二边界数据进行压缩处理，得到所述第二边界数据对应的一维压缩边界数据；

还原子模块，用于对所述一维压缩边界数据进行还原处理，得到所述一维压缩边界数据对应的一维还原边界数据；

第二计算子模块，用于对所述一维还原边界数据进行计算，得到压缩后的第二边界数据；

更新子模块，用于通过所述压缩后的第二边界数据对所述第二检测内容进行更新，得到压缩后的第二检测内容数据。

40.根据权利要求39所述的操作设备的移动轨迹记录装置，所述压缩子模块包括：获取结构，用于获取所述目标影像数据的宽和高，并确定压缩步长；

第一计算结构，用于基于所述目标影像数据的宽和高以及所述压缩步长，计算得到初始化长度；

第一创建结构，用于创建与所述第二边界数据对应的一维压缩边界数据，所述一维压缩边界数据的长度为所述初始化长度；

压缩结构，用于基于所述压缩步长和所述原始图像数据的宽对所述第二检测内容数据的所述第二边界数据进行压缩计算，得到所述第二边界数据对应的第一索引值；

所述第一计算结构，还用于基于所述第二边界数据和所述第一索引值计算得到所述一维压缩边界数据中与所述第一索引值对应的压缩边界数据。

41.根据权利要求40所述的操作设备的移动轨迹记录装置，所述还原子模块包括：第二创建结构，用于创建与所述一维压缩边界数据对应的一维还原边界数据，所述一维还原边界数据的长度为所述原始影像数据的宽和高的乘积；

还原结构，用于基于所述压缩步长和所述目标图像数据的宽对所述一维压缩边界数据进行还原计算，得到所述一维压缩边界数据对应的第二索引值；

第二计算结构，用于基于所述一维压缩边界数据和所述第二索引值计算得到所述一维还原边界数据中与所述第二索引值对应的还原边界数据。

42.根据权利要求41所述的操作设备的移动轨迹记录装置，所述第二计算子模块包括：遍历结构，用于基于时序遍历所述一维还原边界数据，得到索引数据，所述索引数据对应的一维还原边界数据大于预设值；

第三计算结构，用于基于所述索引数据和所述一维还原边界数据，计算得到压缩后的横向移动数据和纵向移动数据；

生成结构，用于通过所述横向移动数据和所述纵向移动数据生成压缩后的第二边界数据。

43.根据权利要求37或38所述的操作设备的移动轨迹记录装置，所述第二计算模块包括：

获取子模块，用于从所述压缩后的第二检测内容数据的第二边界数据中获取各个第二当前时刻对应的目标的顶点移动数据；

第三计算子模块，用于计算各个所述第二边界数据距所述顶点移动数据的距离；

第四计算子模块，用于基于所述距离最小的第二边界数据，计算得到所述第二边界数据对应的近似边界数据。

44.根据权利要求43所述的操作设备的移动轨迹记录装置，一个所述目标对应四个所述顶点移动数据，所述第四计算子模块包括：第四计算结构，用于基于所述距离最小的第二边界数据，计算得到所述第二边界数据中的所述目标对应的四个边界数据；

确定结构，用于当所述四个边界数据均为不同的数据或所述四个边界数据中存在三个边界数据的数据不同时，将所述四个边界数据确定为近似边界数据。

45.一种临床人工智能辅助系统，所述系统执行权利要求1‑22中的任一项所述的操作设备的移动轨迹记录方法。

46.一种存储有程序的存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1‑22中的任一项所述的操作设备的移动轨迹记录方法。

47.一种计算设备，包括如权利要求46所述的存储介质。

说明书

操作设备的移动轨迹记录方法、装置、介质和计算设备

技术领域

[0001] 本发明的实施方式涉及人工智能领域，更具体地，本发明的实施方式涉及一种操作 设备的移动轨迹记录方法、装置、介质和计算设备。

背景技术

[0002] 本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描 述不因为包括在本部分中就承认是现有技术。

[0003] 为了对医生在手术或检查过程中的操作进行观察评判，通常会记录医生在手术或检 查过程中使用的操作设备的移动轨迹。现有技术中通常会使用大量辅助观测硬件设备
(如 超声探头、感应线圈、超声接收装置、磁场发生设备以及磁场感应设备等)记录操作设 
备的移动轨迹。然而，在实践中发现，通常的辅助观测硬件设备不符合医疗环境中的感 控
规范，且操作复杂，导致采集到的定位数据不够准确，更进一步导致了基于定位数据 计算
得到的移动轨迹不够准确。

发明内容

[0004] 在本上下文中，本发明的实施方式期望提供一种操作设备的移动轨迹记录方法、装 置、介质和计算设备。

[0005] 在本发明实施方式的第一方面中，提供了一种操作设备的移动轨迹记录方法，包括： 获取目标影像数据中在所述目标位置处进行标识的包围框数据；基于所述包围框数
据， 计算得到所述目标位置处的第一中心点数据；对所述第一中心点数据进行数据拟合以
及 插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据；从所述目标 
影像数据标识的目标中选取参照物；基于所述参照物对应的第二中心点数据，对所述目 标
影像数据标识的操作设备的目标对应的第二中心点数据进行更新，并基于更新后的所 述
操作设备的目标对应的第二中心点数据计算得到所述操作设备的移动轨迹。

[0006] 在本实施方式的一个实施例中，对所述第一中心点数据进行数据拟合以及插值操作， 得到所述目标位置处的第一中心点数据对应的第二中心点数据，包括：对所述第一中
心 点数据进行数据拟合，得到所述第一中心点数据对应的第一拟合中心点数据；对所述第 
一拟合中心点数据进行插值操作，得到所述目标位置处的第一中心点数据对应的第二中 
心点数据。

[0007] 在本实施方式的一个实施例中，对所述第一中心点数据进行数据拟合，得到所述第 一中心点数据对应的第一拟合中心点数据，包括：基于去噪算法对所述第一中心点数据 
进行去噪运算，得到去噪后的第一中心点数据；对去噪后的所述第一中心点数据进行数 据
拟合，得到第一拟合中心点数据。

[0008] 在本实施方式的一个实施例中，所述目标影像数据中包含与所述第一中心点数据对 应的当前时刻，所述第一中心点数据包含中心点横向数据和中心点纵向数据，对去噪后 
的所述第一中心点数据进行数据拟合，得到第一拟合中心点数据，包括：基于所述当前 时
刻对去噪后的所述第一中心点数据中的中心点横向数据进行数据拟合，得到所述中心 点
横向数据对应的横向拟合函数；基于所述当前时刻和所述横向拟合函数计算得到横向 拟
合数据；基于所述当前时刻对去噪后的所述第一中心点数据中的中心点纵向数据进行 数
据拟合，得到所述中心点纵向数据对应的纵向拟合函数；基于所述当前时刻和所述纵 向拟
合函数计算得到纵向拟合数据；将所述横向拟合数据和所述纵向拟合数据确定为所 述第
一中心点数据对应的第一拟合中心点数据。

[0009] 在本实施方式的一个实施例中，对所述第一拟合中心点数据进行插值操作，得到所 述目标位置处的第一中心点数据对应的第二中心点数据，包括：基于所述当前时刻、所 
述第一拟合中心点数据中的中心点横向数据以及预设参数，计算得到横向光滑样条曲线 
系数；基于所述当前时刻、所述第一拟合中心点数据中的中心点纵向数据以及所述预设 参
数，计算得到纵向光滑样条曲线系数；从所述目标影像数据包含的当前时刻中选取最 大时
刻和最小时刻；基于所述最大时刻和所述最小时刻，构建时间数据；基于所述时间 数据和
所述横向光滑样条曲线系数，对所述中心点横向数据进行插值操作，得到插值中 心点横向
数据；基于所述时间数据和所述纵向光滑样条曲线系数，对所述中心点纵向数 据进行插值
操作，得到插值中心点纵向数据；基于所述插值中心点横向数据和所述插值 中心点纵向数
据得到所述目标位置处的第一中心点数据对应的第二中心点数据。

[0010] 在本实施方式的一个实施例中，基于所述参照物对应的第二中心点数据，对所述目 标影像数据标识的操作设备的目标对应的第二中心点数据进行更新，并基于更新后的
所 述操作设备的目标对应的第二中心点数据计算得到所述操作设备的移动轨迹，包括：基 
于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标 
对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据；基于 更
新后的所述目标影像数据中与操作设备的目标对应的移动中心点数据，计算得到所述 操
作设备的移动轨迹。

[0011] 在本实施方式的一个实施例中，所述参照物之外的目标为所述操作设备、用于采集 所述原始影像数据的采集设备以及所述目标影像数据中目标位置处对应的操作目标中
的 至少一种。

[0012] 在本实施方式的一个实施例中，当所述目标为操作设备时，基于所述参照物对应的 第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对应的第二中心点
数 据进行更新，得到更新后的所述目标对应的移动中心点数据，包括：从所述目标影像数 
据中获取所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据； 
基于所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据对所述 
操作设备对应的第二中心点数据进行更新，得到更新后的所述操作设备对应的移动中心 
点数据。

[0013] 在本实施方式的一个实施例中，当所述目标为采集设备时，基于所述参照物对应的 第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对应的第二中心点
数 据进行更新，得到更新后的所述目标对应的移动中心点数据，包括：从所述目标影像数 
据中获取所述参照物对应的第二中心点数据以及所述采集设备对应的第二中心点数据； 
获取所述目标影像数据的宽和高；基于所述参照物对应的第二中心点数据、所述采集设 备
对应的第二中心点数据以及所述目标影像数据的宽和高对所述采集设备对应的第二中 心
点数据进行更新，得到更新后的所述采集设备对应的移动中心点数据。

[0014] 在本实施方式的一个实施例中，当所述目标为操作目标时，基于所述参照物对应的 第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对应的第二中心点
数 据进行更新，得到更新后的所述目标对应的移动中心点数据，包括：从所述目标影像数 
据中获取所述参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据； 
基于所述参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据对所述 
操作目标对应的第二中心点数据进行更新，得到更新后的所述操作目标对应的移动中心 
点数据。

[0015] 在本实施方式的一个实施例中，获取目标影像数据中在所述目标位置处进行标识的 包围框数据，包括：基于类型映射字典获取目标影像数据中在所述目标位置处进行标识 
的包围框数据。

[0016] 在本实施方式的一个实施例中，基于类型映射字典获取目标影像数据中在所述目标 位置处进行标识的包围框数据之前，所述方法还包括：通过实例分割模型对所述操作设 
备的原始影像数据进行目标检测，得到所述原始影像数据中的所述目标位置处显示矩形 
包围框和/或所述目标位置处显示多边形包围框的目标影像数据；基于时序遍历所述目标 
影像数据中的所述目标位置处显示的矩形包围框和/或所述目标位置处显示的多边形包 
围框，构建第一类型映射子字典和/或第二类型映射子字典；基于所述第一类型映射子字 
典和/或所述第二类型映射子字典，生成类型映射字典。

[0017] 在本实施方式的一个实施例中，基于时序遍历所述目标影像数据中的所述目标位置 处显示的矩形包围框和/或所述目标位置处显示的多边形包围框，构建第一类型映射子
字 典和/或第二类型映射子字典，包括：基于时序遍历所述目标影像数据中的所述目标位
置 处显示的矩形包围框，构建包含所述矩形包围框的包围框数据的第一类型映射子字典； 
和/或基于时序遍历所述目标影像数据中的所述目标位置处显示的多边形包围框，构建包 
含所述多边形包围框的包围框数据的第二类型映射子字典。

[0018] 在本实施方式的一个实施例中，基于时序遍历所述目标影像数据中的所述目标位置 处显示的矩形包围框，构建包含所述矩形包围框的包围框数据的第一类型映射子字典， 
包括：从所述目标影像数据中获取基于时序的与所述目标位置处显示的矩形包围框对应 
的第一检测内容数据；所述第一检测内容数据中至少包含所述矩形包围框标识的目标的 
第一目标类型、第一当前时刻以及第一边界数据；所述第一边界数据为所述矩形包围框 的
包围框数据；基于时序遍历所述第一检测内容数据，构建第一类型映射子字典；所述 第一
类型映射子字典中至少包含一个第一时间映射字典，所述第一时间映射字典与第一 目标
类型一一对应，且任意两个第一时间映射字典对应的第一目标类型不同。

[0019] 在本实施方式的一个实施例中，基于时序遍历所述第一检测内容数据，构建第一类 型映射子字典，包括：基于时序遍历所述第一检测内容数据，构建第一时间映射字典， 
所述第一时间映射字典中包含至少一个第一当前时刻与第一边界数据的时间键值对，其 
中，所述时间键值对中的第一当前时刻与第一边界数据从同一第一检测内容数据中获取； 
基于所述第一检测内容数据和所述第一时间映射字典，构建第一类型映射子字典，所述 第
一类型映射子字典中包含至少一个第一目标类型与第一时间映射字典的类型键值对， 所
述第一目标类型与所述第一时间映射字典中的第一当前时刻和第一边界数据属于同一 第
一检测内容数据。

[0020] 在本实施方式的一个实施例中，基于时序遍历所述目标影像数据中的所述目标位置 处显示的多边形包围框，构建包含所述多边形包围框的包围框数据的第二类型映射子
字 典，包括：从所述目标影像数据中获取基于时序的与所述目标位置处显示的多边形包围 
框对应的第二检测内容数据；所述第二检测内容数据中至少包含所述多边形包围框标识 
的目标的第二目标类型、第二当前时刻以及第二边界数据；所述第二边界数据为所述多 边
形包围框的包围框数据；对所述第二检测内容数据中的所述第二边界数据进行压缩， 得到
压缩后的第二检测内容数据；基于压缩后的所述第二检测内容数据中的第二边界数 据，计
算得到所述第二边界数据对应的近似边界数据；基于时序遍历所述第二检测内容 数据和
所述近似边界数据，构建第二类型映射子字典；所述第二类型映射子字典中至少 包含一个
第二时间映射字典，所述第二时间映射字典与第二目标类型一一对应，且任意 两个第二时
间映射字典对应的第二目标类型不同。

[0021] 在本实施方式的一个实施例中，基于时序遍历所述第二检测内容数据和所述近似边 界数据，构建第二类型映射子字典，包括：基于时序遍历所述第二检测内容数据和所述 
近似边界数据，构建第二时间映射字典，所述第二时间映射字典中包含至少一个第二当 前
时刻与近似边界数据的时间键值对，其中，所述时间键值对中的第二当前时刻与近似 边界
数据从同一第二检测内容数据中获取；基于所述第二检测内容数据和所述第二时间 映射
字典，构建第二类型映射子字典，所述第二类型映射子字典中包含至少一个第二目 标类型
与第二时间映射字典的类型键值对，所述第二目标类型与所述第二时间映射字典 中的第
二当前时刻和近似边界数据属于同一第二检测内容数据。

[0022] 在本实施方式的一个实施例中，对所述第二检测内容数据中的所述第二边界数据进 行压缩，得到压缩后的第二检测内容数据，包括：对所述第二检测内容数据的所述第二 
边界数据进行压缩处理，得到所述第二边界数据对应的一维压缩边界数据；对所述一维 压
缩边界数据进行还原处理，得到所述一维压缩边界数据对应的一维还原边界数据；对 所述
一维还原边界数据进行计算，得到压缩后的第二边界数据；通过所述压缩后的第二 边界数
据对所述第二检测内容进行更新，得到压缩后的第二检测内容数据。

[0023] 在本实施方式的一个实施例中，对所述第二检测内容数据的所述第二边界数据进行 压缩处理，得到所述第二边界数据对应的一维压缩边界数据，包括：获取所述目标影像 
数据的宽和高，并确定压缩步长；基于所述目标影像数据的宽和高以及所述压缩步长， 计
算得到初始化长度；创建与所述第二边界数据对应的一维压缩边界数据，所述一维压 缩边
界数据的长度为所述初始化长度；基于所述压缩步长和所述原始图像数据的宽对所 述第
二检测内容数据的所述第二边界数据进行压缩计算，得到所述第二边界数据对应的 第一
索引值；基于所述第二边界数据和所述第一索引值计算得到所述一维压缩边界数据 中与
所述第一索引值对应的压缩边界数据。

[0024] 在本实施方式的一个实施例中，对所述一维压缩边界数据进行还原处理，得到所述 一维压缩边界数据对应的一维还原边界数据，包括：创建与所述一维压缩边界数据对应 
的一维还原边界数据，所述一维还原边界数据的长度为所述原始影像数据的宽和高的乘 
积；基于所述压缩步长和所述目标图像数据的宽对所述一维压缩边界数据进行还原计算， 
得到所述一维压缩边界数据对应的第二索引值；基于所述一维压缩边界数据和所述第二 
索引值计算得到所述一维还原边界数据中与所述第二索引值对应的还原边界数据。

[0025] 在本实施方式的一个实施例中，对所述一维还原边界数据进行计算，得到压缩后的 第二边界数据，包括：基于时序遍历所述一维还原边界数据，得到索引数据，所述索引 
数据对应的一维还原边界数据大于预设值；基于所述索引数据和所述一维还原边界数据， 
计算得到压缩后的横向移动数据和纵向移动数据；通过所述横向移动数据和所述纵向移 
动数据生成压缩后的第二边界数据。

[0026] 在本实施方式的一个实施例中，基于压缩后的所述第二检测内容数据中的第二边界 数据，计算得到所述第二边界数据对应的近似边界数据，包括：从所述压缩后的第二检 
测内容数据的第二边界数据中获取各个第二当前时刻对应的目标的顶点移动数据；计算 
各个所述第二边界数据距所述顶点移动数据的距离；基于所述距离最小的第二边界数据， 
计算得到所述第二边界数据对应的近似边界数据。

[0027] 在本实施方式的一个实施例中，一个所述目标对应四个所述顶点移动数据，基于所 述距离最小的第二边界数据，计算得到所述第二边界数据对应的近似边界数据，包括： 
基于所述距离最小的第二边界数据，计算得到所述第二边界数据中的所述目标对应的四 
个边界数据；当所述四个边界数据均为不同的数据或所述四个边界数据中存在三个边界 
数据的数据不同时，将所述四个边界数据确定为近似边界数据。

[0028] 在本发明实施方式的第二方面中，提供了一种操作设备的移动轨迹记录装置，包括： 获取单元，用于获取目标影像数据中在所述目标位置处进行标识的包围框数据；计算
单 元，用于基于所述包围框数据，计算得到所述目标位置处的第一中心点数据；操作单元， 
用于对所述第一中心点数据进行数据拟合以及插值操作，得到所述目标位置处的第一中 
心点数据对应的第二中心点数据；选取单元，用于从所述目标影像数据标识的目标中选 取
参照物；更新单元，用于基于所述参照物对应的第二中心点数据，对所述目标影像数 据标
识的操作设备的目标对应的第二中心点数据进行更新，并基于更新后的所述操作设 备的
目标对应的第二中心点数据计算得到所述操作设备的移动轨迹。

[0029] 在本发明实施方式的第三方面中，提供了一种临床人工智能辅助系统，所述系统用 于执行第一方面中任一项所述的方法。

[0030] 在本发明实施方式的第四方面中，提供了一种计算机可读存储介质，所述存储介质 存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所
述 的方法。

[0031] 在本发明实施方式的第五方面中，提供了一种计算设备，包括第四方面所述的存储 介质。

[0032] 根据本发明实施方式的操作设备的移动轨迹记录方法、装置、介质和计算设备，能 够获取目标影像数据中在所述目标位置处进行标识的包围框数据；基于所述包围框数据， 
计算得到所述目标位置处的第一中心点数据；对所述第一中心点数据进行数据拟合以及 
插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据；从所述目标 影
像数据标识的目标中选取参照物；基于所述参照物对应的第二中心点数据，对所述目 标影
像数据标识的操作设备的目标对应的第二中心点数据进行更新，并基于更新后的所 述操
作设备的目标对应的第二中心点数据计算得到所述操作设备的移动轨迹，可见，本 发明可
以对目标影像数据中的包围框数据进行一系列的计算，得到目标影像数据中多个 不同目
标对应的中心点数据，进而从多个目标中选出参照物，并基于参照物的中心点数 据对操作
设备对应的目标的中心点数据进行更新，从而基于更新后的操作设备对应的目 标的中心
点数据计算得到操作设备更加准确的移动轨迹。

附图说明

[0033] 通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、 特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的
若 干实施方式，其中：

[0034] 图1为本发明一实施例提供的操作设备的移动轨迹记录方法的流程示意图；

[0035] 图2为本发明另一实施例提供的操作设备的移动轨迹记录方法的流程示意图；

[0036] 图3为根据本发明的实施方式生成的目标影像数据中多个目标的第二中心点数据的示意 图；

[0037] 图4为根据本发明的实施方式生成的以参照物的移动轨迹为依据的目标影像数据中多个 目标的移动轨迹图；

[0038] 图5为本发明另一实施例提供的操作设备的移动轨迹记录方法的流程示意图；

[0039] 图6为根据本发明的实施方式输出的原始影像数据中多个目标对应的矩形包围框的 第一边界数据的示意图；

[0040] 图7为根据本发明的实施方式输出的原始影像数据中多个目标对应的矩形包围框的 包围框数据的示意图；

[0041] 图8为根据本发明的实施方式输出的原始影像数据中多个目标对应的多边形包围框 的第二边界数据的示意图；

[0042] 图9为根据本发明的实施方式输出的原始影像数据中多个目标对应的多边形包围框 的包围框数据的示意图；

[0043] 图10为本发明一实施例提供的临床人工智能辅助系统的界面示意图；

[0044] 图11为基于本发明实施例的临床人工智能辅助系统输出的操作设备检查界面示意 图；

[0045] 图12为本发明一实施例提供的操作设备的移动轨迹记录装置的结构示意图；

[0046] 图13示意性地示出了本发明实施例的一种计算机可读存储介质的结构示意图；

[0047] 图14示意性地示出了本发明实施例的一种计算设备的结构示意图。

[0048] 在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

[0049] 下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些 实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任
何 方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并 
且能够将本公开的范围完整地传达给本领域的技术人员。

[0050] 本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法 或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的 软件
(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

[0051] 根据本发明的实施方式，提出了一种操作设备的移动轨迹记录方法、装置、介质和 计算设备。

[0052] 在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何 命名都仅用于区分，而不具有任何限制含义。

[0053] 下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

[0054] 示例性方法

[0055] 下面参考图1，图1为本发明一实施例提供的操作设备的移动轨迹记录方法的流程 示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。

[0056] 图1所示的本发明一实施例提供的操作设备的移动轨迹记录方法的流程，包括：

[0057] 步骤S101，获取目标影像数据中在所述目标位置处进行标识的包围框数据；

[0058] 步骤S102，基于所述包围框数据，计算得到所述目标位置处的第一中心点数据；

[0059] 步骤S103，对所述第一中心点数据进行数据拟合以及插值操作，得到所述目标位置 处的第一中心点数据对应的第二中心点数据；

[0060] 步骤S104，从所述目标影像数据标识的目标中选取参照物；

[0061] 步骤S105，基于所述参照物对应的第二中心点数据，对所述目标影像数据标识的操 作设备的目标对应的第二中心点数据进行更新，并基于更新后的所述操作设备的目标
对 应的第二中心点数据计算得到所述操作设备的移动轨迹。

[0062] 本申请中提出的操作设备的移动轨迹记录方法应用在有限视野或操作环境复杂等应 用场景，对上述应用场景中采集到的影像数据进行目标检测，并对检测到的目标进行
目 标边界记录，上述应用场景包括但不限于手术室、检查间、建筑孔洞、机械检查场景等。

[0063] 本发明中可以对目标影像数据中的包围框数据进行数据拟合和插值操作等计算，得到 目标影像数据中多个不同目标对应的中心点数据，进而从多个目标中选出参照物，并
基 于参照物的中心点数据对操作设备对应的目标的中心点数据进行更新，从而基于更新
后 的操作设备对应的目标的中心点数据计算得到操作设备更加准确的移动轨迹。

[0064] 下面结合附图说明如何准确地计算操作设备的移动轨迹：

[0065] 本发明实施例中，目标影像数据可以为图像采集设备(如摄像机、内窥镜等)采集到的 图片或者视频数据。目标影像数据中通常包含检测到的一个或多个目标，且当检测到
多个目 标时，多个目标对应的目标类型可以为同一目标类型，也可以为多种不同的目标类
型。例如， 当目标影像数据为内窥镜采集的患者的腔内图像时，通常需要从腔内图像中检
测到病灶区域 等目标，且从同一目标影像数据中可以检测到一个或多个目标，可见，不同
的目标可以分别 对应不同的目标类型。

[0066] 本发明实施例中，在目标位置处进行标识的包围框(Bounding‑Box，BBox)可以为矩形 包围框或多边形包围框，以目标影像数据为依据，可以确定矩形包围框或多边形包围
框在目 标影像数据上的坐标数据，该坐标数据可以确定为目标位置处进行标识的包围框
的包围框数 据。并且第一中心点数据可以为矩形包围框或多边形包围框的中心点的坐标，
由于包围框本 身的大小和形状对研究包围框的运动没有影响或影响很小，因此可以用一
个包围框的中心点 来代替整个包围框，简化了对包围框运动的计算过程。

[0067] 本发明实施例中，可以从目标影像数据中包含的多种目标类型中选取一种目标类型对应 的目标作为参照物，例如，当目标影像数据为内窥镜采集的患者的腔内图像时，可
以将固定 在背景中的分类作为参照物(例如腔内、组织内背景毛细血管或切割后电烧组织
等)，并基 于参照物的第二中心点数据对操作设备(如手术器械等)或镜头位置对应的第二
中心点数据 进行转换，从而得到多种目标类型对应的目标基于参照物的移动轨迹。

[0068] 请参阅图2，图2为本发明另一实施例提供的操作设备的移动轨迹记录方法的流程 示意图，图2所示的本发明另一实施例提供的操作设备的移动轨迹记录方法的流程包括：

[0069] 步骤S201，获取目标影像数据中在所述目标位置处进行标识的包围框数据；

[0070] 步骤S202，基于所述包围框数据，计算得到所述目标位置处的第一中心点数据；

[0071] 步骤S203，对所述第一中心点数据进行数据拟合，得到所述第一中心点数据对应的 第一拟合中心点数据；

[0072] 步骤S204，对所述第一拟合中心点数据进行插值操作，得到所述目标位置处的第一 中心点数据对应的第二中心点数据。

[0073] 实施上述的步骤S203～步骤S204，可以对第一中心点数据进行拟合以及插值操作， 从而使得到的第二中心点数据更加准确且连贯。

[0074] 本发明实施例中，可以对第一中心点数据进行N次多项式拟合，得到拟合后的第一 拟合中心点数据，并且可以对第一拟合中心点数据进行插值操作，得到第一中心点数据 对
应的第二中心点数据，由于包围框是离散出现的在目标影像数据中的，即每帧图像中 不一
定都会出现包围框，因此如果要计算所有包围框的距离关系，则需要对没有包围框 数据的
部分进行插值操作。其中，插值操作可以为N次B样条插值，除此之外，还可以 通过拉格朗日
插值法或卡尔曼滤波等方式对第一拟合中心点数据实现插值操作。

[0075] 作为一种可选的实施方式，对所述第一中心点数据进行数据拟合，得到所述第一中 心点数据对应的第一拟合中心点数据的方式可以包含以下步骤：基于去噪算法对所述
第 一中心点数据进行去噪运算，得到去噪后的第一中心点数据；对去噪后的所述第一中心 
点数据进行数据拟合，得到第一拟合中心点数据。其中，实施这种实施方式，可以对第 一中
心点数据进行去噪运算，进而可以基于去噪后的第一中心点数据进行数据拟合，以 使得到
的第一拟合中心点数据的误差较小。

[0076] 本发明实施例中，由于目标影像数据中目标所在位置的改变是随着目标影像数据中 的目标的运动而发生的变化，可见用于标识目标的包围框是按一定概率离散出现的，表 
现在目标影像数据对应的时空坐标系中，包围框的输出通常是不连续的，因此要通过特 定
的去噪算法对目标影像数据对应的时间段内出现的包围框的第一中心点数据的噪音进 行
过滤，最终得到连续、平滑的包围框的第一中心点数据。

[0077] 具体的去噪方式可以为：遍历目标影像数据中的当前时刻数组t_arr确定遍历索引i， 并且生成两个数组t_plus_arr和t_min_arr：

[0078] t_plus_arr＝[t_arr[i]+1，t_arr[i]+2,...t_arr[i]+n]

[0079] t_min_arr＝[t_arr[i]‑1，t_arr[i]‑2,...t_arr[i]‑n]

[0080] 其中，n为限制过滤数据的间隔长度，如果数组t_plus_arr和数组t_min_arr中的任 一当前时刻对应的包围框数据如果没有超过设置的阈值，则可判断该当前时刻为噪音， 
即如果当前的遍历索引i对应的t_arr[i]是噪音，则删除t_arr[i]以及t_arr[i]对应的第
一中 心点数据，否则不对该遍历索引i对应的第一中心点数据进行处理；当通过上述方式
对 数组t_plus_arr和数组t_min_arr完成遍历时，可以得到完成遍历后的当前时刻数组t_
arr， 即完成遍历后的当前时刻数组t_arr对应的第一中心点数据为去噪后的第一中心点
数据。

[0081] 更进一步，目标影像数据中包含与所述第一中心点数据对应的当前时刻，所述第一 中心点数据包含中心点横向数据和中心点纵向数据，对去噪后的所述第一中心点数据
进 行数据拟合，得到第一拟合中心点数据的方式可以包含以下步骤：基于所述当前时刻对 
去噪后的所述第一中心点数据中的中心点横向数据进行数据拟合，得到所述中心点横向 
数据对应的横向拟合函数；基于所述当前时刻和所述横向拟合函数计算得到横向拟合数 
据；基于所述当前时刻对去噪后的所述第一中心点数据中的中心点纵向数据进行数据拟 
合，得到所述中心点纵向数据对应的纵向拟合函数；基于所述当前时刻和所述纵向拟合 函
数计算得到纵向拟合数据；将所述横向拟合数据和所述纵向拟合数据确定为所述第一 中
心点数据对应的第一拟合中心点数据。其中，实施这种实施方式，可以分别对第一中 心点
数据中包含的中心点横向数据和中心点纵向数据进行数据拟合的操作，从而得到横 向拟
合数据和纵向拟合数据，并且可以将横向拟合数据和纵向拟合数据综合确定为第一 拟合
中心点数据，以使第一拟合中心点数据更加准确。

[0082] 本发明实施例中，由于第一中心点数据可以包含中心点横向数据和中心点纵向数据， 因此可以对中心点横向数据以及中心点纵向数据分别进行拟合，以使得到的第一拟合
中 心点数据更加准确。可以先基于当前时刻对中心点横向数据进行N次多项式拟合，得到 
中心点横向数据对应的横向拟合函数，再将当前时刻输入至横向拟合函数中，可以通过 横
向拟合函数对当前时刻进行计算，得到与当前时刻对应的横向拟合数据；还可以先基 于当
前时刻对中心点纵向数据进行N次多项式拟合，得到中心点纵向数据对应的纵向拟 合函
数，再将当前时刻输入至纵向拟合函数中，可以通过纵向拟合函数对当前时刻进行 计算，
得到与当前时刻对应的纵向拟合数据；同一当前时刻对应的横向拟合数据和纵向 拟合数
据可以确定为当前时刻对应的拟合后的第一拟合中心点数据。

[0083] 作为一种可选的实施方式，对所述第一拟合中心点数据进行插值操作，得到所述目 标位置处的第一中心点数据对应的第二中心点数据的方式可以包含以下步骤：基于所
述 当前时刻、所述第一拟合中心点数据中的中心点横向数据以及预设参数，计算得到横向 
光滑样条曲线系数；基于所述当前时刻、所述第一拟合中心点数据中的中心点纵向数据 以
及所述预设参数，计算得到纵向光滑样条曲线系数；从所述目标影像数据包含的当前 时刻
中选取最大时刻和最小时刻；基于所述最大时刻和所述最小时刻，构建时间数据； 基于所
述时间数据和所述横向光滑样条曲线系数，对所述中心点横向数据进行插值操作， 得到插
值中心点横向数据；基于所述时间数据和所述纵向光滑样条曲线系数，对所述中 心点纵向
数据进行插值操作，得到插值中心点纵向数据；基于所述插值中心点横向数据 和所述插值
中心点纵向数据得到所述目标位置处的第一中心点数据对应的第二中心点数 据。其中，实
施这种实施方式，可以分别计算第一中心点数据中包含的中心点横向数据 和中心点纵向
数据的横向光滑样条曲线系数和纵向光滑样条曲线系数，进而可以基于横 向光滑样条曲
线系数和纵向光滑样条曲线系数分别进行插值操作，得到插值中心点横向 数据和插值中
心点纵向数据，以使根据插值中心点横向数据和插值中心点纵向数据生成 的第二中心点
数据更加连贯。

[0084] 本发明实施例中，可以分别对第一中心点数据中包含的中心点横向数据和中心点纵 向数据进行插值操作，即可以先确定预设参数，该预设参数可以为光滑样条曲线的基函 
数的次数的自定义参数，该光滑样条曲线的基函数可以为B样条基函数(B‑spline Basis
Functions)，基于目标影像数据中的当前时刻对应的区间上可以通过所有的B样条基函 数
组成一个线性空间。

[0085] 此外，由于目标影像数据中可以识别出一个或多个不同类型的目标，对于多种不同 类型的目标来说，一种类型的目标识别出来的移动轨迹应该是一条连贯的曲线，且多种 
类型的目标识别出来的多条曲线通常是不重合的曲线，因此，在对第一拟合中心点数据 进
行插值操作时，通常需要对第一拟合中心点数据按照目标的类型进行区分，即可以基 于目
标影像数据中任意一种类型的目标对应的第一拟合中心点数据中的中心点横向数据、 该
中心点横向数据对应的当前时刻、以及预设参数计算得到该任意一种类型的目标对应 的
横向光滑样条曲线系数，并且可以基于目标影像数据中任意一种类型的目标对应的第 一
拟合中心点数据中的中心点纵向数据、该中心点纵向数据对应的当前时刻、以及预设 参数
计算得到该任意一种类型的目标对应的纵向光滑样条曲线系数。

[0086] 本发明实施例中，由于上述计算得到的横向光滑样条曲线系数和纵向光滑样条曲线 系数都是分别与不同的目标类型对应的，因此，不同的目标在目标影像数据中出现的时 
刻可能存在不同，如果想要将不同目标类型对应的多条曲线整合到同一坐标系下，则需 要
获取到所有类型的目标的出现时刻和消失时刻，从多个出现时刻中选取时间最早的最 小
时刻，以及从多个消失时刻中选取时间最晚的最大时刻，基于最大时刻和最小时刻可 以构
建适用于所有目标类型对应的曲线的时间数据。

[0087] 更进一步，可以基于构建的时间数据和横向光滑样条曲线系数计算得到横向光滑样 条曲线，并且可以基于得到的横向光滑样条曲线获取导数值，并将得到的导数值覆盖至 
中心点横向数据，从而实现对中心点横向数据的插值操作，得到中心点横向数据对应的 插
值中心点横向数据；还可以基于构建的时间数据和纵向光滑样条曲线系数计算得到纵 向
光滑样条曲线，并且可以基于得到的纵向光滑样条曲线获取导数值，并将得到的导数 值覆
盖至中心点纵向数据，从而实现对中心点纵向数据的插值操作，得到中心点纵向数 据对应
的插值中心点纵向数据。

[0088] 此外，还可以获取时间数据中的任意时刻，由于目标影像数据中可以包含一种或多 种类型的目标，因此该任意时刻可以对应一种类型的目标对应的插值中心点横向数据
和 插值中心点纵向数据，此时，可以按照目标的类型的不同将插值中心点横向数据和插值 
中心点纵向数据，即可以将目标的类型相同的插值中心点横向数据和插值中心点纵向数 
据进行组合，得到该目标的类型的第一中心点数据对应的第二中心点数据，其中，在任 意
时刻上，目标影像数据中一种类型的目标仅能够对应一个目标位置，因此，得到的第 二中
心点数据也与该目标位置处的第一中心点数据对应。

[0089] 请一并参阅图3，图3为根据本发明的实施方式生成的目标影像数据中多个目标的第二 中心点数据的示意图；其中，t轴表示时间数据，通过x轴和y轴体现目标影像数据中不
同目 标的第二中心点数据对应的移动轨迹，曲线a可以表示目标影像数据中识别出的黄色
花椰菜 肿瘤这一目标的第二中心点数据对应的移动轨迹，曲线b可以表示目标影像数据中
识别出的 电刀(手术器械)这一目标的第二中心点数据对应的移动轨迹，曲线c可以表示目
标影像数 据中识别出的切割后的组织这一目标的第二中心点数据对应的移动轨迹。

[0090] 步骤S205，从所述目标影像数据标识的目标中选取参照物；

[0091] 步骤S206，基于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述 参照物之外的目标对应的第二中心点数据进行更新，得到更新后的所述目标对应的移
动 中心点数据；

[0092] 本发明实施例中，所述参照物之外的目标为所述操作设备、用于采集所述原始影像 数据的采集设备以及所述目标影像数据中目标位置处对应的操作目标中的至少一种。
可 见，目标影像数据中可以包含多种目标，进而可以从目标影像数据中同时计算得到多种 
不同的目标的移动轨迹，增加了计算得到的移动轨迹的多样性。

[0093] 可见，(1)当所述目标为操作设备时，基于所述参照物对应的第二中心点数据，对 所述目标影像数据中除所述参照物之外的目标对应的第二中心点数据进行更新，得到更 
新后的所述目标对应的移动中心点数据的方式可以包含以下步骤：从所述目标影像数据 
中获取所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据；基 
于所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据对所述操 
作设备对应的第二中心点数据进行更新，得到更新后的所述操作设备对应的移动中心点 
数据。其中，实施这种实施方式，可以当目标为操作设备时，基于更新后的参照物的第 二中
心点数据和操作设备的第二中心点数据对操作设备的第二中心点数据再次进行更新， 并
基于再次更新后的第二中心点数据计算得到操作设备的移动轨迹，提高了操作设备的 移
动轨迹的准确性。

[0094] 本发明实施例中，操作设备可以为电刀等手术器械，在实际中，操作设备在操作过 程中可以以固定不动的背景作为参照物，即参照物是固定不动的，只有操作设备在移动， 
因此，可以根据参照物确定操作设备与参照物之间的移动关系，可以从目标影像数据中 获
取到参照物的第二中心点数据和时间数组t_arr(时间数组t_arr包含时间数据t)，且 参照
物的第二中心点数据可以包含第二中心点横轴数据bg_x和第二中心点纵轴数据 bg_y，基
于第二中心点横轴数据bg_x可以得到第二中心点横轴数组bg_x_arr，以及基于 第二中心
点纵轴数据bg_y可以得到第二中心点纵轴数组bg_y_arr，还可以从目标影像数 据中获取
到操作设备的第二中心点数据，操作设备的第二中心点数据可以包含第二中心 点横轴数
据elec_x和第二中心点纵轴数据elec_y，基于操作设备的第二中心点横轴数据 elec_x可
以得到操作设备的第二中心点横轴数组elec_x_arr，以及基于操作设备的第二中 心点纵
轴数据elec_y可以得到操作设备的第二中心点纵轴数组elec_y_arr，以及可以基于 操作
设备的第二中心点数据遍历时间数组t_arr，获取到时间数组t_arr的索引index，还 可以
基于参照物的第二中心点横轴数组bg_x_arr和第二中心点纵轴数组bg_y_arr，计算 得到
操作设备对应的移动中心点横轴数组new_elec_x_arr和移动中心点纵轴数组 new_elec_
y_arr，移动中心点横轴数组new_elec_x_arr包含移动中心点横轴数据 new_elec_x，移动
中心点纵轴数组new_elec_y_arr包含移动中心点纵轴数据new_elec_y；

[0095] 具体的，操作设备对应的移动中心点横轴数据new_elec_x的计算方式可以为：

[0096] new_elec_y＝elec_y_arr[index]‑bg_y_arr[index]

[0097] 操作设备对应的移动中心点纵轴数据new_elec_y的计算方式可以为：

[0098] new_elec_x＝elec_x＝elec_x_arr[index]‑bg_x_arr[index]

[0099] 以及，基于得到的操作设备对应的移动中心点横轴数据new_elec_x得到操作设备对 应的移动中心点横轴数组new_elec_x_arr，以及基于得到的操作设备对应的移动中心
点纵 轴数据new_elec_y得到操作设备对应的移动中心点纵轴数组new_elec_y_arr，以及
将操 作设备对应的移动中心点横轴数组new_elec_x_arr中的移动中心点横轴数据和移动
中心 点横轴数组new_elec_y_arr中的移动中心点纵轴数据进行组合，可以得到操作设备
对应 的移动中心点数据。

[0100] (2)当所述目标为采集设备时，基于所述参照物对应的第二中心点数据，对所述目 标影像数据中除所述参照物之外的目标对应的第二中心点数据进行更新，得到更新后的 
所述目标对应的移动中心点数据的方式可以包含以下步骤：从所述目标影像数据中获取 
所述参照物对应的第二中心点数据以及所述采集设备对应的第二中心点数据；获取所述 
目标影像数据的宽和高；基于所述参照物对应的第二中心点数据、所述采集设备对应的 第
二中心点数据以及所述目标影像数据的宽和高对所述采集设备对应的第二中心点数据 进
行更新，得到更新后的所述采集设备对应的移动中心点数据。其中，实施这种实施方 式，可
以当目标为采集设备时，基于更新后的参照物的第二中心点数据、采集设备的第 二中心点
数据以及目标影像数据的宽和高对采集设备的第二中心点数据再次进行更新， 并基于再
次更新后的第二中心点数据计算得到采集设备的移动轨迹，提高了采集设备的 移动轨迹
的准确性。

[0101] 本发明实施例中，在实际中，采集设备拍摄到参照物是固定不动的，是采集设备在 移动，且采集设备的移动方向与参照物的移动方向是互逆的，即采集设备向上移动，参 照
物向下移动；采集设备向左移动，参照物向下移动，以此类推，可以确定采集设备与 参照物
之间的移动关系，进而可以获取到目标影像数据的宽w和高h，还可以从目标影 像数据中获
取到参照物的第二中心点数据和时间数组t_arr(时间数组t_arr包含时间数据 t)，且参照
物的第二中心点数据可以包含第二中心点横轴数据bg_x和第二中心点纵轴 数据bg_y，基
于第二中心点横轴数据bg_x可以得到第二中心点横轴数组bg_x_arr，以及 基于第二中心
点纵轴数据bg_y可以得到第二中心点纵轴数组bg_y_arr，以及可以基于采 集设备的第二
中心点数据遍历时间数组t_arr，获取到时间数组t_arr的索引index，可以 基于第二中心
点横轴数组bg_x_arr和第二中心点纵轴数组bg_y_arr，计算得到采集设备 对应的移动中
心点横轴数组cam_x_arr和移动中心点纵轴数组cam_y_arr，移动中心点横 轴数组cam_x_
arr包含移动中心点横轴数据cam_x，移动中心点纵轴数组cam_y_arr包含 移动中心点纵轴
数据cam_y；

[0102] 具体的，采集设备对应的移动中心点横轴数据cam_x的计算方式可以为：

[0103] cam_x＝w‑bg_x_arr[index]

[0104] 采集设备对应的移动中心点纵轴数据cam_y的计算方式可以为：

[0105] cam_y＝h‑bg_y_arr[index]

[0106] 以及，基于得到的采集设备对应的移动中心点横轴数据cam_x得到移动中心点横轴 数组cam_x_arr，以及基于得到的采集设备对应的移动中心点纵轴数据cam_y得到移动
中 心点纵轴数据cam_y_arr，以及将采集设备对应的移动中心点横轴数组cam_x_arr中的
移 动中心点横轴数据和移动中心点横轴数组cam_y_arr中的移动中心点纵轴数据进行组
合， 可以得到采集设备对应的移动中心点数据。

[0107] (3)当所述目标为操作目标时，基于所述参照物对应的第二中心点数据，对所述目 标影像数据中除所述参照物之外的目标对应的第二中心点数据进行更新，得到更新后的 
所述目标对应的移动中心点数据的方式可以包含以下步骤：从所述目标影像数据中获取 
所述参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据；基于所述 
参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据对所述操作目标 
对应的第二中心点数据进行更新，得到更新后的所述操作目标对应的移动中心点数据。 其
中，实施这种实施方式，可以当目标为操作目标时，基于更新后的参照物的第二中心 点数
据和操作目标的第二中心点数据对操作目标的第二中心点数据再次进行更新，并基 于再
次更新后的第二中心点数据计算得到操作目标的移动轨迹，提高了操作目标的移动 轨迹
的准确性。

[0108] 本发明实施例中，操作目标可以为息肉等病变部位，在实际中，操作设备在操作过 程中可以以固定不动的背景作为参照物，即在得知参照物的情况下，可以对手术器械的 操
作目标的移动中心点数据进行计算，得到真实的操作目标的移动中心点数据，可见， 可以
从目标影像数据中获取到参照物的第二中心点数据和时间数组t_arr(时间数组t_arr 包
含时间数据t)，且参照物的第二中心点数据可以包含第二中心点横轴数据bg_x和第 二中
心点纵轴数据bg_y，基于第二中心点横轴数据bg_x可以得到第二中心点横轴数组 bg_x_
arr，以及基于第二中心点纵轴数据bg_y可以得到第二中心点纵轴数组bg_y_arr， 还可以
从目标影像数据中获取到操作目标的第二中心点数据，操作目标的第二中心点数 据可以
包含第二中心点横轴数据polyp_x和第二中心点纵轴数据polyp_y，基于操作目标 的第二
中心点横轴数据polyp_x可以得到操作目标的第二中心点横轴数组polyp_x_arr， 以及基
于操作目标的第二中心点纵轴数据polyp_y可以得到操作目标的第二中心点纵轴 数组
polyp_y_arr，以及可以基于操作设备的第二中心点数据遍历时间数组t_arr，获取到 时间
数组t_arr的索引index，还可以基于参照物的第二中心点横轴数组bg_x_arr和第二 中心
点纵轴数组bg_y_arr，计算得到操作目标对应的移动中心点横轴数组 new_polyp_x_arr和
移动中心点纵轴数组new_polyp_y_arr，移动中心点横轴数组 new_polyp_x_arr包含移动
中心点横轴数据new_polyp_x，移动中心点纵轴数组 new_polyp_y_arr包含移动中心点纵
轴数据new_polyp_y；

[0109] 具体的，操作目标对应的移动中心点横轴数据new_polyp_x的计算方式可以为：

[0110] new_polyp_y＝polyp_y_arr[index]‑bg_y_arr[index]

[0111] 操作设备对应的移动中心点纵轴数据new_elec_y的计算方式可以为：

[0112] new_polyp_x＝polyp_x＝polyp_x_arr[index]‑bg_x_arr[index]

[0113] 以及，基于得到的操作目标对应的移动中心点横轴数据new_polyp_x得到操作目标 对应的移动中心点横轴数组new_polyp_x_arr，以及基于得到的操作目标对应的移动中 
心点纵轴数据new_polyp_y得到操作目标对应的移动中心点纵轴数组new_polyp_y_arr， 
以及将操作目标对应的移动中心点横轴数组new_polyp_x_arr中的移动中心点横轴数据 
和移动中心点横轴数组new_polyp_y_arr中的移动中心点纵轴数据进行组合，可以得到 操
作目标对应的移动中心点数据。

[0114] 步骤S207，基于更新后的所述目标影像数据中与操作设备的目标对应的移动中心点 数据，计算得到所述操作设备的移动轨迹。

[0115] 实施上述的步骤S206～步骤S207，可以从目标影像数据的多个目标中选取出参照物， 并且基于参照物的第二中心点数据对其他目标的第二中心点数据进行更新，并从更新
后 的第二中心点数据中计算得到操作设备的移动轨迹，以使得到的操作设备的移动轨迹
更 加清晰易理解。

[0116] 请一并参阅图4，图4为根据本发明的实施方式生成的以参照物的移动轨迹为依据的目 标影像数据中多个目标的移动轨迹图；其中，t轴表示时间数据，通过x轴和y轴体现目
标影 像数据中以参照物的移动轨迹为依据的多个不同目标的移动轨迹，曲线d可以表示以
参照物 的移动轨迹为依据计算得到的切割后的组织这一操作目标的移动轨迹，曲线e可以
表示以参 照物的移动轨迹为依据计算得到的操作设备的移动轨迹，曲线f可以表示以参照
物的移动轨 迹为依据计算得到的执行过插值操作的操作设备的移动轨迹。

[0117] 请参阅图5，图5为本发明另一实施例提供的操作设备的移动轨迹记录方法的流程 示意图，图5所示的本发明另一实施例提供的操作设备的移动轨迹记录方法的流程包括：

[0118] 步骤S501，通过实例分割模型对所述操作设备的原始影像数据进行目标检测，得到 所述原始影像数据中的所述目标位置处显示矩形包围框和/或所述目标位置处显示多
边 形包围框的目标影像数据；

[0119] 步骤S502，基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框 和/或所述目标位置处显示的多边形包围框，构建第一类型映射子字典和/或第二类型
映射 子字典；

[0120] 步骤S503，基于所述第一类型映射子字典和/或所述第二类型映射子字典，生成类型 映射字典。

[0121] 实施上述的步骤S501～步骤S503，可以通过实例分割模型对原始影像数据进行目标 检测，并且可以在检测出的目标位置处显示矩形包围框和/或多边形包围框，还可以基
于 目标位置处显示矩形包围框和/或多边形包围框构建类型映射字典，从而得到的类型映
射 字典的信息更加全面。

[0122] 本发明实施例中，实例分割(Instance Segmentation)模型可以通过神经网络构建，原始 影像数据可以为图像采集设备(如摄像机、内窥镜等)采集到的图片或者视频数
据。原始影 像数据中通常包含需要检测的目标，例如，当原始影像数据为内窥镜采集的患
者的腔内图像 时，通常需要从腔内图像中检测到病灶区域等目标，且从同一原始影像数据
中可以检测到一 个或多个目标，可见，不同的目标可以分别对应不同的目标类型。

[0123] 作为一种可选的实施方式，基于时序遍历所述目标影像数据中的所述目标位置处显 示的矩形包围框和/或所述目标位置处显示的多边形包围框，构建第一类型映射子字典
和 /或第二类型映射子字典的方式可以包含以下步骤：基于时序遍历所述目标影像数据中
的 所述目标位置处显示的矩形包围框，构建包含所述矩形包围框的包围框数据的第一类
型 映射子字典；和/或基于时序遍历所述目标影像数据中的所述目标位置处显示的多边形
包 围框，构建包含所述多边形包围框的包围框数据的第二类型映射子字典。其中，实施这 
种实施方式，可以分别构建矩形包围框和多边形包围框的第一类型映射字典和第二类型 
映射子字典，以使不同形状的包围框对应的类型映射字典可以进行区分，提升了类型映 射
字典的多样性。

[0124] 本发明实施例中，第一类型映射字典可以表示矩形包围框标识的目标的目标类型、当 前时刻以及矩形包围框的包围框数据之间的映射关系，进而可以基于第一类型映射
字典 将矩形包围框的包围框数据与矩形包围框标识的目标的目标类型进行关联存储；第
二类 型映射字典可以表示多边形包围框标识的目标的目标类型、当前时刻以及多边形包
围框 的包围框数据之间的映射关系，进而可以基于第二类型映射字典将多边形包围框的
包围 框数据与多边形包围框标识的目标的目标类型进行关联存储。

[0125] 此外，当原始影像数据中仅存在矩形包围框时，类型映射字典即为第一类型映射字 典；当原始影像数据中仅存在多边形包围框时，类型映射字典即为第二类型映射字典； 
当原始影像数据中既存在矩形包围框也存在多边形包围框时，类型映射字典为第一类型 
映射字典和第二类型映射字典的总和。

[0126] 可选的，基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框， 构建包含所述矩形包围框的包围框数据的第一类型映射子字典的方式可以包含以下
步骤： 从所述目标影像数据中获取基于时序的与所述目标位置处显示的矩形包围框对应
的第一 检测内容数据；所述第一检测内容数据中至少包含所述矩形包围框标识的目标的
第一目 标类型、第一当前时刻以及第一边界数据；所述第一边界数据为所述矩形包围框的
包围 框数据；基于时序遍历所述第一检测内容数据，构建第一类型映射子字典；所述第一
类 型映射子字典中至少包含一个第一时间映射字典，所述第一时间映射字典与第一目标
类 型一一对应，且任意两个第一时间映射字典对应的第一目标类型不同。其中，实施这种 
实施方式，可以基于矩形包围框标识的目标的第一目标类型、第一当前时刻以及该矩形 包
围框的第一边界数据构建第一类型映射字典，保证了第一类型映射字典包含的数据的 全
面性。

[0127] 更进一步，基于时序遍历所述第一检测内容数据，构建第一类型映射子字典的方式 可以包含以下步骤：基于时序遍历所述第一检测内容数据，构建第一时间映射字典，所 
述第一时间映射字典中包含至少一个第一当前时刻与第一边界数据的时间键值对，其中， 
所述时间键值对中的第一当前时刻与第一边界数据从同一第一检测内容数据中获取；基 
于所述第一检测内容数据和所述第一时间映射字典，构建第一类型映射子字典，所述第 一
类型映射子字典中包含至少一个第一目标类型与第一时间映射字典的类型键值对，所 述
第一目标类型与所述第一时间映射字典中的第一当前时刻和第一边界数据属于同一第 一
检测内容数据。其中，实施这种实施方式，可以基于第一当前时刻和第一边界数据构 建第
一时间映射字典，并且可以基于第一时间映射字典和第一目标类型构建第一类型映 射字
典，以使第一类型映射字典中的数据结构更加清晰。

[0128] 本发明实施例中，可以创建第一类型映射子字典coord_dict1，第一类型映射子字典 coord_dict1可以存储第一目标类型label1与第一时间映射字典temp_coord1的类型键
值 对，即：coord_dict1[label1]＝temp_coord1，第一时间映射字典temp_coord1中可以为
第 一当前时刻t与第一边界数据的时间键值对，第一边界数据可以通过矩形包围框的宽w 
和高h以及矩形包围框左上角横轴数据x和纵轴数据y计算得到；第一时间映射字典 temp_
coord1具体可以为：

[0129] temp_coord1["t"]＝[t1,t2,...tn]

[0130] temp_coord1["left_top"]＝[(x1,y1),(x2,y2),...(xn,yn)]

[0131] temp_coord1["right_top"]＝[(x1+w1,y1),(x2+w2,y2),...(xn+wn,yn)]

[0132] temp_coord1["left_bottom"]＝[(x1,y1+h1),(x2,y2+h2),...(xn,yn+hn)]

[0133] temp_coord1["right_bottom"]＝[(x1+w1,y1+h1),(x2+w2,y2+h2),...(xn+w2,yn+hn)]

[0134] 其中，n可以为目标影像数据中当前时刻的最大值。

[0135] 请一并参阅图6和图7，图6为根据本发明的实施方式输出的原始影像数据中多个 目标对应的矩形包围框的第一边界数据的示意图；其中，“●”表示的可以为标识黄色 花椰
菜肿瘤这一目标的矩形包围框的第一边界数据的位置示意图(即矩形包围框的四个 顶点
的位置示意图)；“▲”表示的可以为标识电刀这一目标的矩形包围框的第一边界 数据的位
置示意图(即矩形包围框的四个顶点的位置示意图)；“■”表示的可以为标 识切割后组织
这一目标的矩形包围框的第一边界数据的位置示意图(即矩形包围框的四 个顶点的位置
示意图)。

[0136] 图7为根据本发明的实施方式输出的原始影像数据中多个目标对应的矩形包围框的 包围框数据的示意图；图7中将图6中包含的黄色花椰菜肿瘤对应的矩形包围框的第一 
边界数据进行了连接，形成了标识黄色花椰菜肿瘤的矩形包围框；也将图6中包含的电 刀
对应的矩形包围框的第一边界数据进行了连接，形成了标识电刀的矩形包围框；还将 图6
中包含的切割后组织对应的矩形包围框的第一边界数据进行了连接，形成了标识切 割后
组织的矩形包围框。

[0137] 可选的，基于时序遍历所述目标影像数据中的所述目标位置处显示的多边形包围框， 构建包含所述多边形包围框的包围框数据的第二类型映射子字典的方式可以包含以
下步 骤：从所述目标影像数据中获取基于时序的与所述目标位置处显示的多边形包围框
对应 的第二检测内容数据；所述第二检测内容数据中至少包含所述多边形包围框标识的
目标 的第二目标类型、第二当前时刻以及第二边界数据；所述第二边界数据为所述多边形
包 围框的包围框数据；对所述第二检测内容数据中的所述第二边界数据进行压缩，得到压 
缩后的第二检测内容数据；基于压缩后的所述第二检测内容数据中的第二边界数据，计 算
得到所述第二边界数据对应的近似边界数据；基于时序遍历所述第二检测内容数据和 所
述近似边界数据，构建第二类型映射子字典；所述第二类型映射子字典中至少包含一 个第
二时间映射字典，所述第二时间映射字典与第二目标类型一一对应，且任意两个第 二时间
映射字典对应的第二目标类型不同。其中，实施这种实施方式，可以对多边形包 围框的包
围框数据进行压缩得到第二检测内容数据，再对第二检测内容数据进行近似运 算，得到近
似边界数据，再基于第二检测内容数据和近似边界数据构建第二类型映射字 典，保证了第
二类型映射字典中包含的数据的标准性。

[0138] 更进一步，基于时序遍历所述第二检测内容数据和所述近似边界数据，构建第二类 型映射子字典的方式可以包含以下步骤：基于时序遍历所述第二检测内容数据和所述
近 似边界数据，构建第二时间映射字典，所述第二时间映射字典中包含至少一个第二当前 
时刻与近似边界数据的时间键值对，其中，所述时间键值对中的第二当前时刻与近似边 界
数据从同一第二检测内容数据中获取；基于所述第二检测内容数据和所述第二时间映 射
字典，构建第二类型映射子字典，所述第二类型映射子字典中包含至少一个第二目标 类型
与第二时间映射字典的类型键值对，所述第二目标类型与所述第二时间映射字典中 的第
二当前时刻和近似边界数据属于同一第二检测内容数据。其中，实施这种实施方式， 可以
基于第二检测内容数据和第近似边界数据构建第二时间映射字典，并且可以基于第 二时
间映射字典和第二目标类型构建第二类型映射字典，以使第二类型映射字典中的数 据结
构更加清晰。

[0139] 本发明实施例中，可以创建第二类型映射子字典coord_dict2，第二类型映射子字典 coord_dict2可以存储第二目标类型label2与第二时间映射字典temp_coord2的类型键
值 对，即：coord_dict2[label2]＝temp_coord2，第二时间映射字典temp_coord2中可以为
第 二当前时刻t与第二边界数据的时间键值对，第二边界数据可以通过计算得到的多边形 
包围框的左上角数据left_top、右上角数据right_top、左下角数据left_bottom以及右下
角 数据right_bottom得到；第二时间映射字典temp_coord2具体可以为：

[0140] temp_coord["left_top"]＝[left_top_coord1,left_top_coord2,...,left_top_coordn]

[0141] temp_coord["right_top"]＝[right_top_coord1,right_top_coord2,...,right_top_coordn]

[0142] temp_coord[left_bottom]＝[left_bottom_coord1,left_bottom_coord2,...,left_bottom_coordn]

[0143] temp_coord["right_bottom"]

[0144] ＝[right_bottom_coord1,right_bottom_coord2,...,right_bottom_coordn]

[0145] 其中，n可以为目标影像数据中当前时刻的最大值。

[0146] 此外，对所述第二检测内容数据中的所述第二边界数据进行压缩，得到压缩后的第 二检测内容数据的方式可以包含以下步骤：对所述第二检测内容数据的所述第二边界
数 据进行压缩处理，得到所述第二边界数据对应的一维压缩边界数据；对所述一维压缩边 
界数据进行还原处理，得到所述一维压缩边界数据对应的一维还原边界数据；对所述一 维
还原边界数据进行计算，得到压缩后的第二边界数据；通过所述压缩后的第二边界数 据对
所述第二检测内容进行更新，得到压缩后的第二检测内容数据。其中，实施这种实 施方式，
可以对第二检测内容数据中的第二边界数据进行压缩得到一维压缩边界数据， 再对一维
压缩边界数据进行还原处理，得到一维还原边界数据，还可以对一维还原边界 数据进行计
算得到压缩后的第二边界数据，以使第二检测内容数据中的第二边界数据更 加准确。

[0147] 更进一步，对所述第二检测内容数据的所述第二边界数据进行压缩处理，得到所述 第二边界数据对应的一维压缩边界数据的方式可以包含以下步骤：获取所述目标影像
数 据的宽和高，并确定压缩步长；基于所述目标影像数据的宽和高以及所述压缩步长，计 
算得到初始化长度；创建与所述第二边界数据对应的一维压缩边界数据，所述一维压缩 边
界数据的长度为所述初始化长度；基于所述压缩步长和所述原始图像数据的宽对所述 第
二检测内容数据的所述第二边界数据进行压缩计算，得到所述第二边界数据对应的第 一
索引值；基于所述第二边界数据和所述第一索引值计算得到所述一维压缩边界数据中 与
所述第一索引值对应的压缩边界数据。其中，实施这种实施方式，可以基于目标影像 数据
的宽和以及压缩步长对第二边界数据进行压缩处理，以使得到的一维压缩边界数据 更加
准确。

[0148] 本发明实施例中，获取目标影像数据的宽w和高h，并获取指定的压缩步长m，该 压缩步长m可以为邻接像素的间隔，并且可以创建第二边界数据对应的一维压缩边界数 据
count_list，该一维压缩边界数据count_list的初始长度Len1可以基于目标影像数据的 
宽w和高h以及压缩步长m计算得到，初始长度Len1的计算方式可以为：

[0149]

[0150] 其中， 和 定义为上取整，一维压缩边界数据count_list的初始值默认为0；

[0151] 以及，遍历第二边界数据，得到第二边界数据的每个坐标点point＝(x，y)，x为第 二边界数据坐标点的横轴数据，y为第二边界数据坐标点的纵轴数据，进而可以对第二 边
界数据的坐标点point进行压缩操作，得到第二边界数据对应的第一索引值index1，第 一
索引值index1的计算方式可以为：

[0152]

[0153] 对一维压缩边界数据count_list中第index1个数进行加1操作，关系为： count_list[index1]＝count_list[index1]+1，遍历第二边界数据的每个坐标点point后，可以 
得到压缩后的一维压缩边界数据count_list。

[0154] 更进一步，对所述一维压缩边界数据进行还原处理，得到所述一维压缩边界数据对 应的一维还原边界数据的方式可以包含以下步骤：创建与所述一维压缩边界数据对应
的 一维还原边界数据，所述一维还原边界数据的长度为所述原始影像数据的宽和高的乘
积； 基于所述压缩步长和所述目标图像数据的宽对所述一维压缩边界数据进行还原计算，
得 到所述一维压缩边界数据对应的第二索引值；基于所述一维压缩边界数据和所述第二
索 引值计算得到所述一维还原边界数据中与所述第二索引值对应的还原边界数据。其中， 
实施这种实施方式，可以得到与一维压缩边界数据对应的一维还原边界数据，并且可以 基
于压缩步长和目标图像数据的宽对一维压缩边界数据进行还原计算得到第二索引值， 进
而可以基于第二索引值确定一维压缩边界数据对应的一维还原边界数据，提升了一维 还
原边界数据的准确性。

[0155] 本发明实施例中，由于一维压缩边界数据count_list是压缩后的数据，因此，要对其 进行还原，以得到真实比例的移动轨迹；可以创建一个与一维压缩边界数据count_list
对 应的一维还原边界数据count_list_raw，一维还原边界数据count_list_raw的初始长
度Len2 为：Len2＝h*w，一维还原边界数据count_list_raw的数据默认为0；以及遍历一维
压缩边 界数据count_list，如果一维压缩边界数据count_list中的数据大于0，则进行一
维压缩边 界数据count_list对应的第二索引值index2的运算：

[0156]

[0157] 其中， 和 定义为下取整符号，i为当前遍历数组count_list的索引，mod 为取余符号，并对一维还原边界数据count_list_raw中第index2个元素进行赋值，值为一 维
压缩边界数据count_list中第i个元素，关系为：

[0158] count_list_new[index2]＝count_list[i]+1

[0159] 遍历一维压缩边界数据count_list后，可以得到实际目标影像数据大小的一维还原边 界数据count_list_raw。

[0160] 更进一步，对所述一维还原边界数据进行计算，得到压缩后的第二边界数据的方式 可以包含以下步骤：基于时序遍历所述一维还原边界数据，得到索引数据，所述索引数 
据对应的一维还原边界数据大于预设值；基于所述索引数据和所述一维还原边界数据， 计
算得到压缩后的横向移动数据和纵向移动数据；通过所述横向移动数据和所述纵向移 动
数据生成压缩后的第二边界数据。其中，实施这种实施方式，可以对一维还原边界数 据进
行筛选，得到索引数据，并且可以基于索引数据以及一维还原边界数据计算得到压 缩后的
横向移动数据和纵向移动数据，以使压缩后的横向移动数据和纵向移动数据作为 第二边
界数据，保证了第二边界数据的可靠性。

[0161] 本发明实施例中，基于时序遍历一维还原边界数据count_list_raw，将一维还原边界 数据count_list_raw中大于0的数据的索引值组成的索引数据index_arr，进而遍历
索引数 据index_arr，得到坐标索引值index，并基于坐标索引值index以及一维还原边界
数据 count_list_raw计算得到压缩后的横向移动数据x_arr_new＝index mod w和纵向移
动数据 

[0162] 作为一种可选的实施方式，基于压缩后的所述第二检测内容数据中的第二边界数据， 计算得到所述第二边界数据对应的近似边界数据的方式可以包含以下步骤：从所述压
缩 后的第二检测内容数据的第二边界数据中获取各个第二当前时刻对应的目标的顶点移
动 数据；计算各个所述第二边界数据距所述顶点移动数据的距离；基于所述距离最小的第 
二边界数据，计算得到所述第二边界数据对应的近似边界数据。其中，实施这种实施方 式，
可以从第二边界数据中获取各个第二当前时刻对应的目标的顶点移动数据，并基于 第二
边界数据距顶点移动数据的距离最小的第二边界数据计算得到近似边界数据，提高 了近
似边界数据的可信度。

[0163] 本发明实施例中，遍历多边形包围框的第二检测内容数据的第二边界数据，获取多 边形包围框的第二边界数据中的横向数组x_arr和纵向数组y_arr，内容如下：

[0164] x_arrn＝[x1,x2,…,xn]

[0165] y_arrn＝[y1,y2,...,yn]

[0166] 可以先从压缩后的第二检测内容数据的第二边界数据中获取各个第二当前时刻对应 的目标的四个顶点坐标：

[0167] x_left＝argmin(x_arr)

[0168] x_right＝argmax(x_arr)

[0169] y_top＝argmax(y_arr)

[0170] y_bottom＝argmin(y_arr)

[0171] 其中，argmin为获取数组最小值的函数，argmax为获取数组最大值的函数，则可以 基于四个顶点坐标确定四个顶点移动数据：

[0172] left_top＝[x_left,y_top]

[0173] left_bottom＝[x_left,y_bottom]

[0174] right_top＝[x_right,y_top]

[0175] right_bottom＝[x_right,y_bottom]

[0176] 此外，还可以计算得到多边形包围框的第二边界数据中的横向数组x_arr和纵向数组 y_arr中每个节点到四个顶点移动数据的距离distance，公式如下：

[0177]

[0178] {i:0

[0179] 可以将结果distance(pi)分别存储到：左上数组left_top_arr、右上数组right_top_arr、 左下数组left_bottom_arr以及右下数组right_bottom_arr。

[0180] 可选的，一个所述目标对应四个所述顶点移动数据，基于所述距离最小的第二边界 数据，计算得到所述第二边界数据对应的近似边界数据的方式可以包含以下步骤：基于 
所述距离最小的第二边界数据，计算得到所述第二边界数据中的所述目标对应的四个边 
界数据；当所述四个边界数据均为不同的数据或所述四个边界数据中存在三个边界数据 
的数据不同时，将所述四个边界数据确定为近似边界数据。其中，实施这种实施方式， 可以
基于距离最小的第二边界数据，计算得到第二边界数据中的目标对应的四个边界数 据，只
有当四个边界数据符合预定的规则时，才可以将该四个边界数据确定为近似边界 数据，保
证了近似边界数据的准确性。

[0181] 本发明实施例中，依次从左上数组left_top_arr、右上数组right_top_arr、左下数组 left_bottom_arr以及右下数组right_bottom_arr中分别确定距四个顶点移动数据
的距离最 小的四个边界数据，具体为：获取左上数组left_top_arr中距离最小的数据的索
引 left_top_index，将该索引left_top_index带入x_arr和y_arr得到距离左上顶点移动
数据最 近的一个边界数据的坐标left_top_coord，其中关系如下：

[0182] left_top_coord＝(x_arr[left_top_index],y_arr[left_top_index])

[0183] 获取右上数组right_top_arr中距离最小的数据的索引right_top_index，将该索引 right_top_index带入x_arr和y_arr得到距离右上顶点移动数据最近的一个边界数据
的坐 标right_top_coord，其中关系如下：

[0184] right_top_coord＝(x_arr[right_top_index],y_arr[right_top_index])

[0185] 获取左下数组left_bottom_arr中距离最小的数据的索引left_bottom_index，将该索引 left_bottom_index带入x_arr和y_arr得到距离左下顶点移动数据最近的一个边
界数据的 坐标left_bottom_coord，其中关系如下：

[0186] left_bottom_coord＝(x_arr[left_bottom_index],y_arr[left_bottom_index])

[0187] 获取右下数组right_bottom_arr中距离最小的数据的索引right_bottom_index，将该索 引right_bottom_index带入x_arr和y_arr得到距离右下顶点移动数据最近的一个
边界数 据的坐标right_bottom_coord。

[0188] right_bottom_coord＝(x_arr[right_bottom_index],y_arr[right_bottom_index])

[0189] 其中，通过比较距离多边形包围框顶点最近的四个边界数据：left_top_coord、right_top_coord、left_bottom_coord以及right_bottom_coord，如果上述四个边界数据
在不 同的坐标，则该多边形包围框为四边形的包围框，并将上述四个边界数据确定为近似
边 界数据；如果上述四个边界数据有两个边界数据在同一个坐标，则该多边形包围框为三 
角形的包围框，并将上述坐标不同的三个边界数据确定为近似边界数据；如果上述四个 边
界数据仅包含两个不同的坐标，则不对该多边形包围框进行处理。

[0190] 步骤S504，基于类型映射字典获取目标影像数据中在所述目标位置处进行标识的包 围框数据。

[0191] 实施上述的步骤S504，可以对目标影像数据中识别得到的每个目标都通过包围框进 行标识，并且可以根据每个目标及其包围框数据构建类型映射字典，进而可以从类型映 
射字典中获取到需要使用的目标所在位置处对应的包围框数据，保证了获取的包围框数 
据的准确性。

[0192] 步骤S505，基于所述包围框数据，计算得到所述目标位置处的第一中心点数据；

[0193] 本发明实施例中，当包围框为三角形时，则三角形包围框的第一中心点数据对应的 坐标为三角形各顶点到对边中点产生的直线的交点的坐标。当包围框为四边形时，可以 
先计算得到四条边的中点，即四边形左边中点lm、四边形右边中点rm、四边形上边中点 tm
以及四边形下边中点bm，并且可以将lm与rm连接得到直线L1，将tm与bm连接得 到直线L2，
以及将L1和L2的交点的坐标确定为四边形包围框的第一中心点数据对应的 坐标。

[0194] 步骤S506，对所述第一中心点数据进行数据拟合以及插值操作，得到所述目标位置 处的第一中心点数据对应的第二中心点数据；

[0195] 步骤S507，从所述目标影像数据标识的目标中选取参照物；

[0196] 步骤S508，基于所述参照物对应的第二中心点数据，对所述目标影像数据标识的操 作设备的目标对应的第二中心点数据进行更新，并基于更新后的所述操作设备的目标
对 应的第二中心点数据计算得到所述操作设备的移动轨迹。

[0197] 请一并参阅图8和图9，图8为根据本发明的实施方式输出的原始影像数据中多个 目标对应的多边形包围框的第二边界数据的示意图；其中，“●”表示的可以为标识黄 色花
椰菜肿瘤这一目标的多边形包围框的第二边界数据的位置示意图(即多边形包围框 的四
个顶点的位置示意图)；“▲”表示的可以为标识电刀这一目标的多边形包围框的 第二边界
数据的位置示意图(即多边形包围框的四个顶点的位置示意图)；“■”表示 的可以为标识
切割后组织这一目标的多边形包围框的第二边界数据的位置示意图(即多 边形包围框的
四个顶点的位置示意图)。

[0198] 图9为根据本发明的实施方式输出的原始影像数据中多个目标对应的多边形包围框 的包围框数据的示意图；图9中将图8中包含的黄色花椰菜肿瘤对应的多边形包围框的 
第二边界数据进行了连接，形成了标识黄色花椰菜肿瘤的多边形包围框；也将图8中包 含
的电刀对应的多边形包围框的第二边界数据进行了连接，形成了标识电刀的多边形包 围
框；还将图8中包含的切割后组织对应的多边形包围框的第二边界数据进行了连接， 形成
了标识切割后组织的多边形包围框。

[0199] 请一并参阅图10和图11，图10为本发明一实施例提供的临床人工智能辅助系统的 界面示意图，图11为基于本发明实施例的临床人工智能辅助系统输出的操作设备检查界 
面示意图；其中，图10对应的临床人工智能辅助系统可以用于控制操作设备对患者的腔 内
病变部位进行智能识别，图11可以为操作设备对患者的腔内病变部位进行智能识别时 的
检查界面。

[0200] 具体的，图10中可以包含5个区域，区域①可以为时间选择区域，区域②可以为患 者搜索区域，区域③可以为系统管理区域，区域④可以为异常组织区域，区域⑤可以为 参
数设置区域；其中，区域①可以根据输入的时间来选择查看的患者并将患者信息展示 给系
统使用者(如医生)；区域②至少可以包含患者搜索子区域和患者信息输出子区域， 患者搜
索子区域可以对系统使用者输入的患者名字来快速查询到这个患者的病例信息， 患者信
息输出子区域可以输出搜索到的患者的病例信息；区域③至少可以包含新建患者 子区域、
系统连接子区域、系统信息子区域、系统操作子区域，其中，新建患者子区域 可以当确定未
查询到当前患者的病例信息或系统没有连接工作站系统时，根据系统使用 者输入的患者
信息进行患者病例信息的创建；系统连接子区域可以将当前系统与工作站 系统进行连接；
系统信息子区域可以输出关于临床人工智能辅助系统的版本号、公司简 介、版权声明等信
息；系统操作子区域可以对系统使用者输入的指令进行响应，从而实 现系统界面的最小
化、大小切换或关闭等操作；区域④至少可以包括名称子区域和异常 组织截图暂存子区
域，名称子区域可以输出异常组织截图暂存子区域中异常组织的名称， 异常组织截图暂存
子区域可以输出患者体内疑似病变区域的截图；区域⑤至少可以包括 透明度子区域、自动
新建子区域、识别概率子区域、截图概率子区域、自动截图子区域、 视频播放子区域、直播
子区域以及存储子区域，其中，透明度子区域可以用于设置覆盖 患者体内病变区域的掩码
的透明度；自动新建子区域可以用于在没有连接工作站或者忘 记新建患者直接作检查时，
自动新建一个名字为未定义的患者信息；识别概率子区域可 以用于设置临床人工智能辅
助系统对于患者的病变区域的识别概率；截图概率子区域可 以用于设置截图概率，当系统
识别到的病变区域的病变概率达到截图概率时对病变区域 进行截图；自动截图子区域可
以用于设置系统自动毒病变区域进行截图；视频播放子区 域可以用于选择需要查看的患
者检查过程的视频，并将该视频进行输出播放；直播子区 域可以用于在系统与工作站处于
连接状态时，当患者信息传输进来之后，直接打开直播 页面；存储子区域可以用于选择需
要保存/删除的影像信息进行保存/删除。

[0201] 图10所示的临床人工智能辅助系统可以对操作设备进行控制，并且可以执行图1和 图2中的基于目标检测的目标边界记录方法的任意步骤。

[0202] 此外，图11中可以包含4个区域，区域A可以为结果识别区域，区域B可以为内 镜视野区域，区域C可以为提示区域，区域D可以为图片暂存区域，其中：区域A至少 可以包括病
变概率子区域、电刀概率子区域、电烧出血概率子区域以及视野提示子区域， 病变概率子
区域可以用于依据预先设置的识别概率判断病变区域，并输出病变概率和结 论；电刀概率
子区域可以用于识别手术器具，并且输出手术器具的识别概率和结论；电 烧出血概率子区
域可以用于依据预先设置的识别概率判断出血区域或烧伤区域，并输出 出血概率/烧伤概
率和结论；视野提示子区域可以用于提示当前内镜的视野清晰度；区域 B可以输出内镜采
集到的患者的腔内图像，并且在识别出病变区域、出血区域或烧伤区 域时，在病变区域、出
血区域或烧伤区域上依据预先设置的透明度输出掩码；区域C可 以对内镜采集到的患者的
腔内图像进行检测，并将检测得到的结论进行输出；区域D可 以将系统截图得到的患者的
腔内图像的截图进行至的存储，并输出在区域D中。

[0203] 本发明可以基于更新后的操作设备对应的目标的中心点数据计算得到操作设备更加 准确的移动轨迹。此外，本发明还可以使得到的第二中心点数据更加准确且连贯。此
外， 本发明还可以使得到的第一拟合中心点数据的误差较小。此外，本发明还可以使第一
拟 合中心点数据更加准确。此外，本发明还可以使根据插值中心点横向数据和插值中心点 
纵向数据生成的第二中心点数据更加连贯。此外，本发明还可以使得到的操作设备的移 动
轨迹更加清晰易理解。此外，本发明还可以增加了计算得到的移动轨迹的多样性。此 外，本
发明还可以提高了操作设备的移动轨迹的准确性。此外，本发明还可以提高了采 集设备的
移动轨迹的准确性。此外，本发明还可以提高了操作目标的移动轨迹的准确性。 此外，本发
明还可以保证了获取的包围框数据的准确性。此外，本发明还可以使得到的 类型映射字典
的信息更加全面。此外，本发明还可以提升了类型映射字典的多样性。此 外，本发明还可以
保证了第一类型映射字典包含的数据的全面性。此外，本发明还可以 使第一类型映射字典
中的数据结构更加清晰。此外，本发明还可以保证了第二类型映射 字典中包含的数据的标
准性。此外，本发明还可以使第二类型映射字典中的数据结构更 加清晰。此外，本发明还可
以使第二检测内容数据中的第二边界数据更加准确。此外， 本发明还可以使得到的一维压
缩边界数据更加准确。此外，本发明还可以提升了一维还 原边界数据的准确性。此外，本发
明还可以保证了第二边界数据的可靠性。此外，本发 明还可以提高了近似边界数据的可信
度。此外，本发明还可以保证了近似边界数据的准 确性。

[0204] 示例性装置

[0205] 在介绍了本发明示例性实施方式的方法之后，接下来，参考图12对本发明示例性实 施方式的一种操作设备的移动轨迹记录装置进行说明，该装置包括：

[0206] 获取单元1201，用于获取目标影像数据中在所述目标位置处进行标识的包围框数据；

[0207] 计算单元1202，用于基于获取单元1201获取的所述包围框数据，计算得到所述目 标位置处的第一中心点数据；

[0208] 操作单元1203，用于对计算单元1202得到的所述第一中心点数据进行数据拟合以 及插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据；

[0209] 选取单元1204，用于从所述目标影像数据标识的目标中选取参照物；

[0210] 更新单元1205，用于基于选取单元1204选取的所述参照物对应的操作单元1203中的第 二中心点数据，对所述目标影像数据标识的操作设备的目标对应的第二中心点数据
进行 更新，并基于更新后的所述操作设备的目标对应的第二中心点数据计算得到所述操
作设 备的移动轨迹。

[0211] 示例性介质

[0212] 在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图13对本发明示 例性实施方式的计算机可读存储介质进行说明，请参考图13，其示出的计算机可读存储 
介质为光盘130，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器 运行
时，会实现上述方法实施方式中所记载的各步骤，例如，获取目标影像数据中在所 述目标
位置处进行标识的包围框数据；基于所述包围框数据，计算得到所述目标位置处 的第一中
心点数据；对所述第一中心点数据进行数据拟合以及插值操作，得到所述目标 位置处的第
一中心点数据对应的第二中心点数据；从所述目标影像数据标识的目标中选 取参照物；基
于所述参照物对应的第二中心点数据，对所述目标影像数据标识的操作设 备的目标对应
的第二中心点数据进行更新，并基于更新后的所述操作设备的目标对应的 第二中心点数
据计算得到所述操作设备的移动轨迹；各步骤的具体实现方式在此不再重 复说明。

[0213] 需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机 存取
存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记 忆体或其
他光学、磁性存储介质，在此不再一一赘述。

[0214] 示例性计算设备

[0215] 在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图14对本 发明示例性实施方式的用于操作设备的移动轨迹记录的计算设备。

[0216] 图14示出了适于用来实现本发明实施方式的示例性计算设备140的框图，该计算设 备140可以是计算机系统或服务器。图14显示的计算设备140仅仅是一个示例，不应对 
本发明实施例的功能和使用范围带来任何限制。

[0217] 如图14所示，计算设备140的组件可以包括但不限于：一个或者多个处理器或者处 理单元1401，系统存储器1402，连接不同系统组件(包括系统存储器1402和处理单元 1401)
的总线1403。

[0218] 计算设备140典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计 算设备140访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

[0219] 系统存储器1402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取 存储器(RAM)14021和/或高速缓存存储器14022。计算设备140可以进一步包括其它 可
移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM14023可 以用
于读写不可移动的、非易失性磁介质(图14中未显示，通常称为“硬盘驱动器”)。 尽管未在
图14中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘 驱动器，以及
对可移动非易失性光盘(例如CD‑ROM，DVD‑ROM或者其它光介质)读 写的光盘驱动器。在这
些情况下，每个驱动器可以通过一个或者多个数据介质接口与总 线1403相连。系统存储器
1402中可以包括至少一个程序产品，该程序产品具有一组(例 如至少一个)程序模块，这些
程序模块被配置以执行本发明各实施例的功能。

[0220] 具有一组(至少一个)程序模块14024的程序/实用工具14025，可以存储在例如系 统存储器1402中，且这样的程序模块14024包括但不限于：操作系统、一个或者多个应 用程
序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络 环境的
实现。程序模块14024通常执行本发明所描述的实施例中的功能和/或方法。

[0221] 计算设备140也可以与一个或多个外部设备1404(如键盘、指向设备、显示器等) 通信。这种通信可以通过输入/输出(I/O)接口605进行。并且，计算设备140还可以通 过网
络适配器1406与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或 公共网络，例如
因特网)通信。如图14所示，网络适配器1406通过总线1403与计算设 备140的其它模块(如
处理单元1401等)通信。应当明白，尽管图14中未示出，可以 结合计算设备140使用其它硬
件和/或软件模块。

[0222] 处理单元1401通过运行存储在系统存储器1402中的程序，从而执行各种功能应用 以及数据处理，例如，获取目标影像数据中在所述目标位置处进行标识的包围框数据； 基
于所述包围框数据，计算得到所述目标位置处的第一中心点数据；对所述第一中心点 数据
进行数据拟合以及插值操作，得到所述目标位置处的第一中心点数据对应的第二中 心点
数据；从所述目标影像数据标识的目标中选取参照物；基于所述参照物对应的第二 中心点
数据，对所述目标影像数据标识的操作设备的目标对应的第二中心点数据进行更 新，并基
于更新后的所述操作设备的目标对应的第二中心点数据计算得到所述操作设备 的移动轨
迹。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描 述中提及了
操作设备的移动轨迹记录装置的若干单元/模块或子单元/子模块，但是这种划 分仅仅是
示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或 更多单元/模
块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元 /模块的特征
和功能可以进一步划分为由多个单元/模块来具体化。

[0223] 在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的， 而不能理解为指示或暗示相对重要性。

[0224] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、 装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0225] 在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以 通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划 分，
仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元 或组件
可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点， 所显示或
讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置 或单元的
间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说 明的单元可
以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以 不是物理单
元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实 际的需要选择
其中的部分或者全部单元来实现本实施例方案的目的。

[0226] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是 各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0227] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存 储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明 
的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件 
产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使 得
一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实 施例所
述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储 器(ROM，
Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、 磁碟或者光盘等各
种可以存储程序代码的介质。

[0228] 最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明 的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对 本
发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技 术人
员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修 改或
可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者 替换，并
不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖 在本发明
的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

[0229] 此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者 暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望 
的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或 将
一个步骤分解为多个步骤执行。

[0230] 通过上述的描述，本发明的实施例提供了以下的技术方案，但不限于此：

[0231] 1.一种操作设备的移动轨迹记录方法，包括：获取目标影像数据中在所述目标位置 处进行标识的包围框数据；基于所述包围框数据，计算得到所述目标位置处的第一中心 
点数据；对所述第一中心点数据进行数据拟合以及插值操作，得到所述目标位置处的第 一
中心点数据对应的第二中心点数据；从所述目标影像数据标识的目标中选取参照物； 基于
所述参照物对应的第二中心点数据，对所述目标影像数据标识的操作设备的目标对 应的
第二中心点数据进行更新，并基于更新后的所述操作设备的目标对应的第二中心点 数据
计算得到所述操作设备的移动轨迹。

[0232] 2.如方案1所述的操作设备的移动轨迹记录方法，对所述第一中心点数据进行数据 拟合以及插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据，包 
括：对所述第一中心点数据进行数据拟合，得到所述第一中心点数据对应的第一拟合中 心
点数据；对所述第一拟合中心点数据进行插值操作，得到所述目标位置处的第一中心 点数
据对应的第二中心点数据。

[0233] 3.如方案2所述的操作设备的移动轨迹记录方法，对所述第一中心点数据进行数据 拟合，得到所述第一中心点数据对应的第一拟合中心点数据，包括：基于去噪算法对所 
述第一中心点数据进行去噪运算，得到去噪后的第一中心点数据；对去噪后的所述第一 中
心点数据进行数据拟合，得到第一拟合中心点数据。

[0234] 4.如方案3所述的操作设备的移动轨迹记录方法，所述目标影像数据中包含与所述 第一中心点数据对应的当前时刻，所述第一中心点数据包含中心点横向数据和中心点
纵 向数据，对去噪后的所述第一中心点数据进行数据拟合，得到第一拟合中心点数据，包 
括：基于所述当前时刻对去噪后的所述第一中心点数据中的中心点横向数据进行数据拟 
合，得到所述中心点横向数据对应的横向拟合函数；基于所述当前时刻和所述横向拟合 函
数计算得到横向拟合数据；基于所述当前时刻对去噪后的所述第一中心点数据中的中 心
点纵向数据进行数据拟合，得到所述中心点纵向数据对应的纵向拟合函数；基于所述 当前
时刻和所述纵向拟合函数计算得到纵向拟合数据；将所述横向拟合数据和所述纵向 拟合
数据确定为所述第一中心点数据对应的第一拟合中心点数据。

[0235] 5.如方案2～4任一项所述的操作设备的移动轨迹记录方法，对所述第一拟合中心点 数据进行插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据，包 
括：基于所述当前时刻、所述第一拟合中心点数据中的中心点横向数据以及预设参数， 计
算得到横向光滑样条曲线系数；基于所述当前时刻、所述第一拟合中心点数据中的中 心点
纵向数据以及所述预设参数，计算得到纵向光滑样条曲线系数；从所述目标影像数 据包含
的当前时刻中选取最大时刻和最小时刻；基于所述最大时刻和所述最小时刻，构 建时间数
据；基于所述时间数据和所述横向光滑样条曲线系数，对所述中心点横向数据 进行插值操
作，得到插值中心点横向数据；基于所述时间数据和所述纵向光滑样条曲线 系数，对所述
中心点纵向数据进行插值操作，得到插值中心点纵向数据；基于所述插值 中心点横向数据
和所述插值中心点纵向数据得到所述目标位置处的第一中心点数据对应 的第二中心点数
据。

[0236] 6.如方案1所述的操作设备的移动轨迹记录方法，基于所述参照物对应的第二中心 点数据，对所述目标影像数据标识的操作设备的目标对应的第二中心点数据进行更新， 
并基于更新后的所述操作设备的目标对应的第二中心点数据计算得到所述操作设备的移 
动轨迹，包括：基于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述 参
照物之外的目标对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动 中
心点数据；基于更新后的所述目标影像数据中与操作设备的目标对应的移动中心点数 据，
计算得到所述操作设备的移动轨迹。

[0237] 7.如方案6所述的操作设备的移动轨迹记录方法，所述参照物之外的目标为所述操 作设备、用于采集所述原始影像数据的采集设备以及所述目标影像数据中目标位置处
对 应的操作目标中的至少一种。

[0238] 8.如方案7所述的操作设备的移动轨迹记录方法，当所述目标为操作设备时，基于 所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对 
应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据，包括： 从
所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述操作设备对应的 第
二中心点数据；基于所述参照物对应的第二中心点数据以及所述操作设备对应的第二 中
心点数据对所述操作设备对应的第二中心点数据进行更新，得到更新后的所述操作设 备
对应的移动中心点数据。

[0239] 9.如方案7所述的操作设备的移动轨迹记录方法，当所述目标为采集设备时，基于 所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标对 
应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据，包括： 从
所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述采集设备对应的 第
二中心点数据；获取所述目标影像数据的宽和高；基于所述参照物对应的第二中心点 数
据、所述采集设备对应的第二中心点数据以及所述目标影像数据的宽和高对所述采集 设
备对应的第二中心点数据进行更新，得到更新后的所述采集设备对应的移动中心点数 据。

[0240] 10.如方案7所述的操作设备的移动轨迹记录方法，当所述目标为操作目标时，基 于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物之外的目标 
对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点数据，包括： 
从所述目标影像数据中获取所述参照物对应的第二中心点数据以及所述操作目标对应的 
第二中心点数据；基于所述参照物对应的第二中心点数据以及所述操作目标对应的第二 
中心点数据对所述操作目标对应的第二中心点数据进行更新，得到更新后的所述操作目 
标对应的移动中心点数据。

[0241] 11.如方案1所述的操作设备的移动轨迹记录方法，获取目标影像数据中在所述目 标位置处进行标识的包围框数据，包括：基于类型映射字典获取目标影像数据中在所述 目
标位置处进行标识的包围框数据。

[0242] 12.如方案11所述的操作设备的移动轨迹记录方法，基于类型映射字典获取目标影 像数据中在所述目标位置处进行标识的包围框数据之前，所述方法还包括：通过实例分 
割模型对所述操作设备的原始影像数据进行目标检测，得到所述原始影像数据中的所述 
目标位置处显示矩形包围框和/或所述目标位置处显示多边形包围框的目标影像数据；基 
于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框和/或所述目标位 
置处显示的多边形包围框，构建第一类型映射子字典和/或第二类型映射子字典；基于所 
述第一类型映射子字典和/或所述第二类型映射子字典，生成类型映射字典。

[0243] 13.如方案12所述的操作设备的移动轨迹记录方法，基于时序遍历所述目标影像数 据中的所述目标位置处显示的矩形包围框和/或所述目标位置处显示的多边形包围框，
构 建第一类型映射子字典和/或第二类型映射子字典，包括：基于时序遍历所述目标影像
数 据中的所述目标位置处显示的矩形包围框，构建包含所述矩形包围框的包围框数据的
第 一类型映射子字典；和/或基于时序遍历所述目标影像数据中的所述目标位置处显示的
多 边形包围框，构建包含所述多边形包围框的包围框数据的第二类型映射子字典。

[0244] 14.如方案13所述的操作设备的移动轨迹记录方法，基于时序遍历所述目标影像数 据中的所述目标位置处显示的矩形包围框，构建包含所述矩形包围框的包围框数据的
第 一类型映射子字典，包括：从所述目标影像数据中获取基于时序的与所述目标位置处显 
示的矩形包围框对应的第一检测内容数据；所述第一检测内容数据中至少包含所述矩形 
包围框标识的目标的第一目标类型、第一当前时刻以及第一边界数据；所述第一边界数 据
为所述矩形包围框的包围框数据；基于时序遍历所述第一检测内容数据，构建第一类 型映
射子字典；所述第一类型映射子字典中至少包含一个第一时间映射字典，所述第一 时间映
射字典与第一目标类型一一对应，且任意两个第一时间映射字典对应的第一目标 类型不
同。

[0245] 15.如方案14所述的操作设备的移动轨迹记录方法，基于时序遍历所述第一检测内 容数据，构建第一类型映射子字典，包括：基于时序遍历所述第一检测内容数据，构建 
第一时间映射字典，所述第一时间映射字典中包含至少一个第一当前时刻与第一边界数 
据的时间键值对，其中，所述时间键值对中的第一当前时刻与第一边界数据从同一第一 检
测内容数据中获取；基于所述第一检测内容数据和所述第一时间映射字典，构建第一 类型
映射子字典，所述第一类型映射子字典中包含至少一个第一目标类型与第一时间映 射字
典的类型键值对，所述第一目标类型与所述第一时间映射字典中的第一当前时刻和 第一
边界数据属于同一第一检测内容数据。

[0246] 16.如方案13所述的操作设备的移动轨迹记录方法，基于时序遍历所述目标影像数 据中的所述目标位置处显示的多边形包围框，构建包含所述多边形包围框的包围框数
据 的第二类型映射子字典，包括：从所述目标影像数据中获取基于时序的与所述目标位置 
处显示的多边形包围框对应的第二检测内容数据；所述第二检测内容数据中至少包含所 
述多边形包围框标识的目标的第二目标类型、第二当前时刻以及第二边界数据；所述第 二
边界数据为所述多边形包围框的包围框数据；对所述第二检测内容数据中的所述第二 边
界数据进行压缩，得到压缩后的第二检测内容数据；基于压缩后的所述第二检测内容 数据
中的第二边界数据，计算得到所述第二边界数据对应的近似边界数据；基于时序遍 历所述
第二检测内容数据和所述近似边界数据，构建第二类型映射子字典；所述第二类 型映射子
字典中至少包含一个第二时间映射字典，所述第二时间映射字典与第二目标类 型一一对
应，且任意两个第二时间映射字典对应的第二目标类型不同。

[0247] 17.如方案16所述的操作设备的移动轨迹记录方法，基于时序遍历所述第二检测内 容数据和所述近似边界数据，构建第二类型映射子字典，包括：基于时序遍历所述第二 
检测内容数据和所述近似边界数据，构建第二时间映射字典，所述第二时间映射字典中 包
含至少一个第二当前时刻与近似边界数据的时间键值对，其中，所述时间键值对中的 第二
当前时刻与近似边界数据从同一第二检测内容数据中获取；基于所述第二检测内容 数据
和所述第二时间映射字典，构建第二类型映射子字典，所述第二类型映射子字典中 包含至
少一个第二目标类型与第二时间映射字典的类型键值对，所述第二目标类型与所 述第二
时间映射字典中的第二当前时刻和近似边界数据属于同一第二检测内容数据。

[0248] 18.如方案16或17所述的操作设备的移动轨迹记录方法，对所述第二检测内容数 据中的所述第二边界数据进行压缩，得到压缩后的第二检测内容数据，包括：对所述第 二
检测内容数据的所述第二边界数据进行压缩处理，得到所述第二边界数据对应的一维 压
缩边界数据；对所述一维压缩边界数据进行还原处理，得到所述一维压缩边界数据对 应的
一维还原边界数据；对所述一维还原边界数据进行计算，得到压缩后的第二边界数 据；通
过所述压缩后的第二边界数据对所述第二检测内容进行更新，得到压缩后的第二 检测内
容数据。

[0249] 19.如方案18所述的操作设备的移动轨迹记录方法，对所述第二检测内容数据的所 述第二边界数据进行压缩处理，得到所述第二边界数据对应的一维压缩边界数据，包
括： 获取所述目标影像数据的宽和高，并确定压缩步长；基于所述目标影像数据的宽和高
以 及所述压缩步长，计算得到初始化长度；创建与所述第二边界数据对应的一维压缩边界 
数据，所述一维压缩边界数据的长度为所述初始化长度；基于所述压缩步长和所述原始 图
像数据的宽对所述第二检测内容数据的所述第二边界数据进行压缩计算，得到所述第 二
边界数据对应的第一索引值；基于所述第二边界数据和所述第一索引值计算得到所述 一
维压缩边界数据中与所述第一索引值对应的压缩边界数据。

[0250] 20.如方案19所述的操作设备的移动轨迹记录方法，对所述一维压缩边界数据进行 还原处理，得到所述一维压缩边界数据对应的一维还原边界数据，包括：创建与所述一 
维压缩边界数据对应的一维还原边界数据，所述一维还原边界数据的长度为所述原始影 
像数据的宽和高的乘积；基于所述压缩步长和所述目标图像数据的宽对所述一维压缩边 
界数据进行还原计算，得到所述一维压缩边界数据对应的第二索引值；基于所述一维压 缩
边界数据和所述第二索引值计算得到所述一维还原边界数据中与所述第二索引值对应 的
还原边界数据。

[0251] 21.如方案20所述的操作设备的移动轨迹记录方法，对所述一维还原边界数据进行 计算，得到压缩后的第二边界数据，包括：基于时序遍历所述一维还原边界数据，得到 
索引数据，所述索引数据对应的一维还原边界数据大于预设值；基于所述索引数据和所 述
一维还原边界数据，计算得到压缩后的横向移动数据和纵向移动数据；通过所述横向 移动
数据和所述纵向移动数据生成压缩后的第二边界数据。

[0252] 22.如方案16或17所述的操作设备的移动轨迹记录方法，基于压缩后的所述第二 检测内容数据中的第二边界数据，计算得到所述第二边界数据对应的近似边界数据，包 
括：从所述压缩后的第二检测内容数据的第二边界数据中获取各个第二当前时刻对应的 
目标的顶点移动数据；计算各个所述第二边界数据距所述顶点移动数据的距离；基于所 述
距离最小的第二边界数据，计算得到所述第二边界数据对应的近似边界数据。

[0253] 23.如方案22所述的操作设备的移动轨迹记录方法，一个所述目标对应四个所述顶 点移动数据，基于所述距离最小的第二边界数据，计算得到所述第二边界数据对应的近 
似边界数据，包括：基于所述距离最小的第二边界数据，计算得到所述第二边界数据中 的
所述目标对应的四个边界数据；当所述四个边界数据均为不同的数据或所述四个边界 数
据中存在三个边界数据的数据不同时，将所述四个边界数据确定为近似边界数据。

[0254] 24.一种操作设备的移动轨迹记录装置，包括：获取单元，用于获取目标影像数据 中在所述目标位置处进行标识的包围框数据；计算单元，用于基于所述包围框数据，计 算
得到所述目标位置处的第一中心点数据；操作单元，用于对所述第一中心点数据进行 数据
拟合以及插值操作，得到所述目标位置处的第一中心点数据对应的第二中心点数据； 选取
单元，用于从所述目标影像数据标识的目标中选取参照物；更新单元，用于基于所 述参照
物对应的第二中心点数据，对所述目标影像数据标识的操作设备的目标对应的第 二中心
点数据进行更新，并基于更新后的所述操作设备的目标对应的第二中心点数据计 算得到
所述操作设备的移动轨迹。

[0255] 25.如方案24所述的操作设备的移动轨迹记录装置，所述操作单元包括：拟合子单 元，用于对所述第一中心点数据进行数据拟合，得到所述第一中心点数据对应的第一拟 合
中心点数据；插值子单元，用于对所述第一拟合中心点数据进行插值操作，得到所述 目标
位置处的第一中心点数据对应的第二中心点数据。

[0256] 26.如方案25所述的操作设备的移动轨迹记录装置，所述拟合子单元包括：去噪模 块，用于基于去噪算法对所述第一中心点数据进行去噪运算，得到去噪后的第一中心点 数
据；拟合模块，用于对去噪后的所述第一中心点数据进行数据拟合，得到第一拟合中 心点
数据。

[0257] 27.如方案26所述的操作设备的移动轨迹记录装置，所述目标影像数据中包含与所 述第一中心点数据对应的当前时刻，所述第一中心点数据包含中心点横向数据和中心
点 纵向数据，所述拟合模块包括：拟合子模块，用于基于所述当前时刻对去噪后的所述第 
一中心点数据中的中心点横向数据进行数据拟合，得到所述中心点横向数据对应的横向 
拟合函数；第一计算子模块，用于基于所述当前时刻和所述横向拟合函数计算得到横向 拟
合数据；所述拟合子模块，还用于基于所述当前时刻对去噪后的所述第一中心点数据 中的
中心点纵向数据进行数据拟合，得到所述中心点纵向数据对应的纵向拟合函数；所 述第一
计算子模块，还用于基于所述当前时刻和所述纵向拟合函数计算得到纵向拟合数 据；确定
子模块，用于将所述横向拟合数据和所述纵向拟合数据确定为所述第一中心点 数据对应
的第一拟合中心点数据。

[0258] 28.如方案25～27任一项所述的操作设备的移动轨迹记录装置，所述插值子单元包 括：第一计算模块，用于基于所述当前时刻、所述第一拟合中心点数据中的中心点横向 
数据以及预设参数，计算得到横向光滑样条曲线系数；所述第一计算模块，还用于基于 所
述当前时刻、所述第一拟合中心点数据中的中心点纵向数据以及所述预设参数，计算 得到
纵向光滑样条曲线系数；选取模块，用于从所述目标影像数据包含的当前时刻中选 取最大
时刻和最小时刻；第一构建模块，用于基于所述最大时刻和所述最小时刻，构建 时间数据；
插值模块，用于基于所述时间数据和所述横向光滑样条曲线系数，对所述中 心点横向数据
进行插值操作，得到插值中心点横向数据；所述插值模块，还用于基于所 述时间数据和所
述纵向光滑样条曲线系数，对所述中心点纵向数据进行插值操作，得到 插值中心点纵向数
据；第一更新模块，用于基于所述插值中心点横向数据和所述插值中 心点纵向数据得到所
述目标位置处的第一中心点数据对应的第二中心点数据。

[0259] 29.如方案24所述的操作设备的移动轨迹记录装置，所述更新单元包括：更新子单 元，用于基于所述参照物对应的第二中心点数据，对所述目标影像数据中除所述参照物 之
外的目标对应的第二中心点数据进行更新，得到更新后的所述目标对应的移动中心点 数
据；计算子单元，用于基于更新后的所述目标影像数据中与操作设备的目标类型对应 的移
动中心点数据，计算得到所述操作设备的移动轨迹。

[0260] 30.如方案29所述的操作设备的移动轨迹记录装置，所述参照物之外的目标为所述 操作设备、用于采集所述原始影像数据的采集设备以及所述目标影像数据中目标位置
处 对应的操作目标中的至少一种。

[0261] 31.如方案30所述的操作设备的移动轨迹记录装置，当所述目标类型为操作设备时， 所述更新子单元包括：第一获取模块，用于从所述目标影像数据中获取所述参照物对
应 的第二中心点数据以及所述操作设备对应的第二中心点数据；第二更新模块，用于基于 
所述参照物对应的第二中心点数据以及所述操作设备对应的第二中心点数据对所述操作 
设备对应的第二中心点数据进行更新，得到更新后的所述操作设备对应的移动中心点数 
据。

[0262] 32.如方案30所述的操作设备的移动轨迹记录装置，当所述目标类型为采集设备时， 所述更新子单元还包括：第二获取模块，用于从所述目标影像数据中获取所述参照物
对 应的第二中心点数据以及所述采集设备对应的第二中心点数据；所述第二获取模块，还 
用于获取所述目标影像数据的宽和高；第三更新模块，用于基于所述参照物对应的第二 中
心点数据、所述采集设备对应的第二中心点数据以及所述目标影像数据的宽和高对所 述
采集设备对应的第二中心点数据进行更新，得到更新后的所述采集设备对应的移动中 心
点数据。

[0263] 33.如方案30所述的操作设备的移动轨迹记录装置，当所述目标类型为操作目标时， 所述更新子单元还包括：第三获取模块，用于从所述目标影像数据中获取所述参照物
对 应的第二中心点数据以及所述操作目标对应的第二中心点数据；第四更新模块，用于基 
于所述参照物对应的第二中心点数据以及所述操作目标对应的第二中心点数据对所述操 
作目标对应的第二中心点数据进行更新，得到更新后的所述操作目标对应的移动中心点 
数据。

[0264] 34.如方案24所述的操作设备的移动轨迹记录装置，所述获取单元获取目标影像数 据中在所述目标位置处进行标识的包围框数据的方式具体为：基于类型映射字典获取
目 标影像数据中在所述目标位置处进行标识的包围框数据。

[0265] 35.如方案34所述的操作设备的移动轨迹记录装置，所述装置还包括：检测单元， 用于在所述获取单元基于类型映射字典获取目标影像数据中在所述目标位置处进行标识 
的包围框数据之前，通过实例分割模型对所述操作设备的原始影像数据进行目标检测， 得
到所述原始影像数据中的所述目标位置处显示矩形包围框和/或所述目标位置处显示 多
边形包围框的目标影像数据；构建单元，用于基于时序遍历所述目标影像数据中的所 述目
标位置处显示的矩形包围框和/或所述目标位置处显示的多边形包围框，构建第一类 型映
射子字典和/或第二类型映射子字典；生成单元，用于基于所述第一类型映射子字典 和/或
所述第二类型映射子字典，生成类型映射字典。

[0266] 36.如方案35所述的操作设备的移动轨迹记录装置，所述构建单元包括：第一构建 子单元，用于基于时序遍历所述目标影像数据中的所述目标位置处显示的矩形包围框， 构
建包含所述矩形包围框的包围框数据的第一类型映射子字典；和/或第二构建子单元， 用
于基于时序遍历所述目标影像数据中的所述目标位置处显示的多边形包围框，构建包 含
所述多边形包围框的包围框数据的第二类型映射子字典。

[0267] 37.如方案36所述的操作设备的移动轨迹记录装置，所述第一构建子单元包括：第 四获取模块，用于从所述目标影像数据中获取基于时序的与所述目标位置处显示的矩形 
包围框对应的第一检测内容数据；所述第一检测内容数据中至少包含所述矩形包围框标 
识的目标的第一目标类型、第一当前时刻以及第一边界数据；所述第一边界数据为所述 矩
形包围框的包围框数据；第二构建模块，用于基于时序遍历所述第一检测内容数据， 构建
第一类型映射子字典；所述第一类型映射子字典中至少包含一个第一时间映射字典， 所述
第一时间映射字典与第一目标类型一一对应，且任意两个第一时间映射字典对应的 第一
目标类型不同。

[0268] 38.如方案37所述的操作设备的移动轨迹记录装置，所述第二构建模块包括：第一 构建子模块，用于基于时序遍历所述第一检测内容数据，构建第一时间映射字典，所述 第
一时间映射字典中包含至少一个第一当前时刻与第一边界数据的时间键值对，其中， 所述
时间键值对中的第一当前时刻与第一边界数据从同一第一检测内容数据中获取；所 述第
一构建子模块，还用于基于所述第一检测内容数据和所述第一时间映射字典，构建 第一类
型映射子字典，所述第一类型映射子字典中包含至少一个第一目标类型与第一时 间映射
字典的类型键值对，所述第一目标类型与所述第一时间映射字典中的第一当前时 刻和第
一边界数据属于同一第一检测内容数据。

[0269] 39.如方案36所述的操作设备的移动轨迹记录装置，所述第二构建子单元包括：第 五获取模块，用于从所述目标影像数据中获取基于时序的与所述目标位置处显示的多边 
形包围框对应的第二检测内容数据；所述第二检测内容数据中至少包含所述多边形包围 
框标识的目标的第二目标类型、第二当前时刻以及第二边界数据；所述第二边界数据为 所
述多边形包围框的包围框数据；压缩模块，用于对所述第二检测内容数据中的所述第 二边
界数据进行压缩，得到压缩后的第二检测内容数据；第二计算模块，用于基于压缩 后的所
述第二检测内容数据中的第二边界数据，计算得到所述第二边界数据对应的近似 边界数
据；第三构建模块，用于基于时序遍历所述第二检测内容数据和所述近似边界数 据，构建
第二类型映射子字典；所述第二类型映射子字典中至少包含一个第二时间映射 字典，所述
第二时间映射字典与第二目标类型一一对应，且任意两个第二时间映射字典 对应的第二
目标类型不同。

[0270] 40.如方案39所述的操作设备的移动轨迹记录装置，所述第三构建模块包括：第二 构建子模块，用于基于时序遍历所述第二检测内容数据和所述近似边界数据，构建第二 时
间映射字典，所述第二时间映射字典中包含至少一个第二当前时刻与近似边界数据的 时
间键值对，其中，所述时间键值对中的第二当前时刻与近似边界数据从同一第二检测 内容
数据中获取；所述第二构建子模块，还用于基于所述第二检测内容数据和所述第二 时间映
射字典，构建第二类型映射子字典，所述第二类型映射子字典中包含至少一个第 二目标类
型与第二时间映射字典的类型键值对，所述第二目标类型与所述第二时间映射 字典中的
第二当前时刻和近似边界数据属于同一第二检测内容数据。

[0271] 41.如方案39或40所述的操作设备的移动轨迹记录装置，所述压缩模块包括：压 缩子模块，用于对所述第二检测内容数据的所述第二边界数据进行压缩处理，得到所述 第
二边界数据对应的一维压缩边界数据；还原子模块，用于对所述一维压缩边界数据进 行还
原处理，得到所述一维压缩边界数据对应的一维还原边界数据；第二计算子模块， 用于对
所述一维还原边界数据进行计算，得到压缩后的第二边界数据；更新子模块，用 于通过所
述压缩后的第二边界数据对所述第二检测内容进行更新，得到压缩后的第二检 测内容数
据。

[0272] 42.如方案41所述的操作设备的移动轨迹记录装置，所述压缩子模块包括：获取结 构，用于获取所述目标影像数据的宽和高，并确定压缩步长；第一计算结构，用于基于 所述
目标影像数据的宽和高以及所述压缩步长，计算得到初始化长度；第一创建结构， 用于创
建与所述第二边界数据对应的一维压缩边界数据，所述一维压缩边界数据的长度 为所述
初始化长度；压缩结构，用于基于所述压缩步长和所述原始图像数据的宽对所述 第二检测
内容数据的所述第二边界数据进行压缩计算，得到所述第二边界数据对应的第 一索引值；
所述第一计算结构，还用于基于所述第二边界数据和所述第一索引值计算得 到所述一维
压缩边界数据中与所述第一索引值对应的压缩边界数据。

[0273] 43.如方案42所述的操作设备的移动轨迹记录装置，所述还原子模块包括：第二创 建结构，用于创建与所述一维压缩边界数据对应的一维还原边界数据，所述一维还原边 界
数据的长度为所述原始影像数据的宽和高的乘积；还原结构，用于基于所述压缩步长 和所
述目标图像数据的宽对所述一维压缩边界数据进行还原计算，得到所述一维压缩边 界数
据对应的第二索引值；第二计算结构，用于基于所述一维压缩边界数据和所述第二 索引值
计算得到所述一维还原边界数据中与所述第二索引值对应的还原边界数据。

[0274] 44.如方案43所述的操作设备的移动轨迹记录装置，所述第二计算子模块包括：遍 历结构，用于基于时序遍历所述一维还原边界数据，得到索引数据，所述索引数据对应 的
一维还原边界数据大于预设值；第三计算结构，用于基于所述索引数据和所述一维还 原边
界数据，计算得到压缩后的横向移动数据和纵向移动数据；生成结构，用于通过所 述横向
移动数据和所述纵向移动数据生成压缩后的第二边界数据。

[0275] 45.如方案39或40所述的操作设备的移动轨迹记录装置，所述第二计算模块包括： 获取子模块，用于从所述压缩后的第二检测内容数据的第二边界数据中获取各个第二当 
前时刻对应的目标的顶点移动数据；第三计算子模块，用于计算各个所述第二边界数据 距
所述顶点移动数据的距离；第四计算子模块，用于基于所述距离最小的第二边界数据， 计
算得到所述第二边界数据对应的近似边界数据。

[0276] 46.如方案45所述的操作设备的移动轨迹记录装置，一个所述目标对应四个所述顶 点移动数据，所述第四计算子模块包括：第四计算结构，用于基于所述距离最小的第二 
边界数据，计算得到所述第二边界数据中的所述目标对应的四个边界数据；确定结构， 用
于当所述四个边界数据均为不同的数据或所述四个边界数据中存在三个边界数据的数 据
不同时，将所述四个边界数据确定为近似边界数据。

[0277] 47.一种临床人工智能辅助系统，所述系统执行权利要求1‑23中的任一项所述的操 作设备的移动轨迹记录方法。

[0278] 48.一种存储有程序的存储介质，其中，所述存储介质存储有计算机程序，所述计 算机程序被处理器执行时实现如方案1‑23中的任一项所述的操作设备的移动轨迹记录方 
法。

[0279] 49.一种计算设备，包括如方案48所述的存储介质。