本发明公开一种乒乓球比赛视频的智能交互数据采集系统，该系统包括：(1)热启动模块，其包括各种基本信息的按钮或输入框，通过交互的方式，使用户对比赛视频的基本信息进行标注和输入；(2)比赛导览模块，其包括局列表、回合列表和拍列表，用于对比赛的比赛视频片段进行组织和导览，帮助用户高效定位至目标回合；(3)视频标注及验证模块，该模块包括嵌入可交互的可视化元素的比赛视频，通过交互生成准确的比赛数据；(4)后端计算模块，通过与其他模块进行交互，实现数据的实时更新。本发明的系统提升了数据标注的准确性和数据采集的效率；并将比赛导览与比赛视频相关联，实现了视频片段的快速定位。
1.一种乒乓球比赛视频的智能交互数据采集系统，其特征在于，该系统包括如下模块：
（1）热启动模块，该模块包括球员基本信息输入框、比分牌标记按钮、球桌位置标记按钮、比分牌中球员的位置选择按钮、球员在视频中的位置选择按钮，通过交互的形式，使得用户对比赛视频的基本信息进行标注和输入；
（2）比赛导览模块，该模块通过三级列表对比赛视频片段进行组织和导览，帮助用户高效定位至目标回合；所述的三级列表包括局列表、回合列表和拍列表，每个列表均与对应时间段的视频相关联，所述的局列表包括球员姓名、比赛的最终比分以及每一局的局分；所述的回合列表包括球员姓名、当前局的比分以及每一回合的回合分；所述的拍列表包括球员姓名、当前回合的比分以及每一拍的击球人姓名、击球人的身位、乒乓球的落点和击球技术；
（3）视频标注及验证模块，该模块包括嵌入可交互的可视化元素的比赛视频，所述的可交互的可视化元素包括乒乓球的落点、球员的身位、击球技术、每一拍的击球声音，其中，乒乓球的落点采用九个可交互的网格标注，球员的身位采用球桌两侧的连续的四段弧线标注，击球技术采用紧靠球桌一侧的击球技术列表标注，每一拍的击球声音采用击球声音波形图标注；
（4）后端计算模块，该模块基于人工智能算法提取乒乓球比赛的比分、每回合时间、每回合击球数、每次击球的击球时刻和球员身位，并与比赛导览模块、热启动模块、视频标注及验证模块进行数据交互，实现数据的实时更新；所述的比分包括局分和回合分，所述的每回合时间包括回合开始和回合结束时间。
2.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，所述的视频标注及验证模块中的击球技术列表分为两级，第一级包括发球、进攻、防守、控制、其他五种，第二级为第一级中各种技术的细分。
3.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，所述的后端计算模块还能根据用户点选的击球落点及检测得到的球员身位，使用集成过滤的方法对击球技术进行推荐。
4.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，所述的视频标注及验证模块还包括验证按钮和视频播放控件，通过验证按钮帮助用户回看所标注的可交互的可视化元素和原视频是否吻合。
5.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，所述的回合列表还包括后端数据处理状态，该状态分为处理中和处理完成两种。
6.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，所述的数据采集系统在采集每一回合和每一拍数据时，采用并行计算的方式，减少等待时间。
7.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，所述的视频标注及验证模块提供的视频播放功能包括2倍速快放、正常播放、0.5倍慢放。
8.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，在比赛导览模块中，通过单击的方式使用户选定或退出特定的局、回合或拍；在所述的回合列表中，通过单击的方式使用户更正自动检测到的分数，或将缺失的分数插入到回合列表中。
9.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，所述的比赛导览模块和视频标注及验证模块中的所有数据均可通过交互的方式进行修改。
10.根据权利要求1所述的乒乓球比赛视频的智能交互数据采集系统，其特征在于，所述的击球声音波形图还包括添加按钮，当用户发现有缺失拍时，通过该按钮将缺失拍添加到所述的拍列表中。
一种乒乓球比赛视频的智能交互数据采集系统
技术领域
[0001] 本发明涉及球类比赛数据采集领域，具体涉及一种乒乓球比赛视频的智能交互数据采集系统。
背景技术
[0002] 在过去的四十年中，国家乒乓球队曾试图对数据进行标注。这些方法从计数标记发展到视频编辑软件，然后发展到量身定制的交互式注释工具。尽管这些尝试已在一定程度上提高了数据收集的效率，但要有效地获取高质量，细粒度的数据仍然存在挑战。因此，非常需要能够显着提高数据注释效率的智能方法。但是，自动化数据采集存在两个主要挑战：
[0003] 低质量的广播视频。在大多数乒乓球比赛中，仅安装电视摄像机，并且仅广播视频可供分析。即使可以部署先进的设备，仍然需要对大量的历史广播视频进行注释和分析。人们尝试使用计算机视觉算法从视频中确定乒乓球和运动员的位置。但是，这些算法仅收集球和球员的位置，并且仅在特定摄像机角度和照明条件下的有限情况下工作。在广播视频中，频繁的镜头转换，不一致的场景外观和较低的分辨率给开发自动注释解决方案带来了挑战。
[0004] 需要高度专业的知识。与一般的标注任务(例如图像标记)不同，乒乓球数据标注在很大程度上依赖于高度专业的领域知识。乒乓球运动员的动作(定义为击球技术)由一系列的手和腕部微动作组成，每种技术仅持续约半秒钟。对于资深的领域专家来说，即使运动员的手部动作(通常在广播视频会常出现)被遮挡，领域专家也可以通过逻辑推理和上下文信息轻松识别出击球技术。但是，对于没有专业乒乓球训练的普通标注者来说，很难区别不同技术之间的细微差异，更不用说自动化的算法了。尽管最新的姿势估计和动作识别算法已被证明在运动分析中很有用，但这些算法着重于身体动作较大的动作(例如，跳远，太极和拳击中的动作)和持续时间较长的动作(即3到10秒)。
[0005] 另外，收集细粒度的体育数据非常难、昂贵且费时费力。先进的商业体育数据采集产品，例如STATS SportVU，OPTA和ChyronHego TRACAB，为足球、篮球和美式足球等各种体育活动提供了系统的解决方案。这些产品主要通过硬件设备获取数据，例如高速高清摄像头、可穿戴传感器和GPS。数据公司还提供专业的支持服务团队，以进行人工标注、设备安装和数据处理，以进行进一步的数据分析。
[0006] 然而，这些商业数据采集工具是为特定体育赛事量身定制的，很难直接应用于其他体育项目。
发明内容
[0007] 针对现有技术的不足，本发明提出一种乒乓球比赛视频的智能交互数据采集系统，该系统在比赛视频中嵌入可交互的可视化元素，提升了数据标注的准确性和数据采集的效率。
[0008] 本发明的目的通过如下的技术方案来实现：
[0009] 一种乒乓球比赛视频的智能交互数据采集系统，其特征在于，该系统包括如下模块：
[0010] (1)热启动模块，该模块包括球员基本信息输入框、比分牌标记按钮、球桌位置标记按钮、比分牌中球员的位置选择按钮、球员在视频中的位置选择按钮，通过交互的形式，使得用户对比赛视频的基本信息进行标注和输入；
[0011] (2)比赛导览模块，该模块通过三级列表对比赛视频片段进行组织和导览，帮助用户高效定位至目标回合；所述的三级列表包括局列表、回合列表和拍列表，每个列表均与对应时间段的视频相关联，所述的局列表包括球员姓名、比赛的最终比分以及每一局的局分；所述的回合列表包括球员姓名、当前局的比分以及每一回合的回合分；所述的拍列表包括球员姓名、当前回合的比分以及每一拍的击球人姓名、击球人的身位、乒乓球的落点和击球技术。
[0012] (3)视频标注及验证模块，该模块包括嵌入可交互的可视化元素的比赛视频，所述的可交互的可视化元素包括乒乓球的落点、球员的身位、击球技术、每一拍的击球声音，其中，乒乓球的落点采用九个可交互的网格标注，球员的身位采用球桌两侧的连续的四段弧线标注，击球技术采用紧靠球桌一侧的击球技术列表标注，每一拍的击球声音采用击球声音波形图标注；
[0013] (4)后端计算模块，该模块基于人工智能算法提取乒乓球比赛的比分、每回合时间、每回合击球数、每次击球的击球时刻和球员身位，并与比赛导览模块、热启动模块、视频标注及验证模块进行数据交互，实现数据的实时更新；所述的比分包括局分和回合分，所述的每回合时间包括回合开始和回合结束时间。
[0014] 进一步地，所述的视频标注及验证模块中的击球技术列表分为两级，第一级包括发球、进攻、防守、控制、其他五种，第二级为第一级中各种技术的细分。
[0015] 进一步地，所述的后端计算模块还能根据用户点选的击球落点及检测得到的球员身位，使用集成过滤的方法对击球技术进行推荐。
[0016] 进一步地，所述的视频标注及验证模块还包括验证按钮和视频播放控件，通过验证按钮帮助用户回看所标注的可交互的可视化元素和原视频是否吻合。
[0017] 进一步地，所述的回合列表还包括后端数据处理状态，该状态分为处理中和处理完成两种。
[0018] 进一步地，所述的数据采集系统在采集每一回合和每一拍数据时，采用并行计算的方式，减少等待时间。
[0019] 进一步地，所述的视频标注及验证模块提供的视频播放功能包括2倍速快放、正常播放、0.5倍慢放。
[0020] 进一步地，在比赛导览模块中，通过单击的方式使用户选定或退出特定的局、回合或拍；在所述的回合列表中，通过单击的方式使用户更正自动检测到的分数，或将缺失的分数插入到回合列表中。
[0021] 进一步地，所述的比赛导览模块和视频标注及验证模块中的所有数据均可通过交互的方式进行修改。
[0022] 进一步地，所述的击球声音波形图还包括添加按钮，当用户发现有缺失拍时，通过该按钮将缺失拍添加到所述的排列表中。
[0023] 本发明的有益效果如下：
[0024] 本发明的数据采集系统在比赛视频中嵌入可交互的可视化元素，使数据标注直接在视频上进行，实现了“所见即所得”的效果，提升了数据标注的准确性和数据采集的效率；并将比赛导览与比赛视频相关联，实现了视频片段的快速定位。
附图说明
[0025] 图1为本发明的智能交互数据采集系统的示意图。
具体实施方式
[0026] 下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0027] 如图1所示，本发明的乒乓球比赛视频的智能交互数据采集系统，其包括热启动模块、比赛导览模块、视频标注及验证模块和后端计算模块，其中，在智能交互数据采集系统的界面中，A为局列表，B为回合列表：B1为用于修正回合比分、列表折叠和插入缺失回合的按钮；B2为后端数据处理完成的回合；B3为后端数据正在处理中的回合，C为拍列表：C1为用于删除多余拍、列表折叠和重播该回合视频片段的按钮；C2为落点、技术数据采集完成拍的详细信息；C3为落点、技术数据未采集完成的空白拍，其击球身位由后端计算模块计算所得；D为视频标注及验证模块；D1为标注击球落点的网格；D2为标注击球技术的列表；D3标注击球身位的圆弧；D4为计分牌区域标记框；D5为缺失拍添加按钮；D6为回合数据验证按钮；D7为击球声音波形图；D8为分数牌定位按钮；D9为球桌定位按钮。
[0028] 具体如下：
[0029] 一、热启动模块
[0030] 该模块包括球员基本信息输入框、比分牌标记按钮(图1D8)、球桌位置标记按钮(图1D9)、比分牌中球员的位置选择按钮、球员在视频中的位置选择按钮，通过交互的形式，使得用户对比赛视频的基本信息进行标注和输入。
[0031] 例如，要检测分数，通过单击比分牌标记按钮，然后在视频中找到比分牌(图1D4)。之后，后端将检测到数字及其变化并重建出层次化的比赛分数。要标记乒乓球桌，通过点击球桌位置标记按钮，并找到四个角以获取视频中乒乓球桌的位置。桌子位置用于使用球员姿态识别算法来计算球员的击球位置。
[0032] 二、比赛导览模块
[0033] 该模块通过三级列表(图1A、B、C)对比赛视频片段进行组织和导览，帮助用户高效定位至目标回合；所述的三级列表包括局列表(图1A)、回合列表(图1B)和拍列表(图1C)，每个列表均与对应时间段的视频相关联，所述的局列表包括球员姓名、比赛的最终比分以及每一局的局分；所述的回合列表包括球员姓名、当前局的比分以及每一回合的回合分；所述的拍列表包括球员姓名、当前回合的比分以及每一拍的击球人姓名、击球人的身位、乒乓球的落点和击球技术。
[0034] 在标注过程中，将仅显示所选的级别，以免发生误操作。球员的姓名和最终得分作为基本信息显示在列表的顶部。在每个回合的右侧放置一个图标，以表示该回合的拍检测处于处理中(图1B2)和处理完成(图1B3)状态，从而实现边计算边显示，动态计算更新。在标注详细属性之前，拍列表将创建空白拍作为占位符(图1C3)。通过后端的基于音频的击球检测来计算每个回合中的拍数量。回合列表中的每一拍都表示出了击球的球员和击球属性(图1C2)。
[0035] 每个列表均与对应时间段的视频相关联，在列表中选择一拍时，视频将切换到相应位置。用户可以删除错误的拍。且通过单击触发较高列表中的某个项目来进入到较低级别，并通过单击按钮来回退到更高级别，也可以通过单击更正自动检测到的分数，或将缺失的分数插入到回合列表中。选择回合或击球时，还可以使用键盘上的上、下、左、右按钮微调视频中该回合或击球的开始和结束时间戳。准确的时间戳将用于更新模型中对比赛分段和击球检测的模块。
[0036] 三、视频标注及验证模块
[0037] 该模块(图1D)包括嵌入可交互的可视化元素的比赛视频，所述的可交互的可视化元素包括乒乓球的落点、球员的身位、击球技术、每一拍的击球声音，其中，乒乓球的落点采用九个可交互的网格标注(图1D1)，球员的身位采用球桌两侧的连续的四段弧线标注(图1D3)，击球技术采用紧靠球桌一侧的击球技术列表标注(图1D2)，每一拍的击球声音采用击球声音波形图标注(图1D7)。通过在视频中直接嵌入可交互的可视化元素，有效增强数据标注的用户体验及准确度。
[0038] 在热启动中指定球桌位置的情况下，系统将交互式网格覆盖在视频上。用户可以单击球桌上的网格轻松标注击球落点(图1D1)。击球身位的默认值是由算法对球员的姿态计算得出的。用户可以通过单击球桌周围的圆弧轻松修改该值。
[0039] 为了实时显示每一拍球员的击球技术，将所述的视频标注及验证模块中的击球技术列表分为两级，第一级包括发球、进攻、防守、控制、其他五种，第二级为第一级中各种技术的细分(图1D2)。
[0040] 所述的视频标注及验证模块还包括验证按钮和视频播放控件，单击验证按钮(图1D6)，系统将播放该回合的视频片段，同时，将依次高亮显示击球落点、身位和技术的相应可视化元素。通过慢速播放视频，用户可以充分验证所标注的数据的准确性。该模块并支持对数据边界进行微调，以生成准确的训练数据以供模型训练和更新。为便于快速插入漏检的拍，采用波形图可视化潜在击球(图1D7)。将交互元素嵌入到视频中，以最大程度地减少切换上下文的时间。
[0041] 所述的击球声音波形图还包括添加按钮(图1D5)，当用户发现有缺失拍时，通过该按钮将缺失拍添加到所述的排列表中。
[0042] 所述的视频标注及验证模块提供的视频播放功能包括2倍速快放、正常播放、0.5倍慢放。
[0043] 四、后端计算模块
[0044] 该模块基于人工智能算法提取乒乓球比赛的比分、每回合时间、每回合击球数、每次击球的击球时刻和球员身位，并与比赛导览模块、热启动模块、视频标注及验证模块进行数据交互，实现数据的实时更新；所述的比分包括局分和回合分，所述的每回合时间包括回合开始和回合结束时间。剩下的较为专业和困难的数据采集部分则留空让用户进行标注。这样的模式可大幅度提升数据采集的效率，通过人机交互节省大量时间。
[0045] 所述的后端计算模块还能根据用户点选的击球落点及检测得到的球员身位，使用集成过滤的方法对击球技术进行推荐。同时根据规则删除违反乒乓球领域知识的选项。
[0046] 本发明的数据采集系统在采集每一回合和每一拍数据时，采用并行计算的方式，减少等待时间。且所述的比赛导览模块和视频标注及验证模块中的所有数据均可通过交互的方式进行修改。
[0047] 本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
