列车信息展示方法、装置、电子设备及系统

摘要

本发明实施例提供一种列车信息展示方法、装置、电子设备及系统，其中所述方法包括：获取用户对信息展示设置的第一输入；基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容；将所述目标播放内容分发到至少一个车窗屏幕上进行展示。本发明实施例通过设置相应的采集设备获取用户对待展示列车信息的展示设置输入，并根据该输入相应的调整待展示的列车信息，能够更有效的输出用户需要的信息，且能够更好的实现互动，用户体验更好。

权利要求

1.一种列车信息展示方法，其特征在于，包括：获取用户对信息展示设置的第一输入；

基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容；

将所述目标播放内容分发到至少一个车窗屏幕上进行展示；

所述获取用户对信息展示设置的第一输入具体包括：获取用户对信息展示进行设置的视频数据，所述视频数据包括手势设置信息；

若所述第一输入包括所述视频数据，则所述基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容，包括：解析所述视频数据，并通过图像识别技术确定所述手势设置信息对应的手势；

根据所述手势设置信息对应的手势，相应设置所述待展示信息；

在所述通过图像识别技术确定所述手势设置信息对应的手势之前，还包括：获取训练数据集，并在对所述训练数据集进行预处理后，对预处理后的数据集打标签，获取训练样本和测试样本；

通过设计基于3D 卷积网络的网络拓扑结构和基于注意力机制的混合域优化策略，初始化深度学习识别模型；

确定基于L2正则的损失函数和基于Adam优化器的损失函数优化算法，并基于所述损失函数和所述损失函数优化算法，利用所述训练样本，训练初始化完成的深度学习识别模型；

利用所述测试样本，测试训练完成的深度学习识别模型，获取目标深度学习识别模型；

相应的，所述通过图像识别技术确定所述手势设置信息对应的手势，具体包括：利用所述目标深度学习识别模型，识别所述手势设置信息对应的手势。

2.一种列车信息展示装置，其特征在于，包括：获取模块，用于获取用户对信息展示设置的第一输入；

设置模块，用于基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容；

输出模块，用于将所述目标播放内容分发到至少一个车窗屏幕上进行展示；

所述获取用户对信息展示设置的第一输入具体包括：获取用户对信息展示进行设置的视频数据，所述视频数据包括手势设置信息；若所述第一输入包括所述视频数据，则所述基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容，包括：

解析所述视频数据，并通过图像识别技术确定所述手势设置信息对应的手势；

根据所述手势设置信息对应的手势，相应设置所述待展示信息；在所述通过图像识别技术确定所述手势设置信息对应的手势之前，还包括：获取训练数据集，并在对所述训练数据集进行预处理后，对预处理后的数据集打标签，获取训练样本和测试样本；

通过设计基于3D卷积网络的网络拓扑结构和基于注意力机制的混合域优化策略，初始化深度学习识别模型；

确定基于L2正则的损失函数和基于Adam优化器的损失函数优化算法，并基于所述损失函数和所述损失函数优化算法，利用所述训练样本，训练初始化完成的深度学习识别模型；

利用所述测试样本，测试训练完成的深度学习识别模型，获取目标深度学习识别模型；

相应的，所述通过图像识别技术确定所述手势设置信息对应的手势，具体包括：利用所述目标深度学习识别模型，识别所述手势设置信息对应的手势。

3.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，其特征在于，所述处理器执行所述程序或指令时，实现如权利要求1所述的列车信息展示方法的步骤。

4.一种非暂态计算机可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时，实现如权利要求1所述的列车信息展示方法的步骤。

5.一种列车信息展示系统，其特征在于，包括：输入单元、控制单元、分屏器和至少一个车窗屏幕，所述输入单元的数量与所述车窗屏幕的数量对应；

所述输入单元，用于接收用户对信息展示设置的第一输入；

所述控制单元，分别与所述输入单元和所述分屏器通信连接，用于从所述输入单元获取所述第一输入，并基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容，以及，将所述目标播放内容发送至所述分屏器；

所述分屏器，与所述车窗屏幕通信连接，用于将所述目标播放内容分发到所述车窗屏幕上进行展示；所述输入单元具体包括视频采集装置；

若所述输入单元为视频采集装置，则所述第一输入具体为包含手势设置信息的视频数据，且所述控制单元在用于所述基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容时，具体用于：

解析所述视频数据，并通过图像识别技术确定所述手势设置信息对应的手势；

根据所述对应的手势，相应设置所述待展示信息；所述控制单元，还用于：获取训练数据集，并在对所述训练数据集进行预处理后，对预处理后的数据集打标签，获取训练样本和测试样本；

通过设计基于3D 卷积网络的网络拓扑结构和基于注意力机制的混合域优化策略，初始化深度学习识别模型；

确定基于L2正则的损失函数和基于Adam优化器的损失函数优化算法，并基于所述损失函数和所述损失函数优化算法，利用所述训练样本，训练初始化完成的深度学习识别模型；

利用所述测试样本，测试训练完成的深度学习识别模型，获取目标深度学习识别模型；

相应的，所述控制单元在用于所述通过图像识别技术确定所述手势设置信息对应的手势时，具体用于：

利用所述目标深度学习识别模型，识别所述手势设置信息对应的手势。

说明书

列车信息展示方法、装置、电子设备及系统

技术领域

[0001] 本发明涉及轨道交通技术领域，尤其涉及一种列车信息展示方法、装置、电子设备及系统。

背景技术

[0002] 随着经济社会的快速发展和物质文化需求的日益增长，人们对交通出行的要求已经由“走得了”向“走得好”转变。但是，目前轨道交通发展更多关注设施的供给，对使用者体
验却缺乏足够的重视。目前乘客在乘坐列车过程中，大多只能从车门上方动态地图或者车
窗边电视获取列车位置信息，这种展示方式显示的文字小、提供的信息有限，信息输出效率
较低。

发明内容

[0003] 本发明实施例提供一种列车信息展示方法、装置、电子设备及系统，用以解决现有技术中列车信息输出效率低的缺陷，实现更有效的输出用户需要的信息的目标。

[0004] 本发明实施例提供一种列车信息展示方法，包括：

[0005] 获取用户对信息展示设置的第一输入；

[0006] 基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容；

[0007] 将所述目标播放内容分发到至少一个车窗屏幕上进行展示。

[0008] 根据本发明一个实施例的列车信息展示方法，所述获取用户对信息展示设置的第一输入具体包括：

[0009] 获取用户对信息展示进行设置的视频数据，所述视频数据包括手势设置信息，

[0010] 和/或，获取用户对信息展示进行设置的语音数据，所述语音数据包括语音设置信息。

[0011] 根据本发明一个实施例的列车信息展示方法，若所述第一输入包括所述视频数据，则所述基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容，包括：

[0012] 解析所述视频数据，并通过图像识别技术确定所述手势设置信息对应的手势；

[0013] 根据所述对应的手势，相应设置所述待展示信息。

[0014] 根据本发明一个实施例的列车信息展示方法，在所述通过图像识别技术确定所述手势设置信息对应的手势之前，还包括：

[0015] 获取训练数据集，并在对所述训练数据集进行预处理后，对预处理后的数据集打标签，获取训练样本和测试样本；

[0016] 通过设计基于3D卷积网络的网络拓扑结构和基于注意力机制的混合域优化策略，初始化深度学习识别模型；

[0017] 确定基于L2正则的损失函数和基于Adam优化器的损失函数优化算法，并基于所述损失函数和所述损失函数优化算法，利用所述训练样本，训练初始化完成的深度学习识别
模型；

[0018] 利用所述测试样本，测试训练完成的深度学习识别模型，获取目标深度学习识别模型；

[0019] 相应的，所述通过图像识别技术确定所述手势设置信息对应的手势，具体包括：

[0020] 利用所述目标深度学习识别模型，识别所述手势设置信息对应的手势。

[0021] 根据本发明一个实施例的列车信息展示方法，还包括：

[0022] 在所述车窗屏幕上以画中画的形式展示可识别的设置方式。

[0023] 本发明实施例还提供一种列车信息展示装置，包括：

[0024] 获取模块，用于获取用户对信息展示设置的第一输入；

[0025] 设置模块，用于基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容；

[0026] 输出模块，用于通过分屏器，将所述目标播放内容分发到至少一个车窗屏幕上进行展示。

[0027] 本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述处理器执行所述程序或指令时，实现如上述
任一所述的列车信息展示方法的步骤。

[0028] 本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时，实现如上述任一种所述的列车信息展示方法的步骤。

[0029] 本发明实施例还提供一种列车信息展示系统，包括：输入单元、控制单元、分屏器和至少一个车窗屏幕，所述输入单元的数量与所述车窗屏幕的数量对应；

[0030] 所述输入单元，用于接收用户对信息展示设置的第一输入；

[0031] 所述控制单元，分别与所述输入单元和所述分屏器通信连接，用于从所述输入单元获取所述第一输入，并基于所述第一输入，通过对待展示信息进行设置，获取目标播放内
容，以及，将所述目标播放内容发送至所述分屏器；

[0032] 所述分屏器，与所述车窗屏幕通信连接，用于将所述目标播放内容分发到所述车窗屏幕上进行展示。

[0033] 根据本发明一个实施例的列车信息展示系统，所述输入单元具体为视频采集装置和/或语音采集装置；

[0034] 若所述输入单元为视频采集装置，则所述第一输入具体为包含手势设置信息的视频数据，且所述控制单元在用于所述基于所述第一输入，通过对待展示信息进行设置，获取
目标播放内容时，具体用于：

[0035] 解析所述视频数据，并通过图像识别技术确定所述手势设置信息对应的手势；

[0036] 根据所述对应的手势，相应设置所述待展示信息。

[0037] 根据本发明一个实施例的列车信息展示系统，所述控制单元，还用于：

[0038] 获取训练数据集，并在对所述训练数据集进行预处理后，对预处理后的数据集打标签，获取训练样本和测试样本；

[0039] 通过设计基于3D卷积网络的网络拓扑结构和基于注意力机制的混合域优化策略，初始化深度学习识别模型；

[0040] 确定基于L2正则的损失函数和基于Adam优化器的损失函数优化算法，并基于所述损失函数和所述损失函数优化算法，利用所述训练样本，训练初始化完成的深度学习识别
模型；

[0041] 利用所述测试样本，测试训练完成的深度学习识别模型，获取目标深度学习识别模型；

[0042] 相应的，所述控制单元在用于所述通过图像识别技术确定所述手势设置信息对应的手势时，具体用于：

[0043] 利用所述目标深度学习识别模型，识别所述手势设置信息对应的手势。

[0044] 本发明实施例提供的列车信息展示方法、装置、电子设备及系统，通过设置相应的采集设备获取用户对待展示列车信息的展示设置输入，并根据该输入相应的调整待展示的
列车信息，能够更有效的输出用户需要的信息，且能够更好的实现互动，用户体验更好。

附图说明

[0045] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发
明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根
据这些附图获得其他的附图。

[0046] 图1为本发明一实施例提供的列车信息展示系统的结构示意图；

[0047] 图2为本发明另一实施例提供的列车信息展示系统的结构示意图；

[0048] 图3为本发明实施例提供的列车信息展示方法的流程示意图；

[0049] 图4为本发明实施例提供的列车信息展示装置的结构示意图；

[0050] 图5为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

[0051] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员
在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0052] 本发明实施例针对现有技术中列车信息输出效率低的问题，通过设置相应的采集设备获取用户对待展示列车信息的展示设置输入，并根据该输入相应的调整待展示的列车
信息，能够更有效的输出用户需要的信息，且能够更好的实现互动，用户体验更好。以下将
具体通过多个实施例对本发明实施例进行展开说明和介绍。

[0053] 图1为本发明一实施例提供的列车信息展示系统的结构示意图，该系统可以用于实现列车信息的交互性展示，如图1所示，该系统包括输入单元101、控制单元102、分屏器
103和至少一个车窗屏幕104，其中输入单元101的数量与车窗屏幕104的数量对应。

[0054] 其中，输入单元101用于接收用户对信息展示设置的第一输入；控制单元102分别与输入单元101和分屏器103通信连接，用于从输入单元101获取所述第一输入，并基于所述
第一输入，通过对待展示信息进行设置，获取目标播放内容，以及，将所述目标播放内容发
送至分屏器103；分屏器103与车窗屏幕104通信连接，用于将所述目标播放内容分发到车窗
屏幕104上进行展示。

[0055] 可以理解为，如图1所示，本发明实施例的列车信息展示系统至少应包括输入单元101、控制单元102、分屏器103和至少一个车窗屏幕104，分别用于实现用户输入信息采集，
控制运算、分屏运算和待展示列车信息呈现。

[0056] 具体而言，可以在每节客室车厢均部署一定数量的车窗屏幕104、一个分屏器103、一个控制单元102以及对应车窗屏幕数量的输入单元101。应理解的是，其中的车窗屏幕104
是具有视频播放功能的显示屏幕的车窗，如可以为OLED车窗屏幕、LED车窗屏幕或者LCD车
窗屏幕。

[0057] 其中，可将一个输入单元101对应布置在一个车窗屏幕104附近，用于实施采集用户对该车窗屏幕104对应的操作输入。控制单元102负责接收输入单元101的实时采集的第
一输入，并通过相应的信息识别技术，识别复杂背景下的用户设置信息。

[0058] 之后，根据该用户设置信息，对应设置车窗屏幕104播放的画面，并将播放视频流通过分屏器103发送至车窗屏幕104。同时，车窗屏幕104在视频解码后，对相应视频进行播
放，为乘客提供信息互动服务。

[0059] 本发明实施例提供的列车信息展示系统，通过设置相应的采集设备获取用户对待展示列车信息的展示设置输入，并根据该输入相应的调整待展示的列车信息，能够更有效
的输出用户需要的信息，且能够更好的实现互动，用户体验更好。

[0060] 其中可选的，所述输入单元具体可以为视频采集装置和/或语音采集装置。其中的视频采集装置如可以是高清摄像头，用于对用户对当前播放内容的滑动操作手势等。其中
的语音采集装置如可以是拾音器，用于识别用户对当前播放内容的语音设置输入。

[0061] 本发明实施例属于基于车窗屏幕的车厢信息互动服务方案，主要利用车窗屏幕的大面积、透明特性以及可视范围广的特性，将车窗变为向乘客提供丰富旅途资讯的交互终
端。

[0062] 同时相应的，通过图像识别技术或者语音识别技术，识别在拥挤车厢内复杂背景下的乘客手势或者语音，并相应的根据乘客手势或者语音，在车窗屏幕显示出对应的服务
信息，使得乘客不再是被动的接收信息，可以形成乘客与信息展示之间的良好互动。

[0063] 其中可选的，若所述输入单元为视频采集装置，则所述第一输入具体为包含手势设置信息的视频数据，且所述控制单元在用于所述基于所述第一输入，通过对待展示信息
进行设置，获取目标播放内容时，具体用于：解析所述视频数据，并通过图像识别技术确定
所述手势设置信息对应的手势；根据所述对应的手势，相应设置所述待展示信息。

[0064] 如图2所示，为本发明另一实施例提供的列车信息展示系统的结构示意图，包括一定数量的OLED车窗屏幕204、一个分屏器203、一个一体化控制单元202以及对应车窗屏幕数
量的高清摄像头201。一体化控制单元202负责接收高清摄像头201的实时视频图像，通过图
像识别技术，识别复杂背景下的乘客手势。之后，根据乘客手势，设置OLED车窗屏幕204要播
放的画面，并将播放视频流通过分屏器203发送至OLED车窗屏幕204，同时OLED车窗屏幕在
视频解码后，对视频进行播放，为乘客提供信息互动服务。

[0065] 不难理解，当输入单元为视频采集装置时，其采集到的是包含用户设置输入的一段视频数据，其中用户的输入设置可以体现为用户的手势信息。

[0066] 本发明实施例的接口实现为：摄像头‑>一体化控制单元‑>车窗OLED屏幕：视频流。

[0067] 本发明实施例依托于车窗透明OLED屏，在屏幕显示乘客服务信息的基础上，通过在车厢内加装摄像头或复用车厢内现有摄像头，实现在复杂背景下的乘客手势识别，并且
根据乘客手势来切换车窗OLED屏幕的显示内容，能够实现车窗信息于乘客的良好互动，让
乘客不再被动接收信息，而是主动获取信息。

[0068] 进一步的，本发明实施例的列车信息展示系统中，所述控制单元，还用于：

[0069] 获取训练数据集，并在对所述训练数据集进行预处理后，对预处理后的数据集打标签，获取训练样本和测试样本；

[0070] 通过设计基于3D卷积网络的网络拓扑结构和基于注意力机制的混合域优化策略，初始化深度学习识别模型；

[0071] 确定基于L2正则的损失函数和基于Adam优化器的损失函数优化算法，并基于所述损失函数和所述损失函数优化算法，利用所述训练样本，训练初始化完成的深度学习识别
模型；

[0072] 利用所述测试样本，测试训练完成的深度学习识别模型，获取目标深度学习识别模型；

[0073] 相应的，所述控制单元在用于所述通过图像识别技术确定所述手势设置信息对应的手势时，具体用于：

[0074] 利用所述目标深度学习识别模型，识别所述手势设置信息对应的手势。具体而言，本发明实施例的手势识别采用深度模型实现，该深度模型是经过训练的深度学习识别模
型，可称为目标深度学习识别模型。因此在对视频数据进行用户手势识别时，具体可以利用
目标深度学习识别模型，识别手势设置信息对应的手势。

[0075] 其中，可识别的手势可以包括：向左挥手、向右挥手、放大手势和缩小手势。

[0076] 向左挥手，定义为对应屏幕内容向左翻页，或画面整体向左移动。

[0077] 向右挥手，定义为对应屏幕内容向右翻页，或画面整体向右移动。

[0078] 放大手势，定义为对应屏幕画面放大，例如地铁线网图放大。

[0079] 缩小手势，定义为对应屏幕画面缩小，例如，放大后的地铁线网图缩小到原始大小。

[0080] 应理解的是，为了达到更高的识别精度，在利用深度学习识别模型进行用户手势识别之前，需要先对模型进行训练，得到精度达到设定要求的目标深度学习识别模型。训练
手势识别深度模型的步骤包括：

[0081] 步骤1，数据集准备：数据采集由十个人分别做出四种动态手势，每种动态手势每人收集150个短视频，共6000个短视频样本，将每一个短视频拆成三十张的图片，共有图片
样本180000张。其中训练集为150000张，测试和验证集分别为15000张。

[0082] 步骤2，数据预处理：使用opencv的中值滤波和形态学开闭运算对训练集数据进行去噪操作。

[0083] 步骤3，数据集打标签：使用labelImg工具对训练集数据结合验证集数据进行标注，找到每张图片的中心点坐标(x1，y1)，每张图片大小为252x252，然后以left_top(x1‑
63,y1‑32),right_bottom(x1+63,y1+32),width＝126,height＝64标注出每张图片中的手
势，当这部分区域出现手势时，赋予这部分手势0.9的权重，周边手势权重和共为0.1，当这
部分区域没有手势时，中心点坐标分别左右移动63像素值，得到两个中心坐标Lc(x2＝x1+
63,y2＝y1),Rc(x3＝x1‑63,y3＝y1)。类似上面分别找到Lc和Rc的left_top,right_bottom
的坐标点，标出该区域的手势类别，左右两边的权重各为0.5，其他区域内检测到手势时，屏
幕提示框显示内容为：“手势不在检测区域内，请在检测区域内做手势”，最后分别将四种不
同手势的数据放在四个文件夹下，文件夹名字为swiping left，swiping right,enlarge,
narrow四类，这样标注数据采用attention机制，让模型更注重识别标注区域内的手势，可
以有效解决车厢内复杂背景下多人多手势的识别冲突，也可以有效避免误识别乘客正常的
举止动作，大大减少了误报率。

[0084] 步骤4，深度学习模型选择：深度学习网络结构使用3D卷积网络，自定义的网络结构共11层。4层3D卷积层，4层3D池化层，3层全连接层。输入层是输入16x126x64x3的图像，输
出层时输出五类类别。训练时采用attention机制中的混合域结构，混合域结构弥补了空间
域结构和通道域结构的缺点。柔性Attention机制通常由一个连接在原神经网络之后的额
外的神经网络实现，整个模型仍然是端对端的，注意力模块能够和原模型一起同步训练，直
至模型收敛。

[0085] 步骤5，深度学习模型训练：损失函数采用的是L2正则并进行加权求和，优化损失函数使用Adam优化器自动调整学习率加快损失函数的收敛，经过对训练集进行300轮epoch
操作，当损失函数小于一定阈值时可以提前停止训练，保存模型及权重。

[0086] 步骤6，深度学习模型测试结果：将测试集的数据输入到已训练好的模型中，最终测试结果识别准确率达到95.32％，误报率低于0.5％。

[0087] 本发明实施例通过采用深度识别模型识别用户手势，能够有效提高车厢拥挤环境下手势识别准确率。

[0088] 其中可选的，若所述输入单元为语音采集装置，则所述第一输入具体为包含语音设置信息的语音数据，且所述控制单元在用于所述基于所述第一输入，通过对待展示信息
进行设置，获取目标播放内容时，具体用于：解析所述语音数据，并通过语音识别技术确定
所述语音设置信息对应的语音；根据所述对应的语音，相应设置所述待展示信息。

[0089] 不难理解，当输入单元为语音采集装置时，其采集到的是包含用户设置输入的一段语音数据，其中用户的输入设置可以体现为用户的语音信息。

[0090] 于是相应的，控制单元在进行列车信息的展示控制时，可以先解析该语音数据，并通过相应的语音识别技术识别语音设置信息对应的语音。之后，可根据识别出的语音以及
事先定义的各种语音输入对应的操作，设置待展示的信息。

[0091] 具体的，可以在屏幕附近安装拾音器，通过语音识别技术与乘客实现互动，乘客通过语音控制车窗屏幕的显示内容，进而观看自己关注的内容。

[0092] 进一步的，本发明实施例中车窗屏幕上还可以以画中画的形式展示可识别的设置方式。

[0093] 具体而言，在车窗屏幕中可以以画中画的形式持续显示可识别的手势，乘客可以根据屏幕上显示的手势提示图来做出对应的手势。通过不同的手势来控制屏幕显示不同的
内容。

[0094] 本发明实施例通过画中画的形式显示可识别的手势，能够有效指导用户发出正确的手势，从而能够更准确高效的识别用户手势，并能提升用户体验。

[0095] 图3为本发明实施例提供的列车信息展示方法的流程示意图，如图3所示，该方法包括：

[0096] S301，获取用户对信息展示设置的第一输入。

[0097] 可以理解为，本发明实施例可以应用上述列车信息展示系统实现列车信息展示。其中的列车信息展示可以表示为在列车上进行信息展示。具体可以在每节客室车厢部署一
定数量的车窗屏幕、一个分屏器、一个控制单元以及对应车窗屏幕数量的输入单元。应理解
的是，其中的车窗屏幕是具有视频播放功能的显示屏幕的车窗，如可以为OLED车窗屏幕、
LED车窗屏幕或者LCD车窗屏幕。

[0098] 当用户在观看到车窗屏幕的播放内容，并对其播放内容进行操作设置时，输入单元可以采集到用户的设置输入，可称为第一输入。此后，本发明实施例可以从输入单元获取
到该第一输入。

[0099] S302，基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容。

[0100] 可以理解为，在获取到第一输入后，可通过相应的信息识别技术，识别复杂背景下的用户设置信息。之后，根据该用户设置信息，对应设置车窗屏幕播放的画面。也即，根据用
户设置信息，对应调整车窗屏幕播放的内容，可称为目标播放内容。

[0101] S303，将所述目标播放内容分发到至少一个车窗屏幕上进行展示。

[0102] 可以理解为，在根据上述步骤对车窗屏幕播放内容进行调整后，生成的目标播放内容需要被以播放视频流的形式发送到至少一个车窗屏幕上进行展示。可选的，可采用分
屏器分发播放视频流到至少一个车窗屏幕。车窗屏幕在视频解码后，对相应视频进行播放，
为乘客提供信息互动服务。

[0103] 本发明实施例提供的列车信息展示方法，通过设置相应的采集设备获取用户对待展示列车信息的展示设置输入，并根据该输入相应的调整待展示的列车信息，能够更有效
的输出用户需要的信息，且能够更好的实现互动，用户体验更好。

[0104] 其中，根据上述各实施例提供的列车信息展示方法可选的，所述获取用户对信息展示设置的第一输入具体包括：获取用户对信息展示进行设置的视频数据，所述视频数据
包括手势设置信息，和/或，获取用户对信息展示进行设置的语音数据，所述语音数据包括
语音设置信息。

[0105] 可以理解为，根据上述各实施例中的视频采集装置如可以是高清摄像头，则利用该高清摄像头，可以对用户对当前播放内容的滑动操作手势等进行采集，得到相应的视频
数据，其中包括用户的手势设置信息。根据上述各实施例中的语音采集装置如可以是拾音
器，则利用该拾音器，可以识别用户对当前播放内容的语音设置输入，其得到相应的语音数
据，其中包括用户的语音设置信息。

[0106] 本发明实施例通过利用OLED屏幕的大面积、透明特性以及可视范围广的特性，将车窗变为向乘客提供丰富旅途资讯的交互终端。

[0107] 同时相应的，通过图像识别技术或者语音识别技术，识别在拥挤车厢内复杂背景下的乘客手势或者语音，并相应的根据乘客手势或者语音，在OLED屏幕显示出对应的服务
信息，使得乘客不再是被动的接收信息，可以形成乘客与信息展示之间的良好互动。

[0108] 其中，根据上述各实施例提供的列车信息展示方法可选的，若所述第一输入为所述包含手势设置信息的视频数据，则所述基于所述第一输入，通过对待展示信息进行设置，
获取目标播放内容，包括：解析所述视频数据，并通过图像识别技术确定所述手势设置信息
对应的手势；根据所述手势设置信息对应的手势，相应设置所述待展示信息。

[0109] 不难理解，当输入单元为视频采集装置时，其采集到的是包含用户设置输入的一段视频数据，其中用户的输入设置可以体现为用户的手势信息。

[0110] 于是相应的，控制单元在进行列车信息的展示控制时，可以先解析该视频数据，并通过相应的图像识别技术识别手势设置信息对应的手势。之后，可根据识别出的手势以及
事先定义的各种手势对应的操作，设置待展示的信息。本发明实施例的接口实现为：摄像
头‑>一体化控制单元‑>车窗OLED屏幕：视频流。

[0111] 本发明实施例依托于车窗透明OLED屏，在屏幕显示乘客服务信息的基础上，通过在车厢内加装摄像头或复用车厢内现有摄像头，实现在复杂背景下的乘客手势识别，并且
根据乘客手势来切换车窗OLED屏幕的显示内容，能够实现车窗信息于乘客的良好互动，让
乘客不再被动接收信息，而是主动获取信息。

[0112] 进一步的，在所述通过图像识别技术确定所述手势设置信息对应的手势之前，本发明实施例的列车信息展示方法还包括：

[0113] 获取训练数据集，并在对所述训练数据集进行预处理后，对预处理后的数据集打标签，获取训练样本和测试样本；

[0114] 通过设计基于3D卷积网络的网络拓扑结构和基于注意力机制的混合域优化策略，初始化深度学习识别模型；

[0115] 确定基于L2正则的损失函数和基于Adam优化器的损失函数优化算法，并基于所述损失函数和所述损失函数优化算法，利用所述训练样本，训练初始化完成的深度学习识别
模型；

[0116] 利用所述测试样本，测试训练完成的深度学习识别模型，获取目标深度学习识别模型；

[0117] 相应的，所述通过图像识别技术确定所述手势设置信息对应的手势，具体包括：

[0118] 利用所述目标深度学习识别模型，识别所述手势设置信息对应的手势。

[0119] 具体而言，本发明实施例的手势识别采用深度模型实现，该深度模型是经过训练的深度学习识别模型，可称为目标深度学习识别模型。因此在对视频数据进行用户手势识
别时，具体可以利用目标深度学习识别模型，识别手势设置信息对应的手势。

[0120] 其中，可识别的手势可以包括：向左挥手、向右挥手、放大手势和缩小手势。

[0121] 向左挥手，定义为对应屏幕内容向左翻页，或画面整体向左移动。

[0122] 向右挥手，定义为对应屏幕内容向右翻页，或画面整体向右移动。

[0123] 放大手势，定义为对应屏幕画面放大，例如地铁线网图放大。

[0124] 缩小手势，定义为对应屏幕画面缩小，例如，放大后的地铁线网图缩小到原始大小。

[0125] 应理解的是，为了达到更高的识别精度，在利用深度学习识别模型进行用户手势识别之前，需要先对模型进行训练，得到精度达到设定要求的目标深度学习识别模型。训练
手势识别深度模型的步骤包括：

[0126] 步骤1，数据集准备：数据采集由十个人分别做出四种动态手势，每种动态手势每人收集150个短视频，共6000个短视频样本，将每一个短视频拆成三十张的图片，共有图片
样本180000张。其中训练集为150000张，测试和验证集分别为15000张。

[0127] 步骤2，数据预处理：使用opencv的中值滤波和形态学开闭运算对训练集数据进行去噪操作。

[0128] 步骤3，数据集打标签：使用labelImg工具对训练集数据结合验证集数据进行标注，找到每张图片的中心点坐标(x1，y1)，每张图片大小为252x252，然后以left_top(x1‑
63,y1‑32),right_bottom(x1+63,y1+32),width＝126,height＝64标注出每张图片中的手
势，当这部分区域出现手势时，赋予这部分手势0.9的权重，周边手势权重和共为0.1，当这
部分区域没有手势时，中心点坐标分别左右移动63像素值，得到两个中心坐标Lc(x2＝x1+
63,y2＝y1),Rc(x3＝x1‑63,y3＝y1)。类似上面分别找到Lc和Rc的left_top,right_bottom
的坐标点，标出该区域的手势类别，左右两边的权重各为0.5，其他区域内检测到手势时，屏
幕提示框显示内容为：“手势不在检测区域内，请在检测区域内做手势”，最后分别将四种不
同手势的数据放在四个文件夹下，文件夹名字为swiping left，swiping right,enlarge,
narrow四类，这样标注数据采用attention机制，让模型更注重识别标注区域内的手势，可
以有效解决车厢内复杂背景下多人多手势的识别冲突，也可以有效避免误识别乘客正常的
举止动作，大大减少了误报率。

[0129] 步骤4，深度学习模型选择：深度学习网络结构使用3D卷积网络，自定义的网络结构共11层。4层3D卷积层，4层3D池化层，3层全连接层。输入层是输入16x126x64x3的图像，输
出层时输出五类类别。训练时采用attention机制中的混合域结构，混合域结构弥补了空间
域结构和通道域结构的缺点。柔性Attention机制通常由一个连接在原神经网络之后的额
外的神经网络实现，整个模型仍然是端对端的，注意力模块能够和原模型一起同步训练，直
至模型收敛。

[0130] 步骤5，深度学习模型训练：损失函数采用的是L2正则并进行加权求和，优化损失函数使用Adam优化器自动调整学习率加快损失函数的收敛，经过对训练集进行300轮epoch
操作，当损失函数小于一定阈值时可以提前停止训练，保存模型及权重。

[0131] 步骤6，深度学习模型测试结果：将测试集的数据输入到已训练好的模型中，最终测试结果识别准确率达到95.32％，误报率低于0.5％。

[0132] 本发明实施例通过采用深度识别模型识别用户手势，能够有效提高车厢拥挤环境下手势识别准确率。其中，根据上述各实施例提供的列车信息展示方法可选的，若所述第一
输入为所述包含语音设置信息的语音数据，则所述基于所述第一输入，通过对待展示信息
进行设置，获取目标播放内容，包括：解析所述语音数据，并通过语音识别技术确定所述语
音设置信息对应的语音；根据所述语音设置信息对应的语音，相应设置所述待展示信息。

[0133] 不难理解，当输入单元为语音采集装置时，其采集到的是包含用户设置输入的一段语音数据，其中用户的输入设置可以体现为用户的语音信息。

[0134] 于是相应的，控制单元在进行列车信息的展示控制时，可以先解析该语音数据，并通过相应的语音识别技术识别语音设置信息对应的语音。之后，可根据识别出的语音以及
事先定义的各种语音输入对应的操作，设置待展示的信息。

[0135] 具体的，可以在屏幕附近安装拾音器，通过语音识别技术与乘客实现互动，乘客通过语音控制OLED屏的显示内容，进而观看自己关注的内容。

[0136] 其中，根据上述各实施例提供的列车信息展示方法，还包括：在所述车窗屏幕上以画中画的形式展示可识别的设置方式。

[0137] 具体而言，在车窗屏幕中可以以画中画的形式持续显示可识别的手势，乘客可以根据屏幕上显示的手势提示图来做出对应的手势。通过不同的手势来控制屏幕显示不同的
内容。

[0138] 本发明实施例通过画中画的形式显示可识别的手势，能够有效指导用户发出正确的手势，从而能够更准确高效的识别用户手势，并能提升用户体验。

[0139] 需要说明的是，本发明实施例提供的列车信息展示，执行主体可以为列车信息展示装置，或者，该列车信息展示装置中的用于执行加载列车信息展示方法的控制模块。本申
请实施例中以列车信息展示装置执行加载列车信息展示方法为例，说明本申请实施例提供
的列车信息展示方法。

[0140] 基于相同的发明构思，本发明实施例根据上述各实施例还提供一种列车信息展示装置，该装置用于在上述各实施例中实现列车信息展示。因此，在上述各实施例的列车信息
展示方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解，具体可参考上
述实施例，此处不在赘述。

[0141] 根据本发明的一个实施例，列车信息展示装置的结构如图4所示，为本发明实施例提供的列车信息展示装置的结构示意图，该装置可以用于实现上述各方法实施例中列车信
息展示，该装置包括：获取模块401、设置模块402和输出模块403。

[0142] 其中，获取模块401用于获取用户对信息展示设置的第一输入；设置模块402用于基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容；输出模块403用于通
过分屏器，将所述目标播放内容分发到至少一个车窗屏幕上进行展示。

[0143] 可以理解的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明实施例的列车信息展示装置利
用上述各程序模块，能够实现图1的列车信息展示方法实施例中的各个过程。在用于实现上
述各方法实施例中列车信息展示时，本发明实施例的装置产生的有益效果与对应的上述各
方法实施例相同，可以参考上述各方法实施例，为避免重复，此处不再赘述。

[0144] 作为本发明实施例的又一个方面，本实施例根据上述各实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的程序或
指令，该处理器执行该程序或指令时，实现如上述各实施例所述的列车信息展示方法的步
骤。

[0145] 进一步的，本发明实施例的电子设备还可以包括通信接口和总线。参考图5，为本发明实施例提供的电子设备的实体结构示意图，包括：至少一个存储器501、至少一个处理
器502、通信接口503和总线504。

[0146] 其中，存储器501、处理器502和通信接口503通过总线504完成相互间的通信，通信接口503用于该电子设备与输入单元设备之间的信息传输；存储器501中存储有可在处理器
502上运行的程序或指令，处理器502执行该程序或指令时，实现如上述各实施例所述的列
车信息展示方法的步骤。

[0147] 可以理解为，该电子设备中至少包含存储器501、处理器502、通信接口503和总线504，且存储器501、处理器502和通信接口503通过总线504形成相互间的通信连接，并可完
成相互间的通信，如处理器502从存储器501中读取列车信息展示方法的程序指令等。另外，
通信接口503还可以实现该电子设备与输入单元设备之间的通信连接，并可完成相互间信
息传输，如通过通信接口503实现用户设置输入数据的读取等。

[0148] 电子设备运行时，处理器502调用存储器501中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取用户对信息展示设置的第一输入；基于所述第一输入，
通过对待展示信息进行设置，获取目标播放内容；将所述目标播放内容分发到至少一个车
窗屏幕上进行展示等。

[0149] 上述的存储器501中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施
例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算
机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储
介质包括：U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random 
Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0150] 本发明实施例还根据上述各实施例提供一种非暂态计算机可读存储介质，其上存储有程序或指令，该程序或指令被计算机执行时，实现如上述各实施例所述的列车信息展
示方法的步骤，例如包括：获取用户对信息展示设置的第一输入；基于所述第一输入，通过
对待展示信息进行设置，获取目标播放内容；将所述目标播放内容分发到至少一个车窗屏
幕上进行展示等。

[0151] 作为本发明实施例的再一个方面，本实施例根据上述各实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，
所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各
方法实施例所提供的列车信息展示方法，该方法包括：获取用户对信息展示设置的第一输
入；基于所述第一输入，通过对待展示信息进行设置，获取目标播放内容；将所述目标播放
内容分发到至少一个车窗屏幕上进行展示。

[0152] 本发明实施例提供的电子设备、非暂态计算机可读存储介质和计算机程序产品，通过执行上述各实施例所述的列车信息展示方法的步骤，通过设置相应的采集设备获取用
户对待展示列车信息的展示设置输入，并根据该输入相应的调整待展示的列车信息，能够
更有效的输出用户需要的信息，且能够更好的实现互动，用户体验更好。

[0153] 可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个
地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块
来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可
以理解并实施。

[0154] 通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述
技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计
算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光
盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)
执行上述各方法实施例或者方法实施例的某些部分所述的方法。

[0155] 另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素
的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或
者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由
语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中
还存在另外的相同要素。

[0156] 本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结
构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开
并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述
中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

[0157] 最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的技术人员应当理解：
其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等
同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技
术方案的精神和范围。