一种直播方法、装置和智能眼镜转让专利

申请号 : CN201810551273.3

文献号 : CN108900850B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 吴志群

申请人 : 北京达佳互联信息技术有限公司

摘要 :

本发明实施例提供了一种直播方法、装置和智能眼镜,该方法包括:可穿戴设备与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;可穿戴设备在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据与原始音频数据;可穿戴设备将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据;可穿戴设备将所述目标视频数据与所述目标音频数据封装为直播流数据;可穿戴设备通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。由于可穿戴设备穿戴在用户身上,无需固定在某个位置或用户手持,可穿戴设备随用户移动,并释放用户双手进行其他处理,大大提高了直播的简便性。

权利要求 :

1.一种直播方法,其特征在于,包括:

可穿戴设备与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;

可穿戴设备在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据与原始音频数据;

可穿戴设备将所述原始视频数据编码为目标视频数据,将所述原始音频数据编码为目标音频数据,包括:可穿戴设备确定视频编码参数与音频编码参数;可穿戴设备按照所述视频编码参数将所述原始视频数据编码为目标视频数据;可穿戴设备按照所述音频编码参数将所述原始音频数据编码为目标音频数据;其中,所述目标视频数据与所述目标音频数据的带宽小于或等于目标带宽,所述目标带宽为在所述数据链路可提供的带宽的基础上取指定的比例;

可穿戴设备将所述目标视频数据与所述目标音频数据封装为直播流数据;

可穿戴设备通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器;

其中,所述可穿戴设备确定视频编码参数与音频编码参数,包括:可穿戴设备检测传输质量参数;

可穿戴设备在所述传输质量参数降低时,降低视频编码参数;

可穿戴设备在所述传输质量参数增加时,提高视频编码参数;其中,当所述传输质量参数增加时,在预设时间段持续监控,若在所述预设时间段内传输质量参数稳定,则提高所述视频编码参数。

2.根据权利要求1所述的方法,其特征在于,所述可穿戴设备通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器,包括:可穿戴设备按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。

3.根据权利要求2所述的方法,其特征在于,所述经典蓝牙及所述蓝牙增强速率EDR遵循蓝牙串口协议SPP;

所述可穿戴设备按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器,包括:可穿戴设备缓存所述直播流数据;

可穿戴设备在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器;

其中,所述缓存条件包括如下的至少一种:

缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。

4.根据权利要求1所述的方法,其特征在于,所述可穿戴设备通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器,包括:可穿戴设备在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;

其中,所述第一通信频段与所述第二通信频段不相同。

5.一种直播装置,其特征在于,应用在可穿戴设备中,包括:无线链路建立模块,用于与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;

数据采集模块,用于在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据与原始音频数据;

数据编码模块,用于将所述原始视频数据编码为目标视频数据,将所述原始音频数据编码为目标音频数据;

直播流封装模块,用于将所述目标视频数据与所述目标音频数据封装为直播流数据;

直播流传输模块,用于通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器;

其中,所述数据编码模块包括:

编码参数确定子模块,用于确定视频编码参数与音频编码参数;

视频编码子模块,用于按照所述视频编码参数将所述原始视频数据编码为目标视频数据;

音频编码子模块,用于按照所述音频编码参数将所述原始音频数据编码为目标音频数据;

其中,所述目标视频数据与所述目标音频数据的带宽小于或等于目标带宽,所述目标带宽为在所述数据链路可提供的带宽的基础上取指定的比例;

其中,所述编码参数确定子模块包括:

传输质量参数检测单元,用于检测传输质量参数;

视频编码参数降低单元,用于在所述传输质量参数降低时,降低视频编码参数;

视频编码参数提高单元,用于在所述传输质量参数增加时,提高视频编码参数;其中,当所述传输质量参数增加时,在预设时间段持续监控,若在所述预设时间段内传输质量参数稳定,则提高所述视频编码参数。

6.根据权利要求5所述的装置,其特征在于,所述直播流传输模块包括:蓝牙传输子模块,用于按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。

7.根据权利要求6所述的装置,其特征在于,所述经典蓝牙及所述蓝牙增强速率EDR遵循蓝牙串口协议SPP;

所述蓝牙传输子模块包括:

直播流数据缓存单元,用于缓存所述直播流数据;

缓存发送单元,用于在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器;

其中,所述缓存条件包括如下的至少一种:

缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。

8.根据权利要求5所述的装置,其特征在于,所述直播流传输模块包括:频段传输子模块,用于在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;

其中,所述第一通信频段与所述第二通信频段不相同。

9.一种智能眼镜,其特征在于,包括:

通信器,被配置为与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;

摄像头,被配置为在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据;

麦克风,被配置为在通过所述信令链路接收到所述移动终端的直播指令时,采集原始音频数据;

编码器,被配置为将所述原始视频数据编码为目标视频数据,将所述原始音频数据编码为目标音频数据;

处理器,被配置为将所述目标视频数据与所述目标音频数据封装为直播流数据;

所述通信器,还被配置为通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器;

其中,所述编码器还被配置为:

确定视频编码参数与音频编码参数;

按照所述视频编码参数将所述原始视频数据编码为目标视频数据;

按照所述音频编码参数将所述原始音频数据编码为目标音频数据;

其中,所述目标视频数据与所述目标音频数据的带宽小于或等于目标带宽,所述目标带宽为在所述数据链路可提供的带宽的基础上取指定的比例;

其中,所述编码器还被配置为:

检测传输质量参数;

在所述传输质量参数降低时,降低视频编码参数;

在所述传输质量参数增加时,提高视频编码参数;其中,当所述传输质量参数增加时,在预设时间段持续监控,若在所述预设时间段内传输质量参数稳定,则提高所述视频编码参数。

10.根据权利要求9所述的智能眼镜,其特征在于,所述通信器还被配置为:按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。

11.根据权利要求10所述的智能眼镜,其特征在于,所述经典蓝牙及所述蓝牙增强速率EDR遵循蓝牙串口协议SPP。

12.根据权利要求9所述的智能眼镜,其特征在于,所述通信器还被配置为:缓存所述直播流数据;

在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器;

其中,所述缓存条件包括如下的至少一种:

缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。

13.根据权利要求9所述的智能眼镜,其特征在于,所述通信器还被配置为:在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;

其中,所述第一通信频段与所述第二通信频段不相同。

说明书 :

一种直播方法、装置和智能眼镜

技术领域

[0001] 本发明涉及通信的技术领域,特别是涉及一种直播方法、一种直播装置和一种智能眼镜。

背景技术

[0002] 随之网络通信的快速发展,直播也越来越普遍地应用在用户的工作、生活、娱乐等各个方面。
[0003] 例如,用户作为主播在直播中表演唱歌、舞蹈、电子竞技,对某个地方进行监控视频,等等。
[0004] 目前用于直播的设备种类繁多,单基本上都配备了大容量电池或者在工作期间进行外接充电以解决设备供电问题,与此同时,视频数据、音频数据量较大,基本上依赖Wi-Fi(无线保真)传输通道进行视音频数据网络传输,因此,这些设备固定在某个位置或用户手持这些设备,对直播造成不便。

发明内容

[0005] 本发明实施例提出了一种直播方法、装置和智能眼镜,以解决设备固定在某个位置或用户手持这些设备造成直播不便的问题。
[0006] 依据本发明的一个方面,提供了一种直播方法,包括:
[0007] 可穿戴设备与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;
[0008] 可穿戴设备在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据与原始音频数据;
[0009] 可穿戴设备将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据;
[0010] 可穿戴设备将所述目标视频数据与所述目标音频数据封装为直播流数据;
[0011] 可穿戴设备通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0012] 可选地,所述可穿戴设备将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据,包括:
[0013] 可穿戴设备确定视频编码参数与音频编码参数;
[0014] 可穿戴设备按照所述视频编码参数将所述原始视频数据编码为目标视频数据;
[0015] 可穿戴设备按照所述音频编码参数将所述原始音频数据编码为目标音频数据;
[0016] 其中,所述目标视频数据与所述目标音频数据的带宽小于或等于目标带宽,所述目标带宽为在所述数据链路可提供的带宽的基础上取指定的比例。
[0017] 可选地,所述可穿戴设备确定视频编码参数与音频编码参数,包括:
[0018] 可穿戴设备检测传输质量参数;
[0019] 可穿戴设备在所述传输质量参数降低时,降低视频编码参数;
[0020] 可穿戴设备在所述传输质量参数增加时,提高视频编码参数。
[0021] 可选地,所述可穿戴设备通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器,包括:
[0022] 可穿戴设备按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0023] 可选地,所述经典蓝牙及所述蓝牙增强速率EDR遵循蓝牙串口协议SPP;
[0024] 所述可穿戴设备按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器,包括:
[0025] 可穿戴设备缓存所述直播流数据;
[0026] 可穿戴设备在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器;
[0027] 其中,所述缓存条件包括如下的至少一种:
[0028] 缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。
[0029] 可选地,所述可穿戴设备通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器,包括:
[0030] 可穿戴设备在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;
[0031] 其中,所述第一通信频段与所述第二通信频段不相同。
[0032] 根据本发明的另一方面,提供了一种直播装置,应用在可穿戴设备中,包括:
[0033] 无线链路建立模块,用于与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;
[0034] 数据采集模块,用于在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据与原始音频数据;
[0035] 数据编码模块,用于将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据;
[0036] 直播流封装模块,用于将所述目标视频数据与所述目标音频数据封装为直播流数据;
[0037] 直播流传输模块,用于通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0038] 可选地,所述数据编码模块包括:
[0039] 编码参数确定子模块,用于确定视频编码参数与音频编码参数;
[0040] 视频编码子模块,用于按照所述视频编码参数将所述原始视频数据编码为目标视频数据;
[0041] 音频编码子模块,用于按照所述音频编码参数将所述原始音频数据编码为目标音频数据;
[0042] 其中,所述目标视频数据与所述目标音频数据的带宽小于或等于目标带宽,所述目标带宽为在所述数据链路可提供的带宽的基础上取指定的比例。
[0043] 可选地,所述编码参数确定子模块包括:
[0044] 传输质量参数检测单元,用于检测传输质量参数;
[0045] 视频编码参数降低单元,用于在所述传输质量参数降低时,降低视频编码参数;
[0046] 视频编码参数提高单元,用于在所述传输质量参数增加时,提高视频编码参数。
[0047] 可选地,所述直播流传输模块包括:
[0048] 蓝牙传输子模块,用于按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0049] 可选地,所述经典蓝牙及所述蓝牙增强速率EDR遵循蓝牙串口协议SPP;
[0050] 所述蓝牙传输子模块包括:
[0051] 直播流数据缓存单元,用于缓存所述直播流数据;
[0052] 缓存发送单元,用于在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器;
[0053] 其中,所述缓存条件包括如下的至少一种:
[0054] 缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。
[0055] 可选地,所述直播流传输模块包括:
[0056] 频段传输子模块,用于在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;
[0057] 其中,所述第一通信频段与所述第二通信频段不相同。
[0058] 根据本发明的另一方面,提供了一种智能眼镜,包括:
[0059] 通信器,被配置为与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;
[0060] 摄像头,被配置为在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据;
[0061] 麦克风,被配置为在通过所述信令链路接收到所述移动终端的直播指令时,采集原始音频数据;
[0062] 编码器,被配置为将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据;
[0063] 处理器,被配置为将所述目标视频数据与所述目标音频数据封装为直播流数据;
[0064] 所述通信器,还被配置为通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0065] 可选地,所述编码器还被配置为:
[0066] 确定视频编码参数与音频编码参数;
[0067] 按照所述视频编码参数将所述原始视频数据编码为目标视频数据;
[0068] 按照所述音频编码参数将所述原始音频数据编码为目标音频数据;
[0069] 其中,所述目标视频数据与所述目标音频数据的带宽小于或等于目标带宽,所述目标带宽为在所述数据链路可提供的带宽的基础上取指定的比例。
[0070] 可选地,所述编码器还被配置为:
[0071] 检测传输质量参数;
[0072] 在所述传输质量参数降低时,降低视频编码参数;
[0073] 在所述传输质量参数增加时,提高视频编码参数。
[0074] 可选地,所述通信器还被配置为:
[0075] 按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0076] 可选地,所述经典蓝牙及所述蓝牙增强速率EDR遵循蓝牙串口协议SPP;
[0077] 所述通信器还被配置为:
[0078] 缓存所述直播流数据;
[0079] 在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器;
[0080] 其中,所述缓存条件包括如下的至少一种:
[0081] 缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。
[0082] 可选地,所述通信器还被配置为:
[0083] 在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;
[0084] 其中,所述第一通信频段与所述第二通信频段不相同。
[0085] 本发明实施例包括以下优点:
[0086] 在本发明实施例中,可穿戴设备与移动终端建立无线链路,在通过信令链路接收到移动终端的直播指令时,采集原始视频数据与原始音频数据,将原始视频编码为目标视频数据,将原始音频数据编码为目标音频数据,将目标视频数据与目标音频数据封装为直播流数据,通过数据链路将直播流数据传输至移动终端,以转发至流媒体服务器,由于可穿戴设备穿戴在用户身上,无需固定在某个位置或用户手持,可穿戴设备随用户移动,并释放用户双手进行其他处理,大大提高了直播的简便性。

附图说明

[0087] 图1是本发明一个实施例的一种直播方法的步骤流程图;
[0088] 图2a与图2b是本发明一个实施例的一种智能眼镜的结构示意图;
[0089] 图3是本发明一个实施例的另一种直播方法的步骤流程图;
[0090] 图4是本发明一个实施例的一种直播装置的结构框图;
[0091] 图5是本发明一个实施例的一种智能眼镜的结构框图。

具体实施方式

[0092] 为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0093] 实施例一
[0094] 参照图1,示出了本发明一个实施例的一种直播方法的步骤流程图,具体可以包括如下步骤:
[0095] 步骤101,可穿戴设备与移动终端建立无线链路。
[0096] 在具体实现中,本发明实施例可以应用于可穿戴设备,例如,智能眼镜、智能手表,等等。
[0097] 在直播的应用场景中,用户随身携带移动终端,并佩戴至少两个可穿戴设备,用户在移动终端启动直播应用,一方面,连接直播平台的流媒体服务器,另一方面,连接至少两个可穿戴设备,其中一个可穿戴设备用于传输音视频数据,另一个可穿戴设备(如耳机)用于播放音频数据,实现主播与观众的连麦。
[0098] 在此应用场景中,由于用户可以以第一视觉进行直播,例如,直播书写手工艺术品制作、直播烹饪,等等。
[0099] 在传输音视频数据的可穿戴设备中,配置有无线通信模组、摄像头、麦克风、编码芯片等组件。
[0100] 无线通信模组,可以用于与移动终端建立无线链路。
[0101] 其中,无线链路包括信令链路、数据链路,所谓信令链路,可以指用于传输信令的通信链路,所谓数据链路,可以指用于传输数据的通信链路。
[0102] 以蓝牙模组作为无线链路的示例,蓝牙模组可提供低功耗蓝牙(BLE)与经典蓝牙(BT),低功耗蓝牙应用于通信链路,经典蓝牙应用于数据链路。
[0103] 进一步而言,应用蓝牙模组,通常可以通过如下方式与移动终端建立无线链路:
[0104] 1、发现设备
[0105] 经典蓝牙设备发现其它经典蓝牙设备的方式是调用BluetoothAdapter的startDiscovery()方法。
[0106] 低功耗蓝牙中则有一个主设备(Central)和从设备(Peripheral,也叫外围设备)的概念。主设备作为发现方,调用发现设备的方法,通过BluetoothAdapter的startLeScan()方法实现。从设备则作为被发现方,发出广播,以供发现。
[0107] 不过,在Android系统蓝牙搜索界面,两种蓝牙设备都是可以被发现的。只有当两种蓝牙设备被某设备(包括当前的设备)配对/绑定后,才不会再被扫描到。
[0108] 2、配对/绑定
[0109] 配对是建立两者的对应关系,而绑定则把这层关系保存固定下来并进行了强化。
[0110] 不管是经典蓝牙还是低功耗蓝牙,绑定方法是通用的,可以调用相同的绑定方法。
[0111] 3、建立连接
[0112] 经典蓝牙建立连接是BluetoothSocket连接的建立,利用搜索找到的BluetoothDevice,调用其方法createRfcommSocketToServiceRecord(UUID),使用获取到的BluetoothDevice调用其方法connect()就建立了经典蓝牙设备之间的连接通道。
[0113] 低功耗蓝牙首先通过BluetoothAdapter的getRemoteDevice(address)方法获取大相应BLE从设备的BluetoothDevice,其中的address为目标蓝牙设备MAC地址,然后通过此BluetoothDevice的connectGatt(this,false,mGattCallback)方法获取设备连接。
[0114] 此时的连接,可以获取到当前BLE从设备广播出来的数据(如信令)。
[0115] 步骤102,可穿戴设备在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据与原始音频数据。
[0116] 用户在准备完成时,则可以开始直播操作,移动终端生成直播指令,并通过信令链路发送至可穿戴设备。
[0117] 若信令链路应用低功耗蓝牙,实现主设备对从设备的数据发送,则需要直接读取获取到的从设备的Characteristic,而Characteristic又是Service下面的一层,所以操作顺序是:
[0118] (1)通过BLE从设备相应的Service_UUID获取对应的BluetoothGattService,获取方法是:使用BluetoothDevice的connectGatt(this,false,mGattCallback)方法返回的BluetoothGatt对象,调用BluetoothGatt的方法getService(Service_UUID)获取相应的BluetoothGattService;
[0119] (2)调用BluetoothGattService和对应的Characteristic的写入UUID获取相应的BluetoothGattCharacteristic,获取方法是:调用BluetoothGattService的getCharacteristic(Characteristic_UUID)方法获得;
[0120] (3)设置需要发送的命令值,调用BluetoothGattCharacteristic的方法setValue(value)进行设置,其中value一般为byte[];
[0121] (4)使用BluetoothGatt的写入方法writeCharacteristic(TxChar)完成命令发送。
[0122] 可穿戴设备在接收到移动终端的直播指令时,调用摄像头采集原始视频数据,与此同时,调用麦克风采集原始音频数据。
[0123] 例如,通过摄像头采集bitrate(比特率)为700Kbps的原始视频数据,通过麦克风采集sample rate(采样率)为44100K、sample size(采样精度)为8的原始音频数据。
[0124] 步骤103,可穿戴设备将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据。
[0125] 对于采集到的原始视频编码,可穿戴设备可调用编码芯片按照预设的编码格式(如H.264)编码为目标视频数据,对于采集到的原始音频编码,可穿戴设备可调用编码芯片按照预设的编码格式(如HE-AAC)编码为目标音频数据。
[0126] 在本发明的一个实施例中,步骤103可以包括如下子步骤:
[0127] 子步骤S11,可穿戴设备确定视频编码参数与音频编码参数。
[0128] 子步骤S12,可穿戴设备按照所述视频编码参数将所述原始视频数据编码为目标视频数据。
[0129] 子步骤S13,可穿戴设备按照所述音频编码参数将所述原始音频数据编码为目标音频数据。
[0130] 其中,目标视频数据与目标音频数据的带宽小于或等于目标带宽,目标带宽为在数据链路可提供的带宽的基础上取指定的比例。
[0131] 在实际应用中,由于数据链路可提供的带宽是一定的,因此,通过对编码参数(如编码格式、分辨率、采样率等)进行限定,从而限制目标音频数据与目标视频数据的带宽。
[0132] 在直播的应用场景中,除了用于传输音视频数据的可穿戴设备占用带宽,其他可穿戴设备(如实现主播与观众连麦的可穿戴设备)也占用带宽,因此,目标音频数据与目标视频数据的带宽占数据链路可提供的带宽的一定比例,如三分之二,剩余的带宽保证其他可穿戴设备(如实现主播与观众连麦的可穿戴设备)的正常使用。
[0133] 假设数据链路应用经典蓝牙,配合EDR(Enhanced Data Rate,蓝牙增强速率)理论传输速率为3Mb/s,实际传输速率可达150KB/s-180KB/s,700Kbps的原始视频数据的数据大小为120KB/s-150KB/s,HE-AAC编码的目标音频数据的数据大小为8KB/s,因此,数据链路的带宽足够支撑传输直播过程中产生的目标音频数据、目标视频数据。
[0134] 在本发明的一个实施例中,子步骤S11进一步可以包括如下子步骤:
[0135] 子步骤S111,可穿戴设备检测传输质量参数。
[0136] 子步骤S112,可穿戴设备在所述传输质量参数降低时,降低视频编码参数。
[0137] 子步骤S113,可穿戴设备在所述传输质量参数增加时,提高视频编码参数。
[0138] 在本发明实施例中,可穿戴设备可以检测传输质量参数,例如,丢帧率、延时,等等,从而自适应传输环境调整编码参数,提高传输效率。
[0139] 在射频干扰比较严重的环境中,若监测到传输质量参数降低,如丢帧率提高、延时增加等,表示数据链路质量下降,影响数据传输。
[0140] 在直播的应用场景中,目标音频数据的体积(size)较小,并且,声音的流畅性是较为直观的用户体验,而目标视频数据的体积(size)较大,并且,在清晰度与流畅性之间,流畅性一般是更为重要的用户体验,此时,可以降低视频编码参数,如降低分辨率、降低比特率等,从而减小目标视频数据的体积,保证数据稳定传输。
[0141] 若环境中的射频干扰降低,监测到传输质量参数增加,如丢帧率降低、延时减少等,表示数据链路质量上升,此时,可以提高视频编码参数,如提高分辨率、提高比特率等,提高直播画面的清晰度。
[0142] 进一步地,为了编码参数反复调整,在检测到传输质量参数增加时,可在一时间段内继续监控,若在该时间段传输质量参数稳定(如变化幅度在预设的范围内),再提高视频编码参数。
[0143] 步骤104,可穿戴设备将所述目标视频数据与所述目标音频数据封装为直播流数据。
[0144] 对于编码之后的目标视频数据与目标音频数据,则可以进行合并封装,形成直播流数据,如FLV(Flash Video,流媒体格式)直播流数据。
[0145] 步骤105,可穿戴设备通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0146] 若可穿戴设备生成了直播流数据,则可以通过数据链路传输至移动终端,移动终端中的直播应用按照与直播平台约定的传输方式传输至直播平台的流媒体服务器,其他用户则可以通过其他设备(如移动终端、个人电脑、平板电脑等)从该流媒体服务器拉取该直播流数据进行播放,从而观看直播。
[0147] 在本发明的一个实施例中,步骤105可以包括如下子步骤:
[0148] 子步骤S21,可穿戴设备按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0149] 目前,Wi-Fi是一个常用的传输方式,利用Wi-Fi进行直播流数据传输可以满足带宽要求,但是,Wi-Fi的功耗较高,对于电池供电的设备来说,难以支撑较长时间,尤其是对于穿戴式设备来说,体积较小,电池容量严格受限,一般不适合用Wi-Fi进行网络传输。
[0150] 并且,由于Wi-Fi功耗较高,容易引起发热,而可穿戴设备体积较小,因而散热空间也受到了严格地限制,Wi-Fi的高功耗会使得可穿戴设备温度迅速升高,这对于紧密接触皮肤的可穿戴设备来说,具备较高的安全隐患。
[0151] 再者,可穿戴设备多为采集一些低功耗的传感数据,如心跳、体重、步数等,这些可穿戴设备采集人体相关数据后通过低功耗蓝牙上传至移动终端,保证运行时长,采用低功耗蓝牙一类的可穿戴式设备只能传输有限的传感数据,带宽吞吐量低于60Kb/s,而对于直播的应用场景而言,数据量一般在500Kb/s以上,所以,低功耗蓝牙的带宽无法满足直播需求。
[0152] 在本发明实施例中,可穿戴设备使用经典蓝牙及蓝牙增强速率EDR的组合进行直播流数据传输。
[0153] 其中,经典蓝牙可以指蓝牙2.1,也可以指蓝牙4.0中的经典蓝牙部分,等等,本发明实施例对此不加以限制。
[0154] 蓝牙增强速率EDR定义了调变技术的改变和额外的封包类型,使得能够以3Mb/s的速率传输数据。
[0155] 经典蓝牙与蓝牙增强速率EDR的组合,一方面,应用广泛,目前移动终端的操作系统以Android(安卓)和iOS为主,Android5.0、iOS5.1及其以上的版本一般支持,因此,可穿戴设备可广泛适配不同厂商的移动终端。另一方面,3Mb/s的传输带宽可以满足直播需求的情况,在此情况下,可大大降低功耗、延长电池使用时间,并降低发热,假设可穿戴设备安装150mA/h的电池,直播的持续时长可达40分钟以上,满足一次直播的需求,可穿戴设备的外壁温度也可控制在42℃以下,确保人体安全。
[0156] 在本发明的一个实施例中,经典蓝牙及蓝牙增强速率EDR遵循蓝牙串口协议(Serial Port Profile,SPP),则在本发明实施例中,子步骤S21进一步可以包括如下子步骤:
[0157] 子步骤S211,可穿戴设备缓存所述直播流数据。
[0158] 子步骤S212,可穿戴设备在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0159] 经典蓝牙与蓝牙增强速率EDR的组合并无专门针对数据流传输的profile文件,因此,直播时的直播流数据传输遵循蓝牙的SPP协议。
[0160] Android蓝牙协议栈原生支持SPP,可以直接使用,而iOS可通过其支持的Bluetooth External Accessory方式间接支持SPP。
[0161] 进一步而言,可穿戴设备经过iOS的MFi认证之后,建立数据通道,从而模拟SPP。
[0162] SPP对于应用层来说是可靠传输协议,交互过程中存在应答机制。直播过程中产生的数据帧较多,如果即时发送,将导致会话过程中应答频繁,这将降低带宽的利用率。
[0163] 因此,可以指定相关的数据缓存机制,将直播流数据缓存至满足缓存条件之后再一次性发送,减少应答的次数,提高带宽的利用率。
[0164] 其中,缓存条件包括如下的至少一种:
[0165] 缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。
[0166] 在一种组合方式中,缓存最大时间范围(即时间阈值)内累积帧数达到一定数量(即数量阈值)一次性发送。
[0167] 在此组合方式中,在该时间范围内缓存直播流的数据帧,如果缓存的数据帧的帧数达到限定的数量,则一次性发送缓存的数据帧,如果缓存的数据帧的帧数未达到限定的数量,则在到达限定的时间时,一次性发送缓存的数据帧。
[0168] 在另一种组合方式中,缓存最大时间范围(即时间阈值)内累积数据大小达到一定体量(即体积阈值)一次性发送。
[0169] 在此组合方式中,在该时间范围内缓存直播流的数据帧,如果缓存的数据帧的总体积达到限定的体量,则一次性发送缓存的数据帧,如果缓存的数据帧的帧数未达到限定的体量,则在到达限定的时间时,一次性发送缓存的数据帧。
[0170] 当然,上述缓存条件只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他缓存条件,本发明实施例对此不加以限制。另外,除了上述缓存条件外,本领域技术人员还可以根据实际需要采用其它缓存条件,本发明实施例对此也不加以限制。
[0171] 在本发明的另一个实施例中,步骤105可以包括如下子步骤:
[0172] 子步骤S31,可穿戴设备在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;
[0173] 其中,第一通信频段与第二通信频段不相同。
[0174] 在具体实现中,若数据链路应用经典蓝牙,则可以使用2.4G频段(第一通信频段),如果移动终端采用Wi-Fi的2.4G频段推送直播流数据到流媒体服务器,一方面,两个频段相同会发生射频干扰现象,将大大降低蓝牙的吞吐量,另一方面,移动终端中的蓝牙模组、Wi-Fi模组可能位于同一个通信芯片中,因此,两个频段相同会产生分频,而Wi-Fi的优先级一般高于蓝牙,因此,Wi-Fi会占用更多的资源,分配给蓝牙的资源减少,导致蓝牙吞吐量、带宽利用率降低,达不到3Mb/s的理论值。
[0175] 因而,移动终端可以使用Wi-Fi的5G频段(第二通信频段)或者直接使用4G(第二通信频段)将直播流数据发送至流媒体服务器。
[0176] 在本发明实施例中,可穿戴设备与移动终端建立无线链路,在通过信令链路接收到移动终端的直播指令时,采集原始视频数据与原始音频数据,将原始视频编码为目标视频数据,将原始音频数据编码为目标音频数据,将目标视频数据与目标音频数据封装为直播流数据,通过数据链路将直播流数据传输至移动终端,以转发至流媒体服务器,由于可穿戴设备穿戴在用户身上,无需固定在某个位置或用户手持,可穿戴设备随用户移动,并释放用户双手进行其他处理,大大提高了直播的简便性。
[0177] 实施例二
[0178] 为使本领域技术人员更好地理解本发明实施例,在本说明书中,将眼镜作为可穿戴设备的一种示例进行说明。
[0179] 参照图2a与图2b,示出了本发明一个实施例的一种智能眼镜的结构示意图。
[0180] 如图2a与图2b所示,本实施例的智能眼镜可以通过触摸控制或者通过按键进行控制,应用上述直播方法的智能眼镜,可以包括镜框21和镜脚23,镜脚21与镜框23之间可以通过可折叠的铰链结构24可在设定幅度范围内转动地枢接在一起。
[0181] 在智能眼镜的镜腿23或者镜框21内设置有容置空间22,其中,容置有印刷电路板(PCB),该PCB上设置有芯片、存储器(包括但不限于双倍速率同步动态随机存储器(DDR)、闪存(FLASH)和多媒体卡(EMMC,Embedded Multi Media Card))、通信模块(包括但不限于蓝牙(包括但不限于经典蓝牙BT、低功耗蓝牙BLE)和/或WiFi)、电力组件(包括但不限于电池、充电接口、计算电量的器件(例如库仑计))、视频信号采集组件(例如一个或两个摄像头)、音频信号采集组件(例如一个或两个麦克风)、温度传感器(用于测量PCB的工作状态温度)、一个或两个RGB LED灯(其中一个RGB LED灯223,设置于镜框上面向外部的一侧,另一个RGB LED灯224设置在镜框21或眼镜腿24的内侧靠近用户左眼或右眼的位置,位于佩戴者的视觉范围内)。
[0182] 在不同的实施例中,PCB板上还可以设置有两块芯片,一个芯片作为主控芯片,常规状态下处于休眠状态,以降低功耗;另一块芯片承担对外交互功能,可以是蓝牙低功耗(BLE)芯片。当然,在不考虑功耗的情况下,也可以不采用双控制芯片的方案。
[0183] 其中,BLE芯片基于2.4GHz的ISM(Industrial Scientific Medical Band)频段与移动设备上的与该智能眼镜配套的眼镜APP进行无线通讯。其中,BLE芯片具有两种外围设备接口,分别是双向二线制同步串行总线(I2C)和通用异步收发传输器(UART);其中,I2C外接LED灯、库仑计、温度传感器;UART则外接主控芯片。通常情况下,只有BLE芯片在工作,工作状态时BLE芯片在发送广播包,1秒钟发送一次,以便眼镜APP可扫描并连接到智能眼镜。
[0184] 其中,BLE芯片通过I2C对LED芯片的寄存器进行写数据操作以控制LED灯,写数据命令包括:I2C总线地址、LED芯片的寄存器地址和LED芯片的寄存器的值,无需读操作;其中,LED的可写数据信息包括:红、绿、蓝三种颜色值、亮和灭、亮度等。
[0185] BLE芯片在控制库仑计时,可以通过I2C总线对库仑计芯片的寄存器进行读数据操作,读数据命令包括:I2C总线地址、库仑计芯片寄存器的地址和库仑计芯片寄存器的值,无需写操作;其中,库仑计的可读数据信息包括电池电量和电压。
[0186] BLE芯片在控制充电IC时,可以通过I2C总线对充电IC芯片的寄存器进行读写数据操作,读写命令包括:I2C总线地址、充电IC寄存器的地址和充电IC寄存器的值,数据包括:充电状态、充电电流、充电电流/电压阀值等相关参数。
[0187] 其中,主控芯片主要负责视频和照片的拍摄和存储、以及通过蓝牙、WiFi进行数据传输。
[0188] 此外,BLE芯片还要与主控芯片之间通过UART维持心跳包,以确保主控芯片通电过程中,始终保持在正确工作状态。主控芯片每隔5秒钟发送一次心跳包给BLE芯片,如果BLE连续超过3次未收到来自主控芯片的心跳包,则BLE将自动给主控芯片进行下电复位操作。
[0189] 而BLE芯片本身则依赖看门狗定时器(WDT,Watch Dog Timer)来监视BLE系统本身是否工作正常,WDT是单片机的一个组成部分,它实际上是一个计数器,一般给看门狗一个数字,程序开始运行后WDT开始倒计数。如果程序运行正常,过一段时间CPU应发出指令让WDT复位,重新开始倒计数。如果WDT减到0就认为程序没有正常工作,强制整个系统复位。只要设备电池有剩余电量,BLE芯片就始终保持工作状态,如果BLE芯片工作不正常,整个系统就等于瘫痪了,因此,为了确保在不可预知的情况下出现程序跑飞的异常现象,本发明实施例使用WDT来监视软件工作状态。
[0190] 其中,主控芯片处于这五种状态时,不允许下电,分别为:绑定、录像、直播、蓝牙/WiFi传输、空中下载技术(OTA,Over-The-Air Technology)升级。
[0191] 其中,在使用该智能眼镜与眼镜APP交互时,大部分和眼镜APP交互的指令都是通过BLE芯片透传完成:也就是眼镜APP发送指令给BLE芯片,BLE芯片通过UART再转发给主控芯片,反之亦然。涉及透传的包括:更新系统时间、清除视频数据,固件升级、蓝牙配对、WiFi配网等等。
[0192] 此外,BLE芯片可以产生并传输给主控芯片的事件命令包括:单击、双击、长按1秒、长按7秒和长按30秒。当然,这里的事件命令只是示意性举例并不用于限于本发明。
[0193] 此外,在主控芯片本身的工作状态发生改变时,会及时通过UART传输BLE芯片,BLE芯片则会进一步通知给眼镜APP,主要的工作状态包括:是否正在录像、是否正在直播、WiFi/蓝牙是否正在工作、是否可以进行OTA升级、磁盘存储空间发生改变等。
[0194] 在实际使用时,当用户点击移动终端的眼镜APP的录像按钮后,BLE芯片控制上电通用输入/输出(GPIO)接口来给主控芯片上电,主控芯片启动后开始录像;
[0195] 录像完毕后,主控芯片通过UART将录像的信息发送给BLE芯片,BLE芯片及时通知到眼镜APP,之后眼镜APP可以发送相应指令给BLE芯片以打开主控芯片的蓝牙或WIFI功能,BLE芯片收到指令后将指令通过UART传输给主控芯片,主控芯片开启蓝牙或WIFI后又通过UART通知BLE芯片表示开启完毕,最后BLE芯片将开启完毕通知转发给APP;
[0196] 眼镜APP收到蓝牙或WIFI开启完毕通知后,就可以绕过BLE芯片直接通过蓝牙/WIFI与主控芯片进行通讯了。
[0197] 眼镜APP可通过蓝牙从主控芯片读取低清视频数据、对主控芯片的OTA升级文件进行写入;可通过WIFI从主控芯片读取高清视频数据;
[0198] 在视频数据读取完毕后,眼镜APP发送指令给BLE芯片关闭蓝牙或者WIFI,BLE芯片将指令转发给主控芯片,主控芯片将卸载蓝牙/WIFI服务及驱动,并给将蓝牙/WIFI芯片下电。
[0199] 其中,主控芯片在录像过程中,会先启动摄像头的传感器,拍摄原始视频流,并通过硬件编码器将原始视频流转化为H264格式并写入内存,当录像结束后,再将内存中的视频数据写入存储器并关闭摄像头的传感器;
[0200] 其中,本发明针对录制的视频可以采用内存缓存机制,其中,高清视频的缓存上限为12M,低清视频的缓存上限为2M。也就是说,在视频录制过程中,录制的视频数据首先会写入内存进行缓存,当写入的视频数据超过相应的缓存上限时,本发明实施例可以将内存中缓存的视频数据一次性写入FLASH存储器,然后将内存中缓存的视频数据清空;而继续录制的后续视频则可继续从头写入内存缓存。这样,一方面减少写FLASH的次数,以提高FLASH使用寿命;另一方面写内存的功耗低于写FLASH的功耗,起到省电的目的。
[0201] 那么如果主控芯片在录像过程中接收到BLE芯片发送的开通直播指令,则会及时通知RTSP服务程序有可用帧数据到达,并将视频数据的内存地址发送给RTSP服务程序,RTSP服务程序在指定的内存地址读取到视频数据后,进一步发送给移动终端的眼镜APP的RTSP客户端。其中,由于最新录制的视频数据必然是缓存在内存中,因此,可以直接从内存中读取当前录制的视频数据,进行视频直播,从而实现不间断的视频直播,减少时间延迟。
[0202] 在使用上述智能眼镜进行实际应用时,用户可以对智能眼镜侧的不同按键来进行录像和拍照。例如按键A 221用来控制拍照片,按键B 222用来拍摄视频,在按压按键B 222时可以通过间断按压次数,来确定录制视频的时间长度。
[0203] 例如,当用户按压一次按键B 222之后,触发中断,BLE芯片响应中断,并给主控芯片上电(在空闲状态下,主控芯片处于下电状态,即休眠状态,以降低功耗),并将中断信号传输给主控芯片。
[0204] 主控芯片上电后可以识别该中断信号,主控芯片通过预存在存储器中的中断信号定语(即每种中断信号表达的操作类型)进行判断,那么经过判断确定,用户想要拍摄一个预定时长(例如11秒)的视频。
[0205] 之后主控芯片启动摄像头开启视频录制,如果在录制视频的过程中,用户没有进行任何操作,则在倒计时结束后,主控芯片控制摄像头终止拍摄。而基于上述实施例所述的本发明的内存缓存机制,因此,在拍摄的过程中本发明实施例的方法可以将内存中缓存的视频数据持续地存储到FLASH存储器中,并给每个视频文件按照预定的规则命名。
[0206] 在视频录制完成后,主控芯片并不会立即下电,还会持续一段时间的上电状态,等待用户再次触发指令,但是如果在一段时间内,没有感应到用户的触发指令,则会下电,从而避免频繁上电和掉电造成的功耗。
[0207] 主控芯片可以通过调整摄像头参数,控制智能眼镜所录制的视频或者拍摄的照片的清晰度,当用户通过眼镜App将移动终端与智能眼镜通信连接之后,用户可以通过眼镜APP查询智能眼镜侧当前存在的低清视频文件个数以及某一个视频文件在录像过程中生成的描述文件,从而获取该视频文件的文件名称、大小、日期、分辨率、图片等描述信息;然后,根据描述信息来读取对应的低清视频或图片文件,其中,单次读取字节数不超过40960bytes;然后眼镜APP就可以发送指令给智能眼镜来删除已读取的文件数据以提升智能眼镜的存储空间的利用率;那么在所有数据读取完毕后,眼镜APP可以及时通过蓝牙向BLE芯片发送关闭蓝牙的控制命令。
[0208] 其中,考虑到用户可能紧接着又持续性的录像行为,本发明实施例可以设定延迟关闭蓝牙的时间。例如当系统在90秒内没有相关的蓝牙操作,则将智能眼镜的蓝牙模块自动关闭以节省功耗。
[0209] 如果在拍摄的过程中,用户再一次按压按键B,则触发中断,BLE芯片响应中断,并将中断信号传输给主控芯片,主控芯片控制摄像头延长拍摄11秒,其中,由于按压一次按键B对应的拍摄时长为11秒,因此,这里再次点击一次按键B则延迟拍摄11秒,若再次按压按键B,则继续追加拍摄时长,直至到达设置单次拍摄的最大时长。
[0210] 为了便于用户快速通过蓝牙或者WiFi在移动终端(例如手机或者平板电脑)上预览录像信息,主控芯片可以在每次启动视频录制和结束视频录制时,分别截取视频流中的关键帧(I Frame)数据,并将两个关键帧数据进行抽点处理减少图像像素形成缩略图,并与该视频关联的方式存储在主控芯片;当用户通过蓝牙或者WiFi与移动终端进行视频同步时,移动终端可以先接收与该视频对应的两帧缩略图,从而提供给用户在移动终端的眼镜APP的视频传输界面中快速预览视频的体验。
[0211] 此外,眼镜App读取视频数据时,可以一次性将所有视频缩略图文件快速读取并预览,以方便用户选择是否要进一步读取视频,如果不是用户希望的数据,可以选择直接删除而不进行视频的读取。
[0212] 如前面实施例所述,按键B 222可以用于控制视频拍摄,而按键A 221可以用于控制照片拍摄,通常的,通过按键A221拍摄的照片具有更高清晰度,例如4K图像,当智能眼镜佩戴者按下智能眼镜的按键A221时,BLE芯片响应中断,并将中断信号传输给主控芯片。类似的,如果此时主控芯片处于下电休眠状态,则BLE芯片先发送上电指令给主控芯片上电,之后主控芯片启动,主控芯片识别中断信号为拍照的指令,之后,控制摄像头拍摄4K图像,最后,该图像也被存储于存储器中。
[0213] 在BLE芯片首次启动时,会生成智能眼镜的ID,并存储至存储器(例如FLASH)中,用于标识该智能眼镜,除非对FLASH进行擦除,该ID将一直存在。
[0214] 此外,智能眼镜同一时间只允许一个眼镜APP的用户ID进行登录(即通信连接),在该眼镜APP登录后直到其它眼镜APP登录之前,系统产生的所有视频数据,用户配置等只和该登录眼镜APP账号相关,对于后续登录的其它账户不可见,用以保护用户隐私,即使设备丢失,也不至于导致视频数据泄露,该用户ID在登录时,能够通过APP控制,清除眼镜的存储器中与该ID对应的数据。
[0215] 在其他的实施方式中,库仑计可以定时检测智能眼镜的电池剩余电量,当检测到电池剩余电量不高于设定阈值时,则控制主控芯片的上电,从而确保智能眼镜的安全工作,并且能够避免智能眼镜在拍摄过程中产生中断,影响用户的拍摄体验,并且避免因为电量被消耗过多导致降低电池使用寿命的问题。
[0216] 在其他的实施方式中,智能眼镜还可以只设置一个按键A,通过按键A的不同按压方式来使得主控芯片来区分拍摄照片或者录制视频的操作,例如,双击按键A,两次连续中断,主控芯片识别该操作为拍照指令,则主控芯片通过摄像头拍摄一张高清图片。
[0217] 此外,由于智能眼镜上设置有若干个LED灯,可以通过不同的LED灯光闪烁效果和颜色变化与按键协同,以避免用户的误操作。例如,电状态:当系统电量低于8%,且设备处于电池供电状态,将忽略录像行为并改变LED状态提示用户。
[0218] 温度传感器检测过热状态:当系统温度超过60度,将忽略录像行为并改变LED状态提示用户。
[0219] 应用于上述实施例所提供的智能眼镜,参照图3,示出了本发明一个实施例的另一种直播方法实施例的步骤流程图,具体可以包括如下步骤:
[0220] 步骤301,智能眼镜通过低功耗蓝牙BLE与移动终端建立信令链路。
[0221] 步骤302,智能眼镜通过经典蓝牙BT与所述移动终端建立数据链路。
[0222] 移动终端安装有与智能眼镜配套使用的眼镜应用(APP),可以生成用于与智能眼镜配对连接的二维码(包括眼镜APP的用户ID),并且,移动终端开启蓝牙(包括低功耗蓝牙BLE、经典蓝牙BT),从而发送蓝牙地址给智能眼镜实现移动终端与智能眼镜的蓝牙连接(包括信令链路、数据链路)。
[0223] 用户则佩戴该智能眼镜并注视移动终端上的该二维码,从而实现智能眼镜对该二维码的扫描以发送配对指令(包括智能眼镜的ID),而移动终端的眼镜App就可以接收到该配对指令。
[0224] 移动终端据配对指令中该智能眼镜的ID来将该智能眼镜与该移动终端的眼镜App配对,如果配对成功,则移动终端的眼镜APP与智能眼镜可以通信连接。
[0225] 其中,如果登录该眼镜APP的用户ID预先注册了对该智能眼镜ID的眼镜设备的使用权限,则可以配对成功,否则失败。
[0226] 即移动终端可以保存该用户ID预先注册过的眼镜设备的ID,而在匹配时,将接收到的来自当前智能眼镜的ID与保存的眼镜设备ID进行匹配,如果两个ID相同,则匹配成功,否则,匹配失败。
[0227] 步骤303,智能眼镜在通过所述信令链路接收到所述移动终端的直播指令时,调用摄像头采集原始视频数据,调用麦克风采集原始音频数据。
[0228] 眼镜App按照正常操作流程进入直播界面(需要有直播权限),如果智能眼镜与移动终端正确配对,并且目前正在连接中,则在直播镜头的选项中出现智能眼镜的选项(一个或者多个)。
[0229] 在直播过程中,可在移动终端的前置摄像头、后置摄像头以及智能眼镜之间进行切换。
[0230] 在切换至智能眼镜时,移动终端向通过信令链路向移动智能眼镜发送直播指令。
[0231] 智能眼镜的处理器在接收到移动终端的直播指令时,通知摄像头开始采集原始视频数据,同时,通知麦克风开始采集原始音频数据。
[0232] 步骤304,智能眼镜调用编码器将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据。
[0233] 智能眼镜的处理器从摄像头接收原始视频数据,同时,从麦克风接收原始音频数据,并将原始视频数据、原始音频数据发送至编码器,通知编码器进行编码操作,将原始视频编码为目标视频数据、将原始音频数据编码为目标音频数据。
[0234] 步骤305,智能眼镜将所述目标视频数据与所述目标音频数据封装为直播流数据。
[0235] 智能眼镜的处理器从编码器接收编码之后的目标视频数据与目标音频数据,按照流的形式,封装为直播流数据。
[0236] 步骤306,智能眼镜按照蓝牙增强速率EDR通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0237] 智能眼镜按照蓝牙增强速率EDR的规范,通过将直播流数据传输至移动终端,移动终端的眼镜APP将直播流数据上传至流媒体服务器。
[0238] 需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
[0239] 实施例三
[0240] 参照图4,示出了本发明一个实施例的一种直播装置的结构框图,应用在可穿戴设备中,具体可以包括如下模块:
[0241] 无线链路建立模块401,用于与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;
[0242] 数据采集模块402,用于在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据与原始音频数据;
[0243] 数据编码模块403,用于将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据;
[0244] 直播流封装模块404,用于将所述目标视频数据与所述目标音频数据封装为直播流数据;
[0245] 直播流传输模块405,用于通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0246] 在本发明的一个实施例中,所述数据编码模块403包括:
[0247] 编码参数确定子模块,用于确定视频编码参数与音频编码参数;
[0248] 视频编码子模块,用于按照所述视频编码参数将所述原始视频数据编码为目标视频数据;
[0249] 音频编码子模块,用于按照所述音频编码参数将所述原始音频数据编码为目标音频数据;
[0250] 其中,所述目标视频数据与所述目标音频数据的带宽小于或等于目标带宽,所述目标带宽为在所述数据链路可提供的带宽的基础上取指定的比例。
[0251] 在本发明的一个实施例中,所述编码参数确定子模块包括:
[0252] 传输质量参数检测单元,用于检测传输质量参数;
[0253] 视频编码参数降低单元,用于在所述传输质量参数降低时,降低视频编码参数;
[0254] 视频编码参数提高单元,用于在所述传输质量参数增加时,提高视频编码参数。
[0255] 在本发明的一个实施例中,所述直播流传输模块405包括:
[0256] 蓝牙传输子模块,用于按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0257] 在本发明的一个实施例中,所述经典蓝牙及所述蓝牙增强速率EDR遵循蓝牙串口协议SPP;
[0258] 所述蓝牙传输子模块包括:
[0259] 直播流数据缓存单元,用于缓存所述直播流数据;
[0260] 缓存发送单元,用于在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器;
[0261] 其中,所述缓存条件包括如下的至少一种:
[0262] 缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。
[0263] 在本发明的另一个实施例中,所述直播流传输模块205包括:
[0264] 频段传输子模块,用于在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;
[0265] 其中,所述第一通信频段与所述第二通信频段不相同。
[0266] 对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0267] 在本发明实施例中,可穿戴设备与移动终端建立无线链路,在通过信令链路接收到移动终端的直播指令时,采集原始视频数据与原始音频数据,将原始视频编码为目标视频数据,将原始音频数据编码为目标音频数据,将目标视频数据与目标音频数据封装为直播流数据,通过数据链路将直播流数据传输至移动终端,以转发至流媒体服务器,由于可穿戴设备穿戴在用户身上,无需固定在某个位置或用户手持,可穿戴设备随用户移动,并释放用户双手进行其他处理,大大提高了直播的简便性。
[0268] 实施例四
[0269] 参照图5,示出了本发明一个实施例的一种智能眼镜的结构框图,包括:
[0270] 通信器501,被配置为与移动终端建立无线链路,所述无线链路包括信令链路、数据链路;
[0271] 摄像头502,被配置为在通过所述信令链路接收到所述移动终端的直播指令时,采集原始视频数据;
[0272] 麦克风503,被配置为在通过所述信令链路接收到所述移动终端的直播指令时,采集原始音频数据;
[0273] 编码器504,被配置为将所述原始视频编码为目标视频数据,将所述原始音频数据编码为目标音频数据;
[0274] 处理器505,被配置为将所述目标视频数据与所述目标音频数据封装为直播流数据;
[0275] 所述通信器501,还被配置为通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0276] 在本发明的一个实施例中,所述编码器504还被配置为:
[0277] 确定视频编码参数与音频编码参数;
[0278] 按照所述视频编码参数将所述原始视频数据编码为目标视频数据;
[0279] 按照所述音频编码参数将所述原始音频数据编码为目标音频数据;
[0280] 其中,所述目标视频数据与所述目标音频数据的带宽小于或等于目标带宽,所述目标带宽为在所述数据链路可提供的带宽的基础上取指定的比例。
[0281] 在本发明的一个实施例中,所述编码器504还被配置为:
[0282] 检测传输质量参数;
[0283] 在所述传输质量参数降低时,降低视频编码参数;
[0284] 在所述传输质量参数增加时,提高视频编码参数。
[0285] 在本发明的一个实施例中,所述通信器501还被配置为:
[0286] 按照经典蓝牙及蓝牙增强速率EDR、通过所述数据链路将所述直播流数据传输至所述移动终端,以转发至流媒体服务器。
[0287] 在本发明的一个实施例中,所述经典蓝牙及所述蓝牙增强速率EDR遵循蓝牙串口协议SPP;
[0288] 所述通信器501还被配置为:
[0289] 缓存所述直播流数据;
[0290] 在缓存的直播流数据满足预设的缓存条件时,按照经典蓝牙及蓝牙增强速率EDR通过所述数据链路将缓存的直播流数据传输至所述移动终端,以转发至流媒体服务器;
[0291] 其中,所述缓存条件包括如下的至少一种:
[0292] 缓存的时间超过预设的时间阈值、缓存的直播流数据的数量超过预设的数量阈值、缓存的直播流数据的体积超过预设的体积阈值。
[0293] 在本发明的另一个实施例中,所述通信器501还被配置为:
[0294] 在第一通信频段通过所述数据链路将所述直播流数据传输至所述移动终端,以在第二通信频段转发至流媒体服务器;
[0295] 其中,所述第一通信频段与所述第二通信频段不相同。
[0296] 对于智能眼镜实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0297] 在本发明实施例中,智能眼镜与移动终端建立无线链路,在通过信令链路接收到移动终端的直播指令时,采集原始视频数据与原始音频数据,将原始视频编码为目标视频数据,将原始音频数据编码为目标音频数据,将目标视频数据与目标音频数据封装为直播流数据,通过数据链路将直播流数据传输至移动终端,以转发至流媒体服务器,由于智能眼镜穿戴在用户身上,无需固定在某个位置或用户手持,智能眼镜随用户移动,并释放用户双手进行其他处理,大大提高了直播的简便性。
[0298] 本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
[0299] 本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0300] 本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0301] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0302] 这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0303] 尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0304] 最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0305] 以上对本发明所提供的一种直播方法、装置和智能眼镜,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。