一种基于IOT的多方音视频交互方法及系统

摘要

本发明公开了一种基于IOT的多方音视频交互方法及系统，其中方法包括：获取访问用户的身份信息和业务请求信息，识别身份类别和业务类别并执行对应的业务模式，执行对应的业务模式包括：当访问用户为商家，基于布设于商家的商家端IOT设施执行服务信息的获取和管理；当访问用户为客户，且业务类别为在线交互，则发送交互请求至交互方预布设的客户端IOT设施，获取请求反馈并做交互响应；所述交互响应包括：在接收交互请求后，以音视频交互信道连接交互方，并识别交互信息，执行交互后处理；所述交互后处理包括根据交互信息更新服务信息。本申请具有辅助商家管理服务，让客户出行服务体验更好的效果。

权利要求

1.一种基于IOT的多方音视频交互方法，包括获取访问用户的身份信息和业务请求信息，识别身份类别和业务类别并执行对应的业务模式，其特征在于，所述执行对应的业务模式包括：

当访问用户为商家，基于布设于商家的商家端IOT设施执行服务信息的获取和管理；其中，服务信息包括服务关联文字、图像及视频；

当访问用户为客户，且业务类别为在线交互，则发送交互请求至交互方预布设的客户端IOT设施，获取请求反馈并做交互响应；

所述交互响应包括：在接收交互请求后，以音视频交互信道连接交互方，并识别交互信息，执行交互后处理；所述交互后处理包括根据交互信息更新服务信息；

所述识别交互信息包括：转译交互信息中的语音信息为文字信息，并提取关键词和句；

基于LDA算法提取关键词或句；

所述根据交互信息更新服务信息包括：对所得的关键词做行业性匹配分析，如果交互信息中有符合服务硬件介绍的词句，则定位关键词或句出现的时间节点，以时间节点开始对交互信息的音视频中抽帧得到备选图，对音视频截取形成备选音视频，并以备选图和备选音视频更新服务信息。

2.根据权利要求1所述的基于IOT的多方音视频交互方法，其特征在于，所述识别交互信息包括：识别交互信息中的商家人员的身份和行为；其中，行为包括说话行为和动作行为；

所述交互后处理包括：根据预设的评分标准对商家人员执行服务评级，并将评级结果存入服务信息。

3.根据权利要求1所述的基于IOT的多方音视频交互方法，其特征在于：所述交互响应还包括交互中处理；所述交互中处理包括：基于商家人员的行为，判断是否存在违规行为，如果是，则向预设的商家管理员发送提示信息。

4.根据权利要求1所述的基于IOT的多方音视频交互方法，其特征在于，所述执行对应的业务模式包括：当访问用户为客户，且业务类别为出行记录，则获取出行始末时间节点、交互信息、过程中所选商家的关联信息和过程中活动音视频，并在出行末时间节点生成出行集锦、出行票据包和出行档案。

5.一种基于IOT的多方音视频交互系统，其特征在于：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至4中任一种所述多方音视频交互方法的计算机程序。

说明书

一种基于IOT的多方音视频交互方法及系统

技术领域

[0001] 本申请涉及交通出行技术领域，尤其是涉及一种应用于出行的多方交互方法及系统。

背景技术

[0002] 对于外出、差旅而言，无论是搭乘的交通工具，还是住宿等，人们受限于当前地理位置，大多不便了解对方具体情况，这也就导致了常见的各种搭乘纠纷、酒店住宿纠纷等。

[0003] 针对上述问题，市面上各个线上业务平台，逐渐发展为可用于展示商家提供的相关服务图片、视频供客户参考，帮助客户了解商家的情况；然而，发明人认为：上述平台的相
关信息实时性相对较差，且利用率低，对外出、差旅的人员帮助相对较少，因此本申请提出
一种新的技术方案。

发明内容

[0004] 为了更好帮助外出、差旅的人员完成出行，本申请提供一种基于IOT的多方音视频交互方法。

[0005] 第一方面，本申请提供一种基于IOT的多方音视频交互方法，采用如下的技术方案：

[0006] 一种应用于出行的多方交互方法，包括获取访问用户的身份信息和业务请求信息，识别身份类别和业务类别并执行对应的业务模式，所述执行对应的业务模式包括：

[0007] 当访问用户为商家，基于布设于商家的商家端IOT设施执行服务信息的获取和管理；其中，服务信息包括服务关联文字、图像及视频；

[0008] 当访问用户为客户，且业务类别为在线交互，则发送交互请求至交互方预布设的客户端IOT设施，获取请求反馈并做交互响应；

[0009] 所述交互响应包括：在接收交互请求后，以音视频交互信道连接交互方，并识别交互信息，执行交互后处理；所述交互后处理包括根据交互信息更新服务信息。

[0010] 可选的，转译交互信息中的语音信息为文字信息，并提取关键词和句。

[0011] 可选的，基于LDA算法提取关键词或句。

[0012] 可选的，所述根据交互信息更新服务信息包括：对所得的关键词做行业性匹配分析，如果交互信息中有符合服务硬件介绍的词句，则定位关键词或句出现的时间节点，以时
间节点开始对交互信息的音视频中抽帧得到备选图，对音视频截取形成备选音视频，并以
备选图和备选音视频更新服务信息。

[0013] 可选的，所述识别交互信息包括：识别交互信息中的商家人员的身份和行为；其中，行为包括说话行为和动作行为；

[0014] 所述交互后处理包括：根据预设的评分标准对商家人员执行服务评级，并将评级结果存入服务信息。

[0015] 可选的，所述交互响应还包括交互中处理；所述交互中处理包括：基于商家人员的行为，判断是否存在违规行为，如果是，则向预设的商家管理员发送提示信息。

[0016] 可选的，所述执行对应的业务模式包括：当访问用户为客户，且业务类别为出行记录，则获取出行始末时间节点、交互信息、过程中所选商家的关联信息和过程中活动音视
频，并在出行末时间节点生成出行集锦、出行票据包和出行档案。

[0017] 第二方面，本申请提供一种基于IOT的多方音视频交互系统，采用如下的技术方案：

[0018] 一种基于IOT的多方音视频交互系统，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上所述任一种多方音视频交互方法的计算机程序。

[0019] 综上所述，本申请包括以下至少一种有益技术效果：

[0020] 1、将实时音视频赋能给出行平台，为酒店、网约车、航空站点等出行相关的提供服务技术支持，让客户出行服务体验更好；

[0021] 2、对多方沟通的音视频再利用，基于其智能识别分析，主动更新商家提供的服务信息，公平公正的在服务后对服务人员评级，方便商家管理和供客户选择时做参考；同时，
对沟通过程做监督，在发现商家人员沟通过程中出现不当行为时，及时发现并通知相关人
员，以进一步改善客户的服务体验。

附图说明

[0022] 图1是本申请的主流程图；

[0023] 图2是本申请的交互机制的流程图；

[0024] 图3是本申请基于识别的交互信息的处理流程图。

具体实施方式

[0025] 以下结合附图1‑3对本申请作进一步详细说明。

[0026] 本申请实施例公开一种基于IOT的多方音视频交互方法。

[0027] 基于IOT的多方音视频交互方法包括：获取访问用户的身份信息和业务请求信息，识别身份类别和业务类别并执行对应的业务模式。

[0028] 参照图1，在本实施例中，用户的身份主要分为两大类，一类为商家，根据商家类型和其组织管理架构又可细分小类，具体在注册用户的时候，由注册人，即临时管理员上传数
据设定，如酒店，可细分为前台、大堂经理以及管理员；另一类为客户，即商家的服务对象；
用户身份依据注册后标记的识别码、标签等识别。

[0029] 业务请求信息，即各个访问用户对应的具体功能项；可以理解的，本实施例仅以下述内容为例，但实际的业务请求还可包括现有平台所公开的其他业务功能。

[0030] 上述执行对应的业务模式包括：当识别访问用户为商家，基于布设于商家的商家端IOT设施执行服务信息的获取及管理。

[0031] 其中，商家端IOT设施，如联网的终端，计算机、平板、手机等；且下述客户端IOT设施类同。

[0032] 服务信息包括服务关联文字、图像及视频；以酒店为例，如酒店的简介、各个房间的价格、酒店各区域的图像和短视频等。服务信息，相关人员可选择将其补入对应UI界面用
于供客户查看、参考。

[0033] 不仅是酒店，商家还可以是网约车司机、航空公司各地区的服务站点等，以囊括出行的各个方面，为客户提供更全面的服务体验。

[0034] 基于上述，用户根据需求查看各个商家的信息，在需要对某一商家具体了解时，发送对应的业务请求信息。

[0035] 参照图2，本方法还包括：当识别访问用户为客户，且业务类别为在线交互，则发送交互请求至交互方预布设的客户端IOT设施，获取请求反馈并做交互响应。

[0036] 交互请求，其根据商家访问终端的设备识别码和网络地址做发送，且在终端可体现在UI界面的弹窗信息；考虑到同一商家可能短时间接到多个请求造成的干扰；本方法中，
商家一方，设置为管理员可配置权限，增加多个用户为接线员，交互请求发送至接线员；同
时，以电话占线的方式设置交互机制，某一接线员已经处于在线交互过程中时，若有新的交
互请求，则反馈忙线提示信息至客户。

[0037] 关于上述交互响应，具体包括：在接收交互请求后，以音视频交互信道连接交互方，并识别交互信息，执行交互后处理。

[0038] 其中，以音视频交互信道连接交互方，即客户与商家的接线人员进行在线音视频沟通。音视频沟通，可提高沟通的有效性；以酒店为例，除了回答常规的客户问题外，还可进
行音视频看房、音视频验房、音视频订房的线上服务，提升服务真实性，获取客户的认可度，
提高订房率。

[0039] 参照图3，关于识别交互信息，包括：转译交互信息中的语音信息为文字信息，并提取关键词或句。

[0040] 转译时，先从音视频中分离出音频，再利用音转译程序或平台对其转译，得到文字信息。此处可配置的是，根据商家信息确定其所属行业、地区，即音转译选择时，考虑行业和
地区口音因素，调配数据库，调节对应参数优化算法，以提高音转译的准确率；更佳的是，针
对性建立分行业、分地区的子模型，利用卷积神经网络算法，以使用过程中所采集的数据对
其训练。

[0041] 商家和客户做音视频沟通，其不同于一般性的从书面文件提取关键词，一些场景，其可能出现一次沟通，但未出现一次体现主体的词汇，或次数极少，为此在提取关键词或句
时，一般的以统计法、纬度分析法做关键词提取效用相对不佳，为此本方法：基于LDA算法提
取关键词或句；LDA算法，即隐含狄利克雷分布算法，其可根据词的共现信息的分析，拟合出
词——文档——主题的分布，进而将词、文本都映射到一个语义空间中，以此提取关键词，
如通过Gensim库完成基于 LDA 的关键字提取。

[0042] 根据上述算法，可更好的提取出能体现接线人员所进行的活动内容的关键词，以酒店为例，如：介绍房间环境、服务内容、餐饮内容等。

[0043] 基于上述关键词提取，本方法中的执行交互后处理，其包括：对所得的关键词做行业性匹配分析。

[0044] 行业性匹配分析，其事先根据行业建立对应的词汇数据库，数据库中的词汇为本行业服务人员介绍服务硬件设施、服务内容过程中对应的关键词汇，人工验证所得；再基于
已经建立的数据库，查找上述提取的关键词在数据库中是否记录。

[0045] 当交互信息中有符合服务硬件介绍的词句，则定位关键词或句出现的时间节点，以时间节点开始对交互信息的音视频中抽帧得到备选图，对音视频截取形成备选音视频，
并以备选图和备选音视频更新服务信息。

[0046] 具体的，如商家人员说“您看这边就是我们的房间”，其中，关键词为“看这边”、“房间”，此时“房间”出现的时间节点即为抽帧、截取起始点；抽帧频次可以是0.5S/次，连续抽
取5‑10次；截取音视频时长，以5‑30S为佳。如果过程中，商家人员还介绍有具体的场景信
息，比如餐厅、房号等，则备选图和备选音视频对应打上标签，方便针对性更新服务信息。

[0047] 根据上述内容，应用本方法后，不仅可以利用音视频做交互，还对交互音视频做进一步利用，基于其智能主动更新商家的服务介绍信息，提高信息的时效性。

[0048] 在本方法中，识别交互信息还包括：识别交互信息中的商家人员的身份和行为；同时，交互后处理还包括：根据预设的评分标准对商家人员执行服务评级，并将评级结果存入
服务信息。

[0049] 其中，关于身份和行为识别，包括：

[0050] 1、对音视频中的人物做人脸识别，基于预存的身份信息库得到与人脸数据匹配的身份信息；

[0051] 2、对音视频中任务的话说行为识别（分离音频再识别），即音转译音频内容为文字，识别出其中的某些内容；

[0052] 3、对音视频中的人物的动作行为识别。

[0053] 上述评分标准基于违规词汇库和违规动作库建立，且为减分制；如出现违规词汇库中的A词汇扣2分，出现违规动作库的B动作扣3分等。

[0054] 因此服务评级，即基于识别的商家人员身份，调取其信息，绑定后续处理结果；基于识别的行为，判断其是否存在上述违规，如果是，则在每个商家人员的原有分数上，基于
沟通过程中的违规行为、违规词汇扣除违规分数，得到当前次的服务分数（评级结果）。

[0055] 根据上述内容，本方法对沟通过程中的音视频进一步利用，基于其相对公平、公正的监督各个商家人员，对服务评级，可供后续其他客户用作参考，或者供商家管理人员对相
关人员做管理。

[0056] 只是在事后对沟通过程处理，存在诸多隐患，为此本方法还包括：交互中处理，交互中处理包括：基于商家人员的行为，判断是否存在违规行为（符合上述违规数据库），如果
是，则向预设的商家管理员发送提示信息；发送信息的方式，可以是短信、App信息等。

[0057] 即，应用本方法，可对多方交互的音视频做实时监管，并在商家人员出现违规行为时，及时通知相关人员，以提高商家服务能力，改善客户的服务体验。

[0058] 在本方法的另一个实施例中，上述执行对应的业务模式还包括：当访问用户为客户，且业务类别为出行记录，则获取出行始末时间节点、交互信息、过程中所选商家的关联
信息和过程中活动音视频，并在出行末时间节点生成出行集锦、出行票据包和出行档案。

[0059] 具体的：

[0060] 出行始末时间节点由客户自主确定，两时间节点可以是出行前设定、出行前后分别设定或出行后设定。

[0061] 配置一数据库，用于供用户存储出行过程中拍摄的图像和音视频，并以时间线记录。

[0062] 基于上述，在确定出行始末时间节点后，调取对应时间段的图像和音视频，并以某一方式合成音视频，即为出行集锦；方式可以是：

[0063] 1、以时间线走向合成图像、音视频；

[0064] 2、基于图像识别和音视频识别结果合成；如识别图像，筛选出符合开心标准的图像，识别音视频，筛选存在笑脸、笑声的音视频，并合成。

[0065] 出行票据包，其根据过程中所选商家的关联信息得到，过程中，在商家在提供服务后，获取对应的服务票据；在出行始末时间节点后，自动调取该时间段内所有的票据，生成
数据包即可。

[0066] 出行档案，则为依据时间节点，记录对应时间段内上述所有数据，形成档案。

[0067] 本申请实施例还公开一种基于IOT的多方音视频交互系统。

[0068] 一种基于IOT的多方音视频交互系统，其包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述多方音视频交互方法的计算机程序。

[0069] 对于利用本申请，在应用其作为服务器核心搭建平台后，可参考边缘计算思路，除平台服务器配置上述内容外，对连接平台的商家终端机做利用，如客户与某一商家的人员
交互时，上述识别交互信息这一环节，转为由相应商家的终端机处理，处理后终端机再反馈
处理结果，由服务器使用，实现上述功能。

[0070] 上述设置，其可减小利用一方面对商家终端的富余算力做充分利用，另一方面，可减小搭建的平台的压力，降低使用成本等。

[0071] 以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。