本发明提出一种用于新能源汽车的智能座舱联动方法及系统，方法包括：获取驾乘人员的基本数据、生理数据和行为数据；根据基本数据从物联网服务器获取驾乘人员的智能终端交互数据；根据基本数据和智能终端交互数据生成驾乘人员的交互模型；获取当前所处环境的第一环境数据、第一汽车状态数据以及第一行程数据；根据生理数据、行为数据、第一环境数据、第一汽车状态数据、第一行程数据和交互模型生成交互指令，并执行交互指令；接收所述驾乘人员对所述交互指令的执行结果的反馈指令；根据所述反馈指令对所述交互模型进行调整。本发明方案，不仅能通过智能安全服实现智能座舱内的交互
一种用于新能源汽车的智能座舱联动方法及系统
技术领域
[0001] 本发明涉及新能源汽车技术领域，具体涉及一种用于新能源汽车的智能座舱联动方法及系统。
背景技术
[0002] 随着电子信息技术逐步应用在汽车行业，汽车智能化、网联化、电动化、共享化“新四化”的发展呈现新趋势，其中，智能座舱作为汽车智能化和网联化发展的重要表现，构建了一种人与汽车智能交互的空间。近年来，智能座舱的发展日趋复杂，从智能触控替代物理按钮，从机械表盘升级到多屏大屏显示，随着智能座舱系统不断丰富，将人机交互做到更加智能是座舱发展的大势所趋。智能座舱中人机接口不仅需要实现人与汽车之间的智能交互，同时要实现驾驶员与乘客之间的交互，但现有的智能座舱联动方案还不够智能化、联动不够准确。
发明内容
[0003] 本发明正是基于上述问题，提出了一种用于新能源汽车的智能座舱联动方法及系统，通过本发明方案不仅能通过智能安全服实现智能座舱内的交互与联动智能高效，还能保证交互和联动的准确性。
[0004] 有鉴于此，本发明的一方面提出了一种用于新能源汽车的智能座舱联动方法，应用于一种智能座舱联动系统，所述智能座舱联动系统包括设置于第一新能源汽车舱内座位上的多个智能安全服；所述智能安全服包括本体和智能头盔；所述本体和所述智能头盔均设置有通信模块，二者通过有线形式或无线形式通信连接；所述本体设置有第一控制处理模块、智能安全带和智能感知传感器；所述智能头盔包括声音采集模块、脑电信号采集模块和声音播放模块；所述用于新能源汽车的智能座舱联动方法包括：
[0005] 获取驾乘人员的基本数据、生理数据和行为数据；
[0006] 所述第一新能源汽车根据所述基本数据从物联网服务器获取所述驾乘人员的智能终端交互数据；
[0007] 根据所述基本数据和所述智能终端交互数据生成所述驾乘人员的交互模型；
[0008] 获取所述第一新能源汽车当前所处环境的第一环境数据、所述第一新能源汽车的第一汽车状态数据以及第一行程数据；
[0009] 根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令；
[0010] 接收所述驾乘人员对所述交互指令的执行结果的反馈指令；
[0011] 根据所述反馈指令对所述交互模型进行调整。
[0012] 进一步地，还包括：
[0013] 确定所有所述驾乘人员之间的社会角色关系和车载角色关系；
[0014] 根据所述第一行程数据、所述社会角色关系和所述车载角色关系确定所有所述驾乘人员的对应座位、所有所述驾乘人员间的交互关系与交互方式以及所述多个智能安全服间的第一联动方式、所述多个智能安全服与其他车载终端间的第二联动方式。
[0015] 进一步地，所述根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令的步骤，包括：
[0016] 根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据及所述交互模型生成第一联动交互模型；
[0017] 根据所述第一联动交互模型、所述第一联动方式生成所述交互指令；
[0018] 将所述交互指令发送至所述多个智能安全服；
[0019] 所述多个智能安全服解析出由各自执行的对应的第一指令并分别执行对应的第一操作。
[0020] 进一步地，所述根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令的步骤，包括：
[0021] 根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据及所述交互模型生成第二联动交互模型；
[0022] 根据所述第二联动交互模型、所述第二联动方式生成所述交互指令；
[0023] 将所述交互指令发送至所述多个智能安全服和所述其他车载终端中的对应终端；
[0024] 所述多个智能安全服和所述对应终端解析出由各自执行的对应的第二指令并分别执行对应的第二操作。
[0025] 进一步地，所述根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令的步骤，包括：
[0026] 从所述生理数据中提取脑电信号数据、心率数据、呼吸频率数据、眼动和瞳孔大小数据、皮肤电反应数据、肌电信号数据、血糖和血压数据；
[0027] 从所述行为数据中提取表情数据、动作数据、姿态数据；
[0028] 从所述第一环境数据中提取第一环境音频数据、第一环境图像数据、第一天气数据、第一路况数据；
[0029] 从所述第一汽车状态数据中提取车速数据、发动机转速数据、油耗数据、电池电量数据、车身姿态数据、车轮转角数据、车辆位置数据、车辆故障码、车内环境数据、座椅及驾驶位置数据、悬架及驾驶动力学数据、车内噪音数据、各娱乐系统状态数据；
[0030] 从所述第一行程数据中提取第一中途停靠点数据、第一目的地数据和第一途经路段数据；
[0031] 根据所述脑电信号数据、所述心率数据、所述呼吸频率数据、所述眼动和瞳孔大小数据、所述皮肤电反应数据、所述肌电信号数据、所述血糖和血压数据、所述表情数据、所述动作数据、所述姿态数据、所述第一环境音频数据、所述第一环境图像数据、所述第一天气数据、所述第一路况数据、所述车速数据、所述发动机转速数据、所述油耗数据、所述电池电量数据、所述车身姿态数据、所述车轮转角数据、所述车辆位置数据、所述车辆故障码、所述车内环境数据、所述座椅及驾驶位置数据、所述悬架及驾驶动力学数据、所述车内噪音数据、所述各娱乐系统状态数据、所述第一中途停靠点数据、所述第一目的地数据、所述第一途经路段数据，对所述交互模型进行修改得到修改后的修正交互模型；
[0032] 根据所述修正交互模型生成所述交互指令，并执行所述交互指令。
[0033] 进一步地，所述获取驾乘人员的基本数据、生理数据和行为数据的步骤，包括：
[0034] 通过车载摄像装置获取所述驾乘人员的视频数据；
[0035] 对所述视频数据进行第一预处理操作得到第一图像数据；
[0036] 对所述第一图像数据进行表情特征点检测和跟踪以分析不同表情下面部特征点的变化,得到面部特征点变化数据；
[0037] 从所述面部特征点变化数据中提取出变化值超过第一阈值的数据作为第一面部特征点变化数据；
[0038] 使用第一表情编码方法来对所述第一面部特征点变化数据进行具体表情判断以得到第一表情数据；
[0039] 从所述面部特征点变化数据中提取出变化值超过第二阈值的数据作为第二面部特征点变化数据；
[0040] 使用第二表情编码方法来对所述第二面部特征点变化数据进行具体表情判断以得到第二表情数据；
[0041] 将所述第一表情数据和所述第二表情数据作为所述表情数据。
[0042] 进一步地，所述获取驾乘人员的基本数据、生理数据和行为数据的步骤，包括：
[0043] 对所述视频数据进行第二预处理操作得到第二图像数据；
[0044] 对所述第二图像数据进行运动目标检测、跟踪和动作分析得到动作特征数据；
[0045] 从所述动作特征数据中提取出变化值超过第三阈值的数据作为第一动作特征数据、提取出变化值超过第四阈值的数据作为第二动作特征数据；
[0046] 使用第一动作编码方法对所述第一动作特征数据进行处理，得到用以判断第一动作类型第一动作数据；
[0047] 使用第二动作编码方法对所述第二动作特征数据进行处理，得到用以判断第二动作类型的第二动作数据；
[0048] 将所述第一动作数据和所述第二动作数据作为所述动作数据。
[0049] 进一步地，所述获取驾乘人员的基本数据、生理数据和行为数据的步骤，包括：
[0050] 获取所述姿态数据，具体包括：
[0051] 对所述视频数据进行第三预处理操作得到第三图像数据；
[0052] 对所述第三图像数据进行人体姿态识别得到姿态特征数据；
[0053] 根据所述姿态特征数据，使用姿态编码方法来判断具体姿态类型得到第一姿态数据。
[0054] 进一步地，所述多个智能安全服至少包括设置于主驾驶位的第一智能安全服、设置于副驾驶位的第二智能安全服和设置于乘客位的第三智能安全服；所述通过所述多个智能安全服获取驾乘人员的基本数据、生理数据和行为数据的步骤，包括：
[0055] 通过所述第一智能安全服获取第一驾驶员的第一基本数据、第一生理数据和第一行为数据；
[0056] 通过所述第二智能安全服获取第一乘客的第二基本数据、第二生理数据和第二行为数据；
[0057] 通过所述第三智能安全服获取第二乘客的第三基本数据、第三生理数据和第三行为数据；
[0058] 所述第一新能源汽车根据所述基本数据从物联网服务器获取所述驾乘人员的智能终端交互数据的步骤，包括：
[0059] 所述第一新能源汽车根据所述第一基本数据从所述物联网服务器获取所述第一驾驶员的第一智能终端交互数据；
[0060] 所述第一新能源汽车根据所述第二基本数据从所述物联网服务器获取所述第一乘客的第二智能终端交互数据；
[0061] 所述第一新能源汽车根据所述第三基本数据从所述物联网服务器获取所述第二乘客的第三智能终端交互数据。
[0062] 本发明的另一方面提供一种用于新能源汽车的智能座舱联动系统，包括：物联网服务器、中央控制处理模块、获取模块、设置于第一新能源汽车舱内座位上的多个智能安全服；所述智能安全服包括本体和智能头盔；所述本体和所述智能头盔均设置有通信模块，二者通过有线形式或无线形式通信连接；所述本体设置有第一控制处理模块、智能安全带和智能感知传感器；所述智能头盔包括声音采集模块、脑电信号采集模块和声音播放模块；
[0063] 所述获取模块被配置为：获取驾乘人员的基本数据、生理数据和行为数据；
[0064] 所述中央控制处理模块被配置为：
[0065] 根据所述基本数据从所述物联网服务器获取所述驾乘人员的智能终端交互数据；
[0066] 根据所述基本数据和所述智能终端交互数据生成所述驾乘人员的交互模型；
[0067] 所述获取模块还被配置为：获取所述第一新能源汽车当前所处环境的第一环境数据、所述第一新能源汽车的第一汽车状态数据以及第一行程数据；
[0068] 所述中央控制处理模块还被配置为：
[0069] 根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令；
[0070] 接收所述驾乘人员对所述交互指令的执行结果的反馈指令；
[0071] 根据所述反馈指令对所述交互模型进行调整。
[0072] 采用本发明的技术方案，用于新能源汽车的智能座舱联动方法通过获取驾乘人员的基本数据、生理数据和行为数据；所述第一新能源汽车根据所述基本数据从物联网服务器获取所述驾乘人员的智能终端交互数据；根据所述基本数据和所述智能终端交互数据生成所述驾乘人员的交互模型；获取所述第一新能源汽车当前所处环境的第一环境数据、所述第一新能源汽车的第一汽车状态数据以及第一行程数据；根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令；接收所述驾乘人员对所述交互指令的执行结果的反馈指令；根据所述反馈指令对所述交互模型进行调整。本发明方案，不仅能通过智能安全服实现智能座舱内的交互与联动智能高效，还能保证交互和联动的准确性。
附图说明
[0073] 图1是本发明一个实施例提供的用于新能源汽车的智能座舱联动方法流程图；
[0074] 图2是本发明一个实施例提供的用于新能源汽车的智能座舱联动系统的示意框图。
具体实施方式
[0075] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0076] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0077] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0078] 在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0079] 下面参照图1至图2来描述根据本发明一些实施方式提供的一种用于新能源汽车的智能座舱联动方法及系统。
[0080] 如图1所示，本发明一个实施例提供一种用于新能源汽车的智能座舱联动方法，应用于一种智能座舱联动系统，所述智能座舱联动系统包括设置于第一新能源汽车舱内座位上的多个智能安全服；所述智能安全服包括本体和智能头盔；所述本体和所述智能头盔均设置有通信模块，二者通过有线形式或无线形式通信连接；所述本体设置有第一控制处理模块、智能安全带和智能感知传感器；所述智能头盔包括声音采集模块、脑电信号采集模块和声音播放模块；所述用于新能源汽车的智能座舱联动方法包括：
[0081] 获取驾乘人员的基本数据、生理数据和行为数据；
[0082] 所述第一新能源汽车根据所述基本数据从物联网服务器获取所述驾乘人员的智能终端交互数据；
[0083] 根据所述基本数据和所述智能终端交互数据生成所述驾乘人员的交互模型；
[0084] 获取所述第一新能源汽车当前所处环境的第一环境数据、所述第一新能源汽车的第一汽车状态数据以及第一行程数据；
[0085] 根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令；
[0086] 接收所述驾乘人员对所述交互指令的执行结果的反馈指令；
[0087] 根据所述反馈指令对所述交互模型进行调整。
[0088] 可以理解的是，在本发明实施例中，基本数据包括但不限于身高、体重、性别、年龄、职业、兴趣爱好等个人基本信息。生理数据包括但不限于心率、血压、体温、呼吸率、脑电图等反映驾乘人员的实时生理状态的生理参数信息，这些数据可以通过智能安全服或其他可穿戴设备或车内传感器采集。行为数据包括但不限于：由眼动追踪系统获取，反映视觉注意点与警觉状态的眼动数据，包括但不限于瞳孔大小、眼球转角运动轨迹等；由表情识别系统获取，反映情绪状态如高兴、生气等的表情数据，包括但不限于嘴角弧度、眉毛形状等；由视觉识别系统获取，判断驾乘人员的驾驶姿势或休息状态的姿态数据，包括但不限于头部转角、手部位置等；由语音识别系统获取，判断说话内容及情绪的语音数据，包括但不限语音识别结果与语音特征；由环境感知系统获取，判断驾乘人员的相关操作行为的操作数据，包括但不限于安全带状态、车门状态等。
[0089] 在本发明实施例中，所述第一新能源汽车根据所述基本数据从物联网服务器获取所述驾乘人员的智能终端交互数据，因智能终端(如智能手机、智能手表、平板电脑、智能家电等)的交互方式相对来说比较成熟与便捷，而且与智能化的新能源汽车在操作以具有共性，故以智能终端交互数据作为对新能源汽车的交互控制的参考，具体可以是：
[0090] 获取驾乘人员的如手机号、邮箱地址、微信号、支付宝账号等，这些数据可以由驾乘人员在首次使用服务时主动提供。
[0091] 向驾乘人员发出数据共享授权，说明获取交互数据的目的、方式与权限控制等信息，只有在驾乘人员同意授权的情况下才可以获取相关数据。
[0092] 与驾乘人员绑定使用的各类智能设备/获取APP管理服务器建立连接，如智能手机、智能手表、平板电脑、智能家电等，这需要对应设备开启数据共享功能，并与物联网服务器建立通信连接。
[0093] 从对应设备获取各类交互数据，包括但不限于：反映驾乘人员的日常需求和兴趣偏好的使用习惯，包括常用app、常去地点等；用于分析驾乘人员的社交圈和交流模式的通讯记录，包括但不限于通话记录、短信记录、邮件记录、朋友圈内容、浏览的视频/文章等；判断驾乘人员的工作生活规律与时间安排的日程安排，包括但不限于日程表、闹钟提醒等；分析驾乘人员的关注点与信息需求的搜索记录，包括但不限于网页浏览记录、新闻浏览记录等；
[0094] 对获取的数据进行过滤、整理和融合，按照隐私保护与数据安全的原则，生成对驾乘人员对智能设备的兴趣爱好、交互意图、使用习惯等方面的理解。
[0095] 将理解结果反馈至驾乘人员，使其对系统的理解程度和服务内容保持透明，并根据需求进行相应调整。
[0096] 本实施例中，根据所述基本数据和所述智能终端交互数据生成所述驾乘人员的交互模型，具体可以是：
[0097] 根据驾乘人员的身高、体重、性别、年龄、职业、兴趣爱好等个人基本信息，合理设定初步交互策略，例如，对于不同年龄段的驾乘人员推荐不同的内容、区分不同性别的状态监控、根据职业提供不同的展示内容等。
[0098] 分析驾乘人员的智能终端使用数据，提取特征并分析出用于判断驾乘人员的线上活跃度和服务使用习惯的使用规律数据，如高频使用时间、常用应用等。
[0099] 分析驾乘人员的社交记录数据，找出重要联系人、社交活跃度和交流话题等，这有助于创建驾乘人员的社交圈模型，为交互内容选择提供参考。
[0100] 分析驾乘人员的搜索与浏览数据，提取主要兴趣话题和关注领域，这可用于判断驾乘人员的信息需求，为推荐新闻、音乐等提供依据。
[0101] 综合上述分析结果，创建驾乘人员的概述档案/画像/人物模型，包括人口统计信息、社交特征、使用习惯、兴趣偏好等，并据此构建出初步的驾乘人员交互模型。
[0102] 在实际交互中不断优化与完善该模型，根据驾乘人员的反馈不断调整交互策略和内容的选取，并定期检查模型的准确度，进行必要修正得到完善的交互模型。
[0103] 需要说明的是，为保护驾乘人员的隐私，需要对其数据和交互模型设置严格的权限控制，避免信息泄露风险；该交互模型的构建并非一次完成，而是在持续交互和服务中不断优化与改进的过程。
[0104] 本实施例中，还包括：执行交互指令，同时监测驾乘人员对交互的反馈指令，如表情变化、操作响应等；根据驾乘人员的反馈指令判断交互效果，并对所述交互模型进行调整，如当交互效果未达驾乘人员预期则生成新的交互指令，直至驾乘人员表示满意或中断交互为止；根据当次交互过程优化驾乘人员的交互模型，为后续服务奠定基础，循环该流程不断学习与提高。
[0105] 在本实施例中，设置于驾驶位的智能安全服与设置于乘客位的智能安全服在结构、材质、功能等方面可以相同或不同；在不同的情况下，优选地，基于对各车型的驾驶员和乘客的行为数据以及各车型的特征数据的大数据分析，针对不同的车型分别设置驾驶员、乘客位的智能安全服的结构、材质、功能等(如智能安全服上的安全带的结构、材质等，智能头盔的结构、材质、功能等，本体上设置的传感器的类型、位置、数量、功能及控制方式等)以提供针对驾驶员和乘客不同个性化体验。更进一步地，基于驾乘人员的车载角色关系或社会角色关系，对智能安全服的功能进行个性化的设置与唤醒。
[0106] 采用该实施例的技术方案，通过获取驾乘人员的基本数据、生理数据和行为数据；所述第一新能源汽车根据所述基本数据从物联网服务器获取所述驾乘人员的智能终端交互数据；根据所述基本数据和所述智能终端交互数据生成所述驾乘人员的交互模型；获取所述第一新能源汽车当前所处环境的第一环境数据、所述第一新能源汽车的第一汽车状态数据以及第一行程数据；根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令；接收所述驾乘人员对所述交互指令的执行结果的反馈指令；根据所述反馈指令对所述交互模型进行调整。本发明方案，不仅能通过智能安全服实现智能座舱内的交互与联动智能高效，还能保证交互和联动的准确性。
[0107] 在本发明一些可能的实施方式中，还包括：
[0108] 确定所有所述驾乘人员之间的社会角色关系和车载角色关系；
[0109] 根据所述第一行程数据、所述社会角色关系和所述车载角色关系确定所有所述驾乘人员的对应座位、所有所述驾乘人员间的交互关系与交互方式以及所述多个智能安全服间的第一联动方式、所述多个智能安全服与其他车载终端间的第二联动方式。
[0110] 可以理解的是，为了针对驾乘人员分别提供更贴心、精准的服务以及保证智能座舱联动的精确，本实施例中，可以通过从智能终端交互数据推定车上现有驾乘人员间的角色关系(和/或交互关系)，根据角色关系和/或交互关系进行联动，如根据社会角色关系和车载角色关系确定状态联动方，通过HUD或智能安全服分别进行针对性的个性化交互。具体地，确定所有所述驾乘人员之间的社会角色关系(如家庭关系角色、工作关系角色等)和车载角色关系(如驾驶员、代驾、普通乘客、拼单乘客等角色及其间的关系等)；根据所述第一行程数据、所述社会角色关系和所述车载角色关系确定所有所述驾乘人员的对应座位(如根据职位、性别等为驾乘人员安排合适的座位)、所有所述驾乘人员间的交互关系与交互方式以及所述多个智能安全服间的第一联动方式(如智能安全服间进行交互的内容、方式、时间、触发条件等)、所述多个智能安全服与其他车载终端间的第二联动方式(如通过智能安全服与其他车载终端进行交互的内容、方式、时间、触发条件等)，这样还可以保护驾乘人员的隐私。
[0111] 应当说明的是，驾乘人员之间存在多种交互/联动关系与方式，如驾驶员与乘客，驾驶员负责驾驶，与乘客保持必要的交互沟通，如导航提示、点播音乐等，交互方式可以以语音或简单触控为主；同伴关系，如朋友之间的交互，话题宽泛，氛围融洽，交互方式以提供自然交谈、共享终端等联动协助为主，需要识别关系与兴趣话题，选择恰当交互内容；上下级关系，如老板与司机之间的交互，尽量选择正式且优质的交互方式，交互内容以工作相关信息为主，避免过于随意；陌生人关系，对未知乘客采用客套有礼的交互方式，避免涉及隐私或敏感信息，除必要导航外，交互内容以亲和中立的社交话题为主；特殊关系，如父母与小孩的交互，亲昵且悉心，交互内容以生活照顾与娱乐为主，根据儿童兴趣推荐恰当内容,增进亲子互动。交互方式则包括但不限于：自然交谈，面对面自由交流，支持自然语音输入与识别；共享显示器，在车载显示器上一同浏览信息、选择节目等；分享终端，连接乘客的智能手机或平板，一同分享内容或进行同步操作；非视觉交互，如互发语音信息，适用于需要专注驾驶时的交互；协同控制，在自动驾驶模式下，一同选择导航路线或操控车辆设置，增进互动体验。
[0112] 在本发明一些可能的实施方式中，所述根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令的步骤，包括：
[0113] 根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据及所述交互模型生成第一联动交互模型；
[0114] 根据所述第一联动交互模型、所述第一联动方式生成所述交互指令；
[0115] 将所述交互指令发送至所述多个智能安全服；
[0116] 所述多个智能安全服解析出由各自执行的对应的第一指令并分别执行对应的第一操作。
[0117] 可以理解的是，为了执行更准确的交互操作以保证智能座舱联动的精确，在本实施例中，根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令，具体是：
[0118] 交互模型根据驾乘人员的实时生理状态数据(如心率、血压、体温、呼吸率、脑电图等)，判断是否存在异常(如疲劳驾驶状态、晕车状态等)，以判断交互的紧急度与内容。
[0119] 交互模型根据驾乘人员的行为数据，如表情、语音、操作数据、姿态数据、眼动数据等，分析情绪状态和意图，判断当前适宜的交互方式(如语音或视觉交互)。
[0120] 交互模型根据车辆舱内外的第一环境数据，确定外界条件(如遇到事故或红绿灯、天气沉闷、道路崎岖等)，以决定是否中断交互或提供辅助信息。
[0121] 交互模型根据车辆的第一汽车状态数据，如车速、位置、倾斜角度、发动机/电动机状态、剩余能源量等，以判断驾驶状态并确保交互符合当前的车辆状态并不会分散驾驶员注意力。
[0122] 交互模型根据第一行程数据(如途经地点/地形、中途休息点/补给点、目的地、当前位置等)，判断驾乘人员的出行路线和目的地，为导航路径规划、景点推荐等提供基础依据。
[0123] 交互模型根据上述多源数据判断当下场景，生成第一联动交互模型；
[0124] 根据所述第一联动交互模型、所述第一联动方式选择恰当的交互内容与形式，生成交互指令，将所述交互指令发送至所述多个智能安全服；所述多个智能安全服解析出由各自执行的对应的第一指令并分别执行对应的第一操作，如显示消息、播放音乐、发送导航提示等；又如，根据实际情况，利用智能头盔里的收音设备收外界音或车内音，并对外界音或车内音进行识别与检测，当出现预设关键信息(如关键词、关键声音)时，生成调整智能头盔当前播放音频为包括外界间或车内音中包含预设关键信息的对应片段的播放调整指令；再如，在拼车场景下，当其中某乘客到达目的前，生成提前通过其智能安全服进行振动提醒的指令，以不影响其他人；又如，在出现有人晕车场景的场景下，生成控制对应的智能安全服进行针对性按摩或者提供便利袋的指令等。
[0125] 为了执行更准确的交互操作以保证智能座舱联动的精确，在本发明一些可能的实施方式中，所述根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令的步骤，包括：
[0126] 根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据及所述交互模型生成第二联动交互模型；
[0127] 根据所述第二联动交互模型、所述第二联动方式生成所述交互指令；
[0128] 将所述交互指令发送至所述多个智能安全服和所述其他车载终端中的对应终端；
[0129] 所述多个智能安全服(全部或其中对应的部分智能安全服)和所述对应终端解析出由各自执行的对应的第二指令并分别执行对应的第二操作。
[0130] 可以理解的是，在本发明实施例中，所述第二联动交互模型与所述第一联动交互模型的生成方式可以相同，也可以不同；二者可以是同一个模型，也可以是不同的模型；本发明的实施方式对此不作限制。
[0131] 为了进一步提高智能座舱联动的准确性与个性化，在本发明一些可能的实施方式中，所述根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令的步骤，包括：
[0132] 从所述生理数据中提取脑电信号数据(可以用于研究驾驶者的认知负荷和疲劳程度，例如alpha波和theta波等)、心率数据(驾车时，心率的变化可以反映出驾驶者的紧张程度和情绪状态)、呼吸频率数据(呼吸频率的变化也可以反映出驾驶者的紧张程度和情绪状态)、眼动和瞳孔大小数据(可以用于研究驾驶者的视觉注意力和疲劳程度)、皮肤电反应数据(可以用于研究驾驶者的情绪状态和压力水平)、肌电信号数据(可以用于研究驾驶者的肌肉疲劳程度和动作反应能力)、血糖和血压数据(可以用于研究驾驶者的身体状态和健康状况；这些生理数据可以通过生物传感器等设备进行采集和分析，可以用于驾驶员状态监测、驾驶员疲劳检测、驾驶员情绪检测等应用，以提高驾驶安全性和舒适度)。
[0133] 从所述行为数据中提取表情数据、动作数据、姿态数据；
[0134] 从所述第一环境数据中提取第一环境音频数据、第一环境图像数据、第一天气数据、第一路况数据；
[0135] 从所述第一汽车状态数据中提取车速数据(车辆行驶的速度，通常由车速传感器进行采集和处理)、发动机转速数据(发动机运转的速度，通常由发动机控制模块进行采集和处理)、油耗数据(车辆行驶期间的油耗，通常由油耗传感器进行采集和处理)、电池电量数据(电动汽车或混合动力汽车的电池电量，通常由电池管理系统进行采集和处理)、车身姿态数据(车辆的倾斜、加速度等姿态信息，通常由惯性传感器进行采集和处理)、车轮转角数据(车辆转向角度，通常由转向角传感器或转向控制模块进行采集和处理)、车辆位置数据(车辆所处的位置信息，可以通过卫星导航系统(如GPS)进行采集和处理)、车辆故障码(车辆发生故障时产生的错误代码，可以由车辆诊断接口进行读取和处理；这些汽车状态数据可以被用于车辆管理、行车安全、驾驶行为分析、车辆维保等方面，以提高驾驶者的驾驶体验和车辆的使用寿命)、车内环境数据(包括车内温度、湿度、座椅加热/通风系统状态、空调状态等；这些直接影响人员的舒适度和体感)、座椅及驾驶位置数据(包括座椅位置、座椅支撑力、方向盘位置等；这些数据与人体工程学密切相关，直接影响驾驶姿势及体能和疲劳度)、悬架及驾驶动力学数据(包括车身倾斜角、轮跳数据、横摆加速度等；这些数据决定乘坐平顺性和驾驶舒适度)、车内噪音数据(包括发动机噪音、风噪、轮胎噪音传输到车内的噪音数据；这也是重要的影响因素，高噪音会降低舒适度和影响乘客体验)、各娱乐系统状态数据(包括音响、导航、后排娱乐系统等相关数据；这些信息直接决定乘客获得的娱乐体验和服务质量。综上,车辆动力学性能、车内环境质量以及各种娱乐系统直接左右着驾乘体验。收集和监测这些数据,优化控制相关系统,可以显著提高驾乘人员的舒适度和出行体验)；
[0136] 从所述第一行程数据中提取第一中途停靠点数据、第一目的地数据和第一途经路段数据；
[0137] 根据所述脑电信号数据、所述心率数据、所述呼吸频率数据、所述眼动和瞳孔大小数据、所述皮肤电反应数据、所述肌电信号数据、所述血糖和血压数据、所述表情数据、所述动作数据、所述姿态数据、所述第一环境音频数据、所述第一环境图像数据、所述第一天气数据、所述第一路况数据、所述车速数据、所述发动机转速数据、所述油耗数据、所述电池电量数据、所述车身姿态数据、所述车轮转角数据、所述车辆位置数据、所述车辆故障码、所述车内环境数据、所述座椅及驾驶位置数据、所述悬架及驾驶动力学数据、所述车内噪音数据、所述各娱乐系统状态数据、所述第一中途停靠点数据、所述第一目的地数据、所述第一途经路段数据，对所述交互模型进行修改得到修改后的修正交互模型；
[0138] 根据所述修正交互模型生成所述交互指令，并执行所述交互指令。
[0139] 在本发明一些可能的实施方式中，所述获取驾乘人员的基本数据、生理数据和行为数据的步骤，包括：
[0140] 通过车载摄像装置获取所述驾乘人员的视频数据；
[0141] 对所述视频数据进行第一预处理操作(包括人脸检测、图像增强、噪声抑制等，然后再进行表情特征点检测，可以提高检测精度等)得到第一图像数据；
[0142] 对所述第一图像数据进行表情特征点检测和跟踪以分析不同表情下面部特征点的变化,得到面部特征点变化数据，常用的表情特征点包括眉毛(内眉毛、外眉毛)、眼睛(眼角、眼球)、鼻子(鼻尖)、嘴巴(口角)等；
[0143] 从所述面部特征点变化数据(如表情特征点的位置变化)中提取出变化值超过第一阈值的数据作为第一面部特征点变化数据；
[0144] 使用第一表情编码方法(如面部动作编码系统)来对所述第一面部特征点变化数据进行具体表情判断以得到第一表情数据，比如高兴、生气、害羞、厌恶等；最常使用的方法有基于规则的方法和基于机器学习的方法；
[0145] 从所述面部特征点变化数据(如表情特征点的位置变化)中提取出变化值超过第二阈值的数据作为第二面部特征点变化数据；
[0146] 使用第二表情编码方法来对所述第二面部特征点变化数据进行具体表情判断以得到第二表情数据；即，微表情分析：对表情变化过程中的细微变化也进行检测和分析，这可以判断出一些隐藏的心理活动和情绪变化；也能更精确地分析出情绪、意图；
[0147] 将所述第一表情数据和所述第二表情数据作为所述表情数据。
[0148] 在本发明实施例中，还可以通过多角度检测(如使用多个摄像头从不同角度获取图像)以进行多视角的表情特征点检测与特征融合，可以得到更加准确可靠的表情判断结果。
[0149] 在本发明实施例中，还可以与采集到的语音和生理信号结合，同时分析表情数据、语音数据和生理信号数据以综合判断驾乘人员的情绪状态和心理反应；这种多模态情感分析可以取得更好的效果。
[0150] 在本发明实施例中,采用计算机视觉技术分析表情特征点变化是主要的方法，结合面部动作编码方法、微表情分析技术以及多模态情感分析技术，可以实现驾乘人员表情与情感的精细检测与理解，这对交互体验的个性化优化至关重要。
[0151] 在本发明一些可能的实施方式中，所述获取驾乘人员的基本数据、生理数据和行为数据的步骤，包括：
[0152] 对所述视频数据进行第二预处理操作得到第二图像数据；
[0153] 对所述第二图像数据进行运动目标检测、跟踪和动作分析得到动作特征数据；如判断其手臂、头部以及身体的运动轨迹和动作模式,从而推断其意图和互动方式。
[0154] 从所述动作特征数据中提取出变化值超过第三阈值的数据作为第一动作特征数据、提取出变化值超过第四阈值的数据作为第二动作特征数据；
[0155] 使用第一动作编码方法对所述第一动作特征数据进行处理，得到用以判断第一动作类型第一动作数据；如操纵方向盘的动作、触屏交互的手势、身体倾斜或伸展姿态等，常用的编码方法有基于规则的方法和基于机器学习的方法。
[0156] 使用第二动作编码方法对所述第二动作特征数据进行处理，得到用以判断第二动作类型的第二动作数据；此步骤主要是用于微动作的识别与判断，以进一步提高判断动作与意图的准确度；
[0157] 将所述第一动作数据和所述第二动作数据作为所述动作数据。
[0158] 在本发明实施例中，可以使用车辆摄像装置获取驾乘人员的不同角度的视频数据，采用视觉三角测量方法重建三维空间中的头部、手臂和身体姿态，并动态跟踪其三维运动轨迹，可以更精确判断其动作与意图。
[0159] 可以理解的是，在本发明实施例中，同时使用视频感知与姿态传感器如陀螺仪、加速度计等获取的数据，采用传感器融合方法综合判断其动作与姿态，可以提高检测的准确性和鲁棒性。另外，除了直接分析动作数据之外，还可以结合场景与交互上下文进行综合判断，比如方向盘操作的力度、频率与车速的关系可以判断驾驶员的驾驶行为是否合适；根据触屏操作的对象与交互界面上下文可以判断驾乘人员的操控意图等。以及，同时分析动作数据、语音数据和生理信号数据,进行多模态行为分析以得到更加准确的判断结果。视频图像分析和传感器数据融合是主要技术手段，结合动作编码、三维重建、上下文分析以及多模态方法可以高精度检测与理解驾乘人员的各种动作与交互意图，这对智能驾驶环境的定制化和人性化具有至关重要的意义。
[0160] 在本发明一些可能的实施方式中，所述获取驾乘人员的基本数据、生理数据和行为数据的步骤，包括：
[0161] 获取所述姿态数据，具体包括：
[0162] 对所述视频数据进行第三预处理操作得到第三图像数据；
[0163] 对所述第三图像数据进行人体姿态识别得到姿态特征数据；如判断头部、手臂以及躯干的方向与朝向,从而推断其身体状态和交互意图。
[0164] 根据所述姿态特征数据，使用姿态编码方法来判断具体姿态类型得到第一姿态数据；如正面朝向、侧身朝向、前倾或后仰等，常用的编码方法也有基于规则的方法和基于机器学习的方法。
[0165] 在本发明实施例中，所述车载摄像装置可以为立体摄像头系统，通过其获取视频数据，采用视觉三角测量方法重建三维空间中的人体姿态，可以得到更精确的头部、手臂和躯干的三维方向与朝向，这种方法更加符合人体运动特性，判断也更加准确。
[0166] 在本发明实施例中，还可以结合使用组合导航系统或姿态传感器(如陀螺仪、加速度计等)获取人体精确的方向与姿态，然后结合校准参数判断其大致的头部、手臂和躯干朝向，这种直接获取姿态数据的方法更加实时而稳定。
[0167] 在本发明实施例中，通过同时使用视频感知与姿态传感器的数据，采用数据融合方法进行姿态检测，可以提高判断的准确性与鲁棒性，弥补各自方法的不足。
[0168] 在本发明实施例中，除直接分析姿态数据之外，还要综合考虑场景与交互上下文，比如通过方向盘和座椅位置可以确定正常驾驶姿态、通过触屏位置可以推断舒适的操作姿态等。
[0169] 在本发明实施例中，同时分析生理信号如脑电图、肌电图，判断与不同姿态对应的生理学反应，可以更深入理解其姿态变化的心理机制与原因。
[0170] 通过视觉分析和传感器融合，结合姿态编码、三维重建、上下文分析以及生理信号分析可以实现人体姿态的准确检测与分析，这对驾乘环境的个性化设定非常重要。
[0171] 在本发明一些可能的实施方式中，所述多个智能安全服至少包括设置于主驾驶位的第一智能安全服、设置于副驾驶位的第二智能安全服和设置于乘客位的第三智能安全服；所述通过所述多个智能安全服获取驾乘人员的基本数据、生理数据和行为数据的步骤，包括：
[0172] 通过所述第一智能安全服获取第一驾驶员的第一基本数据、第一生理数据和第一行为数据；
[0173] 通过所述第二智能安全服获取第一乘客的第二基本数据、第二生理数据和第二行为数据；
[0174] 通过所述第三智能安全服获取第二乘客的第三基本数据、第三生理数据和第三行为数据；
[0175] 所述第一新能源汽车根据所述基本数据从物联网服务器获取所述驾乘人员的智能终端交互数据的步骤，包括：
[0176] 所述第一新能源汽车根据所述第一基本数据从所述物联网服务器获取所述第一驾驶员的第一智能终端交互数据；
[0177] 所述第一新能源汽车根据所述第二基本数据从所述物联网服务器获取所述第一乘客的第二智能终端交互数据；
[0178] 所述第一新能源汽车根据所述第三基本数据从所述物联网服务器获取所述第二乘客的第三智能终端交互数据；
[0179] 所述根据所述基本数据和所述智能终端交互数据生成所述驾乘人员的交互模型的步骤，包括：
[0180] 根据所述第一基本数据和所述第一智能终端交互数据生成所述第一驾驶员的第一交互模型；
[0181] 根据所述第二基本数据和所述第二智能终端交互数据生成所述第一乘客的第二交互模型；
[0182] 根据所述第三基本数据和所述第三智能终端交互数据生成所述第三乘客的第三交互模型；
[0183] 所述根据所述第生理数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令的步骤，包括：
[0184] 根据所述第一第生理数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述第一交互模型生成第一交互指令，并执行所述第一交互指令；
[0185] 根据所述第二第生理数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述第二交互模型生成第二交互指令，并执行所述第二交互指令；
[0186] 根据所述第三第生理数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述第三交互模型生成第三交互指令，并执行所述第三交互指令；
[0187] 所述接收所述驾乘人员对所述交互指令的执行结果的反馈指令的步骤，包括：
[0188] 接收所述第一驾驶员对所第一述交互指令的执行结果的第一反馈指令；
[0189] 接收所述第一乘客对所述第二交互指令的执行结果的第二反馈指令；
[0190] 接收所述第二乘客对所述第三交互指令的执行结果的第三反馈指令；
[0191] 所述根据所述反馈指令对所述交互模型进行调整的步骤，包括：
[0192] 根据所述第一反馈指令对所述第一交互模型进行调整；
[0193] 根据所述第二反馈指令对所述第二交互模型进行调整；
[0194] 根据所述第三反馈指令对所述第三交互模型进行调整。
[0195] 请参见图2，本发明另一实施例还提供一种用于新能源汽车的智能座舱联动系统，包括：物联网服务器、中央控制处理模块、获取模块、设置于第一新能源汽车舱内座位上的多个智能安全服；所述智能安全服包括本体和智能头盔；所述本体和所述智能头盔均设置有通信模块，二者通过有线形式或无线形式通信连接；所述本体设置有第一控制处理模块、智能安全带和智能感知传感器；所述智能头盔包括声音采集模块、脑电信号采集模块和声音播放模块；
[0196] 所述获取模块被配置为：获取驾乘人员的基本数据、生理数据和行为数据；
[0197] 所述中央控制处理模块被配置为：
[0198] 根据所述基本数据从所述物联网服务器获取所述驾乘人员的智能终端交互数据；
[0199] 根据所述基本数据和所述智能终端交互数据生成所述驾乘人员的交互模型；
[0200] 所述获取模块还被配置为：获取所述第一新能源汽车当前所处环境的第一环境数据、所述第一新能源汽车的第一汽车状态数据以及第一行程数据；
[0201] 所述中央控制处理模块还被配置为：
[0202] 根据所述生理数据、所述行为数据、所述第一环境数据、所述第一汽车状态数据、所述第一行程数据和所述交互模型生成交互指令，并执行所述交互指令；
[0203] 接收所述驾乘人员对所述交互指令的执行结果的反馈指令；
[0204] 根据所述反馈指令对所述交互模型进行调整。
[0205] 应当知道的是，图2所示的用于新能源汽车的智能座舱联动系统的框图仅作示意，其所示出的各模块的数量并不对本发明的保护范围进行限定。
[0206] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
[0207] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0208] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0209] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0210] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0211] 上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0212] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read‑Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
[0213] 以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
[0214] 虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。
