人口数据质量检验方法、系统和可读存储介质转让专利
申请号 : CN202310813565.0
文献号 : CN116567547B
文献日 : 2023-12-01
发明人 : 成立立 , 于笑博 , 张广志 , 徐丽琴 , 赵阳阳 , 肖淑金
申请人 : 北京融信数联科技有限公司
摘要 :
本发明公开的一种人口数据质量检验方法、系统和可读存储介质，其中方法包括：采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据；基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户；基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，其中，所述时间段基于用户输入数据动态变化；基于所述月稳定用户作为历史数据输入到灰色预测模型来进行预测得到当月的人口数据稳定数值。本发明通过规划求解修正异常值，可减少人为修正造成的主观误差，并且将新的修正值作为新原始序列不断地更新预测模型，从而提高人口数据质量预测的精度、保证数据检验的准确性。
权利要求 :
1.一种人口数据的质量检验方法，其特征在于，包括以下步骤：采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据；
基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户；
基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，其中，所述时间段基于用户输入数据动态变化；
基于所述月稳定用户作为历史数据输入到灰色预测模型来进行预测得到当月的人口数据稳定数值；
所述采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据，具体包括：获取在规定区域内，每个用户IMSI所切换的基站扇区信息，其中，所述基站扇区信息包括扇区位置数据以及进出扇区时间数据；
基于所述基站扇区信息获取当前手机用户实时轨迹信息，并接入目标消息系统中订阅当前用户对应的所述用户信令数据，从而获取用户对应的所述行动轨迹数据，其中，所述目标消息系统包括Kafka消息系统；
所述基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户，具体包括：基于所述行动轨迹数据确定当前用户每天停留时间最长的目标地点群；
基于所述目标地点群结合工作时间以及居住时间确定当前用户对应的工作地点以及居住地点，从而基于所述工作地点以及所述居住地点得到所述工作居住点；
剔除未满足日稳定用户条件的用户IMSI信息以筛选得到所述日稳定用户，其中，所述日稳定用户条件包括确定所述工作居住点的用户；
所述方法还包括建立所述灰色预测模型，具体包括：基于原始序列进行一阶累加后生成新的累加序列；
计算得到所述累加序列对应的灰导数；
建立灰微分方程，基于所述灰微分方程得到所述灰色预测模型；
所述方法还包括在原始序列不通过级比检验时，通过平移转换使得原始序列满足检验，进而继续构建所述灰色预测模型；
所述方法还包括基于预测得到的所述人口数据稳定数值与当月实际人口数据值进行误差比较，以基于误差结果筛选得到异常值；
所述方法还包括规划求解并修正所述异常值以更新动态预测过程；
所述方法还包括求取紧邻权值作为白化背景值；
建立的规划求解优化模型，以对实际值的修正幅度最小为目标函数，考虑修正前后的总和保持不变、本期环比同比需满足的约束条件建立规划求解；具体包含以下步骤：以修正值和原始值的差值百分比绝对值描述修正幅度，定义修正幅度最小为目标函数：；
设置约束条件：
；
其中， 和 表示需要修正的原始序列值， 和 分别对应上月同期值， 和 是修正后的新序列值。
2.根据权利要求1所述的一种人口数据的质量检验方法，其特征在于，所述基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，具体包括：基于所述时间段统计自然月内满足当前时间段要求的日稳定用户作为所述月稳定用户；
对未满足当前时间段要求的所述日稳定用户进行数据清洗，其中，所述数据清洗的方式包括删除用户以及补充用户数据。
3.一种人口数据的质量检验系统，其特征在于，包括存储器和处理器，所述存储器中包括人口数据的质量检验方法程序，所述人口数据的质量检验方法程序被所述处理器执行时实现如下步骤：采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据；
基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户；
基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，其中，所述时间段基于用户输入数据动态变化；
基于所述月稳定用户作为历史数据输入到灰色预测模型来进行预测得到当月的人口数据稳定数值；
所述采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据，具体包括：获取在规定区域内，每个用户IMSI所切换的基站扇区信息，其中，所述基站扇区信息包括扇区位置数据以及进出扇区时间数据；
基于所述基站扇区信息获取当前手机用户实时轨迹信息，并接入目标消息系统中订阅当前用户对应的所述用户信令数据，从而获取用户对应的所述行动轨迹数据，其中，所述目标消息系统包括Kafka消息系统；
所述基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户，具体包括：基于所述行动轨迹数据确定当前用户每天停留时间最长的目标地点群；
基于所述目标地点群结合工作时间以及居住时间确定当前用户对应的工作地点以及居住地点，从而基于所述工作地点以及所述居住地点得到所述工作居住点；
剔除未满足日稳定用户条件的用户IMSI信息以筛选得到所述日稳定用户，其中，所述日稳定用户条件包括确定所述工作居住点的用户；
所述方法还包括建立所述灰色预测模型，具体包括：基于原始序列进行一阶累加后生成新的累加序列；
计算得到所述累加序列对应的灰导数；
建立灰微分方程，基于所述灰微分方程得到所述灰色预测模型；
所述方法还包括在原始序列不通过级比检验时，通过平移转换使得原始序列满足检验，进而继续构建所述灰色预测模型；
所述方法还包括基于预测得到的所述人口数据稳定数值与当月实际人口数据值进行误差比较，以基于误差结果筛选得到异常值；
所述方法还包括规划求解并修正所述异常值以更新动态预测过程；
所述方法还包括求取紧邻权值作为白化背景值；
建立的规划求解优化模型，以对实际值的修正幅度最小为目标函数，考虑修正前后的总和保持不变、本期环比同比需满足的约束条件建立规划求解；具体包含以下步骤：以修正值和原始值的差值百分比绝对值描述修正幅度，定义修正幅度最小为目标函数：；
设置约束条件：
；
其中， 和 表示需要修正的原始序列值， 和 分别对应上月同期值， 和 是修正后的新序列值。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种人口数据的质量检验方法程序，所述人口数据的质量检验方法程序被处理器执行时，实现如权利要求1至2中任一项所述的一种人口数据的质量检验方法的步骤。
说明书 :
人口数据质量检验方法、系统和可读存储介质
技术领域
[0001] 本发明涉及大数据技术领域，更具体的，涉及一种人口数据质量检验方法、系统和可读存储介质。
背景技术
[0002] 随着经济和城市化的发展，大数据驱动的城市规划越来越有必要。对城市进行每月稳定人口的预测，可以为城市的规划、交通和住房等方面提供重要的参考价值，对城市的建设发展以及城市空间尤其是土地资源的配置产生重要影响。北京市各大区域的稳定人口统计分析有助于推动感知数据驱动的城市规划转型。
[0003] 其中，准确预测各月稳定人口，对制定合理的人口规划和人口布局方案、维护经济可持续健康发展和促进城镇化进程具有重要意义。
发明内容
[0004] 本发明的目的是提供一种人口数据质量检验方法、系统和可读存储介质，通过规划求解修正异常值，可减少人为修正造成的主观误差，并且将新的修正值作为新原始序列不断地更新预测模型，从而提高人口数据质量预测的精度、保证数据检验的准确性。
[0005] 本发明第一方面提供了一种人口数据质量检验方法，包括以下步骤：
[0006] 采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据；
[0007] 基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户；
[0008] 基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，其中，所述时间段基于用户输入数据动态变化；
[0009] 基于所述月稳定用户作为历史数据输入到灰色预测模型来进行预测得到当月的人口数据稳定数值。
[0010] 本方案中，所述采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据，具体包括：
[0011] 获取在规定区域内，每个用户IMSI所切换的基站扇区信息，其中，所述基站扇区信息包括扇区位置数据以及进出扇区时间数据；
[0012] 基于所述基站扇区信息获取当前手机用户实时轨迹信息，并接入目标消息系统中订阅当前用户对应的所述用户信令数据，从而获取用户对应的所述行动轨迹数据，其中，所述目标消息系统包括Kafka消息系统。
[0013] 本方案中，所述基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户，具体包括：
[0014] 基于所述行动轨迹数据确定当前用户每天停留时间最长的目标地点群；
[0015] 基于所述目标地点群结合工作时间以及居住时间确定当前用户对应的工作地点以及居住地点，从而基于所述工作地点以及所述居住地点得到所述工作居住点；
[0016] 剔除未满足日稳定用户条件的用户IMSI信息以筛选得到所述日稳定用户，其中，所述日稳定用户条件包括确定所述工作居住点的用户。
[0017] 本方案中，所述基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，具体包括：
[0018] 基于所述时间段统计自然月内满足当前时间段要求的日稳定用户作为所述月稳定用户；
[0019] 对未满足当前时间段要求的所述日稳定用户进行数据清洗，其中，所述数据清洗的方式包括删除用户以及补充用户数据。
[0020] 本方案中，所述方法还包括基于预测得到的所述人口数据稳定数值与当月实际人口数据值进行误差比较，以基于误差结果筛选得到异常值。
[0021] 本方案中，所述方法还包括规划求解并修正所述异常值以更新动态预测过程。
[0022] 本发明第二方面还提供一种人口数据质量检验系统，包括存储器和处理器，所述存储器中包括人口数据质量检验方法程序，所述人口数据质量检验方法程序被所述处理器执行时实现如下步骤：
[0023] 采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据；
[0024] 基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户；
[0025] 基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，其中，所述时间段基于用户输入数据动态变化；
[0026] 基于所述月稳定用户作为历史数据输入到灰色预测模型来进行预测得到当月的人口数据稳定数值。
[0027] 本方案中，所述采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据，具体包括：
[0028] 获取在规定区域内，每个用户IMSI所切换的基站扇区信息，其中，所述基站扇区信息包括扇区位置数据以及进出扇区时间数据；
[0029] 基于所述基站扇区信息获取当前手机用户实时轨迹信息，并接入目标消息系统中订阅当前用户对应的所述用户信令数据，从而获取用户对应的所述行动轨迹数据，其中，所述目标消息系统包括Kafka消息系统。
[0030] 本方案中，所述基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户，具体包括：
[0031] 基于所述行动轨迹数据确定当前用户每天停留时间最长的目标地点群；
[0032] 基于所述目标地点群结合工作时间以及居住时间确定当前用户对应的工作地点以及居住地点，从而基于所述工作地点以及所述居住地点得到所述工作居住点；
[0033] 剔除未满足日稳定用户条件的用户IMSI信息以筛选得到所述日稳定用户，其中，所述日稳定用户条件包括确定所述工作居住点的用户。
[0034] 本方案中，所述基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，具体包括：
[0035] 基于所述时间段统计自然月内满足当前时间段要求的日稳定用户作为所述月稳定用户；
[0036] 对未满足当前时间段要求的所述日稳定用户进行数据清洗，其中，所述数据清洗的方式包括删除用户以及补充用户数据。
[0037] 本方案中，所述人口数据质量检验方法程序被所述处理器执行时实现如下步骤：基于预测得到的所述人口数据稳定数值与当月实际人口数据值进行误差比较，以基于误差结果筛选得到异常值。
[0038] 本方案中，所述人口数据质量检验方法程序被所述处理器执行时实现如下步骤：规划求解并修正所述异常值以更新动态预测过程。
[0039] 本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种人口数据质量检验方法程序，所述人口数据质量检验方法程序被处理器执行时，实现如上述任一项所述的一种人口数据质量检验方法的步骤。
[0040] 本发明公开的一种人口数据质量检验方法、系统和可读存储介质，通过规划求解修正异常值，可减少人为修正造成的主观误差，并且将新的修正值作为新原始序列不断地更新预测模型，从而提高人口数据质量预测的精度、保证数据检验的准确性。
附图说明
[0041] 图1示出了本发明一种人口数据质量检验方法的流程图；
[0042] 图2示出了本发明一种人口数据质量检验系统的框图。
具体实施方式
[0043] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0044] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0045] 具体地，本申请提供一种基于手机信令预测每月稳定人口，能够在误差允许的范围内提供各区域每月稳定用户数，对于制定人口规划和人口布局方案、维护经济可持续健康发展和促进城镇化具有重要意义。
[0046] 图1示出了本申请一种人口数据质量检验方法的流程图。
[0047] 如图1所示，本申请公开了一种人口数据质量检验方法，包括以下步骤：
[0048] S102，采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据；
[0049] S104，基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户；
[0050] S106，基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，其中，所述时间段基于用户输入数据动态变化；
[0051] S108，基于所述月稳定用户作为历史数据输入到灰色预测模型来进行预测得到当月的人口数据稳定数值。
[0052] 需要说明的是，于本实施例中，由于手机信令信息可以反映出当前手机用户在连续时间段内，不同时间点所在的空间位置，因此可以利用每月各区域稳定用户的历史值来定量预测各区域当前月份对应的稳定用户数值，具体地，利用三大运营商的信令数据，在每个规范后的区域内，对每个用户IMSI所有发生切换的基站扇区信息进行采集，从而可以基于IMSI获取到手机用户实时轨迹信息，进而确定所述行动轨迹数据，而后基于所述行动轨迹数据来确定用户每天的工作和居住地点得到所述工作居住点，以此得到所述日稳定用户，在所述日稳定用户的基础之上，统计自然月内累计满足一半及以上天数的用户确定为月稳定用户，在得到每月各区域稳定用户的数值之后，将当前的月稳定用户作为历史数值输入到灰色预测模型来预测当月的人口数据稳定数值，其中，基于历史值建立所述灰色预测模型，并通过规划求解修正异常值来建立动态预测过程，使得优化后的灰色预测模型的预测精度得以提高，从而可以保证人口数据的预测质量。
[0053] 根据本发明实施例，所述采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据，具体包括：
[0054] 获取在规定区域内，每个用户IMSI所切换的基站扇区信息，其中，所述基站扇区信息包括扇区位置数据以及进出扇区时间数据；
[0055] 基于所述基站扇区信息获取当前手机用户实时轨迹信息，并接入目标消息系统中订阅当前用户对应的所述用户信令数据，从而获取用户对应的所述行动轨迹数据，其中，所述目标消息系统包括Kafka消息系统。
[0056] 需要说明的是，上述实施例中说明了可以基于用户IMSI来识别行动轨迹，于本实施例中，具体地，在规定区域内，通过运营商的信令数据来获取每个用户IMSI所切换的基站扇区信息，具体包括扇区位置数据以及进出扇区时间数据，进而可以基于所述基站扇区信息获取当前手机用户对应的实时轨迹信息，使用Spark Streaming接入Kafka消息系统以订阅实时信令数据得到所述用户信令数据，从而可以基于用户信令数据来识别获取手机用户每天的行动轨迹。
[0057] 根据本发明实施例，所述基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户，具体包括：
[0058] 基于所述行动轨迹数据确定当前用户每天停留时间最长的目标地点群；
[0059] 基于所述目标地点群结合工作时间以及居住时间确定当前用户对应的工作地点以及居住地点，从而基于所述工作地点以及所述居住地点得到所述工作居住点；
[0060] 剔除未满足日稳定用户条件的用户IMSI信息以筛选得到所述日稳定用户，其中，所述日稳定用户条件包括确定所述工作居住点的用户。
[0061] 需要说明的是，于本实施例中，由于用户在每个扇区停留的时长不同，因此可以基于所述行动轨迹数据确定当前用户每天停留时间最长的目标地点群，其中，所述目标地点群为用户在不同扇区对应的停留时间最长的点，因此，可以基于停留时间来获取用户在不同扇区对应的地点，相应地，再结合工作时间以及居住时间可以确定当前用户对应的工作地点以及居住地点，例如，工作时间为“7:00‑19:00”，而居住时间为“21:00‑7:00”，一天以“24h”为计，由于存在游客或者其他出差人员，在不同的扇区之间不断变换自己的位置，因此这类用户不满足日稳定用户，则进行剔除，从而可以基于工作地点以及所述居住地点来得到所述工作居住点，并且，确定得到所述工作居住点的用户为所述日稳定用户。
[0062] 根据本发明实施例，所述基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，具体包括：
[0063] 基于所述时间段统计自然月内满足当前时间段要求的日稳定用户作为所述月稳定用户；
[0064] 对未满足当前时间段要求的所述日稳定用户进行数据清洗，其中，所述数据清洗的方式包括删除用户以及补充用户数据。
[0065] 需要说明的是，于本实施例中，所述时间段一般取为自然月的一半天数及以上，即表明在日稳定用户的基础上，只要满足了在自然月内累计满足一半天数即可以将当前日稳定用户作为所述月稳定用户，其中，由于可能存在信令丢失等情况，导致日稳定用户未能够满足当前时间段要求，因此还需要对未满足当前时间段要求的所述日稳定用户进行数据清洗，其中，所述数据清洗的方式包括删除用户以及补充用户数据，删除一些短期出差的外来人口用户，以及补充一些信令缺失的本地人口用户，以此完善数据来源的准确性。
[0066] 根据本发明实施例，所述方法还包括基于预测得到的所述人口数据稳定数值与当月实际人口数据值进行误差比较，以基于误差结果筛选得到异常值。
[0067] 需要说明的是，于本实施例中，通过对比所述人口数据稳定数值与所述实际人口数据值之间的误差百分比大小来检验本期人口数据是否正常，其中，误差百分比一般定为“3%”，如果受不可抗力因素或者节假日等因素的影响，误差百分比则会相应升高，排除不可抗力因素和节假日等因素后，再次定位得到数据异常值（即误差百分比远大于“3%”），此时利用规划求解对异常值进行修正，在满足当期人口波动的前提下实现修正幅度最小。
[0068] 根据本发明实施例，所述方法还包括规划求解并修正所述异常值以更新动态预测过程。
[0069] 需要说明的是，于本实施例中，更新动态预测过程即运用的是级比生成算子生成数列，通过对原始数据的整理寻找数据的规律，其中，灰色预测是一种对含有不确定因素的系统进行预测的方法，灰色预测通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况，用等时距观测到的反映预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或达到某一特征量的时间。
[0070] 值得一提的是，所述方法还包括建立所述灰色预测模型，具体包括：
[0071] 基于原始序列进行一阶累加后生成新的累加序列；
[0072] 计算得到所述累加序列对应的灰导数；
[0073] 建立灰微分方程，基于所述灰微分方程得到所述灰色预测模型。
[0074] 需要说明的是，于本实施例中，对原始数据进行处理后，得到预测前的原始序列为： , ,k=2,3,...,n为序列 的级比；将原始序列进行一阶累加后生成新的累加序列 ， ,其中： , i=1,
2,...,n在一阶累加数列的基础上，求取X (1)的灰导数d(k)，其中， ,
建立GM(1 ,1)灰微分方程： ,其中，α为发展灰度，反
应 和 是如何变化的；μ为内生控制灰度(灰作用量)，反应数据之前的变化关系。 为求解α和μ，令 为待估向量，可以利用离散的数据序列建立近似的微分方程进行拟合，由最小二乘法计算求解。
2,...,n在一阶累加数列的基础上，求取X (1)的灰导数d(k)，其中， ,
建立GM(1 ,1)灰微分方程： ,其中，α为发展灰度，反
应 和 是如何变化的；μ为内生控制灰度(灰作用量)，反应数据之前的变化关系。 为求解α和μ，令 为待估向量，可以利用离散的数据序列建立近似的微分方程进行拟合，由最小二乘法计算求解。
[0075] 值得一提的是，所述方法还包括求取紧邻权值作为白化背景值。
[0076] 需要说明的是，于本实施例中，求取紧邻权值 作为白化背景值，其中，,k=2,3,...,n，进一步地，将GM(1 ,1)灰微分方程中灰导数的时刻视为连续的时间变量t，将其白化为白微分方程并求解，求解时微分方程的初始值取预测值与实际值离差平方和最小的点，并选取使离差平方和最小的生成系数生成紧邻权值数列。之后通过累减得到预测数据 。得到预测值后对比预测值与实际值的误差百分比筛选出异常数据。
[0077] 值得一提的是，所述方法还包括在原始序列不通过级比检验时，通过平移转换使得原始序列满足检验，进而继续构建所述灰色预测模型。
[0078] 需要说明的是，于本实施例中，当序列 的级比满足 时,序列 可做GM(1,1)建模，对于不通过级比检验的序列，则进行“平移转
换”，平移转换后的所有级比值都位于区间 内，即序列满足级比检验，适合构建灰色预测模型。
换”，平移转换后的所有级比值都位于区间 内，即序列满足级比检验，适合构建灰色预测模型。
[0079] 值得一提的是，关于规划求解，其是假设分析的一种，即根据约束条件，求达成目标单元格的变量值，“规划求解”调整决策变量单元格中的值以符合约束条件单元格上的限制，并在目标单元格中产生想要的结果，本发明运用规划求解的目的是在得到预测值后，对比筛选出实际值 中的异常值，批量自动修正其中的异常值，得到新的实际值 。
[0080] 具体地，本发明的规划求解方法为非线性内点法，将对参与计算目标单元格和约束单元格中的公式的一组单元格（称为决策变量单元格或简称为变量单元格）进行处理：“设置目标”在已知数据总和无误的前提下，设置目标为北京市本期的稳定人数总和，其为一个定值；“通过更改可变单元格”为自动求解生成的数据所在单元格位置；“遵守约束”为约束条件，即在进行人口因素分析后制定的本期限制规范值，这些规范指标有环比（与上月相比的增长率）、同比（与去年同月相比的增长率）、差值（修正值与原实际值的差），如，北京市A地区的月稳定人口数据正常，则其差值指标为0，B地区的月稳定人口数据异常，且与上月相比波动范围在2%以内，则令其环比小于等于2%。约束条件可以有多个，且需要满足无约束变量为非负数，需要同时满足可得到可行解。
[0081] 本发明建立的规划求解优化模型，以对实际值的修正幅度最小为目标函数，考虑修正前后的总和保持不变、本期环比同比需满足的约束条件建立规划求解；具体包含以下步骤：
[0082] 步骤1：以修正值和原始值的差值百分比绝对值描述修正幅度，定义修正幅度最小为目标函数：
[0083] ；
[0084] 步骤2：设置约束条件：
[0085]
[0086] 其中， 和 表示需要修正的原始序列值， 和 分别对应上月同期值， 和 是修正后的新序列值。
[0087] 而在上述实施例中说明了进行动态预测，具体地，在得到k+1时刻的预测值后，将原始数列中的 去掉，加入k+1时刻的实际数据 ，或者通过规划求解修正后的新实际值 ，构成新的原始数列 ， =
，将新的原始序列带入预测模型实现实时动态预测。
，将新的原始序列带入预测模型实现实时动态预测。
[0088] 图2示出了本发明一种人口数据质量检验系统的框图。
[0089] 如图2所示，本发明公开了一种人口数据质量检验系统，包括存储器和处理器，所述存储器中包括人口数据质量检验方法程序，所述人口数据质量检验方法程序被所述处理器执行时实现如下步骤：
[0090] 采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据；
[0091] 基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户；
[0092] 基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，其中，所述时间段基于用户输入数据动态变化；
[0093] 基于所述月稳定用户作为历史数据输入到灰色预测模型来进行预测得到当月的人口数据稳定数值。
[0094] 需要说明的是，于本实施例中，由于手机信令信息可以反映出当前手机用户在连续时间段内，不同时间点所在的空间位置，因此可以利用每月各区域稳定用户的历史值来定量预测各区域当前月份对应的稳定用户数值，具体地，利用三大运营商的信令数据，在每个规范后的区域内，对每个用户IMSI所有发生切换的基站扇区信息进行采集，从而可以基于IMSI获取到手机用户实时轨迹信息，进而确定所述行动轨迹数据，而后基于所述行动轨迹数据来确定用户每天的工作和居住地点得到所述工作居住点，以此得到所述日稳定用户，在所述日稳定用户的基础之上，统计自然月内累计满足一半及以上天数的用户确定为月稳定用户，在得到每月各区域稳定用户的数值之后，将当前的月稳定用户作为历史数值输入到灰色预测模型来预测当月的人口数据稳定数值，其中，基于历史值建立所述灰色预测模型，并通过规划求解修正异常值来建立动态预测过程，使得优化后的灰色预测模型的预测精度得以提高，从而可以保证人口数据的预测质量。
[0095] 根据本发明实施例，所述采集用户信令数据，基于所述信令数据获取用户对应的行动轨迹数据，具体包括：
[0096] 获取在规定区域内，每个用户IMSI所切换的基站扇区信息，其中，所述基站扇区信息包括扇区位置数据以及进出扇区时间数据；
[0097] 基于所述基站扇区信息获取当前手机用户实时轨迹信息，并接入目标消息系统中订阅当前用户对应的所述用户信令数据，从而获取用户对应的所述行动轨迹数据，其中，所述目标消息系统包括Kafka消息系统。
[0098] 需要说明的是，上述实施例中说明了可以基于用户IMSI来识别行动轨迹，于本实施例中，具体地，在规定区域内，通过运营商的信令数据来获取每个用户IMSI所切换的基站扇区信息，具体包括扇区位置数据以及进出扇区时间数据，进而可以基于所述基站扇区信息获取当前手机用户对应的实时轨迹信息，使用Spark Streaming接入Kafka消息系统以订阅实时信令数据得到所述用户信令数据，从而可以基于用户信令数据来识别获取手机用户每天的行动轨迹。
[0099] 根据本发明实施例，所述基于所述行动轨迹数据确定工作居住点，以筛选得到日稳定用户，具体包括：
[0100] 基于所述行动轨迹数据确定当前用户每天停留时间最长的目标地点群；
[0101] 基于所述目标地点群结合工作时间以及居住时间确定当前用户对应的工作地点以及居住地点，从而基于所述工作地点以及所述居住地点得到所述工作居住点；
[0102] 剔除未满足日稳定用户条件的用户IMSI信息以筛选得到所述日稳定用户，其中，所述日稳定用户条件包括确定所述工作居住点的用户。
[0103] 需要说明的是，于本实施例中，由于用户在每个扇区停留的时长不同，因此可以基于所述行动轨迹数据确定当前用户每天停留时间最长的目标地点群，其中，所述目标地点群为用户在不同扇区对应的停留时间最长的点，因此，可以基于停留时间来获取用户在不同扇区对应的地点，相应地，再结合工作时间以及居住时间可以确定当前用户对应的工作地点以及居住地点，例如，工作时间为“7:00‑19:00”，而居住时间为“21:00‑7:00”，一天以“24h”为计，由于存在游客或者其他出差人员，在不同的扇区之间不断变换自己的位置，因此这类用户不满足日稳定用户，则进行剔除，从而可以基于工作地点以及所述居住地点来得到所述工作居住点，并且，确定得到所述工作居住点的用户为所述日稳定用户。
[0104] 根据本发明实施例，所述基于所述日稳定用户结合预设的时间段统计自然月内对应的月稳定用户，具体包括：
[0105] 基于所述时间段统计自然月内满足当前时间段要求的日稳定用户作为所述月稳定用户；
[0106] 对未满足当前时间段要求的所述日稳定用户进行数据清洗，其中，所述数据清洗的方式包括删除用户以及补充用户数据。
[0107] 需要说明的是，于本实施例中，所述时间段一般取为自然月的一半天数及以上，即表明在日稳定用户的基础上，只要满足了在自然月内累计满足一半天数即可以将当前日稳定用户作为所述月稳定用户，其中，由于可能存在信令丢失等情况，导致日稳定用户未能够满足当前时间段要求，因此还需要对未满足当前时间段要求的所述日稳定用户进行数据清洗，其中，所述数据清洗的方式包括删除用户以及补充用户数据，删除一些短期出差的外来人口用户，以及补充一些信令缺失的本地人口用户，以此完善数据来源的准确性。
[0108] 根据本发明实施例，所述方法还包括基于预测得到的所述人口数据稳定数值与当月实际人口数据值进行误差比较，以基于误差结果筛选得到异常值。
[0109] 需要说明的是，于本实施例中，通过对比所述人口数据稳定数值与所述实际人口数据值之间的误差百分比大小来检验本期人口数据是否正常，其中，误差百分比一般定为“3%”，如果受不可抗力因素或者节假日等因素的影响，误差百分比则会相应升高，排除不可抗力因素和节假日等因素后，再次定位得到数据异常值（即误差百分比远大于“3%”），此时利用规划求解对异常值进行修正，在满足当期人口波动的前提下实现修正幅度最小。
[0110] 根据本发明实施例，所述方法还包括规划求解并修正所述异常值以更新动态预测过程。
[0111] 需要说明的是，于本实施例中，更新动态预测过程即运用的是级比生成算子生成数列，通过对原始数据的整理寻找数据的规律，其中，灰色预测是一种对含有不确定因素的系统进行预测的方法，灰色预测通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况，用等时距观测到的反映预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或达到某一特征量的时间。
[0112] 值得一提的是，所述方法还包括建立所述灰色预测模型，具体包括：
[0113] 基于原始序列进行一阶累加后生成新的累加序列；
[0114] 计算得到所述累加序列对应的灰导数；
[0115] 建立灰微分方程，基于所述灰微分方程得到所述灰色预测模型。
[0116] 需要说明的是，于本实施例中，对原始数据进行处理后，得到预测前的原始序列为： , ,k=2,3,...,n为序列 的级比；将原始序列进行一阶累加后生成新的累加序列 ， ,其中： , i=1,
2,...,n在一阶累加数列的基础上，求取X (1)的灰导数d(k)，其中， ,
建立GM(1 ,1)灰微分方程： ,其中，α为发展灰度，反
应 和 是如何变化的；μ为内生控制灰度(灰作用量)，反应数据之前的变化关系。 为求解α和μ，令 为待估向量，可以利用离散的数据序列建立近似的微分方程进行拟合，由最小二乘法计算求解。
2,...,n在一阶累加数列的基础上，求取X (1)的灰导数d(k)，其中， ,
建立GM(1 ,1)灰微分方程： ,其中，α为发展灰度，反
应 和 是如何变化的；μ为内生控制灰度(灰作用量)，反应数据之前的变化关系。 为求解α和μ，令 为待估向量，可以利用离散的数据序列建立近似的微分方程进行拟合，由最小二乘法计算求解。
[0117] 值得一提的是，所述方法还包括求取紧邻权值作为白化背景值。
[0118] 需要说明的是，于本实施例中，求取紧邻权值 作为白化背景值，其中，,k=2,3,...,n，进一步地，将GM(1 ,1)灰微分方程中灰导数的时刻视为连续的时间变量t，将其白化为白微分方程并求解，求解时微分方程的初始值取预测值与实际值离差平方和最小的点，并选取使离差平方和最小的生成系数生成紧邻权值数列。之后通过累减得到预测数据 。得到预测值后对比预测值与实际值的误差百分比筛选出异常数据。
[0119] 值得一提的是，所述方法还包括在原始序列不通过级比检验时，通过平移转换使得原始序列满足检验，进而继续构建所述灰色预测模型。
[0120] 需要说明的是，于本实施例中，当序列 的级比满足 时,序列 可做GM(1,1)建模，对于不通过级比检验的序列，则进行“平移
转换”，平移转换后的所有级比值都位于区间 内，即序列满足级比检验，适合构建灰色预测模型。
转换”，平移转换后的所有级比值都位于区间 内，即序列满足级比检验，适合构建灰色预测模型。
[0121] 值得一提的是，关于规划求解，其是假设分析的一种，即根据约束条件，求达成目标单元格的变量值，“规划求解”调整决策变量单元格中的值以符合约束条件单元格上的限制，并在目标单元格中产生想要的结果，本发明运用规划求解的目的是在得到预测值后，对比筛选出实际值 中的异常值，批量自动修正其中的异常值，得到新的实际值 。
[0122] 具体地，本发明的规划求解方法为非线性内点法，将对参与计算目标单元格和约束单元格中的公式的一组单元格（称为决策变量单元格或简称为变量单元格）进行处理：“设置目标”在已知数据总和无误的前提下，设置目标为北京市本期的稳定人数总和，其为一个定值；“通过更改可变单元格”为自动求解生成的数据所在单元格位置；“遵守约束”为约束条件，即在进行人口因素分析后制定的本期限制规范值，这些规范指标有环比（与上月相比的增长率）、同比（与去年同月相比的增长率）、差值（修正值与原实际值的差），如，北京市A地区的月稳定人口数据正常，则其差值指标为0，B地区的月稳定人口数据异常，且与上月相比波动范围在2%以内，则令其环比小于等于2%。约束条件可以有多个，且需要满足无约束变量为非负数，需要同时满足可得到可行解。
[0123] 本发明建立的规划求解优化模型，以对实际值的修正幅度最小为目标函数，考虑修正前后的总和保持不变、本期环比同比需满足的约束条件建立规划求解；具体包含以下步骤：
[0124] 步骤1：以修正值和原始值的差值百分比绝对值描述修正幅度，定义修正幅度最小为目标函数：
[0125] ；
[0126] 步骤2：设置约束条件：
[0127]
[0128] 其中， 和 表示需要修正的原始序列值， 和 分别对应上月同期值， 和 是修正后的新序列值。
[0129] 而在上述实施例中说明了进行动态预测，具体地，在得到k+1时刻的预测值后，将原始数列中的 去掉，加入k+1时刻的实际数据 ，或者通过规划求解修正后的新实际值 ，构成新的原始数列 ， = ，
将新的原始序列带入预测模型实现实时动态预测。
将新的原始序列带入预测模型实现实时动态预测。
[0130] 本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种人口数据质量检验方法程序，所述人口数据质量检验方法程序被处理器执行时，实现如上述任一项所述的一种人口数据质量检验方法的步骤。
[0131] 本发明公开的一种人口数据质量检验方法、系统和可读存储介质，通过规划求解修正异常值，可减少人为修正造成的主观误差，并且将新的修正值作为新原始序列不断地更新预测模型，从而提高人口数据质量预测的精度、保证数据检验的准确性。
[0132] 在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0133] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0134] 另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0135] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0136] 或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。