自动化数据提取方法、装置、计算机设备和存储介质转让专利
申请号 : CN202111039872.5
文献号 : CN113495764B
文献日 : 2021-12-14
发明人 : 邵志峰 , 吴智杰
申请人 : 广州市高奈特网络科技有限公司
摘要 :
权利要求 :
1.一种自动化数据提取方法,所述方法包括:在对待提取设备进行数据提取过程,识别出人工操作节点,所述人工操作节点为需要人工操作以对所述待提取设备进行数据提取的流程节点;
获取插件,所述插件基于所述人工操作节点的人工操作行为对应的自动化策略生成;
将所述插件植入所述待提取设备;
通过所述插件在所述人工操作节点模拟人工操作行为以对所述待提取设备进行数据提取;
其中,所述方法还包括:
获取所述人工操作节点的人工操作行为信息和所述待提取设备的界面变化信息;
根据所述人工操作节点的人工操作行为信息和所述界面变化信息生成所述自动化策略;
基于所述自动化策略生成所述插件。
2.根据权利要求1所述的方法,其特征在于,所述基于所述自动化策略生成所述插件,包括:
采用自动化测试框架技术UiAutomator并根据所述自动化策略生成所述插件。
3.根据权利要求2所述的方法,其特征在于,所述插件为通过安装的方式在所述待提取设备上运行的应用程序,或者所述插件为无需通过安装的方式在所述待提取设备上运行的程序文件。
4.根据权利要求1所述的方法,其特征在于,所述待提取设备为手机,所述人工操作节点基于预先配置的数据提取流程中设定的手机界面数据提取节点确定。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取所述人工操作节点中所述待提取设备的界面变化下各个界面的界面元素特征;
获取所述人工操作节点中所述各个界面出现的先后顺序;
获取所述人工操作节点中所述各个界面中的人工操作行为信息;
根据所述各个界面的界面元素特征和所述先后顺序生成所述界面变化信息;
根据所述各个界面中的人工操作行为信息生成所述人工操作节点的人工操作行为信息。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:获取所述人工操作节点中所述待提取设备初始化状态时的界面元素特征;
获取所述人工操作节点中人工操作结束后的界面元素特征;
所述根据所述各个界面的界面元素特征和所述先后顺序生成所述界面变化信息,包括:
根据所述初始化状态时的界面元素特征、所述各个界面的界面元素特征和所述先后顺序、所述人工操作结束后的界面元素特征生成所述界面变化信息。
7.一种自动化数据提取装置,其特征在于,所述装置包括:识别模块,用于在对待提取设备进行数据提取过程,识别出人工操作节点,所述人工操作节点为需要人工操作以对所述待提取设备进行数据提取的流程节点;
获取模块,用于获取插件,所述插件基于所述人工操作节点的人工操作行为对应的自动化策略生成;
植入模块,用于将所述插件植入所述待提取设备;
数据提取模块,用于通过所述插件在所述人工操作节点模拟人工操作行为以对所述待提取设备进行数据提取;
其中,所述装置还包括生成模块,所述生成模块用于获取所述人工操作节点的人工操作行为信息和所述待提取设备的界面变化信息,根据所述人工操作节点的人工操作行为信息和所述界面变化信息生成所述自动化策略,基于所述自动化策略生成所述插件。
8.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
说明书 :
自动化数据提取方法、装置、计算机设备和存储介质
技术领域
背景技术
种类繁多,操作方式和功能各有不同,甚至很多功能不是专业技术人员根本无法分辨识别。
因此,在对终端设备进行数据采集提取的过程中,操作人员往往操作错误或遗漏操作步骤,
特别是在多部终端设备同时进行数据提取的时候,操作步骤错漏的情况更容易发生;最终
导致数据提取失败或数据提取缺失。例如,终端设备为手机时,对手机进行数据提取过程,
人工操作容易出现数据提取失败或数据提取缺失。
发明内容
方法、装置、计算机设备和存储介质。
插件,插件基于人工操作节点的人工操作行为对应的自动化策略生成;将插件植入待提取
设备;通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
界面变化信息生成自动化策略;基于自动化策略生成插件。
后顺序;获取人工操作节点中各个界面中的人工操作行为信息;根据各个界面的界面元素
特征和先后顺序生成界面变化信息;根据各个界面中的人工操作行为信息生成人工操作节
点的人工操作行为信息。
特征;根据各个界面的界面元素特征和先后顺序生成界面变化信息,包括:根据初始化状态
时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作结束后的界面元素特
征生成界面变化信息。
流程节点;获取模块,用于获取插件,插件基于人工操作节点的人工操作行为对应的自动化
策略生成;植入模块,用于将插件植入待提取设备;数据提取模块,用于通过插件在人工操
作节点模拟人工操作行为以对待提取设备进行数据提取。
据提取的流程节点,获取插件,插件基于人工操作节点的人工操作行为对应的自动化策略
生成,将插件植入待提取设备,通过插件在人工操作节点模拟人工操作行为以对待提取设
备进行数据提取。因此,对待提取设备进行数据提取时,通过将基于人工操作节点的人工操
作行为对应的自动化策略生成的插件植入待提取设备的方式,模拟人工操作行为以进行数
据提取,无需人工干预即可实现自动化对待提取设备进行提取数据,从而降低数据提取失
败或数据提取缺失的概率。
附图说明
具体实施方式
用于限定本申请。
备104在对待提取设备102进行数据提取过程,识别出人工操作节点,人工操作节点为需要
人工操作以对待提取设备102进行数据提取的流程节点,获取插件,插件基于人工操作节点
的人工操作行为对应的自动化策略生成,将插件植入待提取设备102,通过插件在人工操作
节点模拟人工操作行为以对待提取设备102进行数据提取。其中,待提取设备102可以是涉
案数据设备,如手机或者笔记本电脑。数据提取设备104可以是取证设备,取证设备用于对
涉案数据设备中破坏、欺诈、攻击等犯罪行为的电子数据进行取证提取。
取设备进行数据提取的数据提取流程。待提取设备可以是手机,手机包括安卓手机和苹果
手机。
要人工干预。因此,数据提取设备在对待提取设备进行数据提取过程,识别出人工操作节
点。其中,人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点。例如,
人工操作节点可以是手机数据备份流程设定的某个界面对应的节点。该节点需要人工干预
进行数据提取,由人工对这个界面进行操作以辅助数据提取设备对手机进行数据提取。数
据提取设备对手机进行数据提取时,识别到当前节点为手机数据备份流程设定的某个界面
的数据提取时,将当前节点确定为人工操作节点。
数据提取时人工操作节点的人工操作行为进行采集,进而基于采集到的人工操作行为设置
对应的自动化策略。自动化策略用于指示插件按照人工操作行为对待提取设备进行操作控
制,从而得到在待提取设备上模拟人工操作行为的效果。
后,向数据提取设备推送安装成功的信息。数据提取设备接收到该信息时,确定插件植入成
功。
提取设备能够对待提取设备进行数据提取。
插件基于人工操作节点的人工操作行为对应的自动化策略生成,将插件植入待提取设备,
通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。因此,对待提
取设备进行数据提取时,通过将基于人工操作节点的人工操作行为对应的自动化策略生成
的插件植入待提取设备的方式,模拟人工操作行为以进行数据提取,无需人工干预即可实
现自动化对待提取设备进行提取数据,从而降低数据提取失败或数据提取缺失的概率。
变化信息生成自动化策略;基于自动化策略生成插件。
行为信息与该界面变化信息对应关联。即,该界面变化信息为人工操作行为下产生的待提
取设备的界面变化的变化信息,该人工操作行为信息为同一人工操作行为下得到的行为信
息。
变化的信息集合。例如,当待提取设备为手机时,各个人工操作包括点击手机界面上的某个
按钮或图片、滚动某个下拉列表以及滑动手机屏幕等。界面变化信息包括点击手机界面上
的某个按钮或图片时手机界面上的变化信息,以及滚动某个下拉列表时手机界面上的变化
信息,以及滑动手机屏幕时手机界面上的变化信息等。结合手机界面变化和人工操作指向,
形成自动化策略。进而,根据自动化策略生成插件。因此,得到的插件能够适用于数据提取
设备对待提取设备的自动化数据提取流程。
安卓手机的插件。自动化测试框架技术UiAutomator是谷歌公司提供给安卓应用开发者用
以测试开发的安卓应用对于外部响应的实时反馈。因此,得到的插件能够适用于数据提取
设备对待提取设备的自动化数据提取流程。
多种形式的插件,以适应更多的应用场景。
取节点。当需要提取手机的手机界面数据提取节点中数据时,需要人工操作辅助。因此,可
设定手机界面数据提取节点为人工操作节点。
幕是否处于数据提取的备份流程设定的某个界面。此处,数据提取流程为手机的数据提取
的备份流程,手机界面数据提取节点为数据提取的备份流程设定的某个界面所在的节点,
此节点也为设定的人工操作节点。若是,则通过插件实现根据界面预设动作进行手机屏幕
操作的流程,进而进入结果输出的流程。若否,则通过插件直接进入结果输出的流程。因此,
可实现手机的自动化数据提取。
的界面元素特征;获取人工操作节点中各个界面出现的先后顺序;获取人工操作节点中各
个界面中的人工操作行为信息;根据各个界面的界面元素特征和先后顺序生成界面变化信
息;根据各个界面中的人工操作行为信息生成人工操作节点的人工操作行为信息。
操作节点中待提取设备的界面变化下各个界面的界面元素特征和各个界面出现的先后顺
序生成。例如,待提取设备为手机时,记录人工操作干预过程中手机界面变化下各个界面的
元素特征以及记录各个界面的出现的先后次序,以及记录各个界面下人工操作干预的指
向,即具体操作方式,如:点击某个按钮或图片、滚动某个下拉列表以及滑动屏幕等等。结合
界面变化下各个界面的元素特征、各个界面的出现的先后次序和人工操作形成自动化策
略。因此,能够采集人工操作节点中各个界面中的人工操作行为信息以及各个界面的界面
信息,从而使得得到的自动化策略更加符合对待提取设备的自动化数据提取的要求。
取人工操作节点中人工操作结束后的界面元素特征。上述根据各个界面的界面元素特征和
先后顺序生成界面变化信息,包括:根据初始化状态时的界面元素特征、各个界面的界面元
素特征和先后顺序、人工操作结束后的界面元素特征生成界面变化信息。
元素特征生成。例如,记录待取证手机在取证过程中需要人工操作干预的初始界面的界面
元素特征,如界面元素特征包括文本、按键、图片、滚动条等等。记录人工操作干预过程中手
机界面变化下各个界面的界面元素特征,界面元素特征包括文本、按键、图片、滚动条等等。
记录各个界面的出现的先后次序。记录各个界面下人工操作干预的指向,即具体操作方式,
如:点击某个按钮或图片、滚动某个下拉列表以及滑动屏幕等等。记录人工操作干预完成时
的终止界面的界面元素特征,界面元素特征包括文本、按键、图片、滚动条等等。最后,结合
界面变化和人工操作指向形成自动化策略。其中,界面变化包括上述人工操作节点中待提
取设备初始化状态时的界面元素特征、各个界面的界面元素特征和先后顺序、人工操作节
点中人工操作结束后的界面元素特征。因此,能够采集人工操作节点中各个界面中的人工
操作行为信息以及各个界面的界面信息,从而使得得到的自动化策略更加符合对待提取设
备的自动化数据提取的要求。
图4虚线框内的过程,基本都采用人工操作的方式完成,低效且易错。本实施例中,针对图4
虚线框内的过程,在专业设备采集提取安卓手机的数据的过程中,将实现自动化策略的插
件植入安卓手机,在安卓手机采集过程的某个需要人工干预的节点,启动自动化的插件,自
动化的插件替代人工完成一系列手机界面的操作,并返回操作结果。
流程,不存在偏差或遗漏,有效的提高了产品性能即数据质量。
行为,以达到准确备份取证所需数据的目的,排除人工操作行为的不确定性,备份过程自动
完成,提高了数据提取效率。
并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,附图中的至少一部分步骤
可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完
成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而
是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
据提取过程,识别出人工操作节点,人工操作节点为需要人工操作以对待提取设备进行数
据提取的流程节点;获取模块504,用于获取插件,插件基于人工操作节点的人工操作行为
对应的自动化策略生成;植入模块506,用于将插件植入待提取设备;数据提取模块508,用
于通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
操作节点的人工操作行为信息和界面变化信息生成自动化策略;基于自动化策略生成插
件。
点中各个界面出现的先后顺序;获取人工操作节点中各个界面中的人工操作行为信息;根
据各个界面的界面元素特征和先后顺序生成界面变化信息;根据各个界面中的人工操作行
为信息生成人工操作节点的人工操作行为信息。
工操作节点中人工操作结束后的界面元素特征。上述根据各个界面的界面元素特征和先后
顺序生成界面变化信息,包括:根据初始化状态时的界面元素特征、各个界面的界面元素特
征和先后顺序、人工操作结束后的界面元素特征生成界面变化信息。
件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,
也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块
对应的操作。
屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存
储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程
序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以
实现一种自动化数据提取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显
示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳
上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
设备进行数据提取过程,识别出人工操作节点,人工操作节点为需要人工操作以对待提取
设备进行数据提取的流程节点;获取插件,插件基于人工操作节点的人工操作行为对应的
自动化策略生成;将插件植入待提取设备;通过插件在人工操作节点模拟人工操作行为以
对待提取设备进行数据提取。
为信息和界面变化信息生成自动化策略;基于自动化策略生成插件。
成插件。
出现的先后顺序;获取人工操作节点中各个界面中的人工操作行为信息;根据各个界面的
界面元素特征和先后顺序生成界面变化信息;根据各个界面中的人工操作行为信息生成人
工操作节点的人工操作行为信息。
界面元素特征。处理器执行计算机程序实现上述的根据各个界面的界面元素特征和先后顺
序生成界面变化信息步骤时,具体实现以下步骤:根据初始化状态时的界面元素特征、各个
界面的界面元素特征和先后顺序、人工操作结束后的界面元素特征生成界面变化信息。
作节点,人工操作节点为需要人工操作以对待提取设备进行数据提取的流程节点;获取插
件,插件基于人工操作节点的人工操作行为对应的自动化策略生成;将插件植入待提取设
备;通过插件在人工操作节点模拟人工操作行为以对待提取设备进行数据提取。
行为信息和界面变化信息生成自动化策略;基于自动化策略生成插件。
生成插件。
面出现的先后顺序;获取人工操作节点中各个界面中的人工操作行为信息;根据各个界面
的界面元素特征和先后顺序生成界面变化信息;根据各个界面中的人工操作行为信息生成
人工操作节点的人工操作行为信息。
的界面元素特征。计算机程序被处理器执行实现上述的根据各个界面的界面元素特征和先
后顺序生成界面变化信息步骤时,具体实现以下步骤:根据初始化状态时的界面元素特征、
各个界面的界面元素特征和先后顺序、人工操作结束后的界面元素特征生成界面变化信
息。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。