文字翻译方法及其装置转让专利
申请号 : CN201610982718.4
文献号 : CN108062301B
文献日 : 2021-11-05
发明人 : 池昌真 , 赵畅洙
申请人 : 希思特兰国际
摘要 :
权利要求 :
1.一种文字翻译方法,其由文字翻译装置执行,其特征在于,包括:获取图像内容的步骤;
识别所述图像内容上的第一语言的文字及所述第一语言的文章确定符号的步骤;
根据识别的所述文章确定符号提取由识别的所述文字构成的第一语言的文章的步骤;
利用用户事件信息,根据提取的所述第一语言的文章生成翻译对象文章的步骤;以及将生成的所述翻译对象文章翻译成第二语言,并显示翻译成所述第二语言的文章的步骤,
生成所述翻译对象文章的步骤包括:显示包括至少一个生成的所述翻译对象文章的第一区域,显示用于设定翻译区域的对象的步骤;
接收到关于对象的用户输入的情况下,将所述对象根据所述用户输入指定的第二区域重叠地显示在所述第一区域上的步骤;
将包含于所述第二区域与所述第一区域重叠的区域的翻译对象文章翻译成所述第二语言,并显示翻译成所述第二语言的文章的步骤。
2.根据权利要求1所述的文字翻译方法,其特征在于:获取所述图像内容的步骤包括:接收用户输入的包括语言选择信息的用户事件信息的步骤,识别所述第一语言的文字及所述第一语言的文章确定符号的步骤包括:根据所述语言选择信息识别所述第一语言的文字的步骤;以及根据预先定义的各语言的文章分割规则识别所述第一语言的文章确定符号的步骤。
3.根据权利要求2所述的文字翻译方法,其特征在于:识别所述第一语言的文字的步骤包括:识别所述图像内容上的至少一个文字列的步骤,提取由识别的所述文字构成的第一语言的文章的步骤包括:从识别的所述文字列中识别出第一文字列及第二文字列的文字大小的步骤;以及根据识别的所述文字大小,将所述第一文字列提取成所述第一语言的文章的步骤。
4.根据权利要求2所述的文字翻译方法,其特征在于:识别所述第一语言的文字的步骤包括:识别所述图像内容上的至少一个文字列的步骤,提取由识别的所述文字构成的第一语言的文章的步骤包括:从识别的所述文字列上的文字中选择包括位于右侧末端的文字的文字列的步骤;
第一判断步骤,以位于所述右侧末端的文字的x轴坐标为基准,判断是否存在选择的所述文字列的上位文字列上的文字;以及所述第一判断步骤的结果为不存在所述上位文字列上的文字的情况下,将选择的所述文字列提取成所述第一语言的文章的步骤。
5.根据权利要求4所述的文字翻译方法,其特征在于:所述第一判断步骤的结果为存在所述上位文字列上的文字的情况下,将包括选择的所述文字列及所述上位文字列的多个文字列提取成所述第一语言的文章的步骤。
6.根据权利要求4所述的文字翻译方法,其特征在于:将选择的所述文字列提取成所述第一语言的文章的步骤包括:第二判断步骤,以位于选择的所述文字列的左侧末端的文字的x轴坐标为基准,判断是否存在选择的所述文字列的下位文字列上的文字;以及所述第二判断步骤的结果为不存在所述下位文字列上的文字的情况下,将选择的所述文字列提取成所述第一语言的文章的步骤。
7.根据权利要求6所述的文字翻译方法,其特征在于:所述第二判断步骤的结果为存在所述下位文字列上的文字的情况下,将包括选择的所述文字列及所述下位文字列的多个文字列提取成所述第一语言的文章的步骤。
8.根据权利要求2所述的文字翻译方法,其特征在于,根据所述语言选择信息识别所述第一语言的文字的步骤包括:确定所述图像内容上的第一语言的文字中第一文字的后补文字的步骤;
确定所述图像内容上的第一语言的文字中与所述第一文字相邻的第二文字的后补文字的步骤;
生成至少一个所述第一文字的后补文字与所述第二文字的后补文字之间的组合的步骤;
根据所述语言选择信息,从生成的所述组合中选择被识别为所述第一文字及所述第二文字的概率最高的文字组合的步骤;以及根据选择的所述文字组合识别所述第一语言的文字的步骤。
9.根据权利要求8所述的文字翻译方法,其特征在于:生成的所述文字组合包括所述第一文字的后补文字与所述第二文字的后补文字在生成的所述文字组合的位置信息、关于所述第一文字的后补文字被识别为所述第一文字的概率值与所述第二文字的后补文字被识别为所述第二文字的概率值的信息。
10.根据权利要求8所述的文字翻译方法,其特征在于,生成所述翻译对象文章的步骤包括:
利用所述用户事件信息,根据提取的所述第一语言的文章生成所述翻译对象文章的后补文章的步骤;
根据生成的所述后补文章,从生成的所述文字组合中选择包含于文章的概率最高的文字组合的步骤;以及
将包括包含于所述文章的概率最高的文字组合的文章确定为翻译对象文章的步骤。
11.根据权利要求8所述的文字翻译方法,其特征在于,根据所述语言选择信息,从生成的所述组合中选择被识别为所述第一文字及所述第二文字的概率最高的文字组合的步骤包括:
比较生成的所述文字组合与从预先设定的语言模型获取的一个以上的文章或包含于所述文章的单词的步骤;以及根据比较结果,将与获取的所述一个以上的文章或包含于所述文章的单词匹配的概率最高的文字组合选为被识别为所述第一文字及所述第二文字的概率最高的文字组合的步骤。
12.根据权利要求1所述的文字翻译方法,其特征在于:获取包括所述第一语言的文字的图像内容的步骤包括:接收用户输入的包括所述图像内容的类型信息的用户事件信息的步骤,提取由识别的所述文字构成的第一语言的文章的步骤包括:根据所述图像内容的类型信息,将由识别的所述文字构成的一个文字列提取成所述第一语言的文章的步骤。
13.根据权利要求1所述的文字翻译方法,其特征在于:获取所述图像内容的步骤包括:从用户接收获取的所述图像中的翻译对象区域的步骤;以及在第一区域显示所述翻译对象区域的步骤,识别所述第一语言的文字及所述第一语言的文章确定符号的步骤包括:将识别的所述第一语言的文字及所述第一语言的文章确定符号显示在第二区域的步骤,
显示翻译成所述第二语言的文章的步骤包括:随着所述翻译对象文章的生成,在所述第二区域上显示翻译成所述第二语言的文章的步骤。
14.根据权利要求13所述的文字翻译方法,其特征在于:生成所述翻译对象文章的步骤包括:识别处理所述翻译对象区域中生成的所述翻译对象文章并显示在所述第一区域的步骤,
识别处理生成的所述翻译对象文章并显示在所述第一区域的步骤包括:接收对识别处理的所述文章的修正请求的步骤;以及响应所述修正请求以生成经过修正的翻译对象文章的步骤,将翻译成所述第二语言的文章显示在所述第二区域上的步骤包括:将经过修正的所述翻译对象文章翻译成所述第二语言进行显示的步骤。
15.根据权利要求1所述的文字翻译方法,其特征在于,包括:从用户接收对所述图像内容的滚动输入的步骤;
随着所述图像内容的滚动,变更所述第一区域上的至少一个翻译对象文章,并将包括变更的所述翻译对象文章的所述第二区域重叠地显示在所述第一区域上的步骤;以及将变更的所述翻译对象文章翻译成所述第二语言,并显示翻译成所述第二语言的文章的步骤。
16.根据权利要求1所述的文字翻译方法,其特征在于:获取所述图像内容的步骤包括:根据所述文字翻译装置的位置信息感测用户事件信息的步骤,识别所述第一语言的文字及所述第一语言的文章确定符号的步骤包括:根据所述用户事件信息自动地确定所述第一语言的步骤,显示翻译成所述第二语言的文章的步骤包括:根据所述用户事件信息自动地确定所述第二语言的步骤。
17.根据权利要求1所述的文字翻译方法,其特征在于:所述文章确定符号是能够从识别的所述第一语言的文字构成的文字列上的文字区分出连续的文字组且能够确定区分的所述文字组为文章的符号。
18.根据权利要求1所述的文字翻译方法,其特征在于:识别所述图像内容上的第一语言的文字及所述第一语言的文章确定符号的步骤包括:检测识别的所述第一语言的文字构成的文字列上的多个文字组之间的预先设定的宽度区域以上的空白的步骤,
根据识别的所述文章确定符号提取由识别的所述文字构成的第一语言的文章的步骤包括:
将位于检测到的所述空白的前后的文字组识别为不同的文章,并提取所述第一语言的文章的步骤。
19.一种文字翻译装置,其特征在于,包括:摄像头,其获取图像内容;
输入部,其用于接收用户事件信息的输入;
显示部,其显示获取的所述图像内容的全部或一部分;以及控制部,其识别所述图像内容上的第一语言的文字及所述第一语言的文章确定符号,根据识别的所述文章确定符号提取由识别的所述文字构成的第一语言的文章,利用所述用户事件信息,根据提取的所述第一语言的文章生成翻译对象文章,随着生成的所述翻译对象文章翻译成第二语言而控制使得显示翻译成所述第二语言的文章,生成所述翻译对象文章时:
显示包括至少一个生成的所述翻译对象文章的第一区域,显示用于设定翻译区域的对象;
接收到关于对象的用户输入的情况下,将所述对象根据所述用户输入指定的第二区域重叠地显示在所述第一区域上;
将包含于所述第二区域与所述第一区域重叠的区域的翻译对象文章翻译成所述第二语言,并显示翻译成所述第二语言的文章。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,与计算机装置结合以运行以下步骤:
识别图像内容上的第一语言的文字及所述第一语言的文章确定符号的步骤;
根据识别的所述文章确定符号提取识别的所述文字构成的第一语言的文章的步骤;
利用用户事件信息,根据提取的所述第一语言的文章生成翻译对象文章的步骤;以及将生成的所述翻译对象文章翻译成第二语言,显示翻译成所述第二语言的文章的步骤,
生成所述翻译对象文章时:
显示包括至少一个生成的所述翻译对象文章的第一区域,显示用于设定翻译区域的对象;
接收到关于对象的用户输入的情况下,将所述对象根据所述用户输入指定的第二区域重叠地显示在所述第一区域上;
将包含于所述第二区域与所述第一区域重叠的区域的翻译对象文章翻译成所述第二语言,并显示翻译成所述第二语言的文章。
说明书 :
文字翻译方法及其装置
技术领域
背景技术
构成的单词及文章。
过OCR技术识别的文字构成的一个文章分成多个行输入的情况下,翻译程序不考虑文章单
位,而是以输入的行为单位执行翻译,因此执行的并不是对一个文章的翻译。
发明内容
定符号的步骤;根据识别的所述文章确定符号提取由识别的所述文字构成的第一语言的文
章的步骤;利用用户事件信息,根据提取的所述第一语言的文章生成翻译对象文章的步骤;
以及将生成的所述翻译对象文章翻译成第二语言,并显示翻译成所述第二语言的文章的步
骤。
述图像内容的全部或一部分;以及控制部,其识别所述图像内容上的第一语言的文字及所
述第一语言的文章确定符号,根据识别的所述文章确定符号提取由识别的所述文字构成的
第一语言的文章,利用所述用户事件信息,根据提取的所述第一语言的文章生成翻译对象
文章,随着生成的所述翻译对象文章翻译成第二语言而控制使得显示翻译成所述第二语言
的文章。
章确定符号的步骤;根据识别的所述文章确定符号提取识别的所述文字构成的第一语言的
文章的步骤;利用用户事件信息,根据提取的所述第一语言的文章生成翻译对象文章的步
骤;以及将生成的所述翻译对象文章翻译成第二语言,显示翻译成所述第二语言的文章的
步骤。
附图说明
具体实施方式
是以不同的多种形态实现,本实施例只是使本发明的公开更加完整,使本发明所属技术领
域的普通技术人员容易理解发明的范畴,本发明由技术方案的范畴定义。在整篇说明书中,
同一附图标记表示同一构成要素。
的术语,在没有明确的特殊定义的前提下不得理想解释或过度解释。本说明书中使用的术
语用于说明实施例,而并非在于限定本发明。本说明书中单数型在语句中没有特殊记载的
情况下还包括复数型。
文字中间出现标点符号“.”、“?”、“!”、“:”“/”等的情况下,以所述符号为分界区分前面的文
字组与后面的文字组。并且,如上区分出的文字组构成文章。此处,本说明书将区分所述文
字组的符号称为文章确定符号。另外,本说明书的文章确定符号不限于以上举例介绍的文
章确定符号。例如,′(单引号)或″(双引号)成对排列的情况下,单引号对或双引号对内部的
文字组区分于外部的文字组,因此相当于本说明书的文章确定符号。
空间上进行区分的情况下,位于所述分界的前后或不同布局上的文字组可以是不同的文
章。并且,所述预定的空间按预定图案重复出现于多个文字组内的情况下,所述空间可能是
用于区分文章内的单词的空间而并非用于确定文章。
个实施例的文章。即,在本说明书中文章并非必须包括主语与动词,具有特定意思的题目、
标语等情况下也可以理解为本说明书的文章。因此,文章内的段落、包括具有特定主题的单
词的文字组也应理解为根据本发明另一实施例的文章。
像内容的信息或用户输入特定场所信息的情况下,用户事件信息可包括输入的所述信息。
息。此处,文字翻译装置感测到所述文字翻译装置的位置信息以预先设定的时间为基准发
生临界范围以上的变动的情况下,例如感测到用户正在旅行的事件的情况下,如上关于位
置信息的变动的信息也可包含于本说明书的用户事件信息。
的情况。文字翻译装置100拍摄图像内容之前,用户可以输入语言选择信息及/或用户事件
信息。
1显示将OCR技术作为文字识别方法的例子。以下,关于本说明书涉及的文字识别方式,假设
将OCR技术作为文字识别方式的一个例子。
le eXchange format)‑LISA.org规定的文章分割规则。
续将在关于图6的说明中对此进行具体说明。
概率性结合关系。后续将在关于图7的说明中对此进行具体说明。
章执行翻译方面,若想提高翻译准确度,那么作为翻译对象的文章必须是正确的文章,因此
翻译预处理过程是在执行机器翻译之前确保翻译对象文章的可靠性的程序。
骤S20经过OCR识别的文字被提取为文章单位的文章,提取的文章单位的文章在翻译预处理
过程即步骤S30经过加工得以确定翻译对象文章。
可以接收根据本发明的实施例的关于文字识别范围的用户指定,也可以接收对翻译对象文
章修正输入。
可包括用于接收用户语音的麦克风。
结果、提取出的文章、翻译对象文章及/或翻译结果。
入部110的功能。
Unit)、微控制器(MCU:Micro Controller Unit)或本发明的技术领域公知的任意形态的处
理器。控制部140还可以包括存储器,例如包括RAM。并且,控制部140还可以存储用于运行根
据本发明实施例的方法的至少一个应用软件或程序。例如,控制部140可以存储根据本发明
实施例的文字翻译程序且运行该程序。控制部140可以通过运行文字翻译程序执行根据本
发明实施例的文字翻译方法。
识别的语言确定为作为翻译对象的第一语言。例如,所述第一语言也可以是中国语、英语等
多个。例如,控制部140可包括上下文(context)确定部。上下文确定部可以对检测部识别的
语言利用语言模型判断文字列的文字组为单词还是文章。此处,内容确定部可以检测文字
列内部的空白,可以根据检测结果确定文字组为单词还是文章。
翻译对象中应包含的单词或文章。该情况下,在OCR后处理及翻译预处理过程用N‑best搜索
算法确定包含于翻译对象的单词或文章,转换部可以为此而生成文字组合数据。所述文字
组合数据可以具有基于预先定义的协议的数据结构。后续将在关于图7b的说明中对此进行
具体说明。
外部装置接收语言模型及预先定义的文章分割规则。或者,为了在外部装置处理语言模型、
OCR、预先定义的文章分割规则,通信部可以向外部装置发送关于文字识别的数据,还可以
从外部装置接收处理结果。具体来讲,通信部可以向外部装置发送具有基于预先定义的协
议的结构的文字组合数据并接收对此处理结果。
明所属技术领域公知的各种通信模块中至少一个。
软件。并且,存储部还可以存储通过通信部接收的各种信息、通过输入部输入的各种信息。
able Programmable ROM)、闪存等非挥发性存储器、硬盘、可拆卸磁盘或本发明所属技术领
域公知的任意形态的计算机可读存储介质。
语言选择信息的用户事件信息。
翻译的对象的其他语言的设置。
息,接收用于表示图像种类为菜单的信息作为用户事件信息。该情况下,文字翻译装置100
可以利用识别的文字之间的概率性结合关系识别相当于餐饮菜单的文字,根据识别的文字
更加准确地执行文章提取及翻译对象文章的生成。
装置100中中国语被设置成识别对象文字,因此将图像内容上的文字识别为中国语。并且,
文字翻译装置100可以根据预先定义的各语言的文章分割规则,通过与学习的多种中国语
字体进行比较的过程识别文字及文章确定符号。在图像内容上的文字含有未学习的中国语
字体的情况下,文字翻译装置100可以通过通信部执行网络搜索完善预先定义的文章分割
规则。具体来讲,参见图3b,在步骤S23,文字翻译装置100可以识别图像内容上的由第一语
言的文字构成的文字列,并判断由所述第一语言的文字构成的文字列的上下文(Context)。
即,文字翻译装置100可以判断识别的第一语言的文字构成的文字列为单词还是文章,是文
章的情况下是单行文章还是多行文章。
下,可以判断通过空白区分的文字组为不同的单词。文字翻译装置100也可以在所述空白具
有图案且重复的情况下,判断通过空白区分的文字组为不同的单词。此处所指的单词可以
表示具有词典上的意思的单词,而根据本发明的实施例则不限于此。即,单词可包括由词典
性意思的单词与助词构成的文章内段落。尤其,具有意思单位的关键词、题目、标语等本说
明书上定义为文章且作为一个翻译单位的文字组也可以包含于所述单词。
装置100在判断出文字列为文章时可以对文字列适用预先设定的文章提取算法。
施例。
后的文字组识别为不同的文章。对此,一个行上的文字组以文章确定符号为基准区分的情
况下,一个行上可以存在多个文章。
字组。因此,文字翻译装置100可以判断出由识别的文字构成的文字列是构成一个文章还是
相当于构成一个文章的部分构成。通过如上判断,文字翻译装置100可以将一个文字列提取
成一个文章或将多个文字列提取成一个文章。并且在步骤S35,文字翻译装置100可以利用
用户事件信息,根据提取的第一语言的文章生成翻译对象文章。此处,文字翻译装置100可
以利用预先设定的语言模型将提取的文章加工成翻译对象文章。提取的文章可以与翻译对
象文章相同或发生变更。
图像401及图像402是通过显示部130输出的图像内容的例子。
其,可以将文字组410内的各文字列分别提取成一个文章。
该情况下,文字翻译装置100可识别图像内容402上的文字,尤其,可以将文字组420内的多
个文字列提取成一个文章。
520的文字列具有不同的字体大小或文字列的文字粗度不同的情况下,文字翻译装置100能
够识别这些。
具有相对大的字体大小,文字翻译装置100可以将此识别成一个文章单位并提取成文章。
方式将多个文字列提取成一个文章。
可以根据图像内容的类型将一个文字列提取成文章,或者将多个文字列提取成一个文章。
到其相关信息的情况下,文字翻译装置100可以将识别的文字列提取成一个文章。该情况
下,文字翻译装置100不执行用于提取文章的另外的算法,因此能够最小化用于提取文章的
运算过程。
将多个文字列提取成一个文章,试图适用预先设定的语言模型。因此,翻译对象文章的准确
度上升,从而能够确保翻译结果准确性。
下,以图像内容601、602、603、604、605为例说明根据本发明实施例的文章提取算法。
615的中端的文字列即第三行的文字列。并且,对于图像内容604的情况,选择包括位于右侧
末端的文字614的最上端的文字列。
文章的情况下可能会发生文章提取错误。为防止这种情况下发生文章提取错误,文字翻译
装置100可以以位于选择的所述文字列的左侧末端的文字的x轴坐标为基准执行第二判断,
即判断是否存在选择的所述文字列的下位文字列上的文字。
文字列与下位文字列的多个文字列提取成一个文章。
译装置100可以提取包括多个文字列的文章。
于区域610的文字列的字体大小相对大,因此文字翻译装置100可以将一个文字列提取成一
个文章,仅对字体大小相对小的区域620的文字列适用上述文章提取算法。并且,文字翻译
装置100可以接收图像内容601的类型为新闻报道,对区域620将多个文字列提取成一个文
章,并尝试适用预先设定的语言模型。
文字701的后补文字711。并且,文字翻译装置100可以确定图像内容700上的文字中与第一
文字701相邻的第二文字702的后补文字712。后补文字711可包括第一文字701,后补文字
712可包括第二文字702。
本发明实施例的文字组合数据的结构。
字还是第二文字的信息及各后补文字711、712的概率值信息的文字组合数据。文字翻译装
置100可以在OCR后处理过程即在步骤S20利用包括这种概率值的文字组合数据识别文字,
可以在翻译预处理过程即在步骤S30利用所述文字组合数据生成翻译对象文章。
言所需的翻译对象文章时利用接收的文字组合数据。
译对象区域。
显示对象生成为翻译对象文章,随着执行翻译变成如画面802所示。
求。所述修正请求可通过用户的触摸手势或文字翻译装置100的按键操作接收。
翻译装置100可移动或扩大识别处理815部分并显示在第一区域810。
950。具体来讲,文字翻译装置100可以从预先设定的语言模型930获取数据900,通过与后补
文章910、920上的单词与文字组合进行比较,选择文字组合中包含于提取的文章的概率最
高的文字组合。所述语言模型930可以由单词、包括该单词的文章等构成,有时单词本身可
以构成一个文章,整个文章为常用句时整个文章可以与文字组合匹配。
率最高的文章组合选为被识别为所述第一文字及所述第二文字的概率最高的文字组合。
餐厅等信息。为此,文字翻译装置100还可以包括用于感测位置信息的GPS模块。并且,文字
翻译装置100还可以感测漫游信息等通信信息作为用户事件信息。
骤S41,文字翻译装置100可以根据用户事件信息自动确定所述第二语言。例如,文字翻译装
置100可以将文字翻译装置100的固有识别信息作为用户事件信息来利用以自动确定文字
翻译装置100的用户的使用语言。或者,文字翻译装置100可以将位置信息的变更明细用作
用户事件信息。
文章1020选为翻译请求文章。对象1010可以在随着接收到用户输入而将区域1030指定为翻
译区域的过程中移动。例如,从用户接收到关于对象1010的触摸输入及拖动输入时,文字翻
译装置100控制使得对象1010沿着拖动输入方向扩张的同时移动,将随着对象1010的移动
而包括的区域识别为翻译区域。并且,文字翻译装置100可以将包含于翻译区域的文章选为
翻译请求文章。
变更。文字翻译装置100可以将所述翻译区域1030上的翻译对象文章1025选为翻译请求文
章。
的音译。
”。
字的字体、大小,文字翻译装置100还可以根据图像内容的布局,即,图像内容上的各区域区
分成文字列时将各区域上的文字组判断为不同的文章。
的各区域。
第二计算装置并安装在所述第二计算装置上,从而在所述第二计算装置上使用。服务器装
置、台式计算机等固定式计算装置、笔记本电脑、智能手机、平板电脑等移动计算装置均包
含于所述第一计算装置及所述第二计算装置。
以上记载的实施例为在所有方面中的举例而不是进行限定。