信息处理装置及信息处理方法

摘要

本发明公开了一种信息处理装置和信息处理方法，所述信息处理装置包括：字符识别单元，其识别字符图像中的字符；已识别字符特征获取单元，其从所述字符识别单元所识别的字符中获取第一特征；以及翻译判断单元，其根据所述已识别字符特征获取单元所获取的第一特征来判断是否要翻译所述已识别字符。

权利要求

1.一种信息处理装置，包括：

字符识别单元，其识别字符图像中的字符；

已识别字符特征获取单元，其从所述字符识别单元所识别的字符中获取与已识别字符中包含第一语言的词语相关的第一特征；

翻译判断单元，其根据所述已识别字符特征获取单元所获取的第一特征来判断是否要翻译所述已识别字符；

翻译单元，在所述翻译判断单元判断出要翻译所述已识别字符的情况下，所述翻译单元翻译所述已识别字符；

翻译结果特征获取单元，其从所述翻译单元得到的翻译结果中获取与翻译语句中包含第二语言的词语相关的第二特征；

输出判断单元，其根据所述翻译结果特征获取单元所获取的第二特征来判断是否要输出由所述翻译单元得到的翻译结果；

图像接收单元，其接收图像数据；以及

输出单元，在所述输出判断单元判断出要输出所述翻译结果的情况下，所述输出单元根据所述图像接收单元所接收的图像数据的结构输出所述翻译结果，其中，所述字符识别单元对所述图像接收单元所接收的图像数据的字符图像中的字符进行识别，并且在识别出除了字符以外的图像映像的情况下，所述已识别字符特征获取单元获取与所述图像映像中包括的字符相关的第三特征。

2.如权利要求1中所述的信息处理装置，其中，在识别出除了字符以外的图像映像的情况下，所述已识别字符特征获取单元获取与所述图像映像中包括的字符的排列相关的第四特征。

3.如权利要求1中所述的信息处理装置，其中，所述已识别字符特征获取单元获取与所述图像中包括的字符的预定字数相关的第五特征。

4.如权利要求2中所述的信息处理装置，其中，所述已识别字符特征获取单元获取与所述图像中包括的字符的预定字数相关的第五特征。

5.一种信息处理方法，包括：

识别字符图像中的字符；

获取已识别字符的与所述已识别字符中包含第一语言的词语相关的特征；

根据所获取的特征来判断是否要翻译所述已识别字符；

在判断出要翻译所述已识别字符的情况下，翻译所述已识别字符；

从翻译结果中获取与翻译语句中包含第二语言的词语相关的特征；

根据从翻译结果中所获取的特征来判断是否要输出所述翻译结果；

接收图像数据；以及

在判断出要输出所述翻译结果的情况下，根据所述图像数据的结构输出所述翻译结果，其中，所述识别字符的步骤对在所述接收图像数据的步骤中所接收的图像数据的字符图像中的字符进行识别，并且在识别出除了字符以外的图像映像的情况下，所述获取已识别字符的特征的步骤获取与所述图像映像中包括的字符相关的特征。

说明书

信息处理装置及信息处理方法

技术领域

[0001] 本发明涉及一种信息处理装置及信息处理方法。

背景技术

[0002] 例如，存在这样一种翻译装置：即，对用第一语言书写语句(下文中也称之为原文。在这种情况下，语句不拘泥于语句的形式而表示用第一语言书写的字符)的纸质文档进行扫描，分析所获得的图像以提取语句区域，识别出语句区域的字符，进而将通过将作为字符识别结果的所获得文本翻译成第二语言而得到的语句(下文中也称之为翻译语句。在这种情况下，句子并不拘泥于语句的形式而表示第二语言的字符)布置在页面上并输出。

[0003] 作为与此相关技术，例如JP-A-08-006948(这里所用术语“JP-A”是指“未经审查已公布的日本专利申请)披露了提供一种在机械翻译装置中翻译打印在纸张上的文档的单元和下述结构作为目的，其中该结构包括用于读取原稿的图像输入部分、用于存储在图像输入部分所获取的图像数据的原稿图像存储部分、用于识别存储在原稿图像存储部分中的图像数据的布局的布局识别单元、用于存储通过识别布局所获取的字符识别区域的原文区域存储部分、图形区域存储部分、用于输出与字符识别区域的字符相对应的编码数据的字符识别执行部分、原文存储部分、翻译单元、翻译语句存储部分以及用于将记载在翻译语句存储部分中的翻译语句嵌入记载在原文区域存储部分中的区域中的单元。

[0004] 此外，例如日本专利No.3294919披露了这样的机械翻译装置：即，该装置包括用于将文本翻译结果输出到所输入的原始文档的文本图像的行间部分的单元以及当所输入的原始文档的文本图像的行间部分狭窄时减少原始文档文本的字体大小以再描述原始文档的文本并获取输出翻译语句必要的行间部分的单元。

[0005] 此外，例如JP-A-05-324720披露下述内容作为目的：即，清晰地指定与原稿图像中存在的词语相对应的翻译词语的位置并且即使当输出图像的内容由于翻译词语的添加而在很大程度上发生改变时也可布置并输出复制图像的内容使其易于读取，并且披露了当将原稿图像信息和与原稿图像信息相对应的翻译信息以上下位置组合在一起时，CPU进行控制以比原稿图像信息的信息宽度更多地减小对应于原稿图像信息的翻译信息的信息宽度。

[0006] 此外，例如日本专利No.3636490披露了这样一种图像处理装置，该装置包括：原稿输入单元，其用于输入具有基于第一语言的第一字符和图像的原稿的图像；分离单元，其用于分析具有从原稿输入单元输入的图像的原稿图像数据以从图像数据区域中分离文档数据区域；识别单元，其用于从由分离单元分离的文档数据区域中截取出字符图像以识别第一字符；翻译单元，其用于将与识别单元所识别的第一字符相对应的字符数据翻译成基于第二语言的第二字符数据；数据形成单元，其用于形成基于分离单元所分离的文档数据区域信息和第二字符数据而布置的打印数据；以及打印单元，其根据数据形成单元所形成的打印数据通过分别将第二字符数据和原稿图像数据分配到记录介质的一侧表面上来执行双面打印操作。

发明内容

[0007] 当读取图像以识别图像中的字符并翻译所述字符时，偶尔会将除了字符以外的图像区域识别为字符并对其进行翻译，这样会导致翻译的质量降低和/或翻译文档的外观劣化。

[0008] 本发明的目的是提供一种解决上述问题的信息处理装置和信息处理方法。

[0009] (1)根据本发明的第一方面，提供一种信息处理装置，包括：字符识别单元，其识别字符图像中的字符；已识别字符特征获取单元，其从所述字符识别单元所识别的字符中获取与已识别字符中包含第一语言的词语相关的第一特征；翻译判断单元，其根据所述已识别字符特征获取单元所获取的第一特征来判断是否要翻译所述已识别字符；翻译单元，在所述翻译判断单元判断出要翻译所述已识别字符的情况下，所述翻译单元翻译所述已识别字符；翻译结果特征获取单元，其从所述翻译单元得到的翻译结果中获取与翻译语句中包含第二语言的词语相关的第二特征；输出判断单元，其根据所述翻译结果特征获取单元所获取的第二特征来判断是否要输出由所述翻译单元得到的翻译结果；图像接收单元，其接收图像数据；以及输出单元，在所述输出判断单元判断出要输出所述翻译结果的情况下，所述输出单元根据所述图像接收单元所接收的图像数据的结构输出所述翻译结果，其中，所述字符识别单元对所述图像接收单元所接收的图像数据的字符图像中的字符进行识别，并且在识别出除了字符以外的图像映像(picture image)的情况下，所述已识别字符特征获取单元获取与所述图像映像中包括的字符相关的第三特征。

[0010] (2)如第(1)项所述的信息处理装置，其中，在识别出除了字符以外的图像映像的情况下，所述已识别字符特征获取单元获取与所述图像映像中包括的字符的排列相关的第四特征。

[0011] (3)如第(1)项或第(2)项所述的信息处理装置，其中，所述已识别字符特征获取单元获取与所述图像中包括的字符的预定字数相关的第五特征。

[0012] (4)根据本发明的第二方面，提供一种信息处理方法，包括：识别字符图像中的字符；获取已识别字符的与所述已识别字符中包含第一语言的词语相关的特征；根据所获取的特征来判断是否要翻译所述已识别字符；在判断出要翻译所述已识别字符的情况下，翻译所述已识别字符；从翻译结果中获取与翻译语句中包含第二语言的词语相关的特征；根据从翻译结果中所获取的特征来判断是否要输出所述翻译结果；接收图像数据；以及在判断出要输出所述翻译结果的情况下，根据所述图像数据的结构输出所述翻译结果，其中，所述识别字符的步骤对在所述接收图像数据的步骤中所接收的图像数据的字符图像中的字符进行识别，并且在识别出除了字符以外的图像映像的情况下，所述获取已识别字符的特征的步骤获取与所述图像映像中包括的字符相关的特征。

[0013] 根据第(1)项所述的信息处理装置，当识别并翻译图像中的字符时，可以限制将除了字符以外的图像区域作为字符来识别和翻译。

[0014] 此外，当判断出将除了字符以外的图像区域作为字符来识别和翻译时，可以限制该图像区域被翻译和输出。

[0015] 此外，当与图像相对应地输出通过识别和翻译图像中的字符所得到的结果时，可以限制将除了字符以外的图像区域作为字符来识别、翻译和输出。

[0016] 此外，即使当使用通常的字符识别技术时，也可以限制将除了字符以外的图像区域作为字符来识别、翻译和输出。

[0017] 根据第(2)项所述的信息处理装置，与第(1)项中所述的信息处理装置相比，可以进一步限制将除了字符以外的图像区域作为字符来识别、翻译和输出。

[0018] 根据第(3)项所述的信息处理装置，可以防止字符图像区域作为字符的识别和翻译受到抑制。

[0019] 根据第(4)项所述的信息处理方法，当识别和翻译图像中的字符时，可以限制将除了字符以外的图像区域作为字符来识别和翻译。

附图说明

[0020] 基于下列附图对本发明的示例性实施例进行详细说明，其中：

[0021] 图1为实施例的结构实例的概念性模块框图；

[0022] 图2为示出根据实施例的处理实例的流程图；

[0023] 图3为示出处理表格的数据结构实例的说明图；

[0024] 图4为示出由识别字符特征获取模块和翻译判断模块执行的处理实例的流程图；

[0025] 图5为示出点设定表格的实例的说明图；

[0026] 图6为示出权重设定表格的实例的说明图；

[0027] 图7为示出根据实施例的具体处理实例的说明图；

[0028] 图8为示出由图像接收模块、区域提取模块、行提取模块以及字符识别模块执行的处理实例的说明图；

[0029] 图9为示出由翻译语句特征获取模块和输出判断模块执行的处理实例的说明图；

[0030] 图10为示出字符识别模块分别以各语言作为对象的处理实例的说明图；以及[0031] 图11为示出用于实现实施例的计算机的硬件结构实例的框图。

具体实施方式

[0032] 现在参照附图，下面将对用于实现本发明的一个优选实施例进行说明。

[0033] 图1示出了本实施例的结构实例的概念性模块框图。

[0034] 模块通常表示软件(计算机程序)、硬件等逻辑上可分离的部分。从而，本实施例中的模块不仅表示计算机程序中的模块，还表示硬件结构中的模块。因此，本实施例也说明计算机程序、系统以及方法。在这种情况下，为了便于说明，使用“存储”、“使存储”以及与其相当的词语。当本实施例是计算机程序时，这些词语表示使存储装置存储或控制存储装置进行存储的含义。此外，模块与功能基本上一一对应。然而，在安装时，可以用一个程序形成一个模块，或用一个程序形成多个模块。相反，可以用多个程序形成一个模块。此外，可以利用一台计算机执行多个模块或利用分布式或并行环境中的多台计算机执行一个模块。其他模块可以包括在一个模块中。下文中，“连接”既包括逻辑连接(数据的发送和接收、指令、数据之间的参考关系等)也包括物理连接。

[0035] 此外，系统或装置不仅包括由诸如网络(包括一对一通信连接)等的通信单元连接多台计算机、硬件、装置等所获得的结构，还包括由一台计算机、硬件、装置等实现的结构。“装置”和“系统”用作具有相同含义的词语。

[0036] 如图1所示，本实施例包括图像接收模块110、区域提取模块115、行提取模块120、字符识别模块125、已识别字符特征获取模块130、翻译判断模块135、翻译模块140、翻译语句特征获取模块145、输出判断模块150以及输出模块155。

[0037] 图像接收模块110与区域提取模块115连接以接收图像并将该图像发送到区域提取模块115。接收图像包括利用扫描仪读取图像、利用传真装置接收图像以及从图像数据库中读取图像。图像包括二值图像和诸如彩色图像等的多值图像。图像可由一页或多页构成。图像的内容可显示用于商务的文档或用于广告宣传的小册子。

[0038] 区域提取模块115与图像接收模块110和行提取模块120连接以从图像接收模块110接收图像，并且当图像是多值图像时将图像转换成二值图像，从图像中提取字符图像区域并将字符图像区域发送到行提取模块120。换言之，将图像分割成字符图像区域和除了字符图像区域以外的图像区域。可利用现有的方法提取字符图像区域。例如，可基于单位面积的复杂度、像素值、黑色像素数等提取字符图像区域。当将字符图像区域发送到行提取模块120时，可以传输所提取的字符图像区域的图像本身或从图像接收模块110接收到的图像以及字符图像区域的坐标(例如，当字符图像区域是矩形时，左上角的X坐标、Y坐标、宽度、高度)。

[0039] 行提取模块120与区域提取模块115和字符识别模块125连接以从区域提取模块115中接收字符图像区域，并且从字符图像区域中提取字符行并将字符行发送到字符识别模块125。换言之，行提取模块120对每行提取字符区域进而由字符识别模块125进行处理。这里，字符行包括沿着横向书写的字符行和沿着纵向书写的字符行。可利用现有的方法提取字符行。例如，可以相对于字符图像区域沿纵向或横向进行投影从而从字符图像区域的黑色像素数的直方图中获得字符行之间的边界。

[0040] 字符识别模块125与行提取模块120和已识别字符特征获取模块130连接以从行提取模块120中接收对每行所截取的字符图像，并且识别字符图像的字符并将已识别字符作为识别字符的结果发送到已识别字符特征获取模块130。字符的识别是指将图像转换为字符编码(文本)，并且可以使用现有的方法。此外，可以识别字符大小以及字符编码。在这种情况下，作为所识别的字符，包括字符的大小。字符识别模块125偶尔会出现区域提取模块115或行提取模块120所引起的误差，换言之，将不是原始的字符图像区域的图像区域作为识别字符的对象。

[0041] 下面将参照图8到图10说明图像接收模块110到字符识别模块125的处理实例。

[0042] 已识别字符特征获取模块130与字符识别模块125和翻译判断模块135连接。已识别字符特征获取模块130获取作为字符识别模块125的识别结果的识别字符的特征并将已识别字符的特征发送到翻译判断模块135。这里，已识别字符的特征是指主要作为文本的已识别字符的特征。在这种情况下，已识别字符的特征可包括已识别字符的大小。

[0043] 例如，当识别出除了字符以外的图像时可以获取与包含已识别字符相关的特征。

[0044] 此外，例如，当识别出除了字符以外的图像时可以获取与已识别字符的排列相关的特征。

[0045] 此外，可以获取已识别字符的预定字数的特征。

[0046] 翻译判断模块135与已识别字符特征获取模块130和翻译模块140连接。

[0047] 翻译判断模块135根据已识别字符特征获取模块130所获取的特征来判断是否翻译已识别字符并将判断结果发送到翻译模块140。

[0048] 下面将参照图4到图6说明已识别字符特征获取模块130和翻译判断模块135的处理实例。

[0049] 翻译模块140与翻译判断模块135和翻译语句特征获取模块145连接。

[0050] 当翻译判断模块135判断出将要翻译已识别字符时，翻译模块140对字符识别模块125所识别的并判断为将要被翻译的已识别字符进行翻译并将翻译语句发送到翻译语句特征获取模块145。翻译是指将第一语言转换成具有与第一语言相对应的含义的另外的第二语言，并且可以使用现有的方法。

[0051] 翻译语句特征获取模块145与翻译模块140和输出判断模块150连接。

[0052] 翻译语句特征获取模块145获取作为由翻译模块140进行翻译的结果的翻译结果的特征并将翻译结果的特征发送到输出判断模块150。

[0053] 翻译语句特征获取模块145可获取与翻译语句中包含该语言的词语相关的信息。具体而言，准备存储有该语言的词语的词典(可使用由字符识别模块125或翻译模块140所利用的词典)以得到在翻译语句中包括有存储在该词典中的词语的数目。例如，输出判断模块150可将翻译语句中包括的词语的数目与预定阈值相比较，从而可以判断出当翻译语句中包括的词语的数目较大时输出翻译语句是必要的。

[0054] 此外，翻译语句特征获取模块145可以获取构成词语的字符包括在作为对象的翻译语句的字符行中的比率。例如，当构成该语言的词语的字符数与一行的字符数的比率高于预定阈值时，输出判断模块150可以判断出输出翻译语句是必要的。

[0055] 此外，翻译语句特征获取模块145可以分析翻译语句的语法从而得到分析语法的结果。例如，当分析语法的结果正确时，输出判断模块150可以判断出输出翻译语句是必要的。

[0056] 此外，翻译语句特征获取模块145可以提取上述翻译语句的多个特征。

[0057] 输出判断模块150与翻译语句特征获取模块145和输出模块155连接。

[0058] 输出判断模块150根据翻译语句特征获取模块145所获取的特征判断是否输出翻译语句，并将判断结果发送到输出模块155。

[0059] 此外，当翻译语句特征获取模块145提取上述翻译语句的多个特征时，输出判断模块150将多个特征组合在一起从而判断是否要输出翻译语句。在这种情况下，可以对特征进行加权。

[0060] 输出模块155与输出判断模块150连接。当输出判断模块150判断出将要输出翻译语句时，输出模块155基于图像接收模块110所接收的图像的结构而输出作为翻译模块140所得到的翻译结果并由输出判断模块150判断为将要输出的翻译语句。

[0061] 下面将参照图7对输出模块155的处理实例进行描述。

[0062] 图2为示出由本实施例执行的处理实例的流程图。当说明图2所示的流程图时，将对怎样分别完成图3中所示的处理表格300的各栏给予说明。处理表格300包括No.(编号)栏302、x坐标栏304、y坐标栏306、高度栏308、宽度栏310、字符识别结果栏312、示出翻译是否必要的栏314、翻译结果栏316以及示出输出是否必要的栏318。

[0063] 在步骤S202中，图像接收模块110接收作为待翻译的对象的图像。

[0064] 在步骤S204中，区域提取模块115从在步骤S202中所接收的图像中提取字符图像区域。

[0065] 在步骤S206中，行提取模块120从在步骤S204中所提取的字符图像区域中提取字符行。这里，行提取模块120使得处理表格300分别将所提取的字符行依次存储在No.栏302中、将字符行左上部的x坐标存储在x坐标栏304中、将y坐标存储在y坐标栏306中、将字符行的高度存储在高度栏308中、将字符行的宽度存储在宽度栏310中。

[0066] 在步骤S208中，字符识别模块125对在步骤S206中所提取的字符行进行字符识别处理。然后，字符识别模块125将所识别的字符存储在处理表格300中的字符识别结果栏312中。

[0067] 在步骤S210中，已识别字符特征获取模块130获取在步骤S208中所识别字符的特征。换言之，已识别字符特征获取模块130分别针对各字符行提取字符识别结果栏312中的字符的特征。

[0068] 在步骤S212中，翻译判断模块135根据在步骤S210中所获取的特征来判断是否要翻译已识别字符。当翻译判断模块135判断出不必翻译字符行时(Y)，处理转入步骤S214，当翻译判断模块135判断出要翻译字符行时(N)，处理转入步骤S216。然后，在步骤S214中，翻译判断模块135将“N”存储在对应的示出翻译是否必要的栏314中。在步骤S216中，翻译判断模块135将“Y”存储在对应的示出翻译是否必要的栏314中。下面利用图4到图6对步骤S210到步骤S216的处理实例进行说明。

[0069] 在步骤S218中，判断是否已对在步骤S206中所提取的全部字符行完成步骤S212的判断处理。当没有完成判断处理时(N)，处理返回到步骤S210。当完成判断处理时(Y)，处理转入步骤S220。

[0070] 在步骤S220中，翻译模块140排除在示出翻译是否必要的栏314中由“N”指定的字符行(即取出在示出翻译是否必要的栏314中由“Y”指定的字符行)并对字符识别结果栏312中的字符串进行翻译。然后，翻译模块140将翻译结果存储在对应的翻译结果栏316中。

[0071] 在步骤S222中，翻译语句特征获取模块145获取在步骤S220中的翻译语句的特征。换言之，翻译语句特征获取模块145分别针对各字符行提取翻译结果栏316中的字符的特征。

[0072] 在步骤S224中，输出判断模块150根据在步骤S222中所获取的特征判断翻译语句是否具有意义，即判断是否要输出翻译语句。当输出判断模块150判断出字符行具有意义时(Y)，处理转入步骤S226，当输出判断模块150判断出字符行不具有意义时(N)，处理转入步骤S228。然后，输出判断模块150将“Y”存储在对应的示出输出是否必要的栏318中。在步骤S228中，输出判断模块150将“N”存储在对应的示出输出是否必要的栏318中。

[0073] 在步骤S230中，判断是否已对在步骤S206中所提取的全部字符行完成步骤S224的判断处理。当没有完成判断处理时(N)，处理返回到步骤S222。当完成判断处理时(Y)，处理转入步骤S232。

[0074] 在步骤S232中，确定将由输出模块155输出的翻译语句，并且输出模块155根据在步骤S202中所接收到的图像的结构输出翻译语句。

[0075] 图4为示出由已识别字符特征获取模块130和翻译判断模块135执行的处理实例(步骤S210到步骤S216的具体处理实例)的流程图。这里，利用每个字符的点数(点)来判断是否要翻译所识别的字符。然后，当所识别的字符中点数高时，判断为不翻译所识别的字符。换言之，点反映了不是位于字符图像区域中的图像被识别为字符的可能性。

[0076] 在步骤S402中，获取每个字符行中的每个已识别字符的点数。这里，通过参考字符识别结果栏312获取已识别字符，并且通过参考点设定表格500获取字符的点数。

[0077] 参照图5对点设定表格500的实例进行说明。在点设定表格500中，点分为三级(点：3，点：2，点：1)。换言之，当将不是位于字符图像区域中的图像识别为字符时，将经常被输出为已识别字符的“—”、“一”、“1”、“I”等设定为3点。将一个字符区域内包括“ton，トン”的字符例如“{”等设定为2点，将除此以外的其他字符设定为1点。换句话说，点设定表格500将点数与字符彼此对应地进行进行存储。在识别处理中分别针对各种语言(例如，针对日文、中文、韩文、英文等)存储字符。

[0078] 确定点设定表格500中分别与字符识别结果栏312中的各字符相对应的点数从而分别获取各字符的点。

[0079] 在步骤S404中，根据在步骤S402赋予点的字符排列(字符串)对点附加权重。利用权重设定表格600附加权重。

[0080] 下面将参照图6说明权重设定表格600的实例。权重设定表格600存储有示出权重系数和系数适用状态的规则且使彼此对应。例如，在“点：2或点：3的特定字符的组合(n个或更多个字符沿着字符行的方向排列)”的状态下(作为具体实例，“—-”等)，用4乘以字符的点数。此外，在“排列有点：2或点：3的n个或更多个字符”的状态下，用2乘以字符的点数。

[0081] 根据字符识别结果栏312中的字符的排列是否对应于权重设定表格600中的规则来确定权重的系数。

[0082] 在步骤S406中，基于在步骤S402中所获取的点数和在步骤S404中所确定的权重系数来计算每个字符行的点数。

[0083] 在步骤S408中，为了防止点数依赖于行中的字符数，对字符识别结果栏312中的字符数进行计数并且用在步骤S406中所计算的点数除以字符数从而计算出每个字符的平均点数。

[0084] 在步骤S410中，判断在步骤S408中所计算的平均点数是否大于预定阈值(TH)。当判断出平均点数大于预定阈值时(Y)，处理转入步骤S412。当判断出平均点数不大于预定阈值时(N)，处理转入步骤S414。在步骤S412中，判断出不需要翻译目标行(即字符行的已识别字符具有这样的高可能性：即，不位于字符图像区域的图像被识别为字符)从而使得示出翻译是否必要的对应栏314存储“N”。在步骤S414中，判断出需要翻译目标行(即字符行的已识别字符具有这样高的可能性：即，位于字符图像区域的图像被识别为字符)从而使得示出翻译是否必要的对应栏314存储“Y”。

[0085] 通过已识别字符特征获取模块130实施步骤S402到步骤S408。通过翻译判断模块135实施与图2所示的流程图中的步骤S212到步骤S216相对应的步骤S410到步骤S414。

[0086] 已识别字符特征获取模块130可以获取与已识别字符中包含该语言的词语相关的信息。具体而言，准备存储有该语言的词语的词典(可使用由字符识别模块125或翻译模块140所使用的词典)以得到在已识别字符中包括有存储在该词典中的词语的数目。例如，翻译判断模块135可将已识别字符中包括的词语数目与预定阈值相比较，从而当已识别字符中包括的词语数目较大时可以判断为翻译是必要的。

[0087] 此外，已识别字符特征获取模块130可以获取构成词语的字符包括在作为对象的字符行中的比率。例如，当构成该语言的词语的字符数与一行的字符数的比率高于预定阈值时，翻译判断模块135可以判断为翻译是必要的。

[0088] 此外，已识别字符特征获取模块130可以获取分别由字符识别模块125输出的已识别字符的大小。例如，翻译判断模块135可以分别基于各字符的大小的统计分布(例如，当字符的大小分别位于预定范围的不均匀度(偏差)内时)而判断出翻译是必要的。

[0089] 此外，已识别字符特征获取模块130可以获取由字符识别模块125所输出的每行的已识别字符数。例如，翻译判断模块135可以判断为字符数小于预定阈值的行不必翻译。

[0090] 此外，已识别字符特征获取模块130可以获取与目标行邻近的图像区域的种类(字符图像区域、除了字符图像区域以外的其他图像区域等)相关的信息。例如，当字符图像区域包围目标行的图像区域时，翻译判断模块135可以判断为翻译是必要的。

[0091] 此外，已识别字符特征获取模块130可以分析已识别字符的语法从而得到分析语法的结果。例如，当分析语法的结果正确时，翻译判断模块135可以判断为翻译是必要的。

[0092] 此外，已识别字符特征获取模块130可以提取上述已识别字符的多个特征。然后，翻译判断模块135可以通过将多个特征组合在一起来进行判断。在这种情况下，可以对特征进行加权。

[0093] 图7为示出根据本实施例的具体处理实例的说明图(特别是由输出模块155进行的处理实例)。

[0094] 图像接收模块110例如接收到原始原稿700。原始原稿700包括语句区域702、语句区域704、图像区域706以及图像区域708。语句区域702和704用作由字符识别模块125识别其字符的对象和将由翻译模块140翻译的对象。此外，图像区域706和708被区域提取模块115判断为不是字符图像区域并按其原样输出。

[0095] 输出模块155根据区域提取模块115、行提取模块120以及字符识别模块125所做的原始原稿700的结构分析结果(即语句区域702和704以及图像区域706和708的种类(区域是否为字符区域)、位置、大小等)而输出由输出判断模块150判断为将要输出的翻译语句(处理表格300中示出输出是否必要的栏318显示“Y”的该行的翻译结果栏316)。换言之，输出模块155利用处理表格300中的x坐标栏304到宽度栏310以将翻译语句布置在待输出的图像中。例如，输出模块155输出如同旁注标记(ruby)型翻译输出710和替换型翻译输出720的翻译语句。旁注标记型翻译输出710是包括语句区域712和714以及图像区域706和708的实例，按原样输出原始原稿700的图像区域706和708，并且在语句区域712和714中布置并输出如同旁注标记一样的翻译语句(翻译语句布置在对应原文的附近)。此外，替换型翻译输出720是包括语句区域722、语句区域724、图像区域706以及图像区域708的实例，按原样输出原始原稿700的图像区域706和708，并且在语句区域722和724中替代原文布置并输出翻译语句。

[0096] 图8为示出由图像接收模块110、区域提取模块115、行提取模块120以及字符识别模块125执行的处理实例的说明图。

[0097] 图像接收模块110例如接收到原始原稿800。原始原稿800包括图像区域801、语句区域802以及语句区域803。换言之，语句区域802和803用作其字符将要被识别和翻译的对象。图像区域801中除了语句区域802以外的区域将被直接输出。

[0098] 然后，区域提取模块115将原始原稿800二值化以形成二值图像810。作为原始原稿800的多值图像的图像区域801也变为如同二值图像810的图像区域811一样的二值图像。

[0099] 此外，区域提取模块115相对于二值图像810提取字符图像区域。这里，区域提取模块115提取语句区域828和829作为字符图像区域，然而，也将图像区域821中的语句区域826和827提取为字符图像区域。出现上述问题是由于下述缘故：即，当将诸如自然图像等多值图像二值化时，会产生具有字符图像区域特征的区域。

[0100] 结果(语句区域826～829被提取为字符图像区域)，当行提取模块120和字符识别模块125执行处理时，语句区域826、语句区域827、语句区域828以及语句区域829表达为如图8所示。这里，通过已识别字符特征获取模块130和翻译判断模块135执行的处理来防止将语句区域826和827的已识别字符作为将要翻译的对象。

[0101] 图9为示出由翻译语句特征获取模块145和输出判断模块150执行的处理实例(当不执行已识别字符特征获取模块130和翻译判断模块135进行的处理时的实例)的说明图。

[0102] 图像接收模块110例如接收到原始图像900。原始图像900不具有字符图像区域并将被直接输出。

[0103] 然后，区域提取模块115将原始图像900二值化以形成二值图像910。区域提取模块115相对于二值图像910提取字符图像区域。

[0104] 当字符识别模块125对字符图像区域执行字符识别处理时，得到如图9所示的日文字符识别结果920。此外，当翻译模块140翻译该日文字符识别结果920时，例如得到如图9所示的中文翻译930和英文翻译940。

[0105] 这里，翻译语句特征获取模块145和输出判断模块150执行上述处理以不输出诸如中文翻译930和英文翻译940等的翻译语句。

[0106] 图10为示出字符识别模块125通过处理分别作为对象的各语言所得到的处理实例的说明图。

[0107] 图10中所示的韩文字符识别结果1010、中文字符识别结果1020以及英文字符识别结果1030是字符识别模块125分别相对于作为对象的韩文、中文以及英文处理二值图像910所得到的结果。这些已识别字符与图9中所示的日文字符识别结果920具有相同的特性。从而，即使当字符识别模块125处理除了日文以外的其他语言时，已识别字符特征获取模块130和翻译判断模块135也可以利用点设定表格500和权重设定表格600以使已识别字符特征获取模块130和翻译判断模块135可以执行与对作为对象的日文执行的处理相同的处理。

[0108] 下面将参照图11说明本实施例的硬件结构实例。图11中所示的结构例如由个人计算机(PC)构成，并且示例出包括诸如扫描仪等数据读取部分1117和诸如打印机等数据输出部分1118在内的硬件结构实例。

[0109] CPU(中央处理单元)1101是用于执行根据计算机程序的处理的控制部分，所述计算机程序分别记述上述实施例中所述的各种模块即区域提取模块115、行提取模块120、字符识别模块125、已识别字符特征获取模块130等的执行序列。

[0110] ROM(只读存储器)1102存储有CPU 1101所用的程序或计算参数等。RAM(随机存取存储器)1103存储有在CPU 1101执行中所使用的程序或在CPU 1101执行中适当改变的参数。这些部件通过由CPU总线构成的主机总线1104而相互连接。

[0111] 主机总线1104通过桥接器1105与诸如PCI(外围部件互连/接口)总线等的外部总线1106连接。

[0112] 诸如键盘1108、鼠标等的指点设备1109是操作者所操作的输入装置。显示器1110由液晶显示装置或CRT(阴极射线管)等构成以显示作为文本或图像信息的各种信息。

[0113] HDD(硬盘驱动器)1111内置有硬盘并驱动硬盘以记录或再现由CPU 1101执行的程序或信息。在硬盘中存储有由字符识别模块125等接收的图像或识别的结果。此外，还存储有诸如其他各种数据处理程序等的各种计算机程序。

[0114] 驱动器1112读取记录在诸如所安装的磁盘、光盘、光电磁盘或半导体存储器等可移动记录介质1113中的数据或程序以向通过接口1107、外部总线1106、桥接器1105以及主机总线1104连接的RAM1103提供数据或程序。可移动记录介质1113也可用作为如同硬盘一样的数据记录区域。

[0115] 连接端口1114是用于连接外部连接装置1115的端口且具有诸如USB、IEEE 1394等的连接部分。连接端口1114通过接口1107、外部总线1106、桥接器1105以及主机总线1104而与CPU 1101连接。通信部分1116与网络连接从而利用外部部分执行数据通信处理。数据读取部分1117例如为扫描仪以执行文档的读取处理。数据输出部分1118例如为打印机以执行文档数据的输出处理。

[0116] 图11中所示的硬件结构示例出一个结构实例，本发明的实施例并不限于图11中示出的的结构。可以执行实施例中所述模块的任何结构都可以使用。例如，可以利用专用硬件(例如特定用途集成电路：ASIC)等构成部分模块。部分模块可位于外部系统中并通过通信线路连接。此外，图11中所示的多个系统可以通过通信线路连接在一起以共同协作。此外，图11中所示的结构可以并入复印机、传真装置、扫描仪、打印机、复合机(具有扫描仪、打印机、复印机、传真机等的两种或多种功能的图像处理装置)等。

[0117] 在上述实施例中，在图4所示的流程图中示出了这样的实例：即，基于每个字符的点数来判断是否要翻译已识别字符，然而，也可以利用每多个字符的点数替代每个字符的点数。

[0118] 上述程序可以存储在记录介质中并提供。此外，也可以通过通信单元提供程序。在这种情况下，上述程序可以作为“记录有可由计算机读取的程序的记录介质”的发明。

[0119] “记录有可由计算机读取的程序的记录介质”是指用于安装执行程序且运行程序的记录有可由计算机读取的程序的记录介质。

[0120] 作为记录介质，例如示例性地示出：诸如作为DVD论坛建立的标准的“DVD-R、DVD-RW、DVD-RAM等”、作为由DVD+RW建立的标准的“DVD+R、DVD+RW等”的数字化通用光盘(DVD)；诸如只读存储器(CD-ROM)、可记录CD(CD-R)、可重写CD(CD-RW)等的致密光盘(CD)；光电磁盘(MO)；软盘(FD)；磁带；硬盘；只读存储器(ROM)；电可擦除可重写只读存储器(EEPROM)；闪存；随机存取存储器(RAM)等。

[0121] 可以在记录介质中记录并存储上述程序或其一部分并分发。此外，可以利用例如局域网(LAN)、城域网(MAN)、广域网(WAN)、互联网、内联网、外联网中使用的有线网络或无线通信网络以及诸如上述网络的组合等的传输介质通过通信来传输程序，或通过载波来传输程序。

[0122] 此外，上述程序可以是其他程序的一部分或与单独的程序一起存储在记录介质中。此外，可以将程序分开并存储在多个记录介质中。此外，当可恢复程序时可以以任何形式记录程序，以便可以对程序压缩和加密。

[0123] 出于解释和说明的目的提供了本发明的示例性实施例的上述说明。其本意并不是穷举或将本发明限制在所公开的确切形式。显然，对于本技术领域的普通技术人员可以进行许多修改和变型。选择和说明上述示例性实施例是为了更好地解释本发明的原理及其实际应用，因此使得本技术领域的其他技术人员能够理解本发明所适用的各种实施例并预见到适合于特定应用的各种修改。目的在于通过所附权利要求书及其等同内容限定本发明的范围。