校正畸变表格图像中的单元格的方法及装置

摘要

本公开关于一种校正畸变表格图像中的单元格的方法及装置，所述校正畸变表格图像中的单元格的方法包括：获取畸变表格图像；对所述畸变表格图像进行图像分割，得到所述畸变表格图像中的各个单元格；确定所述各个单元格中的畸变单元格；对所述畸变表格图像进行目标检测，得到畸变单元格检测框；计算所述畸变单元格与对应的所述畸变单元格检测框的交并比，以确定所述畸变单元格的畸变程度；基于所述畸变程度，确定用于校正所述畸变单元格的框线和所述框线内的内容的校正框；基于所述校正框，对所述畸变单元格的框线和所述框线内的内容进行仿射变换。根据本公开，能够对畸变表格图像中的单元格的框线和框线内的内容进行校正。

权利要求

1.一种校正畸变表格图像中的单元格的方法，其特征在于，包括：获取畸变表格图像；

对所述畸变表格图像进行图像分割，得到所述畸变表格图像中的各个单元格；

确定所述各个单元格中的畸变单元格；

对所述畸变表格图像进行目标检测，得到畸变单元格检测框；

计算所述畸变单元格与对应的所述畸变单元格检测框的交并比，以确定所述畸变单元格的畸变程度；

基于所述畸变程度，确定用于校正所述畸变单元格的框线和所述框线内的内容的校正框；

基于所述校正框，对所述畸变单元格的框线和所述框线内的内容进行仿射变换。

2.根据权利要求1所述的方法，其特征在于，所述基于所述畸变程度，确定用于校正所述畸变单元格的框线和所述框线内的内容的校正框，包括：对所述畸变单元格的框线进行逼近拟合，得到所述畸变单元格的最小外接矩形；

基于所述畸变程度，确定所述最小外接矩形与所述畸变单元格检测框的中间区域校正框作为所述校正框。

3.根据权利要求2所述的方法，其特征在于，所述中间区域校正框的对角线坐标[x1，y1，x2，y2]通过下式来计算：[x1，y1，x2，y2]＝([xa1，ya1，xa2，ya2]+[xb1，yb1，xb2，yb2])×D/2，其中，[xa1，ya1，xa2，ya2]为所述最小外接矩形的对角线坐标，[xb1，yb1，xb2，yb2]为所述畸变单元格检测框的对角线坐标，D为畸变程度，0.5≤D≤1。

4.根据权利要求1所述的方法，其特征在于，所述基于所述畸变程度，确定用于校正所述畸变单元格的框线和所述框线内的内容的校正框，包括：确定所述畸变单元格的畸变位置；

基于所述畸变程度，对所述畸变位置进行凹凸校正，得到所述校正框。

5.根据权利要求4所述的方法，其特征在于，凹凸校正后的畸变位置的像素点的坐标为[xd±offset_x，yd±offset_y]，其中，[xd，yd]为凹凸校正前的所述畸变位置的像素点的坐标，offset_x为对xd的校正量，offset_y为对yd的校正量，在所述畸变位置仅位于所述畸变单元格的横向框线上的情况下，offset_x＝0，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且，当采用yd+offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，在所述畸变位置仅位于所述畸变单元格的纵向框线上的情况下，offset_y＝0，offset_x＝1/D×100×sin(2×π×xd/(2×W))，并且，当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x＞xp，则offset_x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，则offset_x＝0，在所述畸变位置既位于所述横向框线上又位于所述纵向框线上的情况下，offset_x＝

1/D×100×sin(2×π×xd/(2×W))，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x＞xp，则offset_x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，则offset_x＝0，当采用yd+offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，其中，H为所述畸变单元格检测框的高度，W为所述畸变单元格检测框的宽度，D为畸变程度，0.5≤D≤1，xp为与[xd，yd]在同一纵向框线上的非畸变位置的横坐标，yp为与[xd，yd]在同一横向框线上的非畸变位置的纵坐标。

6.根据权利要求1所述的方法，其特征在于，所述确定所述各个单元格中的畸变单元格，包括：

对所述各个单元格分别进行特征提取；

根据所提取的特征来确定所述畸变单元格。

7.根据权利要求1所述的方法，其特征在于，通过训练好的图像分割模型来对所述畸变表格图像进行图像分割，得到所述畸变表格图像中的各个单元格。

8.根据权利要求1所述的方法，其特征在于，通过训练好的目标检测模型来对所述畸变表格图像进行目标检测，得到畸变单元格检测框。

9.根据权利要求1所述的方法，其特征在于，所述对所述畸变表格图像进行图像分割和对所述畸变表格图像进行目标检测之前，还包括：将所述畸变表格图像转换为灰度图，得到畸变表格图像灰度图；

将所述畸变表格图像灰度图进行二值化处理，得到二值化后的畸变表格图像。

10.一种校正畸变表格图像中的单元格的装置，其特征在于，包括：图像获取单元，被配置为，获取畸变表格图像；

图像分割单元，被配置为，对所述畸变表格图像进行图像分割，得到所述畸变表格图像中的各个单元格；

确定单元，被配置为，确定所述各个单元格中的畸变单元格；

目标检测单元，被配置为，对所述畸变表格图像进行目标检测，得到畸变单元格检测框；

计算单元，被配置为，计算所述畸变单元格与对应的所述畸变单元格检测框的交并比，以确定所述畸变单元格的畸变程度；

校正框确定单元，被配置为，基于所述畸变程度，确定用于校正所述畸变单元格的框线和所述框线内的内容的校正框；

仿射变换单元，被配置为，基于所述校正框，对所述畸变单元格的框线和所述框线内的内容进行仿射变换。

11.根据权利要求10所述的装置，其特征在于，所述校正框确定单元被配置为：对所述畸变单元格的框线进行逼近拟合，得到所述畸变单元格的最小外接矩形；

基于所述畸变程度，确定所述最小外接矩形与所述畸变单元格检测框的中间区域校正框作为所述校正框。

12.根据权利要求11所述的装置，其特征在于，所述中间区域校正框的对角线坐标[x1，y1，x2，y2]通过下式来计算：[x1，y1，x2，y2]＝([xa1，ya1，xa2，ya2]+[xb1，yb1，xb2，yb2])×D/2，其中，[xa1，ya1，xa2，ya2]为所述最小外接矩形的对角线坐标，[xb1，yb1，xb2，yb2]为所述畸变单元格检测框的对角线坐标，D为畸变程度，0.5≤D≤1。

13.根据权利要求10所述的装置，其特征在于，所述校正框确定单元被配置为：确定所述畸变单元格的畸变位置；

基于所述畸变程度，对所述畸变位置进行凹凸校正，得到所述校正框。

14.根据权利要求13所述的装置，其特征在于，凹凸校正后的畸变位置的像素点的坐标为[xd±offset_x，yd±offset_y]，其中，[xd，yd]为凹凸校正前的所述畸变位置的像素点的坐标，offset_x为对xd的校正量，offset_y为对yd的校正量，在所述畸变位置仅位于所述畸变单元格的横向框线上的情况下，offset_x＝0，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且，当采用yd+offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，在所述畸变位置仅位于所述畸变单元格的纵向框线上的情况下，offset_y＝0，offset_x＝1/D×100×sin(2×π×xd/(2×W))，并且，当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x＞xp，则offset_x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，则offset_x＝0，在所述畸变位置既位于所述横向框线上又位于所述纵向框线上的情况下，offset_x＝

1/D×100×sin(2×π×xd/(2×W))，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x＞xp，则offset_x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，则offset_x＝0，当采用yd+offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，其中，H为所述畸变单元格检测框的高度，W为所述畸变单元格检测框的宽度，D为畸变程度，0.5≤D≤1，xp为与[xd，yd]在同一纵向框线上的非畸变位置的横坐标，yp为与[xd，yd]在同一横向框线上的非畸变位置的纵坐标。

15.根据权利要求10所述的装置，其特征在于，所述确定单元被配置为：对所述各个单元格分别进行特征提取；

根据所提取的特征来确定所述畸变单元格。

16.根据权利要求10所述的装置，其特征在于，所述图像分割单元被配置为：通过训练好的图像分割模型来对所述畸变表格图像进行图像分割，得到所述畸变表格图像中的各个单元格。

17.根据权利要求10所述的装置，其特征在于，所述目标检测单元被配置为：通过训练好的目标检测模型来对所述畸变表格图像进行目标检测，得到畸变单元格检测框。

18.根据权利要求10所述的装置，其特征在于，所述图像获取单元还被配置为：在获取所述畸变表格图像之后，

将所述畸变表格图像转换为灰度图，得到畸变表格图像灰度图；

将所述畸变表格图像灰度图进行二值化处理，得到二值化后的畸变表格图像。

19.一种电子设备，其特征在于，包括：处理器；

用于存储计算机可执行指令的存储器；

其中，所述计算机可执行指令在被所述处理器运行时，促使所述处理器实现如权利要求1至9中任一项所述的方法。

20.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被处理器执行时，促使所述处理器执行如权利要求1至9中任一项所述的方法。

说明书

校正畸变表格图像中的单元格的方法及装置

技术领域

[0001] 本公开涉及图像处理技术领域，尤其涉及校正畸变表格图像中的单元格的方法及装置。

背景技术

[0002] 目前，表格图像的来源最常见的有：通过扫描仪对文稿进行扫描或通过电子设备的摄像头等对文稿进行拍摄而获得。然而，在实际操作中，不可避免地会出现扫描或拍摄得
到的表格图像带有畸变的情况。在想要对表格图像中的内容进行文字识别(OCR)时，如果图
像中存在畸变则会大大影响识别的准确度。因此，就需要在对表格图像进行文字识别之前，
对表格图像进行校正，以利于文字识别。

发明内容

[0003] 本公开提供一种校正畸变表格图像中的单元格的方法及装置、电子设备、计算机可读存储介质，以至少解决上述相关技术中存在的问题。

[0004] 根据本公开实施例的第一方面，提供一种校正畸变表格图像中的单元格的方法，包括：获取畸变表格图像；对所述畸变表格图像进行图像分割，得到所述畸变表格图像中的
各个单元格；确定所述各个单元格中的畸变单元格；对所述畸变表格图像进行目标检测，得
到畸变单元格检测框；计算所述畸变单元格与对应的所述畸变单元格检测框的交并比，以
确定所述畸变单元格的畸变程度；基于所述畸变程度，确定用于校正所述畸变单元格的框
线和所述框线内的内容的校正框；基于所述校正框，对所述畸变单元格的框线和所述框线
内的内容进行仿射变换。

[0005] 可选地，所述基于所述畸变程度，确定用于校正所述畸变单元格的框线和所述框线内的内容的校正框，包括：对所述畸变单元格的框线进行逼近拟合，得到所述畸变单元格
的最小外接矩形；基于所述畸变程度，确定所述最小外接矩形与所述畸变单元格检测框的
中间区域校正框作为所述校正框。

[0006] 可选地，所述中间区域校正框的对角线坐标[x1，y1，x2，y2]通过下式来计算：[x1，y1，x2，y2]＝([xa1，ya1，xa2，ya2]+[xb1，yb1，xb2，yb2])×D/2，其中，[xa1，ya1，xa2，ya2]
为所述最小外接矩形的对角线坐标，[xb1，yb1，xb2，yb2]为所述畸变单元格检测框的对角
线坐标，D为畸变程度，0.5≤D≤1。

[0007] 可选地，所述基于所述畸变程度，确定用于校正所述畸变单元格的框线和所述框线内的内容的校正框，包括：确定所述畸变单元格的畸变位置；基于所述畸变程度，对所述
畸变位置进行凹凸校正，得到所述校正框。

[0008] 可选地，凹凸校正后的畸变位置的像素点的坐标为[xd±offset_x，yd±offset_y]，其中，[xd，yd]为凹凸校正前的所述畸变位置的像素点的坐标，offset_x为对xd的校正
量，offset_y为对yd的校正量，在所述畸变位置仅位于所述畸变单元格的横向框线上的情
况下，offset_x＝0，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且，当采用yd+
offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑
offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，在所述畸变位置
仅位于所述畸变单元格的纵向框线上的情况下，offset_y＝0，offset_x＝1/D×100×sin
(2×π×xd/(2×W))，并且，当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x
＞xp，则offset_x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，
则offset_x＝0，在所述畸变位置既位于所述横向框线上又位于所述纵向框线上的情况下，
offset_x＝1/D×100×sin(2×π×xd/(2×W))，offset_y＝1/D×100×sin(2×π×yd/(2
×H))，并且当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x＞xp，则offset_
x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，则offset_x＝0，
当采用yd+offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采
用yd‑offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，其中，H为
所述畸变单元格检测框的高度，W为所述畸变单元格检测框的宽度，D为畸变程度，0.5≤D≤
1，xp为与[xd，yd]在同一纵向框线上的非畸变位置的横坐标，yp为与[xd，yd]在同一横向框
线上的非畸变位置的纵坐标。

[0009] 可选地，所述确定所述各个单元格中的畸变单元格，包括：对所述各个单元格分别进行特征提取；根据所提取的特征来确定所述畸变单元格。

[0010] 可选地，通过训练好的图像分割模型来对所述畸变表格图像进行图像分割，得到所述畸变表格图像中的各个单元格。

[0011] 可选地，通过训练好的目标检测模型来对所述畸变表格图像进行目标检测，得到畸变单元格检测框。

[0012] 可选地，所述对所述畸变表格图像进行图像分割和对所述畸变表格图像进行目标检测之前，还包括：将所述畸变表格图像转换为灰度图，得到畸变表格图像灰度图；将所述
畸变表格图像灰度图进行二值化处理，得到二值化后的畸变表格图像。

[0013] 根据本公开实施例的第二方面，提供一种校正畸变表格图像中的单元格的装置，包括：图像获取单元，被配置为，获取畸变表格图像；图像分割单元，被配置为，对所述畸变
表格图像进行图像分割，得到所述畸变表格图像中的各个单元格；确定单元，被配置为，确
定所述各个单元格中的畸变单元格；目标检测单元，被配置为，对所述畸变表格图像进行目
标检测，得到畸变单元格检测框；计算单元，被配置为，计算所述畸变单元格与对应的所述
畸变单元格检测框的交并比，以确定所述畸变单元格的畸变程度；校正框确定单元，被配置
为，基于所述畸变程度，确定用于校正所述畸变单元格的框线和所述框线内的内容的校正
框；仿射变换单元，被配置为，基于所述校正框，对所述畸变单元格的框线和所述框线内的
内容进行仿射变换。

[0014] 可选地，所述校正框确定单元被配置为：对所述畸变单元格的框线进行逼近拟合，得到所述畸变单元格的最小外接矩形；基于所述畸变程度，确定所述最小外接矩形与所述
畸变单元格检测框的中间区域校正框作为所述校正框。

[0015] 可选地，所述中间区域校正框的对角线坐标[x1，y1，x2，y2]通过下式来计算：[x1，y1，x2，y2]＝([xa1，ya1，xa2，ya2]+[xb1，yb1，xb2，yb2])×D/2，其中，[xa1，ya1，xa2，ya2]
为所述最小外接矩形的对角线坐标，[xb1，yb1，xb2，yb2]为所述畸变单元格检测框的对角
线坐标，D为畸变程度，0.5≤D≤1。

[0016] 可选地，所述校正框确定单元被配置为：确定所述畸变单元格的畸变位置；基于所述畸变程度，对所述畸变位置进行凹凸校正，得到所述校正框。

[0017] 可选地，凹凸校正后的畸变位置的像素点的坐标为[xd±offset_x，yd±offset_y]，其中，[xd，yd]为凹凸校正前的所述畸变位置的像素点的坐标，offset_x为对xd的校正
量，offset_y为对yd的校正量，在所述畸变位置仅位于所述畸变单元格的横向框线上的情
况下，offset_x＝0，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且，当采用yd+
offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑
offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，在所述畸变位置
仅位于所述畸变单元格的纵向框线上的情况下，offset_y＝0，offset_x＝1/D×100×sin
(2×π×xd/(2×W))，并且，当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x
＞xp，则offset_x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，
则offset_x＝0，在所述畸变位置既位于所述横向框线上又位于所述纵向框线上的情况下，
offset_x＝1/D×100×sin(2×π×xd/(2×W))，offset_y＝1/D×100×sin(2×π×yd/(2
×H))，并且当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x＞xp，则offset_
x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，则offset_x＝0，
当采用yd+offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采
用yd‑offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，其中，H为
所述畸变单元格检测框的高度，W为所述畸变单元格检测框的宽度，D为畸变程度，0.5≤D≤
1，xp为与[xd，yd]在同一纵向框线上的非畸变位置的横坐标，yp为与[xd，yd]在同一横向框
线上的非畸变位置的纵坐标。

[0018] 可选地，所述确定单元被配置为：对所述各个单元格分别进行特征提取；根据所提取的特征来确定所述畸变单元格。

[0019] 可选地，所述图像分割单元被配置为：通过训练好的图像分割模型来对所述畸变表格图像进行图像分割，得到所述畸变表格图像中的各个单元格。

[0020] 可选地，所述目标检测单元被配置为：通过训练好的目标检测模型来对所述畸变表格图像进行目标检测，得到畸变单元格检测框。

[0021] 可选地，所述图像获取单元还被配置为：在获取所述畸变表格图像之后，将所述畸变表格图像转换为灰度图，得到畸变表格图像灰度图；将所述畸变表格图像灰度图进行二
值化处理，得到二值化后的畸变表格图像。

[0022] 根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储计算机可执行指令的存储器；其中，所述计算机可执行指令在被所述处理器运行时，促使所述处
理器实现如上所述的方法。

[0023] 根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被处理器执行时，促使所述处理器执行如上所述的方法。

[0024] 本公开的实施例提供的技术方案至少带来以下有益效果：

[0025] 根据本公开的校正畸变表格图像中的单元格的方法和装置，能够对畸变表格图像中的单元格的框线和框线内的内容进行校正，以利于文字识别。

[0026] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

[0027] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

[0028] 图1是示出根据本公开的示例性实施例的校正畸变表格图像中的单元格的方法的实施场景示意图。

[0029] 图2是示出根据本公开的示例性实施例的校正畸变表格图像中的单元格的方法的流程图。

[0030] 图3是用于说明交并比的示意图。

[0031] 图4是示出根据本公开的示例性实施例的校正畸变表格图像中的单元格的装置的框图。

[0032] 图5是示出根据本公开的示例性实施例的电子设备的框图。

具体实施方式

[0033] 为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

[0034] 需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的
所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致
的装置和方法的例子。

[0035] 在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的
情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；
(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情
况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

[0036] 目前，通过扫描或拍摄获取到的表格图像，不可避免地会存在一些畸变。这大大影响了后续对表格图像进行文字识别的准确度。

[0037] 为此，本公开提供了一种校正畸变表格图像中的单元格的方法和装置，能够对畸变表格图像中的单元格的框线和框线内的内容(文字等)进行校正，进而提高后续文字识别
的准确度。

[0038] 图1是示出根据本公开的示例性实施例的校正畸变表格图像中的单元格的方法的实施场景示意图。如图1所示，该实施场景包括服务器100、用户终端110和120。其中，用户终
端110、120和服务器100都可以用来实施本公开的校正畸变表格图像中的单元格的方法，还
可以在通过用户终端110、120获取了畸变表格图像之后，利用服务器100来进行校正。此时，
服务器100能够与用户终端110、120进行双向通信。用户终端并不限于图中所示的数量和种
类，包括并不限于具有摄像功能的智能手机、平板电脑等移动终端和个人计算机等，还可以
包括其他任何能够进行拍摄或扫描的电子设备。服务器100可以是单个服务器，也可以是若
干个服务器组成的服务器集群，还可以是云计算平台或虚拟化中心。

[0039] 接下来，参照图2～图4对根据本公开的示例性实施例的校正畸变表格图像中的单元格的方法和装置进行说明。

[0040] 图2是示出根据本公开的示例性实施例的校正畸变表格图像中的单元格的方法的流程图。

[0041] 如图2所示，在步骤S210，获取畸变表格图像。这里，畸变表格图像为在正常的未发生任何变形的表格图像上产生有畸变的图像。可以通过现有的各种方法来获取畸变表格图
像。并且，畸变表格图像可以是在扫描或拍摄带有表格的文稿时由于操作不当而导致畸变
的图像。这里所说的畸变可以是指表格图像中的一部分未处于正常位置而发生变形的情
况。

[0042] 然后，在步骤S220，对步骤S210中获取的畸变表格图像进行图像分割，得到畸变表格图像中的各个单元格。这里，可以通过现有的各种图像分割方法来得到畸变表格图像中
的各个单元格。根据本公开的示例性实施例，可以通过训练好的图像分割模型来对畸变表
格图像进行图像分割，得到畸变表格图像中的各个单元格。这里，训练好的图像分割模型为
预先根据图像分割的目标进行训练而得到的。由此，能够准确地得到畸变表格图像中的各
个单元格。此外，在对所述畸变表格图像进行图像分割之前可以对畸变表格图像进行如下
所述的预处理，以利于图像分割。

[0043] 根据本公开的示例性实施例，在步骤S220之前，可以还包括：将畸变表格图像转换为灰度图，得到畸变表格图像灰度图；然后，将畸变表格图像灰度图进行二值化处理，得到
二值化后的畸变表格图像。即，在畸变表格图像不是灰度图的情况下，将其转换为灰度图，
然后，将该灰度图中的像素点的灰度值设置为0或255(对于阈值法二值化，小于阈值时设置
为255，大于阈值时设置为0)，从而得到二值化(并反色)后的畸变表格图像。这里，可以通过
现有的各种方法将畸变表格图像转换为灰度图。也可以通过现有的各种方法来进行二值化
处理。例如，可以通过适当的阈值选取来获得能够反映图像整体和局部特征的二值化图像。
通过对畸变表格图像进行这样的预处理，能够便于后续的图像分割和目标检测。

[0044] 然后，在步骤S230中，确定图像分割得到的各个单元格中的畸变单元格。这里，畸变单元格为带有畸变的单元格。可以通过现有的各种方法来确定各个单元格中带有畸变的
单元格。

[0045] 根据本公开的示例性实施例，步骤S230可以包括：对各个单元格分别进行特征提取，然后根据所提取的特征来确定畸变单元格。例如，可以根据单元格的框线特征等能够表
示单元格发生畸变的特征来判断单元格是否为畸变单元格。可以通过现有的各种方法来提
取特征，也可以通过预定的特征提取模型来进行特征提取。

[0046] 然后，在步骤S240中，对步骤S210中获取的畸变表格图像进行目标检测，得到畸变单元格检测框。这里，目标检测的目标为畸变单元格。同样地，在对所述畸变表格图像进行
目标检测之前也可以先对畸变表格图像进行预处理，以利于目标检测。预处理的具体方法
如上所述。这里，可以通过现有的各种目标检测方法来检测出畸变单元格检测框。根据本公
开的示例性实施例，可以通过训练好的目标检测模型来对畸变表格图像进行目标检测，得
到畸变单元格检测框。这里，训练好的目标检测模型为预先根据要检测的目标进行训练而
得到的。目标检测模型可以采用Yolov3网络，且Yolov3网络中包括：Darkent53(特征提取器
模型)、FPN(特征金字塔网络)、Yolo Head函数等。在本发明中，将畸变单元格检测框的大小
作为畸变单元格在正常情况下的单元格的大小，以用于确定畸变程度。应予说明，步骤S240
和步骤S220的顺序可以调换，也可以同时执行，对本发明的执行没有影响。

[0047] 然后，在步骤S250中，计算图像分割得到的畸变单元格与对应的畸变单元格检测框的交并比，以确定畸变单元格的畸变程度。这里，交并比(Intersection over union，
IoU)为畸变单元格与畸变单元格检测框的相交面积与相并面积之比(如图3所示)，用来衡
量两者的相似度。交并比的取值范围在0和1之间，0表示两者无重合像素，1表示两者相等。
在本发明中，交并比与畸变程度是线性对应关系，交并比越大，则畸变程度越小，交并比越
小，则畸变程度越大。这里，可以通过现有的各种方法来基于交并比确定畸变单元格的畸变
程度。

[0048] 然后，在步骤S260中，基于畸变程度，确定用于校正畸变单元格的框线和框线内的内容的校正框。

[0049] 根据本公开的示例性实施例，步骤S260可以包括：对畸变单元格的框线进行逼近拟合，得到畸变单元格的最小外接矩形。然后，基于畸变程度，确定最小外接矩形与畸变单
元格检测框的中间区域校正框作为校正框。即，取最小外接矩形与畸变单元格检测框之间
的中间区域作为校正框。这里，可以通过现有逼近拟合方法来得到最小外接矩形。

[0050] 根据本公开的示例性实施例，最小外接矩形与畸变单元格检测框的中间区域校正框的对角线坐标[x1，y1，x2，y2]可以通过下式来计算：

[0051] [x1，y1，x2，y2]＝([xa1，ya1，xa2，ya2]+[xb1，yb1，xb2，yb2])×D/2，

[0052] 其中，[xa1，ya1，xa2，ya2]为最小外接矩形的对角线坐标，[xb1，yb1，xb2，yb2]为畸变单元格检测框的对角线坐标，D为畸变程度，0.5≤D≤1。由此，能够得到用于校正畸变
单元格的框线和框线内的内容的校正框。

[0053] 此外，根据本公开的示例性实施例，步骤S260可以包括：确定畸变单元格的畸变位置。然后，基于畸变程度，对畸变位置进行凹凸校正，得到校正框。这里，可以通过现有的各
种方法来确定畸变单元格的畸变位置。然后，可以通过基于畸变程度，对例如凹陷的畸变位
置进行凸起校正，对例如凸起的畸变位置进行凹陷校正，从而得到校正框。

[0054] 根据本公开的示例性实施例，可以将凹凸校正后的畸变位置的像素点的坐标设为[xd±offset_x，yd±offset_y]，其中，[xd，yd]为凹凸校正前的畸变位置的像素点的坐标，
offset_x为对xd的校正量，offset_y为对yd的校正量。此时，在畸变位置仅位于畸变单元格
的横向框线上的情况下，仅对纵坐标进行校正，offset_x＝0，offset_y＝1/D×100×sin(2
×π×yd/(2×H))，并且，当采用yd+offset_y的方式对yd进行校正时(即，该畸变位置为向
下畸变时)，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑offset_y的方式对yd进行校
正时(即，该畸变位置为向上畸变时)，如果yd‑offset_y＜yp，则offset_y＝0。

[0055] 此外，在畸变位置仅位于畸变单元格的纵向框线上的情况下，仅对横坐标进行校正，offset_y＝0，offset_x＝1/D×100×sin(2×π×xd/(2×W))，并且，当采用xd+offset_
x的方式对xd进行校正时(即，该畸变位置为向左畸变时)，如果xd+offset_x＞xp，则
offset_x＝0，当采用xd‑offset_x的方式对xd进行校正时(即，该畸变位置为向右畸变时)，
如果xd‑offset_x＜xp，则offset_x＝0。

[0056] 此外，在畸变位置既位于横向框线上又位于纵向框线上(即，横向框线与纵向框线的交点)的情况下，分别对横坐标和纵坐标进行校正，offset_x＝1/D×100×sin(2×π×
xd/(2×W))，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且当采用xd+offset_x的方
式对xd进行校正时(即，该畸变位置为向左畸变时)，如果xd+offset_x＞xp，则offset_x＝
0，当采用xd‑offset_x的方式对xd进行校正时(即，该畸变位置为向右畸变时)，如果xd‑
offset_x＜xp，则offset_x＝0，当采用yd+offset_y的方式对yd进行校正时(即，该畸变位
置为向下畸变时)，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑offset_y的方式对yd
进行校正时(即，该畸变位置为向上畸变时)，如果yd‑offset_y＜yp，则offset_y＝0。其中，
H为畸变单元格检测框的高度，W为畸变单元格检测框的宽度，D为畸变程度，0.5≤D≤1。这
里，xp为与[xd，yd]在同一纵向框线上的非畸变位置的横坐标。应予说明，发生畸变的纵向
框线上存在畸变位置和非畸变位置，在对畸变位置进行校正时，可以根据该纵向框线上的
非畸变位置的横坐标来限制校正的过度进行。yp为与[xd，yd]在同一横向框线上的非畸变
位置的纵坐标。同样地，发生畸变的横向框线上存在畸变位置和非畸变位置，在对畸变位置
进行校正时，可以根据该横向框线上的非畸变位置的纵坐标来限制校正的过度进行。

[0057] 由此，能够得到用于校正畸变单元格的框线和框线内的内容的校正框。

[0058] 然后，在步骤S270中，基于上述得到的校正框，对畸变单元格的框线和框线内的内容进行仿射变换。由此，畸变单元格的框线和框线内的内容得到了校正。

[0059] 根据本公开示例性实施例的校正畸变表格图像中的单元格的方法，能够对畸变表格图像中的单元格的框线和框线内的内容进行校正，以利于文字识别。

[0060] 图4是示出根据本公开的示例性实施例的校正畸变表格图像中的单元格的装置的框图。

[0061] 如图4所示，校正畸变表格图像中的单元格的装置400包括：图像获取单元410、图像分割单元420、确定单元430、目标检测单元440、计算单元450、校正框确定单元460和仿射
变换单元470。

[0062] 其中，图像获取单元410被配置为，获取畸变表格图像。

[0063] 根据本公开的示例性实施例，图像获取单元410还可以被配置为：在获取畸变表格图像之后，对畸变表格图像进行预处理，将畸变表格图像转换为灰度图，得到畸变表格图像
灰度图。然后将畸变表格图像灰度图进行二值化处理，得到二值化后的畸变表格图像。由
此，便于后续的图像分割和目标检测。

[0064] 图像分割单元420被配置为，对由图像获取单元410得到的畸变表格图像进行图像分割，得到畸变表格图像中的各个单元格。

[0065] 根据本公开的示例性实施例，图像分割单元420可以被配置为：通过训练好的图像分割模型来对畸变表格图像进行图像分割，得到畸变表格图像中的各个单元格。

[0066] 确定单元430被配置为，确定图像分割单元420进行图像分割得到的各个单元格中的畸变单元格。

[0067] 根据本公开的示例性实施例，确定单元430可以被配置为，对各个单元格分别进行特征提取，然后，根据所提取的特征来确定畸变单元格。

[0068] 目标检测单元440被配置为，对由图像获取单元410得到的畸变表格图像进行目标检测，得到畸变单元格检测框。

[0069] 根据本公开的示例性实施例，目标检测单元440可以被配置为：通过训练好的目标检测模型来对畸变表格图像进行目标检测，得到畸变单元格检测框。

[0070] 计算单元450被配置为，计算畸变单元格与对应的畸变单元格检测框的交并比，以确定畸变单元格的畸变程度。

[0071] 校正框确定单元460被配置为，基于畸变程度，确定用于校正畸变单元格的框线和框线内的内容的校正框。

[0072] 根据本公开的示例性实施例，校正框确定单元460可以被配置为：对畸变单元格的框线进行逼近拟合，得到畸变单元格的最小外接矩形。然后，基于畸变程度，确定最小外接
矩形与畸变单元格检测框的中间区域校正框作为校正框。

[0073] 根据本公开的示例性实施例，中间区域校正框的对角线坐标[x1，y1，x2，y2]通过下式来计算：[x1，y1，x2，y2]＝([xa1，ya1，xa2，ya2]+[xb1，yb1，xb2，yb2])×D/2，其中，
[xa1，ya1，xa2，ya2]为最小外接矩形的对角线坐标，[xb1，yb1，xb2，yb2]为畸变单元格检测
框的对角线坐标，D为畸变程度，0.5≤D≤1。由此，能够得到用于校正畸变单元格的框线和
框线内的内容的校正框。

[0074] 此外，根据本公开的示例性实施例，校正框确定单元460可以被配置为：确定畸变单元格的畸变位置。然后，基于畸变程度，对畸变位置进行凹凸校正，得到校正框。

[0075] 根据本公开的示例性实施例，凹凸校正后的畸变位置的像素点的坐标为[xd±offset_x，yd±offset_y]，其中，[xd，yd]为凹凸校正前的畸变位置的像素点的坐标，
offset_x为对xd的校正量，offset_y为对yd的校正量，在畸变位置仅位于畸变单元格的横
向框线上的情况下，offset_x＝0，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且，当
采用yd+offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采用
yd‑offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，在畸变位置
仅位于畸变单元格的纵向框线上的情况下，offset_y＝0，offset_x＝1/D×100×sin(2×π
×xd/(2×W))，并且，当采用xd+offset_x的方式对xd进行校正时，如果xd+offset_x＞xp，
则offset_x＝0，当采用xd‑offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，则
offset_x＝0，在畸变位置既位于横向框线上又位于纵向框线上的情况下，offset_x＝1/D
×100×sin(2×π×xd/(2×W))，offset_y＝1/D×100×sin(2×π×yd/(2×H))，并且当采
用xd+offset_x的方式对xd进行校正时，如果xd+offset_x＞xp，则offset_x＝0，当采用xd‑
offset_x的方式对xd进行校正时，如果xd‑offset_x＜xp，则offset_x＝0，当采用yd+
offset_y的方式对yd进行校正时，如果yd+offset_y＞yp，则offset_y＝0，当采用yd‑
offset_y的方式对yd进行校正时，如果yd‑offset_y＜yp，则offset_y＝0，其中，H为畸变单
元格检测框的高度，W为畸变单元格检测框的宽度，D为畸变程度，0.5≤D≤1，xp为与[xd，
yd]在同一纵向框线上的非畸变位置的横坐标，yp为与[xd，yd]在同一横向框线上的非畸变
位置的纵坐标。

[0076] 由此，能够得到用于校正畸变单元格的框线和框线内的内容的校正框。

[0077] 仿射变换单元470被配置为，基于上述校正框，对畸变单元格的框线和框线内的内容进行仿射变换。由此，畸变单元格的框线和框线内的内容得到了校正。

[0078] 根据本公开示例性实施例的校正畸变表格图像中的单元格的装置，能够对畸变表格图像中的单元格的框线和框线内的内容进行校正，以利于文字识别。

[0079] 应该理解，根据本公开的示例性实施例的校正畸变表格图像中的单元格的装置可执行上述参照图2描述的方法，为了避免重复，在此不再赘述。

[0080] 图5示出根据本公开的示例性实施例的电子设备的框图。

[0081] 该电子设备500包括至少一个存储器510和至少一个处理器520，所述至少一个存储器中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器执行
时，促使至少一个处理器520执行根据本公开的示例性实施例的校正畸变表格图像中的单
元格的方法。

[0082] 作为示例，电子设备500可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备500并非必须是单个的电子设备，还可
以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备500
还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由
无线传输)以接口互联的便携式电子设备。

[0083] 在电子设备500中，处理器520可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器520还可包括
模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

[0084] 处理器520可运行存储在存储器中的指令或代码，其中，存储器510还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采
用任何已知的传输协议。

[0085] 存储器510可与处理器520集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器510可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库
系统可使用的其他存储装置。存储器510和处理器520可在操作上进行耦合，或者可例如通
过I/O端口、网络连接等互相通信，使得处理器520能够读取存储在存储器510中的文件。

[0086] 此外，电子设备500还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。

[0087] 根据本公开的示例性实施例，还可提供一种计算机可读存储介质，其中，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行本公开的示例
性实施例的校正畸变表格图像中的单元格的方法。这里的计算机可读存储介质的示例包
括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器
(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器
(SRAM)、闪存、非易失性存储器、CD‑ROM、CD‑R、CD+R、CD‑RW、CD+RW、DVD‑ROM、DVD‑R、DVD+R、
DVD‑RW、DVD+RW、DVD‑RAM、BD‑ROM、BD‑R、BD‑R LTH、BD‑RE、蓝光或光盘存储器、硬盘驱动器
(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、
磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述
任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件
和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理
器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计
算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此
外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的
计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或
多个处理器或计算机以分布式方式存储、访问和执行。

[0088] 根据本公开的示例性实施例，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现本公开的示例性实施例的校正畸变表格图像中的单元格的方
法。

[0089] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或
者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识
或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的
权利要求指出。

[0090] 应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。