一种图像预处理方法、装置及系统转让专利
申请号 : CN202211512612.X
文献号 : CN115623217B
文献日 : 2023-03-21
发明人 : 陈越 , 涂海燕 , 陈思帆
申请人 : 泉州艾奇科技有限公司
摘要 :
本申请涉及图像处理领域，特别是涉及一种图像预处理方法、装置及系统，该图像预处理方法包括：基于摄像头对Bayer Raw格式的原始图片进行裁剪并输出非标准大小的图像数据；基于控制单元将所述非标准大小的图像数据转换为感兴趣的图像数据；基于无线单元发送所述感兴趣的图像数据；其中，上述处理过程中图像格式始终保持为Bayer Raw格式。本申请通过设置使摄像头输出Bayer Raw格式的数据，并且只传输感兴趣的部分数据，可以在很大程度上减少需要传输的数据量，降低对无线带宽的需要，并且传输Bayer Raw格式图像数据，可以最大可能地保留图像的原始信息，有利于后续图像的处理。
权利要求 :
1.一种图像预处理方法，其特征在于，包括：
基于摄像头对Bayer Raw格式的原始图片进行裁剪并输出非标准大小的图像数据；
基于控制单元将所述非标准大小的图像数据转换为感兴趣的图像数据；
基于无线单元发送所述感兴趣的图像数据；
其中，上述处理过程中图像格式始终保持为Bayer Raw格式；
所述非标准大小的图像数据为正方形图像数据；
所述感兴趣的图像数据为圆形图像数据；
所述将所述非标准大小的图像数据转换为感兴趣的图像数据，包括：建立所述正方形图像数据的内存缓冲区pRectBuf，建立所述圆形图像数据的内存缓冲区pCirBuf，建立直角坐标系，计算所述圆形图像数据区域内每一行的起始点在所述正方形图像数据区域中的对应位置，并计算所述圆形图像数据区域内每一行的长度，逐行从所述pRectBuf中拷贝数据到所述pCirBuf中；其中，所述圆形图像数据的直径小于或等于所述正方形图像数据的边长，并且所述圆形图像数据的中心点与所述正方形图像数据的中心点重合；
所述发送所述感兴趣的图像数据，包括：分配每次发送的内存缓冲区pBuf，将所述pCirBuf中的数据分段拷贝到所述pBuf中；
将分段发送的数据用segment表示，所述逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，包括：每次从所述pRectBuf中拷贝一个segment的数据放入pCirBuf中，再从所述pCirBuf中拷贝到所述pBuf中，当所述pBuf中的数据送到发送缓存等待发送至外部时，从所述pRectBuf中拷贝下一个segment的数据到所述pBuf中，以此循环拷贝发送，直至所述pRectBuf中对应感兴趣区域的数据都被发送出去。
2.如权利要求1所述的图像预处理方法，其特征在于：在所述摄像头中，通过设置寄存器，使所述摄像头输出Bayer Raw格式的所述正方形图像数据。
3.一种图像预处理装置，其特征在于，包括：
存储器，用于存储图像数据、缓存数据和图像预处理程序；
处理器，在运行所述图像预处理程序时执行权利要求1‑2任一项所述图像预处理方法的步骤。
4.一种图像预处理系统，其特征在于，包括：
摄像头，用于获取图像；
图像预处理装置，用于采用如权利要求1‑2任一项所述图像预处理方法获取感兴趣的图像数据；
用户终端，用于将所述感兴趣的图像数据进行解码并显示。
说明书 :
一种图像预处理方法、装置及系统
技术领域
[0001] 本申请涉及图像处理领域，特别是涉及一种图像预处理系统及方法。
背景技术
[0002] 如图1所示，在传统无线图像传输中，摄像头输出标准大小（如640像素X480像素）的RGB565/YUV格式图像数据，经过硬件图像编码模块（MCU内置或外挂）编码输出MJPG、H263、H264、MPEG2等图像数据，然后通过wifi模块（MCU内置或外挂）发送出去，用户端（如手机APP）收到后解码并输出显示。
[0003] 针对上述中的相关技术，发明人认为：对RGB565/YUV格式图像进行传输时，存在传输数据量大等问题；对图像编码成MJPG、H263、H264、MPEG2等进行传输时，存在图像数据失真、要求有编码器等问题。
发明内容
[0004] 为了解决上述问题，本申请提供一种图像预处理方法、装置及系统。
[0005] 第一方面，本申请提供一种图像预处理方法，采用如下的技术方案：
[0006] 一种图像预处理方法，包括：
[0007] 基于摄像头对Bayer Raw格式的原始图片进行裁剪并输出非标准大小的图像数据；
[0008] 基于控制单元将所述非标准大小的图像数据转换为感兴趣的图像数据；
[0009] 基于无线单元发送所述感兴趣的图像数据；
[0010] 其中，上述处理过程中图像格式始终保持为Bayer Raw格式。
[0011] 可选的，所述非标准大小的图像数据为正方形图像数据。
[0012] 可选的，在所述摄像头中，通过设置寄存器，使所述摄像头输出Bayer Raw格式的所述正方形图像数据。
[0013] 可选的，所述感兴趣的图像数据为圆形图像数据。
[0014] 可选的，所述将所述非标准大小的图像数据转换为感兴趣的图像数据，包括：建立所述正方形图像数据的内存缓冲区pRectBuf，建立所述圆形图像数据的内存缓冲区pCirBuf，建立直角坐标系，计算所述圆形图像数据区域内每一行的起始点在所述正方形图像数据区域中的对应位置，并计算所述圆形图像数据区域内每一行的长度，逐行从所述pRectBuf中拷贝数据到所述pCirBuf中；其中，所述圆形图像数据的直径小于或等于所述正方形图像数据的边长，并且所述圆形图像数据的中心点与所述正方形图像数据的中心点重合。
[0015] 可选的，所述发送所述感兴趣的图像数据，包括：分配每次发送的内存缓冲区pBuf，将所述pCirBuf中的数据分段拷贝到所述pBuf中。
[0016] 可选的，所述逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，包括：一次性把同一帧中的全部数据逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，并在每次发送时，将所述pCirBuf中的数据分段拷贝到所述pBuf中。
[0017] 可选的，将分段发送的数据用segment表示，所述逐行从所述pRectBuf中拷贝数据到所述pCirBuf中，包括：每次从所述pRectBuf中拷贝一个segment的数据到所述pBuf中，当所述pBuf中的数据送到发送缓存等待发送至外部时，从所述pRectBuf中拷贝下一个segment的数据到所述pBuf中，以此循环拷贝发送，直至所述pRectBuf中对应感兴趣区域的数据都被发送出去。
[0018] 第二方面，本申请还提供一种图像预处理装置，采用如下的技术方案：
[0019] 一种图像预处理装置，包括：
[0020] 存储器，用于存储图像数据、缓存数据和图像预处理程序；
[0021] 处理器，在运行所述图像预处理程序时执行上述图像预处理方法的步骤。
[0022] 第三方面，本申请还提供一种图像预处理系统，采用如下的技术方案：
[0023] 一种图像预处理系统，包括：
[0024] 摄像头，用于获取图像；
[0025] 图像预处理装置，用于采用上述图像预处理方法获取感兴趣的图像数据；
[0026] 用户终端，用于将所述感兴趣的图像数据进行解码并显示。
[0027] 综上所述，本申请具有如下有益效果：
[0028] 1、通过设置使摄像头输出Bayer Raw格式的数据，并且只传输感兴趣的部分数据（即上述的圆形图像数据），可以在很大程度上减少需要传输的数据量，降低对无线带宽的需要。
[0029] 2、传输Bayer Raw格式图像数据，可以最大可能地保留图像的原始信息，有利于后续图像的处理。
[0030] 3、由于在无线单元发送之前的处理过程中图像格式始终保持为Bayer Raw格式，因此，处理单元（MCU）无需具备编解码硬件，节约了硬件成本。
附图说明
[0031] 图1为传统无线图像传输系统原理框图。
[0032] 图2为本申请图像预处理终端原理框图。
[0033] 图3为本申请图像预处理方法流程示意图。
[0034] 图4为本申请一实施例中建立直角坐标系计算圆形图像数据区域的示意图。
[0035] 图5为本申请一实施例中图像数据大小示意图。
具体实施方式
[0036] 在传统无线图像传输中，摄像头通常输出标准大小（如640像素X480像素）的RGB565/YUV格式图像数据，为了适应无线传输环境，减小传送过程中的图像数据量，设备端的MCU往往通过MJPG、H263、H264、MPEG2等编码方式对标准大小图像进行编码，压缩视频大小，以匹配无线传输的需要。而这些压缩通常都是根据人眼视觉特性进行的有损压缩，会损失图像细节，给后续图像的处理带来不利影响。例如，在需要实时获取图像的特征值进行运算时，我们发现，经过压缩的图像因为数据失真等问题，导致算法失败。同时，这些压缩处理对硬件有较高的要求，通常需要硬件图像编码模块支持，而大部分MCU并不具备硬件图像编码模块，选用具备硬件图像编码模块的MCU又会增加硬件成本。
[0037] 下面结合说明书附图对本申请的实施例作详细描述，但该实施例不应理解为对本申请的限制。
[0038] 如图2所示，本申请实施例提供一种图像预处理终端，该终端包括摄像头、用户终端和图像预处理装置。摄像头用于获取图像，图像预处理装置包括存储器和处理器；存储器用于存储图像数据、缓存数据和图像预处理程序；处理器在运行图像预处理程序时执行以下图像预处理方法的步骤，以获取感兴趣的图像数据，用户终端用于将感兴趣的图像数据进行解码并显示。
[0039] 下面结合图像预处理终端对图像预处理方法的实施进行详细说明：
[0040] 如图3所示，本申请实施例提供一种图像预处理方法，应用于无线图像传输中，在无线单元发送之前以及无线单元发送时的处理过程中图像格式始终保持为Bayer Raw格式，该方法包括：
[0041] S1：基于摄像头对Bayer Raw格式的原始图片进行裁剪并输出非标准大小的图像数据，其中，非标准大小的图像数据为正方形图像数据；
[0042] 具体来说，在摄像头中，通过设置寄存器，使摄像头输出Bayer Raw格式的正方形图像数据。
[0043] S2：基于控制单元将非标准大小的图像数据转换为感兴趣的图像数据，其中，感兴趣的图像数据为圆形图像数据；
[0044] 具体来说，建立正方形图像数据的内存缓冲区pRectBuf，建立圆形图像数据的内存缓冲区pCirBuf，建立直角坐标系，计算圆形图像数据区域内每一行的起始点在正方形图像数据区域中的对应位置，并计算圆形图像数据区域内每一行的长度L，逐行从pRectBuf中拷贝数据到pCirBuf中；其中，圆形图像数据的直径小于或等于正方形图像数据的边长，并且圆形图像数据的中心点与正方形图像数据的中心点重合。
[0045] 如图4所示，在本实施例中，取圆形图像数据的直径2R等于正方形图像数据的边长（正方形图像数据的边长等于2R），圆形图像数据区域内任一行起始点坐标(XL，Y0)和长度L的计算公式如下：
[0046] （取整数），其中，Y0为整数，且Y0∈[0,2R]，XR为该行终点横坐标。
[0047] 。
[0048] L=XR–XL。
[0049] 其中，当Y0=0或Y0=2R，即：XR=XL=R时，L=0，此时表示该行起始点与终点重合为一个点，因此仅需要拷贝该点的数据。
[0050] 上述逐行从pRectBuf中拷贝数据到pCirBuf中，具体表示为：按照从上至下、每行自起始点至终点的顺序，将pRectBuf中对应的圆形图像数据逐行拷贝到pCirBuf中。
[0051] S3：基于无线单元发送感兴趣的图像数据；
[0052] 具体来说，包括：分配每次发送的内存缓冲区pBuf，将pCirBuf中的数据分段拷贝到pBuf中。
[0053] 在本申请一实施例中，上述逐行从pRectBuf中拷贝数据到pCirBuf中，包括：一次性把同一帧中的全部数据逐行从pRectBuf中拷贝数据到pCirBuf中，并在每次发送时，将pCirBuf中的数据分段拷贝到pBuf中。
[0054] 在本申请另一实施例中，将分段发送的数据用segment表示，上述逐行从pRectBuf中拷贝数据到pCirBuf中，分配每次发送的内存缓冲区pBuf，将pCirBuf中的数据分段拷贝到pBuf中，包括：每次从所述pRectBuf中拷贝一个segment的数据到pBuf中，当pBuf中的数据送到发送缓存等待发送至外部时，从pRectBuf中拷贝下一个segment的数据到pBuf中，以此循环拷贝发送，直至pRectBuf中对应感兴趣区域的数据都被发送出去。可以理解的是，拷贝的segment数据可以直接放入pBuf中，也可以先放入pCirBuf中，再从pCirBuf中拷贝放入pBuf中。
[0055] S4：基于用户终端将圆形图像数据进行解码并显示。
[0056] 具体来说，用户终端（本实施例采用手机APP）接收圆形图像数据后，利用手机的强大算力（相较于控制单元），根据上述直角坐标系还原并解码圆形图像数据为RGB等格式图像并显示。用户终端接收到的圆形图像数据为Bayer Raw格式，最大可能的保留了图像的原始信息，可以理解的是，在用户终端进行解码/显示之前，还可以根据实际情况对圆形图像数据进行处理，减少了数据失真等问题。
[0057] 在Bayer Raw格式的数据中，每个像素点只需要占用一个Byte空间，而传统的RGB565/YUV格式中，每个像素点需要占用2Bytes空间，本申请实施例通过设置使摄像头输出Bayer Raw格式的数据，并且只传输感兴趣的部分数据（即上述的圆形图像数据），可以在很大程度上减少需要传输的数据量，降低对无线带宽的需要。而且，传输Bayer Raw格式图像数据，可以最大可能地保留图像的原始信息，有利于后续图像的处理。
[0058] 举例来说，如图5所示，摄像头原始输出大小是长方形的图像数据（640像素X480像素），通过设置，使摄像头输出正方形图像数据（480像素X480像素），而我们感兴趣的部分是圆形区域。摄像头输出的数据保存在480像素X480像素大小的一个连续内存缓冲区里，用pRectBuf表示，圆形区域的数据内存缓冲区用pCirBuf表示。我们通过计算得到感兴趣的圆形区域内每一行的起始点(XL，Y0)对应在pRectBuf里的位置，并且能够计算得到感兴趣的圆形区域内每一行的长度L，然后逐行从pRectBuf中拷贝数据到pCirBuf中，这样就得到了我们感兴趣区域的数据。传输到用户终端（手机APP）后，在手机APP端用相反的计算方法还原，然后处理和显示图像。
[0059] 如果按照传统的方法，需要传输640X480大小的RGB565/YUV格式图像，每帧图像大小是614400Bytes (640X480 X 2Bytes/pixel)，采用本申请的方法，只取感兴趣圆形区域，并采用Bayer Raw格式，每帧图像大小是180864Bytes。数据量减少至原来的29.4%大小，极大的减少了需要传输的数据量，降低了对无线带宽的需要。
[0060] 基于上述同一发明构思，本申请实施例提供一种计算机可读存储介质，包括能够被处理器加载执行时实现方法流程中所述的各个步骤。
[0061] 所述计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0062] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0063] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。所述集成的单元如果以软件功能单元的形式实现并作为单独的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备或处理器执行本申请各个实施例所述方法的全部或部分步骤。
[0064] 以上实施例仅用以对本申请的技术方案进行详细介绍，但以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，不应理解为对本申请的限制。本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。