一种用于谷物联合收割机的视觉导航路径识别系统转让专利

申请号 : CN201410132110.3

文献号 : CN103914071B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 吴刚谭彧张成涛尹彦鑫

申请人 : 中国农业大学

摘要 :

本发明涉及一种用于谷物联合收割机的视觉导航路径识别系统,装载该系统并在驾驶员对正收割线后,系统可以通过摄像头(摄像机)自动检测谷物联合收割机导航路径的直线参数,并进行导航路径规划形成导航路径信息,最后将导航路径信息通过基于I2C总线的ARM内核I2C总线与单片机通信单元传递给基于单片机的联合收割机视觉导航转向控制系统。本发明所述的用于谷物联合收割机的视觉导航路径识别系统,将图像处理技术及达芬奇技术(DSP技术)相结合,系统功耗低,设备小型化,安装方便,提高了谷物联合收割机的导航路径识别速度及精度,具有较高的实时性、准确性及鲁棒性,适合于推广使用。

权利要求 :

1.一种用于谷物联合收割机的视觉导航路径识别系统,其特征在于,包括:

摄像头(1),安装在谷物联合收割机的顶部,实时采集农田场景;

CPLD图像采集单元(2),其与摄像头(1)连接实现原始图像采集;

DSP内核图像处理单元(3),其接收CPLD图像采集单元(2)采集的原始图像,对原始图像进行处理,所述处理至少包括:彩色空间变换、图像增强、图像自适应阈值分割;

DSP内核路径识别单元(10),其接收经DSP内核图像处理单元(3)处理后的图像,根据图像计算并得到导航路径的直线参数;

DSP内核作业路径规划单元(5),其接收DSP内核路径识别单元(10)输出的导航路径的直线参数,对直线参数信息进一步规划、整理形成导航路径信息;

ARM内核系统调度与程序控制单元(6),接收DSP内核作业路径规划单元(5)输出的导航路径信息,然后将导航路径信息发送到ARM内核I2C总线与单片机通信单元(7),所述ARM内核I2C总线与单片机通信单元(7)完成导航路径信息向基于单片机的联合收割机视觉导航转向控制系统(8)的信息传递;

所述视觉导航路径识别系统以DM6446处理器为核心单元构成核心电路,

DM6446处理器包含有DSP内核和ARM内核,

摄像头(1)实时采集农田场景后,由CPLD图像采集单元(2)完成原始图像采集,原始图像的数据经由DSP内核处理后得到导航路径信息,最后由ARM内核将导航路径信息经I2C总线传递给基于单片机的联合收割机视觉导航转向控制系统,为转向系统提供转向信息;

所述CPLD图像采集单元(2)采用TVP5146视频AD采集芯片,TVP5146视频AD采集芯片用于实现视频数据采集,TVP5146视频AD采集芯片经过SN74AVCB164245VR电压转换芯片进行电压变换后,通过DM6446中的视频处理子系统VPSS的视频前端VPFE输入到DM6446处理器的内部存储器中;

所述视觉导航路径识别系统还包括主要用来存储嵌入式LUNIX文件系统、图像及视频的硬盘,硬盘与SN74LVT16245B ATA硬盘驱动器连接实现总线收发器驱动硬盘,并根据总线片选和方向信号进行数据传输,DM6446处理器与硬盘驱动器进行数据传输时,首先经过SN74AVCB164245VR电压转换芯片实现1.8V DSP电压转换到3.3V,再输入到SN74LVT16245B ATA硬盘驱动器;

DM6446中的视频处理子系统VPSS的视频前端VPFE对外输出相应的模拟信号,该模拟信号经过OPA357AIDDA运算放大器芯片进行信号放大后输出到视频显示设备中;

所述核心单元为DM6446处理器的核心电路中,包括:AM29LV256M NOR FLASH外存芯片,其为DM6446扩展的外部存储器,用于存储启动程序和数据;

MT47H64M16BT DDR2内存芯片,为系统的内存,用来缓冲视频输入数据、作为OSD的缓冲器以及存储ARM和DSP的代码;

所述核心单元为DM6446处理器的核心电路中,还包括以下扩展的相关功能电路:PI6CX100-27晶振电路,与DM6446处理器连接,主要实现对部分外围设备提供时钟源,所述时钟源至少包括CPLD的时钟信号;

EPM240GT100C5CPLD模块,与DM6446处理器连接,主要完成的功能有:ATA硬盘的逻辑控制、1.8V电平到3.3V I/O电平转换、时钟分频及其它组合逻辑功能;

SN74CBTLV16210DGG FET总线驱动芯片和与其连接的LXT971ALE以太网收发控制器,用于实现网络通信功能,所述SN74CBTLV16210DGG FET总线驱动芯片与DM6446处理器连接;

PCA9306I2C总线电压转换芯片和与其连接的PCF8574A I2C转并口扩展芯片,所述PCA9306I2C总线电压转换芯片与DM6446处理器连接;ARM内核经过PCA9306I2C总线电压转换芯片实现电压变换,PCF8574A I2C转并口扩展芯片与PCA9306I2C总线电压转换芯片连接,将I2C总线扩展到并口,以实现ARM内核与基于单片机的联合收割机视觉导航转向控制系统的通信功能;

MAX3232串口通信芯片,用于实现串口通信功能,由于DM6446处理器输出电平和MAX3232串口通信芯片电平不一致,在DM6446处理器和MAX3232串口通信芯片之间设有用于电平转换的SN74AVC1T45电压转换芯片;

TPS3808G09DBVR复位电路芯片,与DM6446处理器连接,用于实现复位电路功能;

TPS54310PWP电源电路芯片,与DM6446处理器连接,实现系统电源管理功能。

2.如权利要求1所述的用于谷物联合收割机的视觉导航路径识别系统,其特征在于:在视觉导航路径识别的过程中,通过键盘(4)向ARM内核系统调度与程序控制单元(6)发送指令,对视觉导航路径识别过程进行设置,ARM内核系统调度与程序控制单元(6)根据导航路径信息形成相应的路径识别的图像信息,将路径识别的图像信息发送到显示输出单元(9),实现采集视频及识别路径的显示输出。

说明书 :

一种用于谷物联合收割机的视觉导航路径识别系统

技术领域

[0001] 本发明涉及农业车辆自动导航技术,具体说是一种用于谷物联合收割机的视觉导航路径识别系统。

背景技术

[0002] 研究农业车辆自动导航的主要目的是使拖拉机、联合收获机和其它农耕管理机具备自定位、自行走能力,实现无人驾驶。农业车辆自动导航技术不仅能使农民从单调繁重的劳动中解放出来,同时,也是精细农业的基础平台。作为“精细农业”的一个重要分支,农田作业机械导航技术正越来越受到关注。目前,我国的农田作业方式还很落后,主要以手工劳动为主。为了提高我国农业机械化装备水平,改变我国目前的农田作业模式,借助先进传感技术、通讯技术,开展针对农田作业机械导航系统的研究是十分必要的。
[0003] 导航路径识别是谷物联合收割机的视觉导航辅助驾驶的关键技术之一,由于农田的复杂非结构环境和多变的自然光线条件,要求其图像处理算法及收割边界的提取算法具有较高的实时性、准确性及鲁棒性,同时还要求系统具有小型化、功耗低、便于操作等优点。
[0004] 目前,谷物联合收割机的视觉导航路径识别主要采用计算机、图像采集卡来完成,设备体积大,外接电源不好解决,尤其在谷物联合收割机驾驶室空间及供电的限制下,局限性明显。

发明内容

[0005] 针对现有技术中存在的缺陷,本发明的目的在于提供一种用于谷物联合收割机的视觉导航路径识别系统,将图像处理技术及达芬奇技术(DSP技术)相结合,系统功耗低,设备小型化,安装方便,提高了谷物联合收割机的导航路径识别速度及精度,具有较高的实时性、准确性及鲁棒性,适合于推广使用。
[0006] 为达到以上目的,本发明采取的技术方案是:
[0007] 一种用于谷物联合收割机的视觉导航路径识别系统,其特征在于,包括:
[0008] 摄像头1,安装在谷物联合收割机的顶部,实时采集农田场景;
[0009] CPLD图像采集单元2,其与摄像头1连接实现原始图像采集;
[0010] DSP内核图像处理单元3,其接收CPLD图像采集单元2采集的原始图像,对原始图像进行处理,所述处理至少包括:彩色空间变换、图像增强、图像自适应阈值分割;
[0011] DSP内核路径识别单元10,其接收经DSP内核图像处理单元3处理后的图像,根据图像计算并得到导航路径的直线参数;
[0012] DSP内核作业路径规划单元5,其接收DSP内核路径识别单元10输出的导航路径的直线参数,对直线参数信息进一步规划、整理形成导航路径信息;
[0013] ARM内核系统调度与程序控制单元6,接收DSP内核作业路径规划单元5输出的导航路径信息,然后将导航路径信息发送到ARM内核I2C总线与单片机通信单元7,[0014] 所述ARM内核I2C总线与单片机通信单元7完成导航路径信息向基于单片机的联合收割机视觉导航转向控制系统8的信息传递。
[0015] 在上述技术方案的基础上,在视觉导航路径识别的过程中,通过键盘4向ARM内核系统调度与程序控制单元6发送指令,对视觉导航路径识别过程进行设置,[0016] ARM内核系统调度与程序控制单元6根据导航路径信息形成相应的路径识别的图像信息,将路径识别的图像信息发送到显示输出单元9,实现采集视频及识别路径的显示输出。
[0017] 在上述技术方案的基础上,所述视觉导航路径识别系统以DM6446处理器为核心单元构成核心电路,
[0018] DM6446处理器包含有DSP内核和ARM内核,
[0019] 摄像头1实时采集农田场景后,由CPLD图像采集单元2完成原始图像采集,原始图像的数据经由DSP内核处理后得到导航路径信息,最后由ARM内核将导航路径信息经I2C总线传递给基于单片机的联合收割机视觉导航转向控制系统,为转向系统提供转向信息。
[0020] 在上述技术方案的基础上,所述CPLD图像采集单元2采用TVP5146视频AD采集芯片,TVP5146视频AD采集芯片用于实现视频数据采集,
[0021] TVP5146视频AD采集芯片经过SN74AVCB164245VR电压转换芯片进行电压变换后,通过DM6446中的视频处理子系统VPSS的视频前端VPFE输入到DM6446处理器的内部存储器中。
[0022] 在上述技术方案的基础上,所述视觉导航路径识别系统还包括主要用来存储嵌入式LUNIX文件系统、图像及视频等的硬盘,
[0023] 硬盘与SN74LVT16245B ATA硬盘驱动器连接实现总线收发器驱动硬盘,并根据总线片选和方向信号进行数据传输,
[0024] DM6446处理器与硬盘驱动器进行数据传输时,首先经过SN74AVCB164245VR电压转换芯片实现1.8V DSP电压转换到3.3V,再输入到SN74LVT16245B ATA硬盘驱动器。
[0025] 在上述技术方案的基础上,DM6446中的视频处理子系统VPSS的视频前端VPFE对外输出相应的模拟信号,该模拟信号经过OPA357AIDDA运算放大器芯片进行信号放大后输出到视频显示设备中。
[0026] 在上述技术方案的基础上,所述核心单元为DM6446处理器的核心电路中,包括:AM29LV256M NOR FLASH外存芯片,其为DM6446扩展的外部存储器,用于存储启动程序和数据;
[0027] MT47H64M16BT DDR2内存芯片,为系统的内存,用来缓冲视频输入数据、作为OSD的缓冲器以及存储ARM和DSP的代码等。
[0028] 在上述技术方案的基础上,所述核心单元为DM6446处理器的核心电路中,还包括以下扩展的相关功能电路:
[0029] PI6CX100-27晶振电路,与DM6446处理器连接,主要实现对部分外围设备提供时钟源,所述时钟源至少包括CPLD的时钟信号;
[0030] EPM240GT100C5CPLD模块,与DM6446处理器连接,主要完成的功能有:ATA硬盘的逻辑控制、1.8V电平到3.3V I/O电平转换、时钟分频及其它组合逻辑功能;
[0031] SN74CBTLV16210DGG FET总线驱动芯片和与其连接的LXT971ALE以太网收发控制器,用于实现网络通信功能,所述SN74CBTLV16210DGG FET总线驱动芯片与DM6446处理器连接;
[0032] PCA9306I2C总线电压转换芯片和与其连接的PCF8574A I2C转并口扩展芯片,所述PCA9306I2C总线电压转换芯片与DM6446处理器连接;ARM内核经过PCA9306I2C总线电压转换芯片实现电压变换,PCF8574A I2C转并口扩展芯片与PCA9306I2C总线电压转换芯片连接,将I2C总线扩展到并口,以实现ARM内核与基于单片机的联合收割机视觉导航转向控制系统的通信功能;
[0033] MAX3232串口通信芯片,用于实现串口通信功能,由于DM6446处理器输出电平和MAX3232串口通信芯片电平不一致,在DM6446处理器和MAX3232串口通信芯片之间设有用于电平转换的SN74AVC1T45电压转换芯片;
[0034] TPS3808G09DBVR复位电路芯片,与DM6446处理器连接,用于实现复位电路功能;
[0035] TPS54310PWP电源电路芯片,与DM6446处理器连接,实现系统电源管理功能。
[0036] 本发明所述的用于谷物联合收割机的视觉导航路径识别系统,将图像处理技术及达芬奇技术(DSP技术)相结合,系统功耗低,设备小型化,安装方便,提高了谷物联合收割机的导航路径识别速度及精度,具有较高的实时性、准确性及鲁棒性,适合于推广使用。
[0037] 本发明所述的用于谷物联合收割机的视觉导航路径识别系统,是将达芬奇技术与图像处理技术相结合,利用TVP5146实现摄像机的农田场景图像采集,采用DSP实现图像处理、路径识别和作业路径规划,最后利用ARM技术将规划后的作业路径经由I2C总线传递给转向控制系统,可用于谷物联合收割机辅助驾驶过程中的导航路径识别使用。

附图说明

[0038] 本发明有如下附图:
[0039] 图1本发明的系统结构框图,
[0040] 图2本发明的硬件结构示意图,
[0041] 图3 DM6446处理器核心电路原理示意图,
[0042] 图4本发明的系统实物图。

具体实施方式

[0043] 以下结合附图对本发明作进一步详细说明。
[0044] 如图1所示,本发明所述的用于谷物联合收割机的视觉导航路径识别系统,包括:
[0045] 摄像头1,安装在谷物联合收割机的顶部,实时采集农田场景,例如摄像头(摄像机)安装在谷物联合收割机的左侧顶部;
[0046] CPLD图像采集单元2,其与摄像头1连接实现原始图像采集;
[0047] DSP内核图像处理单元3,其接收CPLD图像采集单元2采集的原始图像,对原始图像进行处理,所述处理至少包括:彩色空间变换、图像增强、图像自适应阈值分割;
[0048] DSP内核路径识别单元10,其接收经DSP内核图像处理单元3处理后的图像,根据图像计算并得到导航路径的直线参数;
[0049] DSP内核作业路径规划单元5,其接收DSP内核路径识别单元10输出的导航路径的直线参数,对直线参数信息进一步规划、整理形成导航路径信息;
[0050] ARM内核系统调度与程序控制单元6,接收DSP内核作业路径规划单元5输出的导航路径信息,然后将导航路径信息发送到ARM内核I2C总线与单片机通信单元7,[0051] 所述ARM内核I2C总线与单片机通信单元7完成导航路径信息向基于单片机的联合收割机视觉导航转向控制系统8的信息传递。
[0052] 本发明所述的用于谷物联合收割机的视觉导航路径识别系统,适用于谷物联合收割机视觉导航路径识别使用,装载该系统并在驾驶员对正收割线后,系统可以通过摄像头(摄像机)自动检测谷物联合收割机导航路径的直线参数,并进行导航路径规划形成导航路径信息,最后将导航路径信息通过基于I2C总线的ARM内核I2C总线与单片机通信单元传递给基于单片机的联合收割机视觉导航转向控制系统。
[0053] 在上述技术方案的基础上,在视觉导航路径识别的过程中,通过键盘4向ARM内核系统调度与程序控制单元6发送指令,对视觉导航路径识别过程进行设置,[0054] ARM内核系统调度与程序控制单元6根据导航路径信息形成相应的路径识别的图像信息,将路径识别的图像信息发送到显示输出单元9,实现采集视频及识别路径的显示输出。
[0055] 在上述技术方案的基础上,如图2、3所示,所述视觉导航路径识别系统以DM6446处理器为核心单元构成核心电路,
[0056] DM6446处理器包含有DSP内核和ARM内核,
[0057] 摄像头1实时采集农田场景后,由CPLD图像采集单元2完成原始图像采集,原始图像的数据经由DSP内核处理后得到导航路径信息,最后由ARM内核将导航路径信息经I2C总线传递给基于单片机的联合收割机视觉导航转向控制系统,为转向系统提供转向信息。
[0058] 在上述技术方案的基础上,所述CPLD图像采集单元2采用TVP5146视频AD采集芯片,TVP5146视频AD采集芯片用于实现视频数据采集,
[0059] TVP5146视频AD采集芯片经过SN74AVCB164245VR电压转换芯片进行电压变换后,通过DM6446中的视频处理子系统VPSS的视频前端VPFE输入到DM6446处理器的内部存储器中。
[0060] 在上述技术方案的基础上,所述视觉导航路径识别系统还包括主要用来存储嵌入式LUNIX文件系统、图像及视频等的硬盘,
[0061] 硬盘与SN74LVT16245B ATA硬盘驱动器连接实现总线收发器驱动硬盘,并根据总线片选和方向信号进行数据传输,
[0062] DM6446处理器与硬盘驱动器进行数据传输时,首先经过SN74AVCB164245VR电压转换芯片实现1.8V DSP电压转换到3.3V,再输入到SN74LVT16245B ATA硬盘驱动器。
[0063] 在上述技术方案的基础上,DM6446中的视频处理子系统VPSS的视频前端VPFE对外输出相应的模拟信号,该模拟信号经过OPA357AIDDA运算放大器芯片进行信号放大后输出到视频显示设备中。
[0064] 在上述技术方案的基础上,如图3所示,所述核心单元为DM6446处理器的核心电路中,包括:AM29LV256M NOR FLASH外存芯片,其为DM6446扩展的外部存储器,用于存储启动程序和数据;
[0065] MT47H64M16BT DDR2内存芯片,为系统的内存,用来缓冲视频输入数据、作为OSD(屏上显示接口)的缓冲器以及存储ARM和DSP的代码等。
[0066] 在上述技术方案的基础上,如图3所示,所述核心单元为DM6446处理器的核心电路中,还包括以下扩展的相关功能电路:
[0067] PI6CX100-27晶振电路,与DM6446处理器连接,主要实现对部分外围设备提供时钟源,所述时钟源至少包括CPLD的时钟信号;
[0068] EPM240GT100C5CPLD模块,与DM6446处理器连接,主要完成的功能有:ATA硬盘的逻辑控制、1.8V电平到3.3V I/O电平转换、时钟分频及其它组合逻辑功能;
[0069] SN74CBTLV16210DGG FET总线驱动芯片和与其连接的LXT971ALE以太网收发控制器,用于实现网络通信功能,所述SN74CBTLV16210DGG FET总线驱动芯片与DM6446处理器连接;
[0070] PCA9306I2C总线电压转换芯片和与其连接的PCF8574A I2C转并口扩展芯片,所述PCA9306I2C总线电压转换芯片与DM6446处理器连接;ARM内核经过PCA9306I2C总线电压转换芯片实现电压变换,PCF8574A I2C转并口扩展芯片与PCA9306I2C总线电压转换芯片连接,将I2C总线扩展到并口,以实现ARM内核与基于单片机的联合收割机视觉导航转向控制系统的通信功能;
[0071] MAX3232串口通信芯片,用于实现串口通信功能,由于DM6446处理器输出电平和MAX3232串口通信芯片电平不一致,在DM6446处理器和MAX3232串口通信芯片之间设有用于电平转换的SN74AVC1T45电压转换芯片;
[0072] TPS3808G09DBVR复位电路芯片,与DM6446处理器连接,用于实现复位电路功能;
[0073] TPS54310PWP电源电路芯片,与DM6446处理器连接,实现系统电源管理功能。
[0074] 图4为本发明所述的用于谷物联合收割机的视觉导航路径识别系统的系统实物图,板子具有小型化、功耗低,接口丰富等特点。具体接口详见图3。
[0075] 本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。