图像处理装置、摄像装置、移动体、图像处理方法

摘要

期望能够一边高效地记录多个波长带宽中的每一个的图像数据，一边实时地确认所拍摄的内容。图像处理装置可以包括：选择部，其在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从摄像装置所包括的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择第一图像信号，在第二期间选择第一图像信号以及第二图像信号；以及第一生成部，其基于在第一期间从选择部选择的第一图像信号，生成显示用的图像数据。图像处理装置可以包括第二生成部，其基于在第二期间从选择部选择的第一图像信号以及第二图像信号，按照预定的记录形式生成记录用的图像数据。

权利要求

1.一种图像处理装置，其特征在于，包括：选择部，其在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从所述摄像装置所包括的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择所述第一图像信号，在第二期间选择所述第一图像信号以及所述第二图像信号；

第一生成部，其基于在所述第一期间从所述选择部选择的所述第一图像信号，生成显示用的图像数据；以及

第二生成部，其基于在所述第二期间从所述选择部选择的所述第一图像信号以及所述第二图像信号，按照预定的记录形式生成记录用的图像数据；

其中，所述选择部在所述摄像装置的位置是预定的位置的情况下，从所述第一期间转移到所述第二期间。

2.如权利要求1所述的图像处理装置，其特征在于，还包括：发送部，每当所述第一生成部生成所述显示用的图像数据时，其将所述显示用的图像数据发送到显示装置。

3.如权利要求1所述的图像处理装置，其特征在于，所述选择部在所述第二生成部结束所述记录用的图像数据的生成或者所述记录用的图像数据向记录部的记录之前，从所述第二期间转移到所述第一期间，开始所述第一图像信号的选择。

4.如权利要求1所述的图像处理装置，其特征在于，所述显示用的图像数据的数据量比所述记录用的图像数据的数据量少。

5.如权利要求1所述的图像处理装置，其特征在于，所述第二生成部以RAW形式生成所述记录用的图像数据。

6.如权利要求1所述的图像处理装置，其特征在于，所述选择部在所述第一图像信号、所述第二图像信号、从所述摄像装置所包括的第三图像传感器输出的第三波长带宽的第三图像信号、以及从所述摄像装置所包括的第四图像传感器输出的第四波长带宽的第四图像信号中，在所述第一期间选择所述第一图像信号、所述第三图像信号以及所述第四图像信号，在所述第二期间选择所述第一图像信号、所述第二图像信号、所述第三图像信号以及所述第四图像信号；

所述第一生成部基于在所述第一期间从所述选择部选择的所述第一图像信号、所述第三图像信号以及所述第四图像信号，生成所述显示用的图像数据；

所述第二生成部基于在所述第二期间从所述选择部选择的所述第一图像信号、所述第二图像信号、所述第三图像信号以及所述第四图像信号，生成所述记录用的图像数据。

7.如权利要求6所述的图像处理装置，其特征在于，所述选择部在所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号以及从所述摄像装置所包括的第五图像传感器输出的第五波长带宽的第五图像信号中，在所述第一期间选择所述第一图像信号、所述第三图像信号以及所述第四图像信号，在所述第二期间选择所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号以及所述第五图像信号；

所述第一生成部基于在所述第一期间从所述选择部选择的所述第一图像信号、所述第三图像信号以及所述第四图像信号，生成所述显示用的图像数据；

所述第二生成部基于在所述第二期间从所述选择部选择的所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号以及所述第五图像信号，生成所述记录用的图像数据。

8.如权利要求7所述的图像处理装置，其特征在于，所述第一波长带宽是红色区域的波长带宽，

所述第二波长带宽是红色边缘区域的波长带宽，所述第三波长带宽是绿色区域的波长带宽，所述第四波长带宽是蓝色区域的波长带宽，所述第五波长带宽是近红外区域的波长带宽。

9.如权利要求1所述的图像处理装置，其特征在于，所述选择部在所述第一图像信号、所述第二图像信号、从所述摄像装置所包括的第三图像传感器输出的第三波长带宽的第三图像信号、从所述摄像装置所包括的第四图像传感器输出的第四波长带宽的第四图像信号、从所述摄像装置所包括的第五图像传感器输出的第五波长带宽的第五图像信号以及从所述摄像装置所包括的第六图像传感器输出的第六波长带宽的第六图像信号中，在所述第一期间选择所述第一图像信号，在所述第二期间选择所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号、所述第五图像信号以及所述第六图像信号；

所述第一生成部基于在所述第一期间从所述选择部选择的所述第一图像信号，生成显示用的图像数据；以及

所述第二生成部基于在所述第二期间从所述选择部选择的所述第一图像信号、所述第二图像信号、所述第三图像信号、所述第四图像信号、所述第五图像信号以及所述第六图像信号，生成所述记录用的图像数据。

10.如权利要求9所述的图像处理装置，其特征在于，所述第一波长带宽是第一红色区域、第一绿色区域以及第一蓝色区域的波长带宽，所述第二波长带宽是红色边缘区域的波长带宽，所述第三波长带宽是近红外区域的波长带宽，所述第四波长带宽是比所述第一红色区域窄的第二红色区域的波长带宽，所述第五波长带宽是比所述第一绿色区域窄的第二绿色区域的波长带宽，所述第六波长带宽是比所述第一蓝色区域窄的第二蓝色区域的波长带宽。

11.如权利要求1所述的图像处理装置，其特征在于，还包括：接收部，所述接收部接收将所述记录用的图像数据存储于存储部的存储指示；

当所述接收部接收到所述存储指示时，所述选择部从所述第一期间转移到所述第二期间。

12.如权利要求1所述的图像处理装置，其特征在于，所述选择部在预定的时刻切换所述第一期间和所述第二期间。

13.一种摄像装置，其特征在于，包括：如权利要求1所述的图像处理装置，所述第一图像传感器，以及

所述第二图像传感器。

14.一种移动体，其特征在于，其包括如权利要求13所述的摄像装置并移动。

15.如权利要求14所述的移动体，其特征在于，所述移动体是飞行体，所述选择部在所述飞行体持续悬停预定的时间的情况下，从第一期间切换到第二期间。

16.如权利要求15所述的移动体，其特征在于，包括控制部，其沿着预定的路径使所述移动体移动。

17.一种图像处理方法，其特征在于，包括：在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从所述摄像装置所包括的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择所述第一图像信号，在第二期间选择所述第一图像信号以及所述第二图像信号的阶段；

基于在所述第一期间选择的所述第一图像信号，生成显示用的图像数据的阶段；以及基于在所述第二期间选择的所述第一图像信号以及所述第二图像信号，按照预定的记录形式生成记录用的图像数据的阶段；

其中，在所述摄像装置的位置是预定的位置的情况下，选择从所述第一期间转移到所述第二期间。

说明书

图像处理装置、摄像装置、移动体、图像处理方法

技术领域

[0001] 本发明涉及一种图像处理装置、摄像装置、移动体、图像处理方法以及程序。

背景技术

[0002] 专利文献1中公开了一种搭载了多频带传感器的无人驾驶航空器。

[0003] 专利文献1美国专利申请公开第2017/356799号说明书。

发明内容

[0004] 【发明所要解决的技术问题】

[0005] 期望能够一边高效地记录由多频带传感器等拍摄的多个波长带宽中的每一个的图像数据，一边实时地确认所拍摄的内容。

[0006] 【用于解决问题的技术手段】

[0007] 根据本发明的一个方面所涉及的图像处理装置，可以包括选择部，其在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从摄像装置所包括
的第二图像传感器输出的第二波长带宽的第二图像信号中，在第一期间选择第一图像信
号，在第二期间选择第一图像信号以及第二图像信号。图像处理装置可以包括第一生成部，
其基于在第一期间从选择部选择的第一图像信号，生成显示用的图像数据。图像处理装置
可以包括第二生成部，其基于在第二期间从选择部选择的第一图像信号以及第二图像信
号，按照预定的记录形式生成记录用的图像数据。

[0008] 还可以包括发送部，每当第一生成部生成显示用的图像数据时，其将显示用的图像数据发送到显示装置。

[0009] 选择部可以在第二生成部结束记录用的图像数据的生成或者记录用的图像数据向记录部的记录之前，从第二期间转移到第一期间，开始第一图像信号的选择。

[0010] 显示用的图像数据的数据量可以比记录用的图像数据的数据量少。

[0011] 第二生成部可以以RAW形式生成记录用的图像数据。

[0012] 选择部可以在第一图像信号、第二图像信号、从摄像装置所包括的第三图像传感器输出的第三波长带宽的第三图像信号、以及从摄像装置所包括的第四图像传感器输出的
第四波长带宽的第四图像信号中，在第一期间选择第一图像信号、第三图像信号以及第四
图像信号，在第二期间选择第一图像信号、第二图像信号、第三图像信号以及第四图像信
号。第一生成部可以基于在第一期间从选择部选择的第一图像信号、第三图像信号以及第
四图像信号，生成显示用的图像数据。第二生成部可以基于在第二期间从选择部选择的第
一图像信号、第二图像信号、第三图像信号以及第四图像信号，生成记录用的图像数据。

[0013] 选择部可以在第一图像信号、第二图像信号、第三图像信号、第四图像信号以及从摄像装置所包括的第五图像传感器输出的第五波长带宽的第五图像信号中，在第一期间选
择第一图像信号、第三图像信号以及第四图像信号，在第二期间选择第一图像信号、第二图
像信号、第三图像信号、第四图像信号以及第五图像信号。第一生成部可以基于在第一期间
从选择部选择的第一图像信号、第三图像信号以及第四图像信号，生成显示用的图像数据。
第二生成部可以基于在第二期间从选择部选择的第一图像信号、第二图像信号、第三图像
信号、第四图像信号以及第五图像信号，生成记录用的图像数据。

[0014] 第一波长带宽可以是红色区域的波长带宽。第二波长带宽可以是红色边缘区域的波长带宽。第三波长带宽可以是绿色区域的波长带宽。第四波长带宽可以是蓝色区域的波
长带宽。第五波长带宽可以是近红外区域的波长带宽。

[0015] 选择部可以在第一图像信号、第二图像信号、从摄像装置所包括的第三图像传感器输出的第三波长带宽的第三图像信号、从摄像装置所包括的第四图像传感器输出的第四
波长带宽的第四图像信号、从摄像装置所包括的第五图像传感器输出的第五波长带宽的第
五图像信号以及从摄像装置所包括的第六图像传感器输出的第六波长带宽的第六图像信
号中，在第一期间选择第一图像信号，在第二期间选择第一图像信号、第二图像信号、第三
图像信号、第四图像信号、第五图像信号以及第六图像信号。第一生成部可以基于在第一期
间从选择部选择的第一图像信号生成显示用的图像数据。第二生成部可以基于在第二期间
从选择部选择的第一图像信号、第二图像信号、第三图像信号、第四图像信号、第五图像信
号以及第六图像信号，生成记录用的图像数据。

[0016] 第一波长带宽可以是第一红色区域、第一绿色区域以及第一蓝色区域的波长带宽。第二波长带宽可以是红色边缘区域的波长带宽。第三波长带宽可以是近红外区域的波
长带宽。第四波长带宽可以是比第一红色区域窄的第二红色区域的波长带宽。第五波长带
宽可以是比第一绿色区域窄的第二绿色区域的波长带宽。第六波长带宽可以是比第一蓝色
区域窄的第二蓝色区域的波长带宽。

[0017] 图像处理装置可以包括接收部，其接收将记录用的图像数据存储于存储部的存储指示。

[0018] 当接收部接收存储指示时，选择部可以从第一期间转移到第二期间。

[0019] 在摄像装置的位置是预定的位置的情况下，选择部可以从第一期间转移到第二期间。

[0020] 选择部在预定的时刻切换第一期间和第二期间。

[0021] 本发明的一个方面所涉及的摄像装置可以包括上述图像处理装置。摄像装置可以包括第一图像传感器和第二图像传感器。

[0022] 本发明的一个方面所涉及的移动体可以是包括上述摄像装置并移动的移动体。

[0023] 移动体可以是飞行体。选择部可以在在飞行体持续悬停预定的时间的情况下，从第一期间切换到第二期间。

[0024] 移动体可以包括控制部，其沿着预定的路径使移动体移动。

[0025] 根据本发明的一个方面所涉及的图像处理方法可以包括在从摄像装置所包括的第一图像传感器输出的第一波长带宽的第一图像信号、以及从摄像装置所包括的第二图像
传感器输出的第二波长带宽的第二图像信号中，在第一期间选择第一图像信号，在第二期
间选择第一图像信号以及第二图像信号的阶段。图像处理方法可以包括基于在第一期间选
择的第一图像信号，生成显示用的图像数据的阶段。图像处理方法可以包括基于在第二期
间选择的第一图像信号以及第二图像信号，按照预定的记录形式生成记录用的图像数据的
阶段。

[0026] 本发明的一个方面所涉及的程序可以是一种用于使计算机作为图像处理装置而发挥功能的程序。

[0027] 另外，上述发明内容中没有穷举本发明的所有必要特征。此外，这些特征组的子组合也可以构成发明。

附图说明

[0028] 图1是示出无人驾驶航空器及远程操作装置的外观的一个示例的图。

[0029] 图2是示出搭载在无人驾驶航空器上的摄像装置的外观的一个示例的图。

[0030] 图3是示出无人驾驶航空器的功能块的一个示例的图。

[0031] 图4是示出摄像装置的功能块的一个示例的图。

[0032] 图5是示出由搭载有摄像装置的无人驾驶航空器进行摄影的情形的图。

[0033] 图6是示出飞行路径上的多光谱图像的记录地点的一个示例的图。

[0034] 图7是示出飞行路径上的多光谱图像的记录地点的一个示例的图。

[0035] 图8是示出摄像控制部中的处理内容的时间流程的图像的图。

[0036] 图9是示出摄像装置记录多光谱图像的处理过程的一个示例的流程图。

[0037] 图10是示出摄像装置记录多光谱图像的处理过程的一个示例的流程图。

[0038] 图11是示出摄像装置记录多光谱图像的处理过程的一个示例的流程图。

[0039] 图12是示出摄像装置记录多光谱图像的处理过程的一个示例的流程图。

[0040] 图13是示出搭载在无人驾驶航空器上的摄像装置的外观的一个示例的图。

[0041] 图14是示出硬件配置的一个示例的图。

具体实施方式

[0042] 以下，通过发明的实施方式来对本发明进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。此外，并不是所有实施方式中所说明的特征组合对于发明的解决
方案所必须的。对本领域普通技术人员来说，显然可以对以下实施方式加以各种变更或改
良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发
明的技术范围之内。

[0043] 权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制，著作权
人则不会提出异议。但是，在除此以外的情况下，保留一切的著作权。

[0044] 本发明的各种实施方式可参照流程图及框图来描述，这里，方框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。指定的阶段和“部”可以通过
可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集
成电路 (IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以
包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非、及其它逻辑操作、触发器、寄存器、现
场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。

[0045] 计算机可读介质可以包括可以对由适宜的设备执行的指令进行储存的任意有形设备。其结果是，其上存储有指令的计算机可读介质包括一种包括指令的产品，该指令可被
执行以创建用于执行流程图或框图所指定的操作的手段。作为计算机可读介质的示例，可
以包括电子存储介质、磁存储介质、光学存储介质、电磁存储介质、半导体存储介质等。作为
计算机可读介质的更具体的示例，可以包括floppy(注册商标)disk、软磁盘、硬盘、随机存
取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、电可擦可
编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD‑ROM)、数字多
用途光盘(DVD)、蓝光(RTM)光盘、记忆棒、集成电路卡等。

[0046] 计算机可读指令可以包括由一种或多种编程语言的任意组合描述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的程序式编程语言。传统的程序式
编程语言可以为汇编指令、指令集架构(ISA)指令、机器指令、与机器相关的指令、微代码、
固件指令、状态设置数据、或者Smalltalk、JAVA(注册商标)、C++等面向对象编程语言以及
“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互
联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理
器或可编程电路。处理器或可编程电路可以执行计算机可读指令，以创建用于执行流程图
或框图所指定操作的手段。作为处理器的示例，包括计算机处理器、处理单元、微处理器、数
字信号处理器、控制器、微控制器等。

[0047] 图1示出无人驾驶航空器(UAV)10及远程操作装置300的外观的一个示例。UAV 10 包括UAV主体20、万向节50、多个摄像装置60、以及摄像装置100。万向节50及摄像装置 100
为摄像系统的一个示例。UAV 10为移动体的一个示例。移动体是指，包括在空中移动的飞行
体、在地面上移动的车辆、在水上移动的船舶等的概念。在空中移动的飞行体是指不仅包括
UAV、还包括在空中移动的其它的飞行器、飞艇、直升机等的概念。

[0048] UAV主体20包括多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV 10飞行。UAV主体20使用例如四个旋翼来使UAV 10飞行。旋翼的数量
不限于四个。此外，UAV 10也可以是没有旋翼的固定翼机。

[0049] 摄像装置100为对包含在期望的摄像范围内的对象进行拍摄的摄像用相机。万向节 50可旋转地支撑摄像装置100。万向节50为支撑机构的一个示例。例如，万向节50支撑摄
像装置100，使其能够使用致动器而以俯仰轴旋转。万向节50支撑摄像装置100，使其还能够
使用致动器而分别以滚转轴和偏航轴为中心旋转。万向节50可通过使摄像装置100以偏航
轴、俯仰轴以及翻滚轴中的至少一个为中心旋转，来变更摄像装置100的姿势。

[0050] 多个摄像装置60是为了控制UAV 10的飞行而对UAV 10的周围进行摄像的传感用相机。两个摄像装置60可以设置于UAV 10的机头、即正面。并且，其它两个摄像装置60可以
设置于UAV 10的底面。正面侧的两个摄像装置60可以成对，起到所谓的立体相机的作用。底
面侧的两个摄像装置60也可以成对，起到立体相机的作用。摄像装置60可以检测到摄像装
置60的摄像范围所包含的对象的存在以及测量出与对象间的距离。摄像装置60为用于测量
存在于摄像装置100的摄像方向的对象的测量装置的一个示例。测量装置也可以是对存在
于摄像装置100的摄像方向上的对象进行测量的红外传感器、超声波传感器等的其它的传
感器。可以基于由多个摄像装置60拍摄的图像来生成UAV 10周围的三维空间数据。UAV 10 
所包括的摄像装置60的数量不限于四个。UAV 10包括至少一个摄像装置60即可。UAV 10 也
可以在UAV 10的机头、机尾、侧面、底面及顶面分别包括至少一个摄像装置60。摄像装置60
中可设定的视角可大于摄像装置100中可设定的视角。摄像装置60也可以具有单焦点镜头
或鱼眼镜头。

[0051] 远程操作装置300与UAV 10通信，以远程操作UAV 10。远程操作装置300可以与 UAV 10进行无线通信。远程操作装置300向UAV 10发送表示上升、下降、加速、减速、前进、后
退、旋转等与UAV 10的移动有关的各种指令的指示信息。指示信息包括例如使UAV 10 的高
度上升的指示信息。指示信息可以示出UAV 10应该位于的高度。UAV 10进行移动，以位于从
远程操作装置300接收的指示信息所表示的高度。指示信息可以包括使UAV 10上升的上升
指令。UAV 10在接收上升指令的期间上升。UAV 10的高度已达到上限高度时，即使接收上升
指令，也可以限制UAV 10的上升。

[0052] 图2是示出搭载在UAV 10上的摄像装置100的外观的一个示例的图。摄像装置100 是对预定的多个波长带宽中的每一个的图像数据进行摄像的多光谱相机。摄像装置100包
括 R用摄像部110、G用摄像部120、B用摄像部130、RE用摄像部140以及NIR用摄像部150。摄
像装置100能够将由R用摄像部110、G用摄像部120、B用摄像部130、RE用摄像部140 以及NIR
用摄像部150拍摄的各个图像数据记录为多光谱图像。多光谱图像例如可以用于对农作物
的健康状态和生命力进行预测。

[0053] 图3示出了UAV 10的功能块的一个示例。UAV 10包括UAV控制部30、存储器32、通信接口36、推进部40、GPS接收器41、惯性测量装置42、磁罗盘43、气压高度计44、温度传感器
45、湿度传感器46、万向节50、摄像装置60及摄像装置100。

[0054] 通信接口36与远程操作装置300等其它装置通信。通信接口36可以从远程操作装置 300接收包括对UAV控制部30的各种指令的指示信息。存储器32存储UAV控制部30对推进
部40、GPS接收器41、惯性测量装置(IMU)42、磁罗盘43、气压高度计44、温度传感器45、湿度
传感器46、万向节50、摄像装置60及摄像装置100进行控制所需的程序等。存储器32可以为
计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM、USB 存储器等闪存中的至少一
个。存储器32可以设置于UAV主体20的内部。其可以设置成可从 UAV主体20中拆卸下来。

[0055] UAV控制部30按照储存在存储器32中的程序来控制UAV 10的飞行及摄像。UAV 控制部30可以由CPU或MPU等微处理器、以及MCU等微控制器等构成。UAV控制部30 按照经由通
信接口36从远程操作装置300接收到的指令来控制UAV 10的飞行及拍摄。推进部40推进UAV 
10。推进部40具有多个旋翼以及使多个旋翼旋转的多个驱动电机。推进部 40按照来自UAV
控制部30的指令，经由多个驱动马达使多个旋翼旋转，以使UAV 10飞行。

[0056] GPS接收器41接收表示从多个GPS卫星发送的时间的多个信号。GPS接收器41根据所接收的多个信号来计算出GPS接收器41的位置(纬度及经度)、即UAV 10的位置(纬度及经
度)。IMU42检测UAV 10的姿势。IMU42检测UAV 10的前后、左右以及上下的三轴方向的加速
度和俯仰轴、滚转轴以及偏航轴的三轴方向的角速度，作为UAV 10的姿势。磁罗盘43检测
UAV 10的机头的方位。气压高度计44检测UAV 10的飞行高度。气压高度计 44检测UAV 10周
围的气压，并将检测到的气压换算为高度，以检测高度。温度传感器45检测UAV 10周围的温
度。湿度传感器46检测UAV 10周围的湿度。

[0057] 在如上配置的UAV 10中，在摄像装置100中，能够一边高效地记录多光谱图像数据，一边实时地确认所拍摄的内容。

[0058] 图4示出了摄像装置100的功能块的一个示例。摄像装置100包括R用摄像部110、 G用摄像部120、B用摄像部130、RE用摄像部140以及NIR用摄像部150。摄像装置100 包括摄像
控制部180、发送部190以及存储器192。摄像控制部180包括多路复用器170、输入接收部
172、去马赛克处理部174以及记录处理部178。摄像控制部180是图像处理装置的一个示例。

[0059] R用摄像部110具有R用图像传感器112和光学系统114。R用图像传感器112拍摄由光学系统114成像的图像。R用图像传感器112具有使红色区域的波长带宽的光透过的滤光
器，输出为红色区域的波长带宽的图像信号的R图像信号。红色区域的波长带宽例如为620 
nm～750nm。红色区域的波长带宽可以是红色区域的特定的波长带宽，例如可以是663nm～
673 nm。

[0060] G用摄像部120具有G用图像传感器122和光学系统124。G用图像传感器122拍摄由光学系统124成像的图像。G用图像传感器122具有使绿色区域的波长带宽的光透过的滤光
器，输出为绿色区域的波长带宽的图像信号的G图像信号。绿色区域的波长带宽例如为500 
nm～570nm。绿色区域的波长带宽可以是绿色区域的特定波长带宽，例如可以是550nm～570 
nm。

[0061] B用摄像部130具有B用图像传感器132和光学系统134。B图像传感器132拍摄由光学系统134成像的图像。B用图像传感器132具有使蓝色区域的波长带宽的光透过的滤光器，
输出为蓝色区域的波长带宽的图像信号的B图像信号。蓝色区域的波长带宽例如为450 nm
～500nm。蓝色区域的波长带宽可以是蓝色区域的特定波长带宽，例如可以是465nm～485 
nm。

[0062] RE用摄像部140具有RE用图像传感器142和光学系统144。RE图像传感器142拍摄由光学系统144成像的图像。RE用图像传感器142具有使红色边缘区域的波长带宽的光透过的
滤波器，输出为红色边缘区域的波长带宽的图像信号的RE图像信号。红色边缘区域的波长
带宽例如为705nm～745nm。红色边缘区域的波长带宽可以为712nm～722nm。

[0063] NIR用摄像部150具有NIR用图像传感器152和光学系统154。NIR用图像传感器 152拍摄由光学系统154成像的图像。NIR用图像传感器152具有使近红外区域的波长带宽的光
透过的滤光器，输出为近红外区域的波长带宽的图像信号的NIR图像信号。近红外区域的波
长带宽例如为800nm～2500nm。近红外区域的波长带宽可以为800nm～900nm。

[0064] 多路复用器170接收从每个图像传感器输出的图像信号，按照预定的条件选择从任一图像传感器输出的图像信号并输入到输入接收部172。多路复用器170是选择部的一个
示例。多路复用器170在第一期间选择从R用摄像部110输出的R图像信号、从G用摄像部120
输出的G图像信号以及从B用摄像部130输出的B图像信号并输入到输入接收部172。多路复
用器170在第一期间丢弃从RE用摄像部140输出的RE图像信号以及从NIR用摄像部150 输出
的NIR图像信号。

[0065] 多路复用器170在与第一期间不同的第二期间，选择从R用摄像部110输出的R图像信号、从G用摄像部120输出的G图像信号、从B用摄像部130输出的B图像信号、从 RE用摄像
部140输出的RE图像信号以及从NIR用摄像部150输出的NIR图像信号并输入到输入接收部
172。多路复用器170可以具有接收来自各个图像传感器的图像信号的多个输入端口和向输
入接收部172输出图像信号的输出端口。另外，选择是包括多路复用器170从经由输入端口
接收的各个图像信号中选择的、多路复用要从输出端口输出的图像信号的动作的概念。

[0066] 去马赛克处理部174基于在第一期间输入到输入接收部172的R图像信号、G图像信号以及B图像信号，生成显示用的图像数据。去马赛克处理部174是第一生成部的一个示例。
去马赛克处理部174通过对R图像信号、G图像信号以及B图像信号实施去马赛克处理，生成
显示用的图像数据。去马赛克处理部174通过对R图像信号、G图像信号以及B图像信号实施
稀疏化处理，将稀疏化处理的R图像信号、G图像信号以及B图像信号转换为拜耳阵列的图像
信号，来生成显示用的图像数据。发送部190将显示用的图像数据发送到显示装置。发送部
190例如可以向远程操作装置300发送显示用的图像数据。远程操作装置300可以在显示部
上将显示用的图像数据作为实时取景的图像进行显示。

[0067] 记录处理部178基于在第二期间输入到输入接收部172的R图像信号、G图像信号、 B图像信号、RE图像信号以及NIR图像信号，按照预定的记录形式生成记录用的图像数据。记
录处理部178是第二生成部的一个示例。记录处理部178可以从R图像信号、G图像信号、 B图
像信号、RE图像信号以及NIR图像信号中，按照RAW形式生成RAW数据作为记录用的图像数
据。记录处理部178可以不对R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信
号分别进行稀疏化处理而生成全像素的记录用的图像数据。记录处理部178 可以将记录用
的图像数据存储在存储器192中。存储器192可以是计算机可读记录介质，并可以包括SRAM、
DRAM、EPROM、EEPROM以及USB存储器等闪存中的至少一个。存储器192可以设置于摄像装置
100的壳体内部。存储器192可以设置成可从摄像装置100的壳体上拆卸下来。

[0068] 多路复用器170可以在第一期间选择R图像信号、G图像信号以及B图像信号中的至少一个图像信号并输入到输入接收部172，将剩余的图像信号与RE图像信号和NIR图像信号
一起丢弃。去马赛克处理部174可以在仅对第一期间输入到输入接收部172的图像信号进行
稀疏化处理，生成显示用的图像数据。

[0069] 多路复用器170可以在第二期间选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号中的至少一个图像信号并输入到输入接收部172，将剩余的图像信号丢
弃。记录处理部178可以在不对第二期间输入到输入接收部172的图像信号进行稀疏化处理
的情况下，生成RAW形式的记录用的图像数据。

[0070] 由记录处理部178进行的记录用的图像数据的生成会花费一定程度的时间。因此，多路复用器170可以在记录处理部178结束记录用的图像数据的生成或者记录用的图像数
据向存储器192的记录之前，从第二期间转移到第一期间，仅选择R图像信号、G图像信号以
及 B图像信号，并开始向输入接收部172输入。去马赛克处理部174可以不等待记录处理部
178 生成记录用的图像数据并存储到存储器192中，而根据在下一个第一期间依次输入到
输入接收部172的R图像信号、G图像信号以及B图像信号生成依次显示用的图像数据。发送
部190 可以在每当去马赛克处理部174生成显示用的图像数据时，将显示用的图像数据发
送到远程操作装置300等显示装置。即，在记录处理部178生成记录用的图像数据并进行存
储于存储器192的处理期间，可以在远程操作装置300等显示装置上使由摄像装置100拍摄
的图像数据作为实时取景进行显示。

[0071] 显示用的图像数据的数据量比记录用的图像数据的数据量少。因此，能够降低去马赛克处理部174中的处理负担。

[0072] 摄像控制部180还具有接收部184和切换部188。接收部184接收将记录用的图像数据存储于存储器192的存储指示。接收部184可以经由远程操作装置300等外部的终端接收
来自用户的存储指示。在摄像装置100的位置是预定的位置的情况下，接收部184可以从UAV 
控制部30接收存储指示。在UAV 10的位置是预定的位置的情况下，UAV控制部30判断摄像装
置100的位置是预定位置，接收部184可以从UAV控制部30接收存储指示。摄像装置 100可以
包括GPS接收器。在这种情况下，摄像控制部180可以按照自身的来自GPS接收器的位置信
息，判断摄像装置100的位置是否为预先确定的位置。

[0073] 切换部188进行第一期间和第二期间的切换。当接收部184接收到存储指示时，切换部188指示多路复用器170从第一期间到第二期间的切换。进一步地，切换部188将来自输
入接收部172的图像信号的输入从去马赛克处理部174切换到记录处理部178。当接收到切
换指示时，多路复用器170从第一期间转移到第二期间。即，多路复用器170从选择R图像信
号、G图像信号以及B图像信号，并输入到输入接收部172，丢弃RE图像信号以及NIR 图像信
号这样的处理转移到选择R图像信号、G图像信号、B图像信号、RE图像信号以及 NIR图像信
号，并输入到输入接收部172的处理。

[0074] 切换部188可以在预定的时刻切换第一期间和第二期间。切换部188可以在预定的周期切换第一期间和第二期间。当接收部184从UAV控制部30接收到UAV 10在预定的期间持
续进行悬停的通知时，切换部188可以切换第一期间和第二期间。在UAV 10在预定的期间持
续进行悬停的情况下，多路复用器170从选择R图像信号、G图像信号以及B图像信号，并输入
到输入接收部172，废弃RE图像信号以及NIR图像信号这样的处理转移到选择R图像信号、G
图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部 172的处理。

[0075] 图5是示出由搭载有摄像装置100的UAV 10进行摄影的情形的图。在UAV 10飞过诸如农作物的摄像区域500的同时，摄像装置100将所拍摄的多光谱图像依次存储在存储器 
192中。用户能够一边观察在远程操作装置300的显示部上显示的摄像装置100的实时取景
的图像，一边通过目视来确认摄像装置100所拍摄的摄像区域。并且，能够使摄像装置100 
依次将多光谱图像存储到存储器192中。

[0076] 如图6所示，可以预定摄像区域500上的UAV 10的飞行路径510。将多光谱图像存储在存储器192中的地点可以是飞行路径510上的预定间隔中的每一个地点512。如图7所示，
将多光谱图像存储在存储器192中的地点可以是飞行路径510上的任意的地点512。例如，用
户也可以经由远程操作装置300，在飞行路径510中一边参照摄像装置100的实时取景，一边
登记想要存储多光谱图像的地点。

[0077] 图8是示出摄像控制部180中的处理内容的时间流程的图像的图。在第一期间T1中，多路复用器170选择R图像信号、G图像信号以及B图像信号，并输入到输入接收部172，丢
弃RE图像信号和NIR图像信号。去马赛克处理部174对R图像信号、G图像信号以及B 图像信
号进行稀疏化处理，生成拜耳阵列的RGB图像数据。发送部190将RGB图像数据发送到远程操
作装置300等外部的显示装置。显示装置将RGB图像数据作为实时取景图像显示于显示部。

[0078] 在第二期间，多路复用器170选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处理部178基于R图像信号、G图像信号、B
图像信号、RE图像信号以及NIR图像信号，按照RAW形式等预定的记录形式生成多光谱图像
作为记录用的图像数据。记录处理部178将多光谱图像存储在存储器192中。在记录处理部
178生成多光谱图像并存储于存储器192的处理结束之前，多路复用器170也可以从第二期
间T2切换到第一期间T1，仅选择R图像信号、G图像信号以及B图像信号，并输入到输入接收
部172。

[0079] 图9是示出摄像装置100记录多光谱图像的处理过程的一个示例的流程图。

[0080] UAV 10开始飞行。将从摄像装置100发送的RGB图像数据作为实时取景图像显示于远程操作装置300的显示部(S100)。接收部184判定是否经由远程操作装置300接收了多光
谱图像的记录指示(S102)。当接收部184接收到记录指示时，多路复用器170选择R图像信
号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处
理部178基于R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照RAW形
式等预定的记录形式生成多光谱图像作为记录用的图像数据(S104)。记录处理部178将多
光谱图像存储在存储器192中(S106)。如果多光谱图像的摄影未结束(S108)，则摄像装置
100重复步骤S100以后的处理。

[0081] 图10是示出摄像装置100记录多光谱图像的处理过程的一个示例的流程图。

[0082] 用户经由远程操作装置300确定UAV 10的飞行路径(S200)。用户可以从在远程操作装置300上显示的地图中确定飞行路径。用户可以从预定的多个飞行路径中选择期望的
飞行路径。基于经由远程操作装置300接收的来自用户的指示，摄像装置100在飞行路径上
设定记录多光谱图像的地点(S202)。

[0083] 接下来，UAV 10开始沿着飞行路径的飞行(S204)。当不是记录多光谱图像的地点时，将从摄像装置100发送的RGB图像数据作为实时取景图像显示于远程操作装置300的显
示部 (S206)。接收部184判定UAV 10是否已到达记录多光谱图像的地点(S208)。当接收部
184 响应于UAV 10到达记录多光谱图像的地点，并从UAV控制部30接收记录指示时，接收部 
184可以判定UAV 10已到达记录多光谱图像的地点。

[0084] 当接收部184接收到记录指示时，多路复用器170选择R图像信号、G图像信号、B 图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处理部178基于 R图
像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照RAW形式等预定的记录
形式生成多光谱图像作为记录用的图像数据(S204)。记录处理部178将多光谱图像存储在
存储器192中(S206)。如果多光谱图像的摄影未结束(S208)，则摄像装置100重复步骤S206
以后的处理。

[0085] 图11是示出摄像装置100记录多光谱图像的处理过程的一个示例的流程图。

[0086] 用户经由远程操作装置300确定UAV 10的飞行路径(S300)。接下来，UAV 10开始沿着飞行路径的飞行(S302)。当不是记录多光谱图像的时刻时，将从摄像装置100发送的 RGB
图像数据作为实时取景图像显示于远程操作装置300的显示部(S304)。接收部184判定从
UAV 10在飞行路径上飞行以来是否经过了预定时间，或者接收部184判定从上次记录多光
谱图像以来是否经过了预定时间(S306)。如果是记录多光谱图像的时刻，则多路复用器 
170选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接
收部172。记录处理部178基于R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像
信号，按照RAW形式等预定的记录形式生成多光谱图像作为记录用的图像数据(S308)。记录
处理部178将多光谱图像存储在存储器192中(S310)。如果多光谱图像的摄影未结束
(S312)，则摄像装置100重复步骤S304以后的处理。

[0087] 图12是示出摄像装置100记录多光谱图像的处理过程的一个示例的流程图。

[0088] 用户经由远程操作装置300确定UAV 10的飞行路径(S400)。接下来，UAV 10开始沿着飞行路径的飞行(S402)。当不是记录多光谱图像的时刻时，将从摄像装置100发送的 RGB
图像数据作为实时取景图像显示于远程操作装置300的显示部(S404)。接收部184判定UAV 
10是否在预定的时间内进行悬停(S406)。当从UAV控制部30接收到对应于UAV 10 在预定的
时间进行悬停这种情况的接收记录指示时，接收部184判定UAV 10悬停了预定的时间。

[0089] 如果UAV 10悬停了预定时间，则多路复用器170选择R图像信号、G图像信号、B 图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172。记录处理部178基于 R图
像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，按照RAW形式等预定的记录
形式生成多光谱图像作为记录用的图像数据(S408)。记录处理部178将多光谱图像存储在
存储器192中(S410)。如果多光谱图像的摄影未结束(S412)，则摄像装置100重复步骤S404
以后的处理。

[0090] 图13是示出搭载在UAV 10上的摄像装置100的外观的另一个示例的图。摄像装置 100除了G用摄像部120、B用摄像部130、RE用摄像部140以及NIR用摄像部150之外，还包括
RGB用摄像部160，这一点与图2所示的摄像装置100不同。RGB用摄像部160可以与通常的照
相机相同，具有光学系统和图像传感器。图像传感器可以具有以拜尔阵列配置的、使红色区
域的波长带宽的光透过的滤光器、使绿色区域的波长带宽的光透过的滤光器以及使蓝色区
域的波长带宽的光透过的滤光器。RGB用摄像部160可以输出RGB图像。红色区域的波长带宽
例如可以是620nm～750nm。绿色区域的波长带宽例如可以是500nm～570nm。蓝色区域的波
长带宽例如为450nm～500nm。

[0091] 多路复用器170可以在第一期间从RGB用摄像部160中选择RGB图像信号，并输入到输入接收部172。在第一期间时段，多路复用器170可以丢弃R图像信号、G图像信号、B 图像
信号、RE图像信号以及NIR图像信号。去马赛克处理部174可以从RGB图像信号生成显示用的
RGB图像数据。

[0092] 多路复用器170可以在第二期间选择R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号，并输入到输入接收部172，丢弃RGB图像信号。多路复用器170 可以在
第二期间选择R图像信号、G图像信号、B图像信号、RE图像信号、NIR图像信号以及RGB图像信
号，并输入到输入接收部172。记录处理部178可以基于R图像信号、G图像信号、B图像信号、
RE图像信号、NIR图像信号以及RGB图像信号，按照RAW形式等预定的记录形式生成多光谱图
像作为记录用的图像数据。

[0093] 如上所述，根据本实施方式所涉及的摄像装置100，能够一边高效地记录多光谱图像数据，一边实时地确认摄像装置100所拍摄的内容。

[0094] 图14示出了可全部或部分地体现本发明的多个方面的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关
联的操作或者该装置的一个或多个“部”而起作用。或者，该程序能够使计算机1200执行该
操作或者该一个或多个“部”。该程序能够使计算机1200执行本发明的实施方式所涉及的过
程或者该过程的阶段。这种程序可以由CPU 1212执行，以使计算机1200执行与本说明书所
述的流程图及框图中的一些或者全部方框相关联的指定操作。

[0095] 本实施方式的计算机1200包括CPU 1212和RAM 1214，它们通过主机控制器1210 相互连接。计算机1200还包括通信接口1222、输入/输出单元，它们通过输入/输出控制器
1220 与主机控制器1210连接。计算机1200还包括ROM 1230。CPU 1212按照ROM 1230及RAM 
1214内存储的程序而工作，从而控制各单元。

[0096] 通信接口1222通过网络与其他电子装置通信。硬盘驱动器可以储存计算机1200内的 CPU 1212所使用的程序及数据。ROM 1230在其中储存运行时由计算机1200执行的引导
程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR‑ROM、USB存储器或IC卡之类的
计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的 
RAM 1214或ROM 1230中，并通过CPU 1212执行。这些程序中记述的信息处理由计算机 1200
读取，并引起程序与上述各种类型的硬件资源之间的协作。可以通过根据计算机1200 的使
用而实现信息的操作或者处理来构成装置或方法。

[0097] 例如，当在计算机1200和外部装置之间执行通信时，CPU 1212可执行加载在RAM 1214中的通信程序，并且基于通信程序中描述的处理，命令通信接口1222进行通信处理。通
信接口1222在CPU 1212的控制下，读取存储在RAM 1214或USB存储器之类的记录介质内提
供的发送缓冲区中的发送数据，并将读取的发送数据发送到网络，或者将从网络接收的接
收数据写入记录介质内提供的接收缓冲区等中。

[0098] 此外，CPU 1212可以使RAM 1214读取USB存储器等外部记录介质所存储的文件或数据库的全部或者需要的部分，并对RAM 1214上的数据执行各种类型的处理。接着，CPU 
1212可以将处理过的数据写回到外部记录介质中。

[0099] 可以将各种类型的程序、数据、表格及数据库之类的各种类型的信息存储在记录介质中，并接受信息处理。对于从RAM 1214读取的数据，CPU 1212可执行在本公开的各处描
述的、包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件转移、无条
件转移、信息的检索/替换等各种类型的处理，并将结果写回到RAM 1214中。此外，CPU 1212 
可以检索记录介质内的文件、数据库等中的信息。例如，在记录介质中储存具有分别与第二
属性的属性值相关联的第一属性的属性值的多个条目时，CPU 1212可以从该多个条目中检
索出与指定第一属性的属性值的条件相匹配的条目，并读取该条目内储存的第二属性的属
性值，从而获取与满足预定条件的第一属性相关联的第二属性的属性值。

[0100] 以上描述的程序或者软件模块可以存储在计算机1200上或者计算机1200附近的计算机可读存储介质上。另外，连接到专用通信网络或因特网的服务器系统中提供的诸如
硬盘或 RAM之类的记录介质可以用作计算机可读存储介质，从而可以经由网络将程序提供
给计算机 1200。

[0101] 应该注意的是，权利要求书、说明书以及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序，只要没有特别明示“在...之前”、
“事先”等，且只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。关于权利
要求书、说明书以及附图中的动作流程，为方便起见而使用“首先”、“接着”等进行了说明，
但并不意味着必须按照这样的顺序实施。

[0102] 以上使用实施方式对本发明进行了说明，但是本发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说，显然可对上述实施方式加以各种变更
或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在
本发明的技术范围之内。

[0103] 【符号说明】

[0104] 10 UAV

[0105] 20 UAV主体

[0106] 30 UAV控制部

[0107] 32存储器

[0108] 36通信接口

[0109] 40推进部

[0110] 41 GPS接收器

[0111] 42惯性测量装置

[0112] 43磁罗盘

[0113] 44气压高度计

[0114] 45温度传感器

[0115] 46湿度传感器

[0116] 50万向节

[0117] 60摄像装置

[0118] 100摄像装置

[0119] 110 R用摄像部

[0120] 112 R用图像传感器

[0121] 114光学系统

[0122] 120 G用摄像部

[0123] 122 G用图像传感器

[0124] 124光学系统

[0125] 130 B用摄像部

[0126] 132 B用图像传感器

[0127] 134光学系统

[0128] 140 RE用摄像部

[0129] 142 RE用图像传感器

[0130] 144光学系统

[0131] 150 NIR用摄像部

[0132] 152 NIR用图像传感器

[0133] 154光学系统

[0134] 160 RGB用摄像部

[0135] 170多路复用器

[0136] 172输入接收部

[0137] 174去马赛克处理部

[0138] 178记录处理部

[0139] 180摄像控制部

[0140] 184接收部

[0141] 188切换部

[0142] 190发送部

[0143] 192存储器

[0144] 1200计算机

[0145] 1210主机控制器

[0146] 1212 CPU

[0147] 1214 RAM

[0148] 1220输入/输出控制器

[0149] 1222通信接口

[0150] 1230 ROM