问题应答装置及方法

摘要

一种通过问题应答装置执行的问题应答方法，包括如下步骤：基于同一字幕，以一个镜头为单位划分数据集的视频数据中包括的图像帧、音频数据、字幕数据；通过计算包括在镜头中的图像帧、音频数据、字幕数据各自的特征向量来提取镜头特征向量；提取所述数据集中包括的问题答案对中的问题数据和与所述问题数据对应的多个选项数据各自的特征向量；将所述镜头特征向量输入到多层神经网络后，向各层的输出向量赋予基于所述问题数据计算的注意力权重并求和，从而算出视频特征向量；以及基于所述视频特征向量与选项特征向量之间的相似度，在所述多个选项数据中选择最终答案。

权利要求

1.一种问题应答方法，在问题应答装置中执行，其中，包括如下步骤：基于同一字幕，以一个镜头为单位划分数据集的视频数据中包括的图像帧、音频数据、字幕数据；

通过计算包括在镜头中的图像帧、音频数据、字幕数据各自的特征向量来提取镜头特征向量；

提取所述数据集中包括的问题答案对中的问题数据和与所述问题数据对应的多个选项数据各自的特征向量；

将所述镜头特征向量输入到多层神经网络后，向各层的输出向量赋予基于所述问题数据的特征向量计算的注意力权重并求和，从而算出视频特征向量；以及基于所述视频特征向量与选项特征向量之间的相似度，在所述多个选项数据中选择最终答案。

2.根据权利要求1所述的问题应答方法，其中，所述问题应答方法还包括如下步骤：反复训练所述多层神经网络，使得针对多个问题答案对，所述最终答案为各问题答案对的所述多个选项数据中的预先设定的正确答案。

3.根据权利要求1所述的问题应答方法，其中，

提取所述镜头特征向量的步骤包括如下步骤：

提取音频特征向量(ai)；

提取字幕特征向量(si)；以及

提取图像帧特征向量(vi)。

4.根据权利要求3所述的问题应答方法，其中，

提取所述镜头特征向量的步骤包括如下步骤：通过连结所述音频特征向量(ai)、所述字幕特征向量(si)和所述图像帧特征向量(vi)来算出所述镜头特征向量。

5.根据权利要求4所述的问题应答方法，其中，

提取所述图像帧特征向量(vi)的步骤包括如下步骤：通过多模式联合嵌入所述音频特征向量(ai)和所述字幕特征向量(si)，求出与所述图像帧特征向量(vi)相同维的联合嵌入向量(ei)，并且通过使用包括在联合嵌入向量(ei)的注意力权重来计算所述图像帧特征向量(vi)。

6.根据权利要求1所述的问题应答方法，其中，

所述多层神经网络由三层1‑D CNN构成。

7.一种问题应答装置，其中，包括：

存储部，存储包括视频数据和问题答案对的数据集；以及控制部，基于同一字幕，以一个镜头为单位划分所述视频数据中包括的图像帧、音频数据、字幕数据后，通过分析包括在每个镜头中的图像帧、音频数据、字幕数据来提取镜头特征向量，将所述镜头特征向量输入到多层神经网络，提取所述问题答案对中的问题数据和与所述问题数据对应的多个选项数据各自的特征向量，通过向所述多层神经网络的各层的输出向量赋予基于所述问题数据的特征向量计算的注意力权重后求和，从而算出视频特征向量，并基于所述视频特征向量与选项特征向量之间的相似度，在所述多个选项数据中选择最终答案。

8.根据权利要求7所述的问题应答装置，其中，

所述控制部，

反复训练所述多层神经网络，使得针对多个问题答案对，所述最终答案为各问题答案对的所述多个选项数据中的预先设定的正确答案。

9.根据权利要求7所述的问题应答装置，其中，

所述控制部，

分别提取音频特征向量(ai)、字幕特征向量(si)和图像帧特征向量(vi)后，通过连结所述音频特征向量(ai)、字幕特征向量(si)和图像帧特征向量(vi)来算出所述镜头特征向量。

10.根据权利要求9所述的问题应答装置，其中，所述控制部，

通过多模式联合嵌入所述音频特征向量(ai)和所述字幕特征向量(si)，求出与所述图像帧特征向量(vi)相同维的联合嵌入向量(ei)，并且通过使用包括在联合嵌入向量(ei)的注意力权重来计算所述图像帧特征向量(vi)。

11.一种计算机可读记录介质，记录有执行根据权利要求1所述的问题应答方法的程序。

说明书

问题应答装置及方法

技术领域

[0001] 在本说明书中公开的实施例涉及一种分层视频故事建模和通过使用该分层视频故事建模来应答针对视频的问题的问题应答装置及方法。

[0002] 2019年课题信息和致谢表示

[0003] 1‑1.课题识别号码：1711081135

[0004] 1‑2.致谢表示：本研究是根据科学技术信息通信部和信息通信技术促进中心的创新成长动力项目的研究结果进行的(IITP‑2017‑0‑01772‑003)。

[0005] 2‑1.课题识别号码：1711081008

[0006] 2‑2.致谢表示：本研究是根据科学技术信息通信部和信息通信技术促进中心的SW计算行业原创技术发展(R&D，信息化)的研究结果进行的(IITP‑2015‑0‑00310‑005)。

背景技术

[0007] 近来，视频故事建模领域正在发展成一个高难度的领域，它将视觉和自然语言处理研究融合在一起。视觉问答(Visual Question Answering，VQA)技术是处理视觉和自然语言处理的融合领域的代表性技术。VQA技术分析视频中包括的数据，并据此推论对问题的答案，以便可以应答关于视频里包含的意义或情节的问题。

[0008] 然而，由于包含许多信息的视频本身的特性(与简单的图像不同)和来自该特性的多种类型的问题引起的问题难度增加，因此视频故事问答问题被评估为难以解决的领域。

[0009] 因此，不仅难以收集数据集，而且之前的视频故事问答数据集具有多个限制。

[0010] 另外，由于现有的视频问答模型仅使用了字幕和影像的图像帧信息，从而存在难以使用不是从字幕或影像中推断出的关于登场人物的声音中包含的说话者或感情的信息。

[0011] 因此，需要能够改善视频问答难度的同时，通过区分说话者或感情来推断针对问题的适当应答的方法。

[0012] 此外，上述的背景技术是发明人为了得出本发明而持有的技术信息或在得出本发明的过程中获得的技术信息，而并不一定是在申请本发明之前已向公众公开的公知技术。

发明内容

[0013] 发明要解决的问题

[0014] 在本说明书中公开的实施例的目的在于，提供一种问题应答装置以及方法。

[0015] 在本说明书中公开的实施例的目的在于，提供一种通过使用对问题的注意力来执行对视频故事的问题应答的问题应答装置以及方法。

[0016] 在本说明书中公开的实施例的目的在于，提供一种分层地建模视频故事，并基于此来执行问题应答的问题应答装置以及方法。

[0017] 进而，在本说明书中公开的实施例的目的在于，提供一种通过将包括在视频数据集中的音频信息与图像帧和字幕信息一起使用来区分说话者或感情，从而执行对问题的适当应答的问题应答装置以及方法。

[0018] 用于解决问题的手段

[0019] 通过问题应答装置执行的问题应答方法，包括以下步骤：基于同一字幕，以一个镜头为单位划分数据集的视频数据中包括的图像帧、音频数据、字幕数据；通过计算包括在镜头中的图像帧、音频数据、字幕数据各自的特征向量来提取镜头特征向量；提取所述数据集中包括的问题答案对中的问题数据和与所述问题数据对应的多个选项数据各自的特征向量；将所述镜头特征向量输入到多层神经网络后，向各层的输出向量赋予基于所述问题数据计算的注意力权重并求和，从而算出视频特征向量；以及基于所述视频特征向量与选项特征向量之间的相似度，在所述多个选项数据中选择最终答案。

[0020] 发明效果

[0021] 根据上述的用于解决本发明的问题的手段中的任一者，能够提供一种问题应答装置以及方法。

[0022] 根据用于解决本发明的问题的手段中的任一者，能够提供一种通过使用对问题的注意力来执行对视频故事的问题应答的问题应答装置以及方法。

[0023] 根据用于解决本发明的问题的手段中的任一者，能够提供一种分层地建模视频故事，并且基于此来执行问题应答的问题应答装置以及方法。

[0024] 根据用于解决本发明的问题的手段中的任一者，能够提供一种通过将包括在视频数据集中的音频信息与图像帧和字幕信息一起使用来区分说话者或感情，从而执行对问题的适当应答的问题应答装置以及方法。

[0025] 在本发明可获得的效果并不仅限于上述的效果，只要是本领域普通技术人员，就能够根据以下描述的内容来明确地理解未提及的其他各种效果。

附图说明

[0026] 图1是示出一实施例的问题应答装置的构成的图。

[0027] 图2是示出一实施例的问题应答装置中使用的数据集的一例的图。

[0028] 图3是分阶段示出一实施例的、由问题应答装置执行的问题应答方法的图。

[0029] 图4是概念性地示出一实施例的、在问题应答方法中提取镜头特征的过程的图。

[0030] 图5是概念性地示出一实施例的、在问题应答方法中选择根据问题的最终答案的过程的图。

具体实施方式

[0031] 作为用于解决所述技术问题的技术手段，根据一实施例，提供一种通过问题应答装置执行的问题应答方法，包括如下步骤：基于同一字幕，以一个镜头为单位划分数据集的视频数据中包括的图像帧、音频数据、字幕数据；通过计算包括在镜头中的图像帧、音频数据、字幕数据各自的特征向量来提取镜头特征向量；提取所述数据集中包括的问题答案对中的问题数据和与所述问题数据对应的多个选项数据各自的特征向量；将所述镜头特征向量输入到多层神经网络后，向各层的输出向量赋予基于所述问题数据计算的注意力权重并求和，从而算出视频特征向量；以及基于所述视频特征向量与选项特征向量之间的相似度，在所述多个选项数据中选择最终答案。

[0032] 根据另一实施例，提供一种问题应答装置，可包括：存储部，存储包括视频数据和问题答案对的数据集；以及控制部，基于同一字幕，以一个镜头为单位划分所述视频数据中包括的图像帧、音频数据、字幕数据后，通过分析包括在每个镜头中的图像帧、音频数据、字幕数据来提取镜头特征向量，将所述镜头特征向量输入到多层神经网络，提取所述问题答案对中的问题数据和与所述问题数据对应的多个选项数据各自的特征向量，通过使用所述多层神经网络的各层的输出向量算出视频特征向量，并基于所述视频特征向量与选项特征向量之间的相似度，在所述多个选项数据中选择最终答案。

[0033] 根据又一实施例，提供一种记录有执行问题应答方法的程序的计算机可读记录介质，所述问题应答方法，包括如下步骤：基于同一字幕，以一个镜头为单位划分数据集的视频数据中包括的图像帧、音频数据、字幕数据；通过计算包括在镜头中的图像帧、音频数据、字幕数据各自的特征向量来提取镜头特征向量；提取所述数据集中包括的问题答案对中的问题数据和与所述问题数据对应的多个选项数据各自的特征向量；将所述镜头特征向量输入到多层神经网络后，向各层的输出向量赋予基于所述问题数据计算的注意力权重并求和，从而算出视频特征向量；以及基于所述视频特征向量与选项特征向量之间的相似度，在所述多个选项数据中选择最终答案。

[0034] 根据又一实施例，提供一种由问题应答装置执行并存储在介质中用以执行问题应答方法的计算机程序，所述问题应答方法，包括如下步骤：基于同一字幕，以一个镜头为单位划分数据集的视频数据中包括的图像帧、音频数据、字幕数据；通过计算包括在镜头中的图像帧、音频数据、字幕数据各自的特征向量来提取镜头特征向量；提取所述数据集中包括的问题答案对中的问题数据和与所述问题数据对应的多个选项数据各自的特征向量；将所述镜头特征向量输入到多层神经网络后，向各层的输出向量赋予基于所述问题数据计算的注意力权重并求和，从而算出视频特征向量；以及基于所述视频特征向量与选项特征向量之间的相似度，在所述多个选项数据中选择最终答案。

[0035] 以下，参照附图，对各实施例进行详细说明。以下说明的各实施例，可以以各种不同形态变形并实施。为了更明确地说明各实施例的特征，省略了对于以下的各实施例所属领域的普通技术人员公知的事项的详细说明。并且，在附图中省略了与各实施例的说明无关的部分，而且在整个说明书中，对相似的部分标注了相似的附图标记。

[0036] 在整个说明书中，当某一结构“连接”于另一结构时，这不仅包括“直接连接”的情形，还包括“在中间夹着其他结构连接”的情形。另外，当某一结构“包括”某一结构时，除非特别做了相反说明，是指还可以包括其他结构而不是排除其他结构。

[0037] 以下，参照附图，对各实施例进行详细说明。

[0038] 图1是示出一实施例的问题应答装置的构成的图。问题应答装置10可包括信息处理装置，通过分析视频来算出对视频的问题的最佳应答。

[0039] 具体而言，问题应答装置10可包括存储部11、输入输出部12、控制部13和通信部14。

[0040] 存储部11可存储问题应答所需的各种数据或程序。存储部11可存储对视频的问题应答的学习过程所需的数据集。此时，数据集可包括关于包括在视频数据中的图像帧、音频数据、字幕数据、与该视频数据相对应的问题数据、作为应答的选项数据、正确答案数据等的信息。尤其，数据集可包括对视频的训练(training)集、验证(Validation)集、测试(Test)集。

[0041] 另外，存储部11可以至少暂时保留或更新训练对视频的问题应答并且由此执行对问题的应答的程序以及在训练和问题应答中使用的与各个模型或神经网络相关的数据。

[0042] 此外，输入输出部12是接收数据或用户命令，且输出根据用户输入计算并处理数据而得到的结果的结构。根据一实施例，输入输出部12可包括如键盘、鼠标、触摸面板等的用户输入单元和显示器、扬声器等的输出单元。

[0043] 另外，控制部13是包括至少一个如CPU等处理器的结构，可以控制问题应答装置10的整体动作和结构。尤其，控制部13可以通过执行存储在存储部11的程序或读取数据来执行视频故事建模，由此选择对问题的适当应答。

[0044] 尤其，控制部13通过分别分析视频的图像帧、音频、字幕来对视频情节进行建模。将在后面更加详细地说明关于控制部13对视频故事进行建模并由此执行问题应答的详细过程。

[0045] 此外，通信部14使问题应答装置10与其他装置交换数据。通信部14可以接收控制部13要分析的视频数据集，或者也可以接收并提供在控制部13分析视频数据集或使用视频数据集对视频故事进行建模的过程中所需的与神经网络相关的数据。进而，通信部14可以与另一终端通信，从而可以将从另一终端接收的问题传递至控制部13或可以将控制部13计算的应答提供给另一终端。

[0046] 以下，对问题应答装置10具体执行的问题应答过程进行说明。但是，在此之前，先对用于视频故事建模的数据集进行说明。图2是示出一实施例的问题应答装置中使用的数据集的一例的图。

[0047] 首先，如图2所示，视频数据集包括构成特定视频内容的图像帧、音频、字幕数据。另外，数据集包括问题答案对，此时，问题答案对可包括问题数据和针对问题的多个选项数据。另外，此时，正确答案数据可与其他选项区分开地包括在选项中。

[0048] 图2所述的实施例例示了包括对美国电视剧《老友记》的影像的问题答案对的老友记QA数据集。如图所示，数据集包括构成特定剧情的场面的图像帧和音频数据、字幕数据，包括对相关影像的问题数据和包括对应的正确答案的一个以上选项数据。

[0049] 在一实施例中，可以基于字幕数据以镜头(Shot)单位划分图像帧、音频数据和字幕数据。即，划分为在显示一个字幕的时间范围内的图像帧、音频数据和该字幕数据的集合构成一个镜头。

[0050] 对问题应答装置10执行的问题应答方法，将参照图3至图5进行说明。

[0051] 图3是分阶段示出一实施例的、由问题应答装置执行的问题应答方法的图，图4是概念性地示出一实施例的、在问题应答方法中提取镜头特征的过程的图，图5是概念性地示出一实施例的、在问题应答方法中选择根据问题的最终答案的过程的图。

[0052] 如图所示，问题应答装置10准备执行视频故事建模的视频数据集(S310)。

[0053] 此时，如上所述，数据集可包括构成视频的图像帧、音频数据、字幕数据、构成问题答案对的问题数据和选项数据。

[0054] 另外，问题应答装置10可以以镜头单位划分图像帧、音频数据和字幕数据。即，问题应答装置10将从一个字幕的开始到结尾的片段(Segment)分为各个镜头(S320)。

[0055] 此时，分成镜头的视频可以定义为X＝{vi，ai，si)}i＝1，...，|X|。此时，vi是图像序列(image sequence)的特征向量，ai是提取的音频的特征向量，si是通过词嵌入(word embedding)字幕来算出的特征向量。并且每个镜头的特征可以用他们的集合来表现。

[0056] 然后，问题应答装置10接着提取每个镜头的特征(S330)。

[0057] 此时，在步骤S330中提取镜头的特征的过程可以再次分为步骤S331至步骤S334。

[0058] 首先，问题应答装置10可以提取音频特征向量ai(S331)。在步骤S331中，以提取在音频数据中包括的声音的特征的过程执行。根据图4中示出的实施例，步骤S331可以通过使用基于梅尔频率倒谱系数(MFCC:Mel‑Frequency Cepstral Coefficients)的卷积神经网络(CNN:Convolution Neural Network)模型来执行。对一个镜头的音频数据，将40ms的汉明窗(Hamming windows)分区间使用以重复25ms，从而提取最低的39维特征。对提取的(N，39)维特征，可以通过应用两次过滤器(filter)的数量为多个的1‑D CNN，并使用全局最大池化(global max pooling)来提取固定的维的音频特征。另外，可以通过将一层全连接层(Fully connected layer)应用于所提取的音频特征来提取300维音频特征向量ai。

[0059] 此外，问题应答装置10可以提取字幕特征向量si(S332)。在步骤S332中，问题应答装置10通过使用自然语言处理模型来执行词嵌入，并且将词单元的特征输入到神经网络模型以计算固定维的特征向量。根据图4中示出的实施例，在步骤S332中，问题应答装置10使用用于自然语言处理的预训练(pre‑trained)模型执行词嵌入，并将该词单元的特征作为双向长短期存储器(LSTM：Long Short‑Term Memory)模型的输入来求出固定维的特征向量，从而可以计算字幕特征向量si。

[0060] 此外，尽管未在图3中示出，但是如图4中示出的实施例，通过多模式联合嵌入(Multimodal Joint Embedding)可以将音频特征向量ai和字幕特征向量si用作图像特征向量vi的注意力特征向量。具体而言，可以将音频特征向量ai和字幕特征向量si以与后述的图像特征向量vi相同的维嵌入后，加起来创建联合嵌入(joint embedding)向量ei。另外，问题应答装置10可以在计算图像帧特征向量vi的过程中，使用联合嵌入向量ei作为注意力特征向量。

[0061] 此外，问题应答装置10可以提取对每个镜头的图像帧特征向量vi(S333)。在该步骤中，问题应答装置10可以在一个镜头每秒采样3个图像帧。并且，问题应答装置10可以将采样图像输入到神经网络，从而计算对每个图像的特征向量。

[0062] 例如，在图4示出的实施例中，问题应答装置10可以通过将ImageNet pre‑trained ResNet‑152应用于每个采样图像，来提取(7，7，2048)维的张量。并且通过对提取的张量和先前求出的联合嵌入向量ei进行内积，来获得(7，7)维的注意力图。另外，问题应答装置10可以通过将包括在注意力图的每个注意力权重乘以提取的张量后，对所有49个2048维特征向量求和来求出特征向量。当以这种方式求出对图像帧的特征向量时，可以获取对一个镜头的可变长度的特征向量，其可以被平均并表示为对一个镜头的图像帧特征向量vi。

[0063] 另外，问题应答装置10可以通过连结(Concatenation)对一个镜头求出的三个特征向量，来求出一个镜头特征向量。

[0064] 此外，问题应答装置10针对每个问题算出问题特征向量q(S340)，并且也可以针对每个选项提取选项特征向量αi(S350)。此时，为了提取分别由自然语言构成的问题和选项的特征向量，与上述提取字幕特征向量si的情况一样，问题应答装置10通过使用自然语言处理模型来执行词嵌入，并将词单元的特征输入到神经网络模型，从而可以算出固定维的特征向量。例如，如图4所示，问题应答装置10使用用于自然语言处理的预训练(pre‑trained)模型执行词嵌入，并将该词单元的特征作为双向长短期存储器(LSTM：Long Short‑Term Memory)模型的输入来求出固定维的特征向量，从而可以提取问题特征向量q和选项特征向量αi。

[0065] 而且，问题应答装置10可以线性变换问题特征向量q，以计算在后述的步骤S380中使用的注意力特征向量(S360)。

[0066] 此外，问题应答装置10可以通过多层卷积(convolution)来分层地表示通过步骤S330算出的每个镜头特征向量。一实施例中提出的模型是使用多层神经网络(例如，三层1‑D CNN)的方式。问题应答装置10可以在三个1‑D CNN的每一层嵌入镜头特征向量(S370)。另外，问题应答装置10可以通过全局最大池化(global max‑pooling)来算出各种级别的输出向量。

[0067] 随后，问题应答装置10可以通过将在步骤S360中算出的注意力特征向量中包括的各个注意力权重分别赋予到每个层的输出向量后，将其求和来算出加权和(S380)。由于这种加权和针对问题被赋予注意力权重，因此成为该问题最合适的“视频特征向量”。

[0068] 另外，问题应答装置10基于视频特征向量与选项特征向量αi之间的点积相似度(dot‑product similarity)，在多个选项中选择一个最终答案。

[0069] 此外，问题应答装置10可以训练多层神经网络，通过对多个问题答案对反复执行上述的过程，使得最终答案变成预设的正确答案。

[0070] 另外，问题应答装置10可以通过使用以如上所述通过数据集训练的多层神经网络，来向用户提供与用户的问题相对应的应答。

[0071] 实施例中使用的术语“～部”是指，软件或如FPGA(field programmable gate array)或ASIC那样的硬件组件，“～部”执行某些功能。然而，“～部”并不仅限于软件或硬件。“～部”可以配置在可寻址存储介质中，或者可以使一个或多个处理器运行。因此，作为一例，“～部”包括：如软件组件、面向对象软件组件、类组件以及任务组件等组件、流程、函数、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组以及变量。

[0072] 组件和“～部”内提供的功能，可以结合成更少数量的组件和“～部”，或从另设的其他组件和“～部”分离。

[0073] 不仅如此，组件和“～部”，可使设备或安全多媒体卡内的一个或多个CPU运行。

[0074] 另外，根据本发明的一实施例的问题应答方法，可以借助包括计算机可执行的命令的计算机程序(或计算机程序产品)来实现。该计算机程序包括可由处理器处理的可编程机器命令，并且可以通过高级编程语言(High‑level Programming Language)、面向对象编程语言(Object‑oriented Programming Language)、汇编语言或机器语言来实现。另外，计算机程序还可以记录在有形的计算机可读记录介质(例如，存储器、硬盘、磁/光介质或SSD(Solid‑State Drive)等)上。

[0075] 因此，根据一实施例的问题应答方法，可以通过由计算装置执行如上所述的计算机程序来实现。计算装置可包括处理器、存储器、存储装置、与存储器和高速扩展端口连接的高速接口以及与低速总线和存储装置连接的低速接口中的至少一部分。这些组件分别用各种总线相互连接，并且可以搭载在同一个主板上或以其他合适的方式安装在同一个主板上。

[0076] 在此，处理器能够在计算装置内处理命令，这种命令例如可以是，为了如连接到高速接口的显示器那样向外部输入或输出装置显示用于提供GUI(Graphic User Interface)的图形信息，存储在存储器或存储装置中的命令。作为另一实施例，多个处理器和(或)多个总线可以适当地与多个存储器和存储器形态结合使用。另外，处理器可以由芯片组来实现，该芯片组由包括独立的多个模拟和(或)数字处理器的芯片构成。

[0077] 另外，存储器在计算装置内用于存储信息。作为一例，存储器可由易失性存储器单元或其集合构成。作为另一例，存储器可以由非易失性存储单元或其集合构成。另外，存储器也可以是其他类型的计算机可读介质，例如磁盘或光盘。

[0078] 此外，存储装置可以为计算装置提供大容量的存储空间。存储装置可以是计算机可读介质或包括这种介质的结构，还可包括例如SAN(Storage Area Network)内的装置或其他结构，可以是软盘装置、硬盘装置、光盘装置或磁带装置、闪存、与其类似的其他半导体存储装置或装置阵列。

[0079] 上述的实施例的说明仅是示例，只要是本发明所属领域的普通技术人员就能够理解，在不改变本发明的技术精神或基本特征的情况下，可以容易地将本发明变形为其他具体形式。因此，应当理解，上述实施例在所有方面仅是示例，而不可视为限定。例如，描述为单一形式的各组件，可以以分散方式实现，同样地，描述为分散形式的各组件，也可以以组合形式实现。

[0080] 本发明的范围是由随附的权利要求书给出而不是上述的详细说明，并且应当解释为，从权利要求书的含义和范围以及与其等同概念得出的所有变更或变形的形式，都应包括在本发明的范围内。