信号分离装置和信号分离方法

摘要

频域变换单元(2)将由多个传感器观测到的混合信号变换为频域的混合信号，复数矢量生成单元(3)用频域的混合信号生成复数矢量，归一化单元(4)生成将该复数矢量的频率依赖性排除的归一化矢量，分簇单元(5)对归一化矢量进行分簇，并生成簇。然后，分离信号生成单元(6)用簇的信息生成频域的分离信号，时域变换单元(7)将频域的分离信号变换为时域的分离信号。

权利要求

1.一种信号分离装置，将混合了从多个信号源发出的源信号所构成的混合信号分离为该源信号，该装置具有：频域变换单元，将由多个传感器观测到的所述混合信号变换为频域的混合信号；

归一化单元，将使用所述频域的混合信号生成的复数矢量归一化，并生成将该复数矢量的频率依赖性排除了的归一化矢量；以及分簇单元，将所述归一化矢量分簇，并生成簇。

2.如权利要求1所述的信号分离装置，其中，

所述归一化单元包括：

第1归一化单元，将所述复数矢量具备的一个特定元素作为基准而将该复数矢量的各元素的幅角归一化；以及第2归一化单元，将由所述第1归一化单元归一化的各元素的幅角除以与频率成比例的值。

3.如权利要求2所述的信号分离装置，其中，

所述归一化单元还包括：

第3归一化单元，将由所述第2归一化单元归一化过的各元素构成的范数归一化为规定的值。

4.一种信号分离装置，将混合了从多个信号源发出的源信号所构成的混合信号分离为该源信号，它包括：频域变换单元，将从多个传感器观测到的所述混合信号变换为频域的混合信号；

分离矩阵计算单元，使用所述频域的混合信号，对每个频率计算分离矩阵；

逆矩阵计算单元，计算所述分离矩阵的一般化逆矩阵；

基底矢量归一化单元，进行对构成所述一般化逆矩阵的基底矢量归一化，计算归一化基底矢量；

分簇单元，将所述归一化基底矢量分簇，并生成簇；以及

排列计算单元，使用所述簇的中心矢量和所述归一化基底矢量，计算用于重新排列所述分离矩阵的元素的排列，所述基底矢量归一化单元进行将所述基底矢量的频率依赖性排除的归一化。

5.如权利要求4所述的信号分离装置，其中，

将所述基底矢量的频率依赖性排除的归一化是将所述基底矢量具备的特定的一个元素作为基准而对该基底矢量的各元素的幅角进行归一化，进而将各元素的幅角除以与频率成比例的值的归一化。

6.如权利要求4所述的信号分离装置，其中，

将所述基底矢量的频率依赖性排除的归一化是对于所述基底矢量Ap(f)(p＝1，...，N，N是信号源的数)的各元素Aqp(f)(q＝1，...，M，M是观测所述混合信号的传感器的数)，通过exp为纳皮尔数，arg[·]为幅角，f为频率，j为虚数单位，c为信号的传送速度，Q为从M以下的自然数中选择出的基准值，将d设为了满足d＞dmax/2的实数的情况下的${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\left|A_{\mathrm{qp}}\left(f\right)\right|\exp \left[j\frac{\arg [A_{\mathrm{qp}}\left(f\right)/A_{\mathrm{Qp}}\left(f\right)]}{4f{c}^{-1}d}\right]$的运算进行的归一化，其中dmax意味着与元素AQp(f)对应的基准传感器和其他传感器之间的最大距离。

7.如权利要求6所述的信号分离装置，其中，

所述d是与所述AQp(f)对应的基准传感器和其他传感器的最大距离dmax。

8.如权利要求4所述的信号分离装置，其中，

所述基底矢量归一化单元进行将所述基底矢量的频率依赖性排除的归一化、以及使范数为规定值的归一化。

9.一种信号分离装置，将混合了从多个信号源发出的源信号所构成的混合信号分离为该源信号，它包括：频域变换单元，将多个传感器观测到的所述混合信号变换为频域的混合信号；

分离矩阵计算单元，使用所述频域的混合信号，对每个频率计算分离矩阵；

逆矩阵计算单元，计算所述分离矩阵的一般化逆矩阵；

基底矢量归一化单元，进行对构成所述一般化逆矩阵的基底矢量的归一化，计算归一化基底矢量；

分簇单元，将所述归一化基底矢量分簇，并生成簇；以及

排列计算单元，使用根据所述频域的混合信号和所述分离矩阵或重新排列了其行的分离矩阵求出的分离信号的包络线、所述簇的中心矢量、以及所述归一化基底矢量，计算用于重新排列所述分离矩阵的元素的排列，所述基底矢量归一化单元进行将所述基底矢量的频率依赖性排除的归一化。

10.一种信号分离装置，将混合了从多个信号源发出的源信号所构成的混合信号分离为该源信号，它包括：频域变换单元，将多个传感器观测到的所述混合信号变换为频域的混合信号；

信号分离单元，使用所述频域的混合信号，对每个频率计算分离矩阵和分离信号；以及目标信号选择单元，将作为所述分离矩阵的一般化逆矩阵的列的基底矢量归一化，将该归一化后的基底矢量分簇，并以该簇的方差作为指标而从所述分离信号中选择包含了目标信号的选择信号，所述目标信号选择单元进行的所述归一化为将所述基底矢量的频率依赖性排除的归一化。

11.如权利要求10所述的信号分离装置，其中，还包括：

屏蔽生成单元，使用所述频域的混合信号和所述基底矢量生成时频屏蔽；以及屏蔽单元，将所述时频屏蔽应用于由所述目标信号选择单元选择出的所述选择信号，生成屏蔽处理选择信号。

12.如权利要求11所述的信号分离装置，其中，

所述屏蔽生成单元包括：

白化矩阵生成单元，使用所述频域的混合信号生成白化矩阵；

白化单元，使用所述白化矩阵，计算对以所述频域的混合信号为分量的混合信号矢量进行变换的白化混合信号矢量和对所述基底矢量进行变换的白化基底矢量；

角度计算单元，对每个时频计算所述白化混合信号矢量和所述白化基底矢量形成的角度；以及函数运算单元，生成以所述角度为分量的函数的所述时频屏蔽。

13.如权利要求12所述的信号分离装置，其中，

所述白化矩阵是频率为f、离散时间为τ、所述混合信号矢量为X(f，τ)、将矢量*进行时间平均的矢量为<*>、矢量*的复数共轭转置矢量为*H、R(f)＝τ情况下的V(f)＝R(f)-1/2；

白化单元通过Z(f，τ)＝V(f)·X(f，τ)的运算来计算白化混合信号矢量Z(f，τ)，并通过所述基底矢量为A(f)的情况下的B(f)＝V(f)·A(f)的运算来计算所述白化基底矢量B(f)；

所述角度计算单元通过矢量的绝对值为|*|、矢量*的范数为||*||的情况下的θ(f，τ)＝cos-1(|BH(f)·Z(f，τ)|/||B(f)||·||Z(f，τ)||)的运算，计算所述角度θ(f，τ)；

函数运算单元将α、g、θT为实数的情况下的逻辑斯谛函数作为所述时频屏蔽来计算。

14.如权利要求11所述的信号分离装置，其中，

所述屏蔽生成单元包括：

频率归一化单元，将用所述频域的混合信号生成的混合信号矢量X(f，τ)归一化为不依赖频率的频率归一化矢量X′(f，τ)；

第1范数归一化单元，将所述频率归一化矢量X′(f，τ)归一化为范数为规定的值的范数归一化矢量X″(f，τ)；

形心选择单元，提取与所述选择信号对应的形心ηι；

第2范数归一化单元，将与所述选择信号对应的形心ηι归一化为该范数为所述规定的值的范数归一化形心ηι′；

平方距离计算单元，计算所述范数归一化矢量X″(f，τ)和所述范数归一化形心ηι′之间距离的平方DS(f，τ)；以及函数生成单元，生成使用了以所述距离的平方DS(f，τ)为分量的函数的所述时频屏蔽。

15.如权利要求10所述的信号分离装置，其中，

将所述基底矢量的频率依赖性排除的归一化是将所述基底矢量具备的特定的一个元素作为基准来对该基底矢量的各元素的幅角进行归一化，进而将各元素的幅角除以与频率成比例的值的归一化。

16.如权利要求15所述的信号分离装置，其中，

将所述基底矢量的频率依赖性排除的归一化是在对于所述基底矢量Ap(f)(p为自然数)的各元素Aqp(f)(q＝1，...，M，M为观测所述混合信号的传感器的数)，通过exp为纳皮尔数、arg[·]为幅角、f为频率、j为虚数单位、c为信号的传送速度、Q为从M以下的自然数中选择出的基准值、将d设为了满足d＞dmax/2的实数的情况下的${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\left|A_{\mathrm{qp}}\left(f\right)\right|\exp \left[j\frac{\arg [A_{\mathrm{qp}}\left(f\right)/A_{\mathrm{Qp}}\left(f\right)]}{4f{c}^{-1}d}\right]$的运算进行的归一化，其中dmax意味着与元素AQp(f)对应的基准传感器和其他传感器之间的最大距离。

17.如权利要求16所述的信号分离装置，其中，

所述d是与AQp(f)对应的基准传感器和其他传感器之间的最大距离dmax。

18.如权利要求10所述的信号分离装置，其中，

所述目标信号选择单元进行将所述基底矢量的频率依赖性排除的归一化、以及使范数为规定值的归一化。

19.如权利要求10所述的信号分离装置，其中，

所述目标信号选择单元选择方差最小簇，并将对应于选择出的簇的选择信号选择为所述选择信号。

20.一种信号分离装置，将混合了从多个信号源发出的源信号所构成的混合信号分离为该源信号，它包括：频域变换单元，将多个传感器观测到的所述混合信号变换为频域的混合信号；

矢量归一化单元，进行由所述频域的混合信号构成的混合信号矢量的归一化，计算归一化矢量；

分簇单元，将所述归一化矢量分簇，并生成簇；以及

分离信号生成单元，从属于第k的所述簇的所述归一化矢量的与时频对应的所述混合信号矢量中提取第Q’号的元素，并生成将其作为第k元素的分离信号矢量，其中k＝1、...、N，N是所述信号源的数，Q’是从M以下的自然数中选择出的基准值，M是传感器的数；

所述矢量归一化单元进行将所述混合信号矢量的频率依赖性排除的归一化。

21.如权利要求20所述信号分离装置，其中，

将所述混合信号矢量的频率依赖性排除的归一化是将所述混合信号矢量具备的特定的一个元素作为基准而对该基底矢量的各元素的幅角进行归一化，进而将各元素的幅角除以与频率成比例的值的归一化。

22.如权利要求21所述的信号分离装置，其中，

将所述混合信号矢量的频率依赖性排除的归一化是通过在M为所述传感器的数、q＝1，...，M、所述混合信号矢量的各元素为Xq(f，τ)、exp为纳皮尔数、arg[·]为幅角、j为虚数单位、c为信号的传送速度、Q为从M以下的自然数中选择出的基准值、d设为满足d＞dmax/2的实数、f为频率、τ为离散时间的情况下的${X_q}^{\prime }(f,\tau )=\left|X_q(f,\tau )\right|\exp \left[j\frac{\arg [X_q(f,\tau )/X_Q(f,\tau )]}{4f{c}^{-1}d}\right]$运算来进行，dmax意味着与元素XQ(f，τ)对应的基准传感器和其他传感器之间的最大距离。

23.如权利要求22所述的信号分离装置，其中，

所述d是对应于所述分量XQ(f，τ)的传感器和其他传感器的最大距离dmax。

24.如权利要求20所述的信号分离装置，其中，

所述矢量归一化单元进行将所述混合信号矢量的频率依赖性排除的归一化、以及使范数为规定值的归一化。

25.一种信号分离方法，用于将混合了从多个信号源发出的源信号所构成的混合信号分离为该源信号，该方法包括以下步骤：将多个传感器观测到的所述混合信号变换为频域的混合信号并输出；

使用所述频域的混合信号，对每个频率计算分离矩阵；

计算并输出所述分离矩阵的一般化逆矩阵；

对构成所述一般化逆矩阵的基底矢量进行归一化，计算归一化基底矢量；

将所述归一化基底矢量分簇，并生成簇来输出；以及

使用所述簇的中心矢量和所述归一化基底矢量，计算并输出用于将所述分离矩阵的元素重新排列的排列；

所述基底矢量的归一化为将所述基底矢量的频率依赖性排除的归一化。

26.一种信号分离方法，用于将混合了从多个信号源发出的源信号所构成的混合信号分离为该源信号，该方法包括以下步骤：将多个传感器观测到的所述混合信号变换为频域的混合信号并输出；

使用所述频域的混合信号，对每个频率计算分离矩阵和分离信号并输出；以及将所述分离矩阵的作为一般化逆矩阵的列的基底矢量进行归一化，将该归一化后的基底矢量分簇，以这种簇的方差作为指标，从所述分离信号中，选择包含了目标信号的选择信号；

所述基底矢量的归一化为将所述基底矢量的频率依赖性排除的归一化。

27.一种信号分离方法，用于将混合了从多个信号源发出的源信号所构成的混合信号分离为该源信号，该方法包括以下步骤：将多个传感器观测到的所述混合信号变换为频域的混合信号并输出；

进行由所述频域的混合信号构成的混合信号矢量的归一化，计算归一化矢量并输出；

将所述归一化矢量分簇，生成并输出簇；以及

从属于第k的所述簇的对应于所述归一化矢量的时频的所述混合信号矢量中提取第Q’号的分量，生成并输出将该分量作为第k分量的分离信号矢量，其中k＝1、...、N，N是所述信号源的数，Q’是从M以下的自然数中选择出的基准值，M是传感器的数；

所述混合信号矢量的归一化为将所述混合信号矢量的频率依赖性排除的归一化。

说明书

技术领域

本发明涉及信号处理技术领域，特别涉及从在空间内混合了多个源信号的混合信号中提取源信号的技术。

背景技术

作为通过使用多个传感器来提取某个信号从而抑制其他信号的以往技术，众所周知波束形成装置(beamformer)(也称为波束形成)(例如参见非专利文献1)。但是，波束形成装置需要与目标信号的方向有关的信息，所以有在未获得这样的信息(或不能估计)的状况下难以利用的缺点。
此外，作为更新的其他技术，可列举盲信号分离(BSS：Blind SignalSeparation)(例如参见非专利文献2)。盲信号分离的优势表现在不需要上述波束形成装置所必需的的信息方面，被期待在各种各样的状况下的应用。以下，说明有关这种盲信号分离的信号分离。
首先，进行盲信号分离的格式化。假设所有的信号被以某个采样频率fs采样，并被离散地表现。此外，假设N个信号被混合并被M个传感器观测。以下，对信号因从信号的发生源至传感器的距离而衰减、延迟，或信号因墙壁等而被反射从而发生传输路径的失真进行处理。这样的状况下混合的信号可以由从信号源k至传感器q(q表示传感器的号码[q＝1，…，M]，而k表示信号源的号码[k＝1，…，N])的冲击响应s hqk(r)的卷积混合
$x_q\left(t\right)=\underset{k=1}{\overset{N}{\Sigma }}\underset{r=0}{\overset{\infty }{\Sigma }}{h}_{\mathrm{qk}}\left(r\right)s_k(t-r)...\left(1\right)$来表现。其中t表示采样时刻，sk(t)表示在采样时刻t从信号源发出的源信号，xq(t)表示在采样时刻t由传感器q观测的信号。而r表示用于扫描的变量。
一般的冲击响应hqk(r)在经过适当的时间后具有脉冲性的强响应，随着衰减而不断衰减。盲信号分离的目的是不知道源信号s1(t)、…、sN(t)或冲击响应s h11(r)、…、h1N(r)、…、hM1(r)、…、hMN(r)而仅根据观测信号(以下称为″混合信号″)x1(t)、...、xM(t)来求与源信号s1(t)、...、sN(t)分别对应的分离信号y1(t)、...、yN(t)。
下面，说明有关以往的盲信号分离的过程。
这里，在频域中进行分离的操作。因此，对传感器q中的混合信号xq(t)采用L点的快速离散傅立叶变换(STFT：Shot-Time Fourier Transform)，并求每个频率的时间序列
$X_q(t,\tau )=\underset{r=-L/2}{\overset{(L/2)-1}{\Sigma }}{x}_q(\tau +r)g\left(r\right)e^{-j2\mathrm{\pi fr}}...\left(2\right)$
。其中，f作为频率被离散化为f＝0、fs/L、...、fs(L-1)/L(其中fs是采样频率)，τ是离散时间，j是虚数单位，而g(r)是窗函数。作为窗函数，例如，使用在
$g\left(r\right)=\frac{1}{2}(1+\cos \frac{2\mathrm{\pi r}}{L})$
汉明窗等的g(0)中具有幂中心的窗函数。这种情况下，Xq(f，τ)表现以时刻t＝τ为中心的混合信号xq(t)的频率特性。再有，Xq(f，τ)包含遍及L样本的信息，所以对每个合适的间隔的τ求Xq(f，τ)，而不必对所有的τ求Xq(f，τ)。
在频域中进行处理时，由算式(1)表示的时域中卷积混合可以近似表现为
$X_q(f,\tau )=\underset{k=1}{\overset{N}{\Sigma }}{H}_{\mathrm{qk}}\left(f\right)S_k(f,\tau )...\left(3\right)$
的各频率下的简单混合，分离的操作变得简单。其中，Hqk(f)是从源信号k至传感器q的频率响应，Sk(f，τ)是根据与算式(2)同样的算式对信号源sk(t)实施了快速离散傅立叶变换所得的信号。使用矢量来表示算式(3)时，变为
$X(f,\tau )=\underset{k=1}{\overset{N}{\Sigma }}{H}_k\left(f\right)S_k(f,\tau )...\left(4\right)$
。其中，X(f，τ)＝[X1(f，τ)、...XM(f，τ)]T表示混合信号矢量，Hk(f)＝[H1k(f)、...、HMK(f)]T是集中了从信号源k至各传感器的频率响应的矢量。再有，[*]T表示[*]转置矢量。
作为盲信号分离方法之一，有利用独立分量分析(ICA：独立分量分析is)的信号分离。在利用该ICA的方法中，仅从混合信号矢量X(f，τ)，计算N行M列的分离矩阵W(f)
y(f，τ)＝W(f)X(f，τ)...(5)
。这里，分离矩阵W(f)以分离信号矢量y(f，τ)＝[Y1(f，τ)、...、YN(f，τ)]T的各元素(分离信号)相互独立来计算。就这样的算法来说，有记载于非专利文献4中的算法。
在ICA，由于着眼于信号的独立性而进行分离，所以就获得的分离信号y1(f，τ)、...、YN(f，τ)来说，有顺序的任意性。即使信号的顺序被更换，它们的独立性仍然保留。这种顺序的任意性的问题被称为置换的(permutation)问题，在频域中的信号分离中是非常重要的问题。因而，该置换的问题必须被解决，以使与相同源信号Sk(f，τ)对应的分离信号yp(f，τ)的下标p在所有的频率f下相同。
作为解决这种置换问题的以往方法，例如有非专利文献5中公开的方法。在该方法中，将选择出的两个传感器(传感器对)的位置作为基准来估计与信号源的位置有关的信息(方向和距离)。然后，通过将多个传感器对的估计值集中，获得更详细的位置信息。然后，将作为这些位置信息的估计值进行分簇，属于相同簇(cluster)的估计值被看作与相同信号源对应的估计值，从而解决置换问题。
作为另一个盲信号分离方法，有利用时频屏蔽的方法。该方法是即使在信号源的数N和传感器数M为M＜N的情况下也有效的信号分离提取方法。
在该方法中，假设信号的稀疏性。稀疏是指信号几乎在离散时间τ中为0。信号的稀疏性例如以频域中的语音信号来确认。通过假设信号的稀疏性和相互独立性，即使多个信号同时存在，也可以假设在各时频点(f，τ)被相互重叠并观测的几率低。因此，各时频点(f，τ)的各传感器中的混合信号可以假设为由在该时频点(f，τ)有效的一个信号sp(f，τ)构成。因此，将混合信号矢量通过合适的特征量进行分簇，对提取与各簇Ck的元的时频(f，τ)对应的混合信号X(f，τ)的时频屏蔽Mk(f，τ)进行估计，根据
yk(f，τ)＝Mk(f，τ)XQ′(f，τ)。
，分离提取各信号。其中，XQ′(f，τ)是混合信号中的一个信号，Q′∈{1，...，M}。
作为用于分簇的特征量，例如，可以例示根据计算两个传感器(传感器q和基准传感器q(再有，Q称为基准值，与基准值Q对应的传感器表记为基准传感器q))中的混合信号的相位差的
$\phi (f,\tau )=\angle \frac{X_q(f,\tau )}{X_Q(f,\tau )}...\left(8\right)$
得到的信号的估计到来方向(Direction of Arrival：DOA)为
$\theta (f,\tau )=\mathrm{co}{s}^{-1}\frac{\phi (f,\tau )·c}{2\pi ·f·d}...\left(9\right)$
(例如参见非专利文献3)。再有，d是传感器q和基准传感器q之间的距离，c是信号的传送速度。此外，对于分簇来说，可以使用k-means方法(例如参见非专利文献6)。此外，作为时频屏蔽Mk(f，τ)，例如求属于各个簇Ck的元(members)的平均值θ1~，θ2~，...，θN~，可以使用如
$M_k(f,\tau )=\left\{\begin{array}{cc}1& {{\theta }_k}^{~}-\Delta \le \theta (f,\tau )\le {{\theta }_k}^{~}+\Delta \\ 0& \mathrm{otherwise}\end{array}\right.(k=1,...,N)$
那样生成的平均值。其中，Δ给出将信号提取的范围。在该方法中，减小Δ时，可获得更好的分离提取性能，但非线性失真增大。而增大Δ时，非线性失真减小，但分离性能恶化。
另外，作为分簇的特征量，也可以使用两个传感器(传感器q和基准传感器q)的相位差(算式(8))或两者的增益比
$\alpha (f,\tau )=\left|\frac{X_q(f,\tau )}{X_Q(f,\tau )}\right|.$
非专利文献1：B.D.Van Veen and K.M.Buckley，″Beamforming：aversatile approach to special filtering，″IEEE ASSP Magazine，pp.4-24，April1988
非专利文献2：S.Haykin，eds，″Unsupervised Adaptive Filtering，″John-Wiley & Sons，2000，ISBN 0-471-29412-8
非专利文献3：S.Araki，S.Makino，A.Blin，R.Mukai，and H.Sawada，″Underdetermined blind separation for speech in real environments withsparseness and ICA，″in Proc。ICASSP 2004，vol.III，May 2004，pp.881-884
非专利文献4：A.Hyvarinen and J.Karhunen and E.Oja，″独立分量分析is，″John Wiley & Sons，2001，ISBN 0-471-40540
非专利文献5：R.Mukai，H.Sawada，S.Araki and S。Makino，″FrequencyDomain Blind Source Separation using Small and Large Spacing Sensor Pairs，″inProc.of ISCAS 2004，vol.V，pp.1-4，May 2004
非专利文献6：R.O.Duda，P.E.Hart，and D.G.Stork，PatternClassification，Wiley Interscience，2nd edition，2000

发明内容

但是，在上述以往的技术中，存在不能容易并且高效地利用从多个传感器的观测信号获得的信息来进行信号分离处理的问题。
例如，在利用独立分量分析的信号分离的情况下，有为了正确地解决置换问题而需要进行繁杂的操作的问题。即，在以往的置换问题的解决方法中，对每个传感器进行方向和距离比的估计。因此，为了正确地解决置换问题而需要将多个传感器对中的估计值集中。此外，在该估计值中包含误差，但需要优先使用被认为是误差更少的传感器对，或在集中方法上下工夫，以可以巧妙地吸收误差。而且，在这种以往方法中，因需要估计与信号源的位置有关的信息，所以还存在必须预先取得传感器的位置信息的问题。这在将传感器不规则地配置的情况下十分不利。此外，例如即使是将传感器规则地配置，也难以精确地知道配置信息，为了更正确解决置换问题而需要校准等的操作。
此外，在以往的利用时频屏蔽的信号分离方法的情况下，提出了传感器仅为两个的情况下的方法，即使是传感器为三个以上的情况，也仅使用其中特定的两个传感器q、Q的信息来计算特征量。这意味着维数的下降，与使用全部的传感器的情况相比，信息量欠缺。因此，在未高效率地使用全部的传感器的信息的性能上有限度。此外，就有效利用全部的传感器的信息来说，例如，在非专利文献5中，也可将多个传感器对求出的特征量集中，但为了这种集中，需要进行用于特征量提取的进一步处理，考虑优先使用被认为集中误差更少的传感器对等，需要在集中时下工夫。而且，这种方法中还存在需要预先知道传感器的精确的配置信息的问题。这在将传感器自由地配置的情况下十分不利。此外，例如即使是规则地配置，也难以精确地知道配置信息，为了更正确的信号提取而需要进行校准等的操作。
而且，盲信号分离的处理基本是将传感器观测到的混合信号分离，并输出多个分离信号。但是，有时不是所有的分离信号是重要的，而仅在一部分分离信号中包含有作为目标的目标信号。这样的情况下，需要对包含目标信号的分离信号进行选择，但在以往的盲信号分离中，还不能提供在哪个分离信号中包含目标信号的信息。因此，需要通过一些其他方法来判定在哪个分离信号中包含目标信号。
本发明鉴于这种状况而完成，其目的在于，提供可容易并且高效率地利用从多个传感器的观测信号获得的信息来进行信号分离处理的技术。
在本发明，为了解决上述课题，频域变换单元首先将多个传感器观测出的混合信号变换为频域的混合信号。然后，归一化单元将使用该频域的混合信号所生成的复数矢量归一化，并生成将该复数矢量的频率依赖性排除的归一化矢量。接着，分簇单元将该归一化矢量分簇，并生成簇。然后，使用该簇进行信号分离。
这里，就该簇的生成来说，不需要将观测混合信号的各传感器的精确位置信息作为输入信息来直接使用。此外，各簇基于依赖于各信号源的位置的信息而形成。由此，在本发明中，可进行信号分离而不使用各传感器的精确的位置信息。
此外，在本发明中，归一化单元优选是包括：第1归一化单元，将复数矢量具备的特定的一个元素(element)作为基准而对该复数矢量的各元素的幅角进行归一化；以及第2归一化单元，将已由第1归一化单元归一化的各元素的幅角除以与频率成比例的值。
这些归一化后的复数矢量形成依赖于信号源的位置的簇。由此，可不使用各传感器的精确的位置信息来进行信号分离处理。
此外，在本发明中，归一化单元还优选包括将已由第2归一化单元归一化的各元素构成的矢量的范数归一化为规定值第3归一化单元。
这些归一化后的复数矢量形成依赖于信号源的位置的簇。而通过将由第2归一化的各元素构成的矢量的范数进行归一化，分簇的处理被简化。
此外，在优选的第1发明中，频域变换单元首先将多个传感器观测出的混合信号变换为频域的混合信号。然后，分离矩阵计算单元使用频域的混合信号对每个频率计算分离矩阵，逆矩阵计算单元计算分离矩阵的一般化逆矩阵。然后，基底矢量归一化单元对构成一般化逆矩阵的基底矢量进行归一化，计算归一化基底矢量。接着，分簇单元将归一化基底矢量分簇，并生成簇。然后，排列计算单元使用簇的中心矢量和归一化基底矢量，计算用于重新排列分离矩阵的元素的排列。再有，基底矢量是包含于复数矢量的概念。
在该第1发明中，将基底矢量归一化并进行分簇，并计算用于解决置换问题的排列。因此，在该分簇时，不需要预先取得传感器的位置信息。而且，在本发明中，优选是将归一化基底矢量的所有分量作为对象来进行分簇，根据其结果来计算用于解决置换问题的排列。因此，不需要象以往那样将估计结果集中的操作。
此外，在该第1发明中，优选是基底矢量归一化单元进行将基底矢量的频率依赖性除去的归一化。因而，将该基底矢量的频率依赖性排除的归一化更优选是，将基底矢量具备的特定的一个元素作为基准而将该基底矢量的各元素的幅角归一化，而且，将各元素的幅角除以与频率成比例的归一化。通过这样的归一化，可形成依赖于信号源的位置的簇。
此外，在该第1发明中，将基底矢量的频率依赖性排除的优选是，对于基底矢量Ap(f)(p＝1、...、N，N是信号源的数)的各元素Aqp(f)(q＝1、...、M，M是观测混合信号的传感器的数)，进行
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\left|A_{\mathrm{qp}}\left(f\right)\right|\exp \left[j\frac{\arg [A_{\mathrm{qp}}\left(f\right)/A_{\mathrm{Qp}}\left(f\right)]}{4{\mathrm{fc}}^{-1}d}\right]...\left(10\right)$
的运算的归一化。其中，exp是纳皮尔数，arg[·]是幅角，f是频率，j是虚数单位，c是信号的传送速度，Q是从M以下的自然数中选择出的基准值，d是实数。即，通过算式(10)的运算进行的归一化是，将基底矢量具备的特定的一个元素作为基准而对该基底矢量的各元素的幅角进行归一化，而且将各元素的幅角除以与频率成比例的值的归一化。通过该归一化，可以排除对频率的依赖性。此外，在该归一化中，不需要传感器的精确配置信息。
此外，上述算式(10)的实数d期望是与元素AQp(f)对应的基准传感器q和其他传感器之间的最大距离dmax。这是因为分簇的精度普通地提高。其细节后面论述。
此外，在第1发明中，优选是将基底矢量归一化为不依赖频率的频率归一化矢量，并将该频率归一化矢量归一化为范数取规定值的归一化矢量。通过以上两阶段的归一化所生成的归一化基底矢量不依赖于频率，仅依赖于信号源的位置。再有，通过范数的归一化，分簇的处理被简化。
而且，在第1发明中，优选是使用分离信号的包络线(分离信号的绝对值的包络线)和簇的中心矢量及归一化基底矢量来计算排列。由此，可以更精确地解决置换问题。
此外，在优选的第2发明中，频域变换单元将多个传感器观测出的混合信号变换为频域的混合信号，信号分离单元使用频域的混合信号，对每个频率计算分离矩阵和分离信号。然后，目标信号选择单元从多个分离信号中将包含目标信号的分离信号作为选择信号来选择。该过程是将作为分离矩阵的一般化逆矩阵的列的基底矢量进行归一化，将该归一化的基底矢量分簇，将该簇的方差作为指标来决定选择信号的过程。再有，分离矩阵为方阵的情况下，‘一般化逆矩阵’相当于逆矩阵。即，这里的一般化逆矩阵是还包含通常的逆矩阵的概念。
通过以簇的方差作为指标，将距传感器近的信号作为目标信号来定位，可以将包含这样的目标信号的分离信号作为选择信号而选出。其理由后面论述。这里，基底矢量的归一化在从多个信号源发出的信号的卷积混合与规定的模型(例如，近距离场模型)近似的情况下进行，以使归一化后的基底矢量形成仅依赖于信号源的位置的簇。但是，在实际环境中，存在为反映到这样的模型中的各种各样的因子。例如，在近距离场模型中，因信号反射到墙壁等而产生的传输失真未被反映。这样的实际环境和模型之间的背离，从信号源至传感器的距离越大则越大，距传感器越近的信号则越小。因此，距传感器越近的信号，可以按接近实际环境的条件归一化，可以使实际环境和模型之间的背离引起的簇的方差小。在优选的第2发明中，着眼于这种关系，将簇的方差作为指标，提取包含了距传感器近的信号的目标信号。通过以上操作，可以提取目标信号，并将其他干扰信号某种程度地抑制。
但是，在利用独立分量(component)分析(ICA：独立分量分析)进行分离矩阵及分离信号的计算的情况下，通过以上处理可完全抑制的干扰信号的数是从传感器的数中减1的数。即，干扰信号的数在其以上的情况下，未被抑制的残留分量保留。因此，在本发明中，优选是屏蔽生成单元还使用频域的混合信号和基底矢量来生成时频屏蔽，屏蔽单元将该时频屏蔽应用于被选择出的选择信号。由此，即使是信号源的数比传感器数多的情况，也可以将选择信号中残留的干扰信号更好地抑制。
而且，在第2发明中，屏蔽生成单元优选是使用频域的混合信号生成白化矩阵，使用白化矩阵，计算对将频域的混合信号作为分量的混合信号矢量进行变换的白化混合信号矢量、以及对基底矢量进行变换的白化基底矢量，对每个时频计算白化混合信号矢量和白化基底矢量形成的角度，并使用以该角度为分量的函数来生成时频屏蔽。通过将该时频屏蔽应用于选择信号，可以进一步抑制在选择信号中残留的干扰信号。
而且，在第2发明中，白化矩阵是V(f)＝R(f)-1/2，其中R(f)＝＜X(f，τ)·X(f，τ)H＞τ，f为频率，τ为离散时间，X(f，τ)为混合信号矢量，<*>τ为将矢量*进行时间平均所得的矢量，而*H为矢量*的复数共轭转置矢量(采用各元素的复数共轭转置的矢量)。然后，通过Z(f，τ)＝V(f)·X(f，τ)的运算，计算白化混合信号矢量Z(f，τ)，通过基底矢量为A(f)的情况下的B(f)＝V(f)·A(f)的运算，计算白化矢量B(f)。此外，通过矢量*的绝对值为|*|、矢量*的范数为‖*‖的情况下的θ(f，τ)＝cos-1(|BH(f)·Z(f，τ)|/‖B(f)‖·‖Z(f，τ)‖的运算，计算角度θ(f，τ)，将α、g、θT是实数的情况下的逻辑斯谛函数$M\left(\theta (f,\tau )\right)=\alpha /(1+e^{g(\theta (f,\tau )-{\theta }_T)})$作为时频屏蔽来计算。通过将该时频屏蔽应用于提取出的选择信号，可以进一步抑制在选择信号中残留的干扰信号。
此外，在第2发明中，优选是目标信号选择单元进行将基底矢量的频率依赖性排除的归一化。在第2发明中，将基底矢量的频率依赖性排除的归一化优选是将基底矢量具备的特定的一个元素作为基准来对该基底矢量的各元素的幅角进行归一化，而且将各元素的幅角除以与频率成比例的数的归一化。而且，在第2发明中，将基底矢量的频率依赖性排除的归一化优选是对于观测基底矢量Ap(f)(p为自然数)的各元素Aqp(f)(q＝1、…、M，M是观测混合信号的传感器的数)，进行
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\left|A_{\mathrm{qp}}\left(f\right)\right|\exp \left[j\frac{\arg [A_{\mathrm{qp}}\left(f\right)/A_{\mathrm{Qp}}\left(f\right)]}{4f{c}^{-1}d}\right]...\left(11\right)$
的运算的归一化。其中，exp为纳皮尔数，arg[·]为幅角，f为频率，j为虚数单位，c为信号的传送速度，Q为从M以下的自然数中选择出的基准值，d为实数。通过这样的归一化，在将从多个信号源发出的信号的卷积混合近似为规定的模型的情况下，归一化后的基底矢量形成依赖于信号源的位置的簇。其结果，如上述那样，将簇的方差的大小作为指标，可以选择包含了目标信号的分离信号。再有，在该归一化中，不需要传感器的精确配置信息。
而且，上述算式(11)的实数d最好是基准传感器Q和其他传感器之间的最大距离dmax。这是为了分簇的精度普遍地提高。该细节后面论述。
此外，在第2发明中，优选是目标信号选择单元选择离散最小的簇，将与选择出的簇对应的分离信号作为包含了目标信号来选择。由此，可以将与模型的背离最少的信号(例如，距传感器最近的信号)作为目标信号来提取。
此外，在优选的第3发明中，频域变换单元首先将多个传感器观测出的混合信号变换为频域的混合信号。然后，矢量归一化单元对由频域的混合信号构成的混合信号矢量进行归一化，计算归一化矢量。然后，分簇单元簇将归一化矢量分簇，并生成簇。然后，分离信号生成单元从与属于第k簇的归一化矢量的时频对应的混合信号矢量中提取规定号码的分量，生成将其作为第k分量的分离信号矢量。
这里，在第3发明中，将全部的传感器观测出的混合信号归一化并进行分簇，使用各簇的信息生成分离信号矢量。这意味着同时使用全部传感器的信息来提取分离信号。此外，在该处理中，不需要传感器的精确配置信息。通过以上，在第3发明中，可以不需要传感器的精确的配置信息而容易并且高效率地利用从全部的观测信号中获得的信息来进行信号分离。
此外，在第3发明中，优选是矢量归一化单元进行将频域的混合信号构成的混合信号矢量的频率依赖性排除的归一化。此外，将混合信号矢量的频率依赖性排除的归一化更好是，将混合信号矢量具备的特定的一个元素作为基准来对该基底矢量的各元素的幅角进行归一化，而且将各元素的幅角除以与频率成比例的值的归一化。而且将混合信号矢量的频率依赖性排除的归一化更好是，对于混合信号矢量的各元素Xq(f，τ)(q＝1、...、M，M是观测混合信号的传感器的数)，进行
${X_q}^{\prime }(f,\tau )=\left|X_q(f,\tau )\right|\exp \left[j\frac{\arg [X_q(f,\tau )/X_Q(f,\tau )]}{4{\mathrm{fc}}^{-1}d}\right]...\left(12\right)$
的运算的归一化。其中，exp为纳皮尔数，arg[·]为幅角，j为虚数单位，c为信号的传送速度，Q为从M以下的自然数中选择出的值，d为实数，f为频率，τ为离散时间。由此，可以排除频率依赖性。再有，可以形成依赖于信号源的位置的簇。再有，在该归一化中，不需要传感器的精确的配置信息。
此外，上述算式(12)的实数d优选是与元素XQ(f，τ)对应的传感器和其他传感器之间的最大距离dmax。这是为了分簇的精度普遍提高。其细节后面论述。
此外，在第3发明中，优选是矢量归一化单元进行将混合信号矢量的频率依赖性排除的归一化、以及使范数为规定值的归一化。由此，分簇的处理被简化。
如以上那样，在本发明中，可以容易并且高效率地利用从多个传感器的观测信号中获得的信息来进行信号分离处理。
例如，在第1发明中，不需要事先取得精确的传感器配置的信息或进行繁杂的操作就可以正确地解决置换问题。而在第2发明中，可以不知道有关目标信号的方向的信息而从多个信号源发出的信号被混合的混合信号中提取目标信号(即使N＞M)。此外，在第3发明中，可以不需要传感器的精确的配置信息而容易并且高效率地利用从全部的观测信号中获得的信息来进行信号分离(即使N＞M)。

附图说明

图1是例示了具备本发明的原理的信号分离装置的功能结构的方框图。
图2是例示了第1实施方式的信号分离装置的硬件结构的方框图。
图3是第1实施方式的信号分离装置的例示方框图。
图4A是例示了图3中的置换问题解决单元的细节的方框图；图4B是例示了图4A的基底矢量归一化单元的细节的方框图。
图5是用于说明第1实施方式的信号分离装置的整体处理的流程图。
图6是用于说明第1实施方式的归一化处理细节的流程图。
图7A是用于说明dmax/2≥d情况下的每个参数d的归一化基底矢量的分量Aqp″(f)和其幅角arg[Aqp″(f)]之间关系的复数平面图；图7B是用于说明dmax/2＜d＜dmax情况下的每个参数d的归一化基底矢量的分量Aqp″(f)和其幅角arg[Aqp″(f)]之间关系的复数平面图。
图8A是用于说明d＝dmax的情况下的每个参数d的归一化基底矢量的元素Aqp″(f)和其幅角arg[Aqp″(f)]之间关系的复数平面图；图8B是用于说明d＞dmax的情况下的每个参数d的归一化基底矢量的元素Aqp″(f)和其幅角arg[Aqp″(f)]之间关系的复数平面图。
图9是第2实施方式的信号分离装置的例示方框图。
图10A是例示了图9的置换问题解决单元的细节的方框图；图10B是例示了图10A的排列修正单元的细节的方框图。
图11是用于说明第2实施方式的信号分离装置的整体处理的流程图。
图12是用于说明图11中的步骤S58的例子的流程图。
图13是用于说明图11中的步骤S58的例子的流程图。
图14A是表示第1实施方式和第2实施方式的音源分离实验条件的图；图14B是表示第1实施方式和第2实施方式的音源分离实验结果的图。
图15A是表示第1实施方式和第2实施方式的音源分离实验条件的图；图15B是表示第1实施方式和第2实施方式的音源分离实验结果的图。
图16是例示了第3实施方式的信号分离装置的结构的方框图。
图17A是例示了图16的目标信号选择单元的详细结构的方框图；图17B是例示了图17A的基底矢量分簇单元的详细结构的方框图。
图18A是例示了图16的时频屏蔽单元的详细结构的方框图；图18B是例示了图18A的屏蔽生成单元的细节的方框图。
图19是用于说明第3实施方式的信号分离处理整体的流程图。
图20是用于说明第3实施方式的目标信号选择单元的处理细节的流程图。
图21A是用于说明步骤S112的频率归一化的细节的流程图；图21B是用于说明步骤S113的范数归一化的细节的流程图。
图22是例示了选择信号的选择过程(步骤S115)的细节的流程图。
图23是用于说明图19的步骤S104的细节的流程图。
图24A是例示了对于两种实数参数θT、g，根据算式(46)算出的时频屏蔽M(f，τ)的图；图24B是表示在某个时频位置(f，τ)中除了与目标信号(假设I(f)＝1)对应的矢量V(f)·H1(f)以外，同时存在与干扰信号对应的矢量的V(f)·H2(f)、V(f)V(f)·H3(f)的图。
图25是第4实施方式的信号分离装置的例示的方框图。
图26是用于说明第4实施方式的信号分离装置的处理的流程图。
图27是第5实施方式的信号分离装置的例示的方框图。
图28A是表示图27的时频屏蔽单元的详细结构的方框图；图28B是表示图28B的屏蔽生成单元的详细结构的方框图。
图29是用于说明第5实施方式的时频屏蔽的生成处理的流程图。
图30A是用于说明图29的步骤S171的细节的流程图；图30B是用于说明图29的步骤S172的细节的流程图。
图31A是表示了用于表示第3实施方式及第4实施方式的效果的实验条件的图；图31B是表示仅ICA的情况(第4实施方式)、以及将ICA和时频屏蔽两者组合的情况(第3实施方式)下的SIR的平均改善量的表。
图32是第6实施方式的信号分离装置的例示的方框图。
图33是例示了图32的信号分离单元的细节的方框图。
图34是用于说明第6实施方式的信号分离装置的整体处理的流程图。
图35A是用于说明图34所示的步骤S202的处理细节的流程图；图35B是用于说明图34所示的步骤S203的处理细节的流程图。
图36是用于说明图34所示的步骤S205的处理细节的流程图。
图37A是用于说明dmax/2≥d的情况下的每个参数d的范数归一化矢量Xq″(f，τ)的元素Xq″(f，τ)和其幅角arg[Xq″(f，τ)]之间关系的复数平面图；图37B是用于说明dmax/2＜d＜dmax的情况下的每个参数d的范数归一化矢量X″(f，τ)的分量Xq″(f，τ)和其幅角arg[Xq″(f，τ)]之间关系的复数平面。
图38A是用于说明d＝dmax的情况下的每个参数d的范数归一化矢量Xq″(f，τ)的元素Xq″(f，τ)和其幅角arg[Xq″(f，τ)]之间关系的复数平面图；图38B是用于说明d＞dmax的情况下的每个参数d的范数归一化矢量X″(f，τ)的分量Xq″(f，τ)和其幅角arg[Xq″(f，τ)]之间关系的复数平面图。
图39A是表示第6实施方式的音源分离实验条件的图；图39B是表示第6实施方式的音源分离实验结果的图。
图40A是表示第6实施方式的音源分离实验条件的图；图40B是表示第6实施方式的音源分离实验结果的图。
图41A是表示第6实施方式的音源分离实验条件的图；图41B是表示第6实施方式的音源分离实验结果的图。
标号说明
1、10、200、1001、1200、1300、2001信号分离装置

具体实施方式

以下，参照附图说明本发明的实施方式。
首先，说明本发明的原理。
图1是例示了具备本发明的原理的信号分离装置1的方框图。再有，如后述那样，信号分离装置1例如可以通过使公知的冯·诺伊曼型计算机执行规定的程序而构成。
信号分离装置1是将混合了从多个源信号发出的源信号构成的混合信号分离为该源信号的装置。如图1所示，信号分离装置1有频域变换单元2、复数矢量生成单元3、归一化单元4及分簇单元5。这里，归一化单元4包括：第1归一化单元4a，将复数矢量具备的特定的一个元素作为基准而将该复数矢量的各元素的幅角归一化；第2归一化单元4b，将由第1归一化单元4a归一化后的各元素的幅角除以与频率成比例的值；以及第3归一化单元4c，将由第2归一化单元4b归一化后的各元素构成的矢量的范数归一化为规定值。再有，通过第1归一化单元4a和第2归一化单元4b，复数矢量的频率依赖性被排除(频率归一化)。
在通过信号分离装置1进行信号分离的情况下，首先，由多个传感器观测的混合信号(时域的信号)被输入到频域变换单元2。频域变换单元2通过快速离散傅立叶变换等，将多个传感器观测到的混合信号(时域的信号)变换为频域的混合信号。然后，复数矢量生成单元3使用该频域的混合信号，生成多个分量构成的复数矢量。接着，归一化单元4将该复数矢量归一化，并生成将该复数矢量的频率依赖性排除的归一化矢量。
在图1之例的归一化中，第1归一化单元4a首先对每个时频以该复数矢量具备的特定的一个元素作为基准而将该复数矢量的各元素的幅角归一化。由此，复数矢量的各元素的幅角不依赖于信号源的相位或振幅，而仅依赖于信号源相对于各传感器的相对位置或频率(细节后述)。然后，第2归一化单元4b将由第1归一化单元4a归一化后的各元素的幅角除以与频率成比例的值。由此，各复数矢量的各元素的频率依赖性被排除，复数矢量被归一化为仅依赖于各信号源相对于各传感器的相对位置的复数矢量。进而，第3归一化单元4c将由第2归一化单元4b归一化后的各元素构成的矢量的范数归一化为规定的值。
然后，分簇单元5对进行了这样的归一化的归一化矢量进行分簇，生成簇。这些簇仅依赖于各信号源相对于各传感器的相对位置。分离信号生成单元6使用这些簇进行各种信号分离处理，生成频域的分离信号。最后，时域变换单元变换将频域的分离信号变换为时域的分离信号。
如上所述，不需要为了生成这些簇而事先取得各传感器的精确的位置信息。此外，就这些簇的生成来说，全部的传感器的观测信号的信息被使用。即，在本发明中，可以容易并且高效率地利用从多个传感器观测信号获得的信息来进行信号分离处理。
再有，即使不将范数归一化，但通过对分簇的方法下工夫，也可以生成仅依赖于各信号源相对于各传感器的相对位置的分簇。但是，为了简化分簇的处理，期望进行利用第3归一化单元4c的范数归一化。
以下，详细地说明本发明的各实施方式。
首先，说明本发明的第1实施方式。
本实施方式是根据上述原理，正确地解决置换问题而不需要事先取得精确的传感器配置的信息或进行繁杂的操作的实施方式。再有，在本实施方式，后述的″基底矢量″相当于上述的″复数矢量″。
<硬件结构>
图2是例示了第1实施方式的信号分离装置10的硬件结构的方框图。
如图2所示，信号分离装置10具有：CPU(Central Processing Unit)10a；输入单元10b；输出单元10c；辅助存储装置10f；RAM(Random AccessMemory)10d；ROM(Read Only Memory)10e及总线10g。
本例的CPU10a具有控制单元10aa、处理单元10ab、寄存器10ac，根据被读入寄存器10ac中的各种程序而执行各种各样的运算处理。而本例的输入单元10b是被输入数据的输入端口、键盘、鼠标等；输出单元10c是将数据输出的输出端口、显示器等。辅助存储装置10f，例如是硬盘、MO(Magneto-Optical disc)、半导体存储器等，具有存储了用于执行本实施方式的信号分离处理的信号分离程序的信号分离程序区10fa及存储了由传感器观测出的时域的混合信号等各种数据的数据区10fb。而RAM 10d例如是SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)等，具有被写入信号分离程序的信号分离程序区10da及被写入各种数据的数据区10db。本例的总线10g可通信地连接CPU10a、输入单元10b、输出单元10c、辅助存储装置10f、RAM 10d及ROM 10e。
<硬件和软件的协同>
本例的CPU10a根据被读入的OS(Operating System)程序，将存储于辅助存储装置10f的信号分离程序区10fa中的信号分离程序写入RAM10d的信号分离程序区10da。同样，CPU10a将存储于辅助存储装置10f的数据区10fb中的时域的混合信号等各种数据写入RAM10d的数据区10db。而且，CPU10a将被写入了该信号分离程序或各种数据的RAM10d上的地址存储在寄存器10ac。然后，CPU10a的控制单元10aa将被存储在寄存器10ac中的这些地址依次读出，从读出的地址所示的RAM10d上的区域读出程序或数据，并使运算单元10ab依次执行该程序所示的运算，并将其运算结果存储在寄存器10ac中。
图3是通过这样在CPU10a中被读入信号分离程序所构成的信号分离装置10的方框图。图4A是例示了图3的置换问题解决单元140的细节的方框图；图4B是例示了图4A的基底矢量归一化单元142的细节的方框图。
如图3所示，信号分离装置10包括：存储器100、频域变换单元120、分离矩阵计算单元130、置换问题解决单元140、分离信号生成单元150、时域变换单元160及控制单元170。本例的置换问题解决单元140具有逆矩阵计算单元141(对应于″复数矢量生成单元″)、基底矢量归一化单元142(对应于″归一化单元″)、分簇单元143、排列单元144及分簇单元145。基底矢量归一化单元142具有频率归一化单元142a及范数归一化单元142b。频率归一化单元142a具有第1归一化单元142aa及第2归一化单元142ab。控制单元170具有临时存储器171。
存储器100及临时存储器171相当于寄存器10ab、辅助存储装置10f的数据区10fb或RAM10d的数据区10db。频域变换单元120、分离矩阵计算单元130、置换问题解决单元140、分离信号生成单元150、时域变换单元160及控制单元170通过在CPU10a中被读入OS程序或信号分离程序而构成。
再有，图3及图4的虚线的箭头表示理论上的信息的流，实线的箭头表示实际的数据的流。此外，在这些图中与输入输出到控制单元170的数据的流对应的箭头有时省略，与图4的实际的数据的流对应的箭头有时也省略。
<处理>
下面，说明有关本实施方式的信号分离装置10的处理。再有，在以下，对N个源信号被混合、用M个传感器观测到的状况进行处理。此外，在前处理中，假设各传感器观测到的时域的混合信号Xq(t)(q＝1，...，M)被存储在存储器100的存储区101中，信号的传送速度c、从M以下的自然数选择出的基准值Q(从M个传感器选择出的一个基准传感器的下标号)及实数d的各参数被存储在存储区107中。
图5是用于说明第1实施方式的信号分离装置10的整体处理的流程图。以下，参照图5，说明本实施方式的信号分离装置10的处理。
首先，在频域变换单元120中，从存储器100的存储区101读出时域的混合信号Xq(t)，将它们通过快速离散傅立叶变换等而变换为每个频率的时序信号(称为″频域的混合信号″)Xq(f，τ)(q＝1，...，M)，并存储在存储器100的存储区102(步骤S1)。
然后，在分离矩阵计算单元130中，从存储器100的存储区102读出频域的混合信号Xq(f，τ)。读出了频域的混合信号Xq(f，τ)的分离矩阵计算单元130使用这些信号构成的混合信号矢量X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T，通过独立分量分析(ICA)，对每个频率计算第1分离矩阵W(f)和分离信号矢量Y(f，τ)＝[Y1(f，τ)，...，yN(f，τ)]T。然后，算出的第1分离矩阵W(f)被存储在存储器100的存储区103中(步骤S2)。
这里，在分离矩阵计算单元130中算出的第1分离矩阵W(f)中，包含排列的任意性。因此，如以下那样，在置换问题解决单元140中，将第1分离矩阵W(f)变换为解决了排列的任意性的第2分离矩阵W′(f)。
首先，在逆矩阵计算单元141中，从存储器100的存储区103读出第1分离矩阵W(f)，计算该穆尔·彭罗斯(Moore-Penrose)型一般化逆矩阵W+(f)＝[A1(f)，...，AN(f)](M＝N的情况下与逆矩阵W-1(f)一致)，将构成该矩阵的基底矢量Ap(f)＝[A1p(f)，...，AMp(f)]T存储在存储器100的存储区104中(步骤S3)。
然后，在基底矢量归一化单元142中，从存储器100的存储区104读出基底矢量Ap(f)(p＝1，...，N，f＝0，fs/L，...，fs(L-1)/L)，计算将它们归一化的归一化基底矢量Ap″(f)，并存储在存储器100的存储区106中(步骤S4)。再有，基底矢量归一化单元142将全部的基底矢量Ap(f)(p＝1，...，N，f＝0，fs/L，...，fs(L-1)/L)归一化，将它们归一化为不依赖于频率而仅依赖于信号源的位置的归一化基底矢量Ap″(f)。其结果，在将它们分簇时，各簇与各信号源对应。不进行这种归一化时不形成簇。此外，本实施方式的归一化由频率归一化和范数归一化的两阶段构成。频率归一化是在频率归一化单元142a(图4B)中，将基底矢量归一化为不依赖于频率的频率归一化矢量。范数归一化是在范数归一化单元142b中，将频率归一化矢量归一化为范数取规定值(在本例中为1)的归一化基底矢量。后面论述有关这些归一化处理的细节。
然后，在分簇单元143中，从存储器100的存储区106读出归一化基底矢量Ap″(f)，将这些归一化基底矢量Ap″(f)分簇而生成N个簇Ck(k＝1，...，N)，并将各簇Ck和确定它们的形心(centroids)(中心矢量)ηk的信息存储在存储器100的存储区108、109中(步骤S5)。这种分簇例如是将使各簇Ck的分量(归一化基底矢量Av″(f))和各簇Ck的形心ηk之间的平方和Uk的总和U
$U={\Sigma }_{k=1}^M{U}_k$
$U_k={\Sigma }_{{A_v}^{\prime \prime }\left(f\right)\in C_k}{\left|\right|{A_v}^{\prime \prime }\left(f\right)-{\eta }_k\left|\right|}^2$
为最小值化作为基准来进行。该最小值化例如可通过使用非专利文献6等中论述的k-means分簇而高效率地进行。再有，簇Ck的形心ηk通过
${\eta }_k=\frac{{\Sigma }_{{A_v}^{\prime \prime }\left(f\right)\in C_k}{A_v}^{\prime \prime }\left(f\right)/\left|C_k\right|}{\left|\right|{\Sigma }_{{A_v}^{\prime \prime }\left(f\right)\in C_k}{A_v}^{\prime \prime }\left(f\right)/\left|C_k\right|\left|\right|}$
来计算。其中，|Ck|是簇Ck中的分量(归一化基底矢量Av″(f))的数。此外，这里，作为距离，使用欧几里得距离的平方，但也可以使用将其一般化的闵可夫斯基距离等。再有，后面论述有关归一化基底矢量Ap″(f)形成簇的理由。
然后，在排列计算单元144中，从存储器100的存储区106读出归一化基底矢量Ap″(f)，从存储区109读出各Ck的形心ηk。然后，排列计算单元144使用它们，对每个频率计算用于重新排列第1分离矩阵W(f)的分量的排列∏f(从{1，2，...，N}至{1，2，...，N}的双映射函数)，并存储在存储器100的存储区110中(步骤S6)。再有，该排列∏f由
${\Pi }_f=\arg {\min }_{\Pi }{\Sigma }_{k=1}^N{\left|\right|{\eta }_k{A_{\Pi \left(k\right)}}^{\prime \prime }\left(f\right)\left|\right|}^2...\left(13\right)$
决定。其中，算式(13)中的″argmin∏·″意味着使″·″最小值化的∏。再有，作为根据算式(13)决定排列∏f的过程，例如，可以例示对于可采用的全部排列∏(N！那样)，通过计算
${\Sigma }_{k=1}^N{\left|\right|{\eta }_k-{A_{\Pi \left(k\right)}}^{\prime \prime }\left(f\right)\left|\right|}^2$
，将其最小值所对应的∏决定作为排列∏f的过程。以下，表示该具体例。
假设信号源的数N为3，某个频率f中的归一化基底矢量A1″(f)、A2″(f)、A3″(f)和各形心η1、η2、η3之间的距离的平方如以下的表所示。
    A1″(f)   A2″(f)   A3″(f)   η1   0.85   0.1   0.7   η2   0.9   0.6   0.2   η3   0.15   0.8   0.95
这种情况下，由算式(13)获得的排列是
∏f：[1，2，3]→[2，3，1]
。这是因为
||η1-A∏(1)″(f)||2＝||η1-A2″(f)||2＝0.1
||η2-A∏(2)″(f)||2＝||η2-A3″(f)||2＝0.2
||η3-A∏(3)″(f)||2＝||η3-A1″(f)||2＝0.15
这样的组合，使
${\Sigma }_{k=1}^3{\left|\right|{\eta }_k-{A_{\Pi \left(k\right)}}^{\prime \prime }\left(f\right)\left|\right|}^2$
为最小(决定排列∏f的具体例1的说明结束)。
但是，这种过程在N增大时不现实。因此，作为其近似方法，在以不重复来依次选择使||ηk-A∏(k)″(f)||2为最小值的A∏(k)″(f)时，也可以采用将该选择出的A∏(k)″(f)移动到归一化基底矢量Ak″(f)的排列作为排列∏f的过程等。以下，说明对于与上述‘决定排列∏f的具体例1’相同的条件，采用该近似方法来决定排列∏f的过程。
首先，上述表1的情况下，由于距离的平方的最小值为0.1((归一化基底矢量A2″(f)和各形心η1之间的距离的平方)，所以决定∏(1)＝2。然后，将与归一化基底矢量A2″(f)和形心η1相关联的行和列消除时，如以下那样。
    A1″(f)   A2″(f)   A3″(f)   η1         η2   0.9     0.2   η3   0.15     0.95
在该表2的情况下，由于距离的平方的最小值为0.15(归一化基底矢量A1″(f)和形心η3之间的距离的平方)，所以决定∏(3)＝1。最后，将∏(2)中剩余的3分配([决定排列∏f的具体例2]的说明结束)。
然后，在重新排列单元145中，从存储器100的存储区103读出第1分离矩阵W(f)，从存储区110读出排列∏f。然后，重新排列单元145生成将该第1分离矩阵W(f)的行依据排列∏f而重新排列的第2分离矩阵W′(f)并将其存储在存储器100的存储器111中(步骤S7)。再有，将第1分离矩阵W(f)的行依据排列∏f重新排列意味着第1分离矩阵W(f)进行与上述穆尔·彭罗斯型一般化逆矩阵W+(f)中的从元素A∏(k)″(f)至Ak″(f)的重新排列对应重新排列。即，第1分离矩阵W(f)的第∏f(k)排列行重新排列，以使其成为第2分离矩阵W′(f)的第k行。在上述‘决定排列∏f的具体例1、2’的情况下，第1分离矩阵W(f)的第2、3、1行分别变为第2分离矩阵W′(f)的第1、2、3行。
然后，在分离信号生成单元150中，从存储器100的存储区102读出频域的混合信号Xq(f，τ)，从存储区111读出第2分离矩阵W′(f)。然后，分离信号生成单元150使用频域的混合信号Xq(f，τ)构成的混合信号矢量X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T和第2分离矩阵W′(f)，计算分离信号矢量
y(f，τ)＝W′(f)·X(f，τ)
，并将作为这些各元素的频域的信号称为″频域的混合信号)yp(f，τ)存储在存储器100的存储区112中(步骤S8)。
最后，在时域变换单元160中，从存储器100的存储器112读出频域的分离信号Yp(f，τ)，将其通过对每个下标字p(Yp(f，τ))进行快速傅立叶逆变换等而变换为时域的分离信号yp(t)，并将这些时域的分离信号yp(t)存储在存储器100存储区113中(步骤S9)。
下面，说明有关上述基底矢量归一化单元142中的归一化处理的细节(步骤S4的细节)。
图6是说明该归一化处理的细节的流程图。
首先，在控制单元170(图3)中对参数p代入1，并将其存储在临时存储器171中(步骤S11)。在控制单元170中还对参数q代入1，并将其存储在临时存储器171中(步骤S12)。然后，在频率归一化单元142a(图4)中，从存储器100的存储区107读出上述参数d、c、Q，从临时存储器171读出参数p、q，并对基底矢量Ap(f)的元素Aqp(f)，进行
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\left|A_{\mathrm{qp}}\left(f\right)\right|\exp \left[j\frac{\arg [A_{\mathrm{qp}}\left(f\right)/A_{\mathrm{Qp}}\left(f\right)]}{4{\mathrm{fc}}^{-1}d}\right]...\left(14\right)$
的运算，将该运算结果Aqp′(f)存储在存储器100的存储区105中(步骤S13)。再有，arg[·]意味着幅角，j意味着虚数单位。
更详细地说，频率归一化单元142a的第1归一化单元142aa首先将基底矢量Ap(f)的特定的一个元素AQp(f)作为基准并通过以下的运算而将该基底矢量Ap(f)的各元素Aqp(f)的幅角归一化。
Aqp″′(f)＝|Aqp(f)|exp{j·arg[Aqp(f)/AQp(f)]}...(15)
然后，频率归一化单元142a的第2归一化单元142ab将由第1归一化单元142aa归一化后的各元素Aqp″′(f)的幅角如以下那样除以与频率f成比例的值4fc-1d。
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\left|{A_{\mathrm{qp}}}^{\prime \prime \prime }\left(f\right)\right|\exp \left[j\frac{\arg \left[{A_{\mathrm{qp}}}^{\prime \prime \prime }\left(f\right)\right]}{4{\mathrm{fc}}^{-1}d}\right]...\left(16\right)$
然后，在控制单元170中，判断被存储在临时存储器171中的参数q是否满足q＝M(步骤S14)。这里，如果不是q＝M，则控制单元170使q+1的运算结果为新的参数q，并将其存储在临时存储器171中(步骤S15)，将处理返回到步骤S13。另一方面，如果q＝M，则控制单元170进一步判断是否满足了p＝N(步骤S16)。
如果不是p＝N，则在控制单元170中，使p+1的运算结果为新的参数p的值，并将其存储在临时存储器171中(步骤S17)，将处理返回到步骤S12。另一方面，如果p＝N，则在控制单元170中对参数p代入1，并将其存储在临时存储器171中(步骤S18)，开始范数归一化单元142b的处理。在范数归一化单元142b中，首先从存储器100的存储区105读出频率归一化矢量Ap′(f)的各元素Aqp′(f)，进行
$\left|\right|{A_p}^{\prime }\left(f\right)\left|\right|=\sqrt{{\Sigma }_{q=1}^M{\left({A_{\mathrm{pq}}}^{\prime }\left(f\right)\right)}^2}...\left(17\right)$
的运算，求频率归一化矢量Ap′(f)的范数||Ap′(f)||，将频率归一化矢量Ap′(f)和其范数||Ap′(f)||存储在临时存储器171中(步骤S19)。
然后，在范数归一化单元142b中，从临时存储器171读出频率归一化矢量Ap′(f)和其范数||Ap′(f)||，进行
Ap″(f)＝Ap′(f)/||Ap′(f)||...(18)
的运算而求归一化基底矢量Ap″(f)，并将其存储在存储器100的存储区106中(步骤S20)。
然后，在控制单元170中，判断被存储在临时存储器171中的参数p是否满足p＝N(步骤S21)。如果不是p＝N，则控制单元170使p+1的运算结果为新的参数p，并将其存储在临时存储器171中(步骤S22)，返回到步骤S19的处理。另一方面，如果p＝N，则控制单元170使步骤S4的处理结束。
这样生成的归一化基底矢量Ap″(f)成为不依赖于频率而仅依赖于信号源的位置的矢量。其结果，该归一化基底矢量Ap″(f)形成簇。以下说明其理由。
基底矢量Ap(f)的各元素Aqp(f)变成从与源信号p对应的信号源k至传感器q的频率响应Hqk成比例(乘以了某个复数标量)的元素。这些复数标量随着离散时间而变化，但与源信号p和传感器q对应的复数标量、以及与源信号p和传感器Q对应的复数标量之间的相对值，即使离散时间变化也是一定的(如果频率f相同)。即，如果频率f相同，则与源信号p和传感器q对应的复数标量的幅角、以及与源信号p和传感器Q对应的复数标量的幅角之间的相对值是一定的。
如上所述，频率归一化单元142a的第1归一化单元142aa将基底矢量Ap(f)的特定的一个元素Aqp(F)作为基准而将该基底矢量Ap(f)的各元素AQp(f)的幅角归一化。由此，将对上述复数标量的相位引起的不确定性除去，将与源信号p和传感器q对应的基底矢量Ap(f)的元素Aqp(f)的幅角作为与源信号p和基准传感器Q(对应于基准值)对应的基底矢量Ap(f)的元素AQp(F)的幅角的相对值来表现。再有，这种情况下，与元素AQp(f)的幅角对应的该相对值表现为0。可考虑将从信号源k至传感器q的频率响应用没有反射或混响的直达波模型近似。于是，由上述第1归一化单元142aa归一化过的幅角成为与从信号源k至传感器的波的到达时间差成比例的幅角。这里的到达时间差是来自信号源k的波到达传感器q为止的时间和该波到达基准传感器q为止的时间之间的时间差。
如上所述，第2归一化单元142ab将第1归一化单元142aa归一化过的各元素Aqp″′(f)的幅角除以与频率f成比例的值。由此，将个元素Aqp″′(f)归一化为排除了它们的幅角发频率依赖性的各元素Aqp′(f)。由此，归一化过的各元素Aqp′(f)根据直达波模型，成为仅依赖于从信号源k至传感器的波的到达时间差的元素。这里，从信号源k至传感器的波的到达时间差仅依赖于信号源k、传感器q、基准传感器Q之间的相对位置。因此，如果信号源k、传感器q、基准传感器Q相同，则即使频率f有所不同各元素Aqp′(f)的幅角也相同。因此，频率归一化矢量Ap′(f)不依赖于频率f而仅依赖于信号源k的位置。
因此，通过将频率归一化矢量Ap′(f)的范数归一化的归一化基底矢量Ap″(f)的分簇，形成与相同信号源对应的簇。再有，在实际的环境中，因反射或混响等的影响，直达波模型未被严密地满足，但如后述的实验结果所示那样成为十分良好的近似。
下面，用模型说明归一化基底矢量Ap″(f)形成簇的理由。使用上述算式(1)所示的冲击响应hqk(r)用直达波(近距离场)混合模型来近似，并用频域表示时，变成
$H_{\mathrm{qk}}\left(f\right)=\frac{1}{d_{\mathrm{qk}}}\exp [-j2\pi {\mathrm{fc}}^{-1}(d_{\mathrm{qk}}-d_{\mathrm{Qk}})]...\left(19\right)$
。其中，dqk是信号源k和传感器q之间的距离，而衰减1/dqk由距离dqk决定，延迟(dqk-dQk)/c由基准传感器Q的位置归一化的距离决定。
此外，考虑到独立分量分析(ICA)的排列的任意性和定标(scaling)的任意性时，在将基底矢量Ap(f)和从算式(4)的信号源k至各传感器的频率响应集中的矢量Hk(f)之间，以下的关系成立。
Ap(f)＝εp·Hk(f)，Aqp(f)＝εp·Hqk(f)    ...(20)
其中，εp是表现定标的任意性的复数标量值，下标字k和p表现不同可能性的排列的任意性。这里，通过算式(16)、(18)、(19)、(20)，变为
${A_{\mathrm{qp}}}^{\prime \prime }\left(f\right)=\frac{1}{d_{\mathrm{qk}}D}\exp [-j\frac{\pi }{2}\frac{(d_{\mathrm{qk}}-d_{\mathrm{Qk}})}{d}],D=\sqrt{{\Sigma }_{i=1}^M\frac{1}{{d_{\mathrm{ik}}}^2}}...\left(21\right)$
。从该算式可知，归一化基底矢量Ap″(f)的元素Aqp″(f)独立于频率，仅依赖于信号源k和传感器q的位置。因此，将归一化基底矢量Ap″(f)分簇时，形成与每个相同信号源对应的簇。
同样的情况还指用未考虑信号的衰减的近距离场混合模型进行模型化的情况。即，将上述算式(1)所示的卷积混合模型用忽略衰减的近距离场混合模型来近似，并用频域表示时，变成
Hqk(f)＝exp[-j2πfc-1(dqk-dQk)]          ...(22)
。这种情况下，根据算式(16)、(18)、(20)、(22)，变成
${A_{\mathrm{qp}}}^{\prime \prime }\left(f\right)=\frac{1}{\sqrt{M}}\exp [-j\frac{\pi }{2}\frac{(d_{\mathrm{qk}}-d_{\mathrm{Qk}})}{d}]...\left(23\right)$
。这种情况下，归一化基底矢量Ap″(f)的各元素Aqp″(f)独立于频率，仅依赖于信号源k和传感器q的位置。
此外，不仅近距离场混合模型，而且即使是远距离场混合模型也是同样的。即，将上述算式(1)所示的卷积混合模型用远距离场模型近似，并用频域表示时，变成
Hqk(f)＝exp[-j2πfc-1||SEq-SEQ||cosθkqQ]...(24)
。再有，SEq及SEQ是表示传感器q、Q的位置的矢量。而θkqQ是表示由连接传感器q、Q的直线与连接传感器q、Q的中心点和信号源k的直线所形成的角度。这种情况下，根据算式(16)、(18)、(20)、(24)，变成
${A_{\mathrm{qp}}}^{\prime \prime }\left(f\right)=\frac{1}{\sqrt{M}}\exp [-j\frac{\pi }{2}\frac{\left|\right|{\mathrm{SE}}_q-{\mathrm{SE}}_Q\left|\right|\cos {{\theta }_k}^{\mathrm{qQ}}}{d}]...\left(25\right)$
。这种情况下，归一化基底矢量Ap″(f)的各元素Aqp″(f)也独立于频率f，仅依赖于信号源k和传感器q的位置。
此外，从算式(21)可知，期望参数d的值为d＞dmax/2(dmax意味着与元素AQp(f)对应的基准传感器Q和其他传感器之间的最大距离)，更好是d≥dmax，最好是d＝dmax。以下，对该理由进行说明。
图7和图8是用于说明每个参数d的归一化基底矢量的元素Aqp″(f)和其幅角arg[Aqp″(f)]之间关系的复数平面图。再有，这些图中的横轴表示实轴，纵轴表示虚轴。
图7A是dmax/2≥d的情况下的复数平面图。这里，根据上述dmax的定义，对于任意的q和k，dqk-dQk的绝对值为dmax以下。因此，在dmax/2≥d的情况下，(π/2)·(dqk-dQk)/d≤-π、(π/2)·(dqk-dQk)/d≥π可以成立。其结果，由算式(21)表示的Aqp″(f)的幅角arg[Aqp″(f)]有可能分布在超过2π的α1≤arg[Aqp″(f)]≤α2(α1≤-πandα2≥π)的范围内。因此，不同的归一化基底矢量的元素Aqp″(f)的幅角有可能一致，在上述分簇中，有可能将不同的归一化基底矢量Ap″(f)分簇在相同簇中。因此，期望是d＞dmax/2。但是，如果与该幅角的重复范围对应的归一化基底矢量Ap″(f)的样本不存在，则即使dmax/2≥d也没有问题。
图7B是dmax/2＜d＜dmax的情况下的复数平面图。这种情况下，-π＜(π/2)·(dqk-dQk)/d＜-π/2、π/2＜(π/2)·(dqk-dQk)/d＜π可以成立。其结果，算式(21)表示的Aqp″(f)的幅角arg[Aqp″(f)]有可能分布在β1≤arg[Aqp″(f)]≤β2(-π＜β1＜-π/2、π/2＜β2＜π)的范围内。因此，在-π＜arg[Aqp″(f)]＜-π/2和π/2＜arg[Aqp″(f)]＜π的范围内，随着不同的频率归一化矢量元素间的幅角之差的增加，这些频率归一化矢量元素间的距离还有可能不单调增加。这有可能使上述分簇的精度下降。因此，期望d≥dmax。
图8A是d＝dmax的情况下的复数平面图。图8B是d＞dmax的情况下的复数平面图。这里，在d＞dmax的情况下，-π/2(π/2)·(dqk-dQk)/d＜0、0＜(π/2)·(dqk-dQk)/d＜π/2可以成立。其结果，如图8B所示，由算式(21)表示的Aqp″(f)的幅角arg[Aqp″(f)]分布在γ1≤arg[Aqp″(f)]≤γ2(-π/2＜γ1＜0、0＜γ2＜π/2)范围内。因而，如果d越大，则该分布范围越窄，在窄的范围内簇密集。这使上述分簇的精度下降。
相反，在d＝dmax的情况下，-π/2≤(π/2)·(dqk-dQk)/d＜0、0＜(π/2)·(dqk-dQk)/d≤π/2可以成立。其结果，由算式(21)表示的Aqp″(f)的幅角arg[Aqp″(f)]如图8A所示可以分布在-π/2≤arg[Aqp″(f)]≤π/2的范围内。这种情况下，对于频率归一化矢量的元素间的幅角之差的增加，它们的距离仍维持单调增加的关系，并且可以使簇离散在尽可能宽的范围中。其结果，一般可以使分簇的精度提高。
下面说明有关本发明的第2实施方式。
在第1实施方式，通过从基底矢量获得的信息而解决了置换问题，但在本实施方式，对置换问题通过特开2004-145172号公报或‘H.Sawada，R.Mukai，S.Araki，S.Makino，″A Robust and Precise Method for Solving thePermutation Problem of Frequency-Domain Blind Source Separation，″IEEETrans.Speech and Audio processing，Vol.12，No.5，pp.530-538，Sep.2004(以下称为″参考文献″)’中所示的分离信号的包络线信息，更高精度地解决置换问题。再有，在这些文献中，利用与信号源的方向有关的信息来取代基底矢量。
以下，以与第1实施方式不同的方面为中心进行说明，省略说明有关与其共同的事项。
<结构>
图9是第2实施方式的信号分离装置200的方框图的例示。再有，本实施方式的信号分离装置200也通过在CPU10a(图2)中读入信号分离程序而构成。图10A是例示了图9中的置换问题解决单元240的细节的方框图，图10B是例示了图10A的排列校正单元247的细节的方框图。再有，图9和图10中对于与第1实施方式共同的部分附加了与第1实施方式相同的标号。此外，图9和图10中的虚线的箭头表示理论上的信息的流，实线的箭头表示实际的数据的流。此外，在这些图中输入输出到控制单元170的数据的流所对应的箭头被省略，与图10中的实际的数据的流对应的箭头也被省略。
本实施方式的与第1实施方式的不同方面主要是置换问题解决单元240的结构。即，本实施方式的置换问题解决单元240在第1实施方式的置换问题解决单元140中附加了排列评价单元246和排列校正单元247(图9、10A)。再有，排列评价单元246对每个频率评价排列的可靠性，排列校正单元247对被评价为排列的可靠性低的频率，使用分离信号的包络线来计算新的排列。此外，排列校正单元247包括：判定单元247a、分离信号生成单元247b、包络线计算单元247c、排列再计算单元247d及再重新排列单元247e(图10B)。在本实施方式，通过排列计算单元144和排列校正单元247构成方案4的″排列计算单元″。
<处理>
图11是用于说明第2实施方式的信号分离装置200的整体处理的流程图。以下，参照该图，说明本实施方式的信号分离装置200的处理。
步骤S51至S57的处理与第1实施方式的步骤S1至S7相同，所以省略说明。在本实施方式，在步骤S57的处理之后，在排列评价单元246中，对每个频率评价，并对被评价为排列∏f的可靠性低的频率，使用分离信号的包络线计算排列∏f，仅对该频率将第2分离矩阵W′(f)的行根据排列∏f′重新排列而生成第3分离矩阵W″(f)，并将其存储在存储器100的存储区110中(步骤S58)。再有，后面论述有关该处理的细节。
然后，在分离信号生成单元150中，从存储器100的存储区102读出频域的混合信号Xq(f，τ)，从存储区111读出第3分离矩阵W″(f)。然后，分离信号生成单元150使用频域的混合信号Xq(f，τ)构成混合信号矢量X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T和第3分离矩阵W″(f)，计算分离信号矢量
y(f，τ)＝W″(f)·X(f，τ)
，并将频域的分离信号Yp(f，τ)存储在存储器100的存储区112中(步骤S59)。
最后，在时域变换单元160中，从存储器100的存储区112读出频域的分离信号Yp(f，τ)，将其对每个下标字p变换为时域的分离信号yp(t)，将这些时域的分离信号yp(t)存储在存储器100的存储区113中(步骤S60)。
图12和图13是用于说明图11的步骤S58的例子的流程图。以下，参照该流程图说明步骤S58的细节。
首先，在控制单元170中对参数f代入0，并使集合F为空集，将表示它们的信息存储在临时存储器171中(步骤S71)。然后，在中，对每个频率评价被存储在存储器100存储区110中的排列∏f的可靠性，并将该评价结果trust(f)存储在临时存储器171中(步骤S72)。这里，排列∏f的可靠性高，例如是指归一化基底矢量Ap″(f)十分接近各自对应的形心ηk。此外，归一化基底矢量Ap″(f)是否十分接近各自对应的形心ηk，例如，归一化基底矢量Ap″(f)和形心ηk之间的距离是否比簇Ck的方差Uk/|Ck|小，可通过
Uk/|Ck|＞||ηk-A∏(k)″(f)||2…(26)
来判定。因此，在该步骤中，例如，在排列评价单元246中，首先从存储器100的存储区105读出归一化基底矢量Ap″(f)，从存储区109读出形心ηk，从存储区110读出排列∏f。然后，排列评价单元246对每个频率f判断是否满足算式(26)，在满足的情况下，输出trust(f)＝1，并存储在临时存储器171中，在未满足的情况下输出trust(f)＝0，存储在临时存储器171中。
然后，排列校正单元247的判定单元247a从临时存储器171读出对每个频率f的评价结果trust(f)，判断是否trust(f)＝1(步骤S73)。这里，在trust(f)＝0的情况下，原样进至步骤S76的处理。另一方面，在trust(f)＝1的情况下，在控制单元170中，将集合F和{f}的和集合作为新的集合F而存储在临时存储器171中F(步骤S74)，在再次重新排列单元247e中，将该频率f中的第2分离矩阵W′(f)作为第3分离矩阵W″(f)存储在存储器100的存储区111中(步骤S75)，并进至步骤S76。
在步骤S76，在控制单元170中，判断被存储在临时存储器171中的参数f的值是否满足f＝(L-1)fs/L(步骤S76)，如果未满足，则将f+fs/L的运算结果作为新的参数f的值(步骤S77)而存储在临时存储器171中，并返回到步骤S72。
另一方面，在满足f＝(L-1)fs/L的情况下，在分离信号生成单元247b中，选择一个不属于集合F的频率f。然后，分离信号生成单元247b对于该频率f和在其附近属于集合F的全部频率g(g∈F、|g-f|≤δ，δ是常数)，从存储器100的存储区102读出频域的混合信号X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T andX(g，τ)＝[X1(g，τ)，...，XM(g，τ)]T，从存储区111读出第2分离矩阵W′(f)、W′(g)，通过
y(f，τ)＝W′(f)·X(f，τ)
y(g，τ)＝W′(g)·X(g，τ)
而计算分离信号y(f，τ)＝[Y1(f，τ)，...，yN(f，τ)]T、Y(g，τ)＝[Y1(g，τ)，...，yN(g，τ)]T，并存储在临时存储器171中(步骤S78)。
然后，在包络线计算单元247c中，从临时存储器171读出全部的频域的分离信号Yp(f，τ)、Yp(g，τ)，计算它们的包络线
vpf(τ)＝|Yp(f，τ)|
vpg(τ)＝|Yp(g，τ)|
后将其存储在临时存储器171中(步骤S79)。
然后，在排列再计算单元247d中，计算在频率之差δ以下附近的相关cor的和的最大值
$R_f={\max }_{\Pi }\underset{|g-f|\le \delta }{\Sigma }\underset{k=1}{\overset{N}{\Sigma }}\mathrm{cor}({v_{\Pi \left(k\right)}}^f,{v_{{\Pi }^{\prime }\left(k\right)}}^g)$
后将其存储在临时存储器中(步骤S80)。这里，∏′是对于频率g已经决定的排列。再有，该算式中的相关cor(Φ，Ψ)表示两个信号Φ、Ψ之间的相关，被如下那样定义。
cor(Φ，Ψ)＝(<Φ，Ψ>-<Φ>·<Ψ>)/(σΦ·σΨ)
其中，<ζ>是ζ的时间平均，σΦ是Φ的标准偏差。
此外，在排列再计算单元247d中，计算将该相关cor的和进行最大值化的排列
${{\Pi }_f}^{\prime }=\arg {\max }_{\Pi }\underset{|g-f|\le \delta }{\Sigma }\underset{k=1}{\overset{N}{\Sigma }}\mathrm{cor}({v_{\Pi \left(k\right)}}^f,{v_{{\Pi }^{\prime }\left(k\right)}}^g)$
后将其存储在存储器100的存储区110中(步骤S81)。这里，∏′是对于频率g已经决定的排列。再有，argmax∏v意味着将v最大值化的∏。
接着，在控制单元170中将与集合F和{ζ}(ζ＝argmaxfRf)的和集合作为新的集合F而存储在临时存储器171中(步骤S82)。然后，在再次重新排列单元247e中，设f＝ζ，生成将第2分离矩阵W′(f)的行根据排列∏f′而重新排列的第3分离矩阵W″(f)，并将其存储在存储器100的存储区111中(步骤S83)。
接着，在控制单元170中，判断被存储在临时存储器171中的集合F是否有被完全离散化的频率f＝0，fs/L，...，fs(L-1)/L的元素(步骤S84)。这里，如果集合F没有被完全离散化的频率f＝0，fs/L，...，fs(L-1)/L的元素，则控制单元170将处理返回到步骤S78。另一方面，如果集合F有被完全离散化的频率f＝0，fs/L，...，fs(L-1)/L的元素，则控制单元170使步骤S58的处理结束。
再有，不使用以上的方法，而使用在上述特开2004-145172号公报或‘参考文献’中记载的其他方法，也可以执行步骤S58的处理。
<实验结果>
下面，表示利用上述第1实施方式及第2实施方式的音源分离实验结果。
第1个实验是利用不规则的传感器配置的实验。实验条件如图14A所示那样。这里，使用了将四个无方向性话筒不规则地配置的话筒，作为它们的配置信息，仅将话筒间隔的上限为4cm提供给信号分离装置。音源的数为三个，从扬声器流出3秒的英语的语音。结果在图14B中通过SIR(signal-to-interference ratio)来表示。SIR越大，表示分离性能越好。这里，对解决置换问题的四种方法比较它们的结果。Env是仅使用了分离信号的包络线|Yp(f，τ)|的信息的方法，Basis是利用归一化基底矢量Ap″(f)的分簇的方法(第1实施方式的方法)，Basis+Env是将这两种信息综合而更高精度地解决问题的方法(第2实施方式的方法)，Optimal是利用可知道源信号sk和冲击响应hqk(r)的最佳排列的方法。
考察结果时，仅Env在性能上有偏差，但只有第1实施方式的Basis可获得充分的分离性能。而将双方综合的第2实施方式的Basis+Env的结果几乎接近Optimal(最佳)。这样，即使在使用了不规则的传感器配置的情况下，根据本发明，也可使频域中的盲信号分离高性能实现。
第2个实验是利用规则的传感器配置的实验。实验条件如图15A所示那样。将三个无方向性话筒以4cm间隔直线状地配置。音源的数同样为三个，从扬声器流出3秒的英语语音。图15B表示其结果。在该实验中，作为以往技术表示的将与信号源的位置有关的估计值分簇的方法也作为比较对象，对于六种方法来比较结果。DOA是仅用信号的到来方向(DOA：direction-of-arrival)的估计值来解决置换问题的方法，DOA+Env是还将分离信号的包络线信息综合的方法。
以往技术的DOA及DOA+Env和本发明的Basis及Basis+Env比较时，即使对于可采用以往方法的规则的传感器配置，总体而言，根据本发明可知结果被改善。再有，关于运算量，与以往技术大致相等。
<第1、第2实施方式的特征>
通过以上，将上述第1、第2实施方式的特征归纳时如下那样。
(1)由于不需要精确地知道传感器的配置信息，而仅知道从某个传感器至其他传感器的距离的上限即可，所以可以采用不规则的传感器配置，而且不需要校正位置。(2)完全使用从基底矢量获得的信息来进行分簇，所以可以更正确地解决置换问题，提高信号分离的性能。
再有，本发明不限定于上述实施方式。例如，在上述各实施方式中，使用了穆尔·彭罗斯型一般化逆矩阵，但也可以是利用其他一般化矩阵的方式。
此外，在第1实施方式，频率归一化单元142a的第1归一化单元142aa将基底矢量Ap(f)的特定的一个元素AQp(f)作为基准，并通过算式(15)而将基底矢量Ap(f)的各元素Aqp(f)的幅角归一化。但是，例如，也可以是根据如以下那样的算式，第1归一化单元142aa将基底矢量Ap(f)的特定的一个元素AQp(f)作为基准，将该基底矢量Ap(f)的各元素Aqp(f)的幅角归一化的结构。
Aqp″′(f)＝|Aqp(f)|exp{j·(arg[Aqp(f)·AQp*(f)])}     ...(27-1)
Aqp″′(f)＝|Aqp(f)|exp{j·(arg[Aqp(f)]-arg[AQp(f)])}  ...(27-2)
Aqp″′(f)＝|Aqp(f)|exp{j·Ψ(arg[Aqp(f)/AQp(f)])}     ...(27-3)
其中，·*是复数共轭。而Ψ{·}是函数，从分簇精度的观点来看，期望是单调增加函数。
此外，频率归一化单元142a也可以通过
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\rho ·\frac{\arg [A_{\mathrm{qp}}\left(f\right)/A_{\mathrm{Qp}}\left(f\right)]}{4{\mathrm{fc}}^{-1}d}...(28-1)$
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\rho ·\frac{\arg [A_{\mathrm{qp}}\left(f\right)·A_{\mathrm{Qp}}*\left(f\right)]}{4{\mathrm{fc}}^{-1}d}...(28-2)$
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\rho ·\frac{\arg \left[A_{\mathrm{qp}}\left(f\right)\right]-\arg \left[A_{\mathrm{Qp}}\left(f\right)\right]}{4{\mathrm{fc}}^{-1}d}...(28-3)$
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\rho ·\frac{\Psi \left(\arg \right[A_{\mathrm{qp}}\left(f\right)/A_{\mathrm{Qp}}\left(f\right)\left]\right)}{4{\mathrm{fc}}^{-1}d}...(28-4)$
等的运算而进行频率归一化来取代算式(14)。这里，ρ是常数(例如ρ＝1)。
此外，在上述实施方式，在范数归一化单元142b中进行使范数为1的归一化，但也可以进行使范数为1以外的规定值的归一化。而且，也可以是不设置范数归一化单元142b，不进行范数归一化的结构。这种情况下，分簇单元143进行频率归一化矢量Ap′(f)的分簇。但是，频率归一化矢量Ap′(f)未被统一范数。因此，这种情况下的分簇基准不是矢量是否包含范数来近似，而成为仅矢量的方向是否近似。这成为使用近似度的评价。作为近似度之一，可以例示余弦距离
cosθ＝|Ap′H(f)·ηk|/(||Ap′(f)||·||ηk||)
。其中θ是频率归一化矢量Ap′(f)和形心ηk的矢量形成的角度。使用余弦距离的情况下，分簇单元143生成使余弦距离的总和
$U_i={\Sigma }_{{A_p}^{\prime }\left(f\right)\in C_i}|{A_p}^{\prime H}\left(f\right)·{\eta }_i|/\left(\right|\left|{A_p}^{\prime }\left(f\right)\right||·|\left|{\eta }_i\right|\left|\right)$
为最小值化的簇。再有，形心ηk作为各簇的元(member)的平均来计算。
而且，在上述第2实施方式，对每个频率评价排列的可靠性，对被评价为排列的可靠性低的频率，使用分离信号的包络线计算新的排列。但是，也可以将分离信号的包络线和簇的中心矢量及归一化基底矢量一次综合来计算排列。
此外，也可以首先使用分离信号的包络线计算排列，对每个频率评价其排列的可性，并对被评价为可靠性低的频率，采用第1实施方式的方法计算新的排列。
而且，在上述第2实施方式，使用第2分离矩阵W′(f)来计算分离信号的包络线，但也可以为使用第1分离矩阵W(f)或使用将其行重新排列的分离矩阵来计算包络线的结构。
此外，参数d可以对全部的传感器q相同，也可以对应于各传感器q设定多个值。例如，也可以将基准传感器和传感器q之间的距离作为与各个传感器q对应的参数d。
下面，说明有关本发明的第3实施方式。
第3实施方式是使用上述原理，不知道有关目标信号的方向的信息，而混合了从多个信号源发出的信号的混合信号中提取目标信号的实施方式。
<结构>
本实施方式的信号分离装置也与第1实施方式同样，通过信号分离程序被读入公知的冯·诺伊曼型计算机而构成。图16是例示了第3实施方式的信号分离装置1001的结构的方框图。
如该图例示的那样，信号分离装置1001具有：具有存储区1101-1114的存储器1100、频域变换单元1120、信号分离单元1130、目标信号选择单元1140、时频屏蔽单元1150(相当于″分离信号生成单元″)、时域变换单元1160、控制单元1170及临时存储器1180。这里，存储器1100及临时存储器1180例如相当于寄存器10ac、辅助存储装置10f的数据区10fb或RAM 10d(图2)数据区10db的至少一部分，但对此没有特别限定。此外，频域变换单元1120、信号分离单元1130、目标信号选择单元1140、时频屏蔽单元1150、时域变换单元1160、控制单元1170及临时存储器1180例如通过OS程序或信号分离程序被读入CPU10a(图2)而构成。
图17A是例示了图16的目标信号选择单元1140的详细结构的方框图。图17B是例示了图17A的基底矢量分簇单元1142的详细结构的方框图。
如这些图中所示那样，目标信号选择单元1140包括：逆矩阵计算单元1141(对应于″复数矢量生成单元″)、基底矢量分簇单元1142及选择单元1143。基底矢量分簇单元1142包括：频率归一化单元1142a(构成″归一化单元″)、范数归一化单元1142b(构成″归一化单元″)、分簇单元1142c及方差判定单元1142d。频率归一化单元1142a包括第1归一化单元1142aa和第2归一化单元1142ab。
图18A是例示了图16的时频屏蔽单元1150的详细结构的方框图。图18B是例示了图18A的屏蔽生成单元1151的细节的方框图。
如这些图中例示的那样，时频屏蔽单元1150包括屏蔽生成单元1151和屏蔽单元1152。屏蔽生成单元1151包括：白化矩阵生成单元1151a、白化单元1151b、角度计算单元1151c及函数运算单元1151d。
再有，图16～图18中的实线的箭头表示实际的数据的流，虚线的箭头表示理论上的信息的流，但输入输出到控制单元1170及临时存储器1180的数据的流被省略。此外，信号分离装置1001受控制单元1170控制并执行各处理。此外，只要未特别示出，控制单元1170一边将不要的数据写入临时存储器1180，一边执行各处理。
<处理>
下面，说明有关本实施方式的信号分离装置1001的处理。
假设在空间内存在N个信号源k(k∈{1，2，...，N})，这些信号sk(t)(″t″是采样时刻)被混合，由M个传感器q(q∈{1，2，...，M})作为混合信号xq而被观测。在本实施方式，仅从混合信号x1(t)，...，xM(t)中提取从某个信号源发出的目标信号，从而计算将其他干扰信号抑制的信号y(t)。再有，信号源的数N可以比传感器的数M多，也可以少，或也可以是相同数。而且，即使是事先不必知道信号源的数N，或信号源的数未被计数的状况也没有关系。
图19是用于说明第3实施方式的信号分离处理的整体的流程图。以下，使用该图说明本实施方式的信号分离处理的整体。
首先，在前处理中，将由M个传感器观测到的时域的混合信号xq(t)(q∈{1，...，M})存储在存储器1100的存储区1101中。开始信号分离时，在频域变换单元1120中，首先从存储器1100的存储区1101读出时域的混合信号xq(t)。然后，频域变换单元1120将它们通过快速傅立叶变换等而变换为频域的混合信号Xq(f，τ)，并将其存储在存储器1100的存储区1102中(步骤S101)。
然后，信号分离单元1130从存储器1100的存储区1102读出频域的混合信号Xq(f，τ)。本例的信号分离单元1130对将读出的混合信号Xq(f，τ)作为元素的混合信号矢量X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T采用独立分量分析(ICA)，对每个频率f计算M行M列的分离矩阵W(f)＝[W1(f)，...，WM(f)]H(*H是矩阵*的复数共轭转置矩阵)和分离信号矢量
y(f，τ)＝W(f)·X(f，τ)...(30)
(步骤S102)。再有，算出的分离矩阵W(f)被存储在存储器1100的存储区1103中。构成分离信号矢量y(f，τ)＝[Y1(f，τ)，...，yM(f，τ)]T的分离信号yp(f，τ)(p∈{1，...，M})被存储在存储区1107中。后面论述有关步骤S102的细节。
然后，在目标信号选择单元1140中，从存储器1100的存储区1103读出分离矩阵W(f)，将作为其一般化逆矩阵的列的基底矢量归一化，并将该归一化后的基底矢量分簇。然后，目标信号选择单元1140将该簇的方差作为指标，从存储器1100的存储区1107对每个频率f选择包含了目标信号的选择信号YI(f)(f，τ)和与其对应的基底矢量AI(f)(f)，并将其存储在存储器1100的存储区1111中(步骤S103)。再有，在本实施方式，距传感器近，因而由传感器观测的功率与其他信号源相比是支配性的，而且作为信息，将有用的信号作为目标信号来提取。后面论述有关该步骤S103的细节。
然后，在时频屏蔽单元1150中，从存储器1100的存储区1102读出频域的混合信号Xq(f，τ)，从存储区1104读出与选择信号y1(f)(f，τ)对应的基底矢量AI(f)(f)，使用它们生成时频屏蔽M(f，τ)，并将其存储在存储区1112中(步骤S104)。再有，后面论述有关步骤S104的处理(时频屏蔽单元1150的处理)的细节。
然后，在时频屏蔽单元1150中，从存储器1100的存储区1107读出由目标信号选择单元1140选择出的选择信号yI(f)(f，τ)，从存储区1112读出时频屏蔽M(f，τ)。然后，时频屏蔽单元1150将该时频屏蔽M(f，τ)采用为选择信号yI(f)(f，τ)，生成将选择信号yI(f)(f，τ)中残留的干扰信号分量进一步抑制的屏蔽处理选择信号y1(f)′(f，τ)，并将其存储在存储器1100的存储区1113中(步骤S105)。后面论述该步骤S105的处理的细节(时频屏蔽单元1150的处理)。
最后，在时域变换单元1160中，从存储器1100的存储区1113读出频域的被选择出的分离信号yI(f)′(f，τ)，对其实施快速傅立叶逆变换等而生成时域的分离信号y(t)，并将其存储在存储器1100的存储区1114中(步骤S106)。
如上所述，本例的信号分离单元1130通过独立分量分析(ICA)，根据混合信号矢量X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T计算M行M列的分离矩阵W(f)＝[W1(f)，...，WM(f)]H和分离信号矢量Y(f，τ)＝[Y1(f，τ)，...，yM(f，τ)]T(步骤S102)。独立分量分析(ICA)是计算分离矩阵W(f)以使分离信号矢量y(f，τ)＝[Y1(f，τ)，...，yM(f，τ)]T的各元素相互独立的方法，作为其算法，介绍了非专利文献4中记载的算法等各种各样的算法。再有，独立分量分析(ICA)是一种方法，与功率小、高斯性强的干扰信号相比，可以更有利地分离提取功率大、非高斯性强的本实施方式的目标信号。
在独立分量分析(ICA)中，着眼于信号的独立性而进行它们的分离，所以在获得的分离信号yp(f，τ)中有顺序的任意性。这是因为即使替换这种顺序，独立性也被保持的缘故。因此，必须对每个频率选择与目标信号对应的分离信号。目标信号选择单元1140通过以下所示的处理，进行这种选择。
图20是用于说明第3实施方式的目标信号选择单元1140的处理的细节的流程图。以下，使用该图，说明目标信号选择单元1140的处理的细节。
首先，在逆矩阵计算单元1141中，对每个频率从存储器1100的存储区1103读出M行M列的分离矩阵W(f)，并计算它们的逆矩阵
W(f)-1＝[A1(f)，...，AM(f)](其中the行are Ap(f)＝[A1p(f)，...，AMp(f)]T)...(31)
这里，通过对算式(30)的两边乘以算式(31)，可以获得频域的混合信号X(f，τ)的分解
$X(f,\tau )={\Sigma }_{p=1}^M{A}_p{\left(f\right)Y}_p(f,\tau )...\left(32\right)$
。其中，Ap(f)是基底矢量，分别与每个频率的各分离信号Yp(f，τ)对应。如算式(31)那样算出的基底矢量Ap(f)被存储在存储器1100的存储区1104中(步骤S111)。
然后，在基底矢量分簇单元1142中，将全部的基底矢量Ap(f)(p＝1，...，M and f＝0，Fs/L，...，fs(L-L)/L)归一化。该归一化在将从多个信号源发出的信号的卷积近似为规定的模型(例如，近距离场模型)的情况下，以使归一化后的基底矢量Ap(f)形成仅依赖于信号源的位置的簇来进行。在本例中，进行与第1实施方式同样的频率归一化和范数归一化。
频率归一化在基底矢量分簇单元1142(图17B)的频率归一化单元1142a中进行。即，在频率归一化单元1142a中，读出存储器1100的存储区1104的基底矢量Ap(f)(p＝1，...，M、f＝0，fs/L，...，Fs(L-L)/L)，并将它们归一化为不依赖于频率的频率归一化矢量Ap′(f)后将其存储在存储器1100的存储区1105中(步骤S112)。再有，该归一化对基底矢量Ap(f)的每个元素Aqp(f)进行(细节后面论述)。范数归一化在基底矢量分簇单元1142的范数归一化单元1142b(图17B)中进行。即，在范数归一化单元1142b中，从存储器1100的存储区1105读出频率归一化矢量Ap′(f)，将它们归一化为范数取规定值(在本例中为1)的归一化基底矢量Ap″(f)后将其存储在存储器1100的存储区1106中(步骤S113)。再有，该归一化对每个频率归一化矢量Ap′(f)进行(细节后面论述)。
基底矢量的归一化结束时，接着在分簇单元1142c(图17B)中，鉴别通过归一化基底矢量Ap″(f)而形成的M个簇Ci(i∈{1，...，M})。在本例的情况下，在分簇单元1142c中，从存储器1100的存储区1106读出归一化基底矢量Ap″(f)，将它们分簇而生成M个簇Ci(i＝1，...，M)，并将确定各簇Ci的信息(例如，表示属于各簇的归一化基底矢量Ap″(f)的信息)和各簇Ci形心(中心矢量)ηi分别存储在存储器1100的存储区1109、1110中(步骤S114)。再有，该分簇例如以使各簇Ci的元素(归一化基底矢量Av″(f))和各簇Ci的形心ηi之间的平方和Ui的总和
$U={\Sigma }_{i=1}^M{U}_i$
$U_i={\Sigma }_{{A_v}^{\prime \prime }\left(f\right)\in C_i}{\left|\right|{A_v}^{\prime \prime }\left(f\right)-{\eta }_i\left|\right|}^2...\left(33\right)$
最小值化为基准来进行。该最小值化例如可以通过使用由非专利文献6等论述的k-means分簇而高效率地进行。再有，簇Ci的形心ηi通过
${\eta }_i=\frac{{\Sigma }_{{A_v}^{\prime \prime }\left(f\right)\in C_i}{A_v}^{\prime \prime }\left(f\right)/\left|C_i\right|}{\left|\right|{\Sigma }_{{A_v}^{\prime \prime }\left(f\right)\in C_i}{A_v}^{\prime \prime }\left(f\right)/\left|C_i\right|\left|\right|}...\left(34\right)$
来计算。其中，|Ci|是簇Ci中的元素(归一化基底矢量Av″(f))的数，||*||是矢量*的范数。这里，作为距离使用欧几里得距离的平方，但也可以使用将其一般化的闵可夫斯基距离。
获得M个簇Ci时，接着在方差判定单元1142d(图17B)中，选择与目标信号对应的簇，并将表示被选择出的簇的选择信息I(f)存储在存储器1100的存储区1111中(步骤S115)。再有，在本实施方式，以簇的方差Ui/|Ci|为指标，包含目标信号的分离信号被选择。即，本实施方式的基底矢量的归一化，在将从多个信号源发出的信号的卷积混合近似为规定的模型的情况下，以归一化后的基底矢量形成仅依赖于信号源的位置的簇来进行。但是，在实际环境中，存在未反映到这样的模型中的各种各样的因子，信号源至传感器的距离越大，这样的实际环境和模型的背离就越大。例如，在近距离场模型中，未考虑因信号反射到墙壁等造成的反射波分量，反射波分量与直达波分量的比例是信号源距传感器越远则越大。因此，随着信号远离传感器，模型难以成立。其结果，越是距传感器近的信号，越可以按接近实际环境的条件进行归一化，可以使实际环境和模型的背离造成的簇的方差小。在本实施方式，由于将传感器附近的信号作为目标信号，所以将离散小的簇作为目标信号对应的簇来选择就可以。再有，后面论述有关该选择过程(步骤S115)的细节。
在对各每个频率f的选择信息I(f)被算出时，接着，选择各频率f中的选择信号yI(f)(f，τ)和与其对应的基底矢量AI(f)(f)。即，在选择单元1143中，首先从存储器1100的存储区1111读出选择信息I(f)。然后，选择单元1143将与该选择信息I(f)对应的分离信号作为选择信号yI(f)(f，τ)从存储区1107读出，将与其对应的基底矢量AI(f)(f)从存储区1104读出，并将它们存储在存储区1111中(步骤S116)。
下面，表示步骤S112、113(图20)的归一化的细节。
图21A是用于说明步骤S112的频率归一化的细节的流程图。
首先，在控制单元1170(图16)中对参数p代入1，并将其存储在临时存储器1180中(步骤S121)。此外，在控制单元1170中对参数q代入1，并将其存储在临时存储器1180中(步骤S122)。然后，在频率归一化单元1142a(图17B)中，从存储器1100的存储区1108读出上述参数d、c、Q，从存储区1104读出基底矢量Ap(f)的元素Aqp(f)，从临时存储器1180读出参数p、q。然后，该频率归一化单元1142a对于基底矢量Ap(f)的元素Aqp(f)进行
${A_{\mathrm{qp}}}^{\prime }\left(f\right)=\left|A_{\mathrm{qp}}\left(f\right)\right|\exp \left[j\frac{\arg [A_{\mathrm{qp}}\left(f\right)/A_{\mathrm{Qp}}\left(f\right)]}{4{\mathrm{fc}}^{-1}d}\right]...\left(35\right)$
的运算，将该运算结果Aqp′f(f)作为频率归一化矢量Ap′(f)的各元素Aqp′(f)而存储在存储器1100的存储区1105中(步骤S123)。再有，arg[·]意味着幅角，exp意味着纳皮尔数，j意味着虚数单位。更详细地说，通过上述算式(15)、(16)进行该归一化。
然后，在控制单元1170中，判断被存储在临时存储器1180中的参数q是否满足q＝M(步骤S124)。这里，如果不是q＝M，则控制单元1170使q+1的运算结果为新的参数q的值，将其存储在临时存储器1180中(步骤S125)，将处理返回到步骤S123。另一方面，如果q＝M，控制单元1170还判断是否满足p＝M(步骤S126)。
这里，如果不是p＝M，则控制单元1170使p+1的运算结果为新的参数p的值，并将其存储在临时存储器1180中(步骤S127)，将处理返回到步骤S122。另一方面，如果p＝M，则控制单元1170使步骤S112的处理结束(步骤S112(频率归一化)的细节的说明结束)
图21B是用于说明步骤S113的范数归一化的细节的流程图。
首先，在控制单元1170中，对参数代入1，并将其存储在临时存储器1180中(步骤S131)。然后，在范数归一化单元1142b中，从存储器1100的存储区1105读出频率归一化矢量Ap′(f)的各元素Aqp′(f)，进行
$\left|\right|{A_p}^{\prime }\left(f\right)\left|\right|=\sqrt{{\Sigma }_{q=1}^M{\left({A_{\mathrm{pq}}}^{\prime }\left(f\right)\right)}^2}...\left(38\right)$
的运算，求频率归一化矢量Ap′(f)的范数||Ap′(f)||，将频率归一化矢量Ap′(f)和其范数||Ap′(f)||存储在临时存储器1180中(步骤S132)。
然后，在范数归一化单元1142b中，从临时存储器1180读出频率归一化矢量Ap′(f)及其范数||Ap′(f)||，进行
Ap″(f)＝Ap′(f)/||Ap′(f)||...(39)
的运算并求归一化基底矢量Ap″(f)，将其存储在存储器1100的存储区1106中(步骤S133)。然后，在控制单元1170中，判断被存储在临时存储器1180中的参数p是否满足p＝M(步骤S134)。这里，如果不是p＝M，则控制单元1170使p+1的运算结果为新的参数p的值，并将其存储在临时存储器1180中(步骤S135)，返回到步骤S132的处理。另一方面，如果p＝M，则控制单元1170使步骤S113的处理结束。再有，归一化基底矢量Ap″(f)形成簇的理由如第1实施方式中所示的那样(步骤S113(范数归一化)的细节的说明结束)。
这样生成的归一化基底矢量Ap″(f)如第1实施方式中所示那样，成为不依赖于频率而仅依赖于信号源的位置的矢量。
下面，例示上述选择信号的选择过程(步骤S115)。
簇的选择过程1
第1例是将方差最小的簇作为与目标信号对应的簇来选择的例子。图22是用于说明该第1例的流程图。
这种情况下，首先在方差判定单元1142d(图17B)中，从存储器1100的存储区1109读出用于确定簇Ci(i∈{1，...，M})的信息，进而从存储区1106、1110分别读出归一化基底矢量Ap″(f)∈Ci及形心ηi。然后，方差判定单元1142d通过对各i如算式(33)那样求Ui，对属于簇Ci的元素(归一化基底矢量Av″(f))的数进行计数而求|Ci|，计算簇Ci的方差Ui/|Ci|，并将其存储在临时存储器1180中。然后，方差判定单元1142d从被存储在该临时存储器1180中的方差Ui/|Ci|中选择最小的方差，将表示与其对应的簇的信息作为
ι＝argmini Ui/|Ci|...(40)
的簇选择信息而存储在临时存储器1180中(步骤S141)。再有，算式(40)中的argmini*意味着使*最小的i。
然后，在控制单元1170(图16)中，对参数代入0，并将其存储在临时存储器1180中(步骤S142)。
然后，方差判定单元1142d从临时存储器1180读出簇选择信息ι，从存储器1100的存储区1110读出与簇选择信息ι对应的形心ηι。此外，方差判定单元1142d从存储器1100的存储区1106读出归一化基底矢量Ap″(f){p∈{1，...，M}}。然后，方差判定单元1142d对每个频率f计算选择信息
I(f)＝argminp||Ap″(f)-ηι||2...(41)
，并将其存储在存储区1111中(步骤S143)。
然后，在控制单元11170中，从临时存储器1180读出参数f，并判断是否f＝(L-1)·fs/L(步骤S144)。这里，如果不是f＝(L-1)·fs/L，则控制单元1170使在该参数f相加了fs/L的值作为新的f并将其存储在临时存储器1180中(步骤S145)，将处理返回到步骤S143。另一方面，如果f＝(L-1)·fs/L，则控制单元1170使步骤S115的处理结束。
簇的选择过程2：
第2例的将方差比预定的阈值小的簇作为与目标信号对应的簇来选择的例子。再有，阈值例如是基于实验结果或经验所确定的值，事先存储在存储器1100中。
这种情况下，取代步骤S141(图22)的处理，在方差判定单元1142d中，首先将各簇的方差Ui/|Ci|通过公知的重新排列算法而升序或降序地重新排列。然后，方差判定单元1142d读取被存储在存储器1100中的阈值，选择方差Ui/|Ci|比阈值小的簇，将与选择出的簇对应的下标字i的集合作为簇选择信息ι存储在临时存储器1180中。除此以外，与簇的选择过程1相同。
簇的选择过程3：
第3例是不仅将从方差最小的簇，而且还方差最小的簇至对第规定号的簇为止(例如，从方差最小的簇至对第3方差小的簇为止)的簇作为与目标信号对应的簇来选择。
这种情况下，取代步骤S141(图22)的处理，在方差判定单元1142d中，首先将各簇的方差Ui/|Ci|通过公知的重新排列算法而升序或降序地重新排列。然后，方差判定单元1142d选择从方差Ui/|Ci|小的簇至第规定号方差Ui/|Ci|小的簇为止的簇。在该选择后，方差判定单元1142d将与选择出的簇对应的下标字i的集合作为簇选择信息ι存储在临时存储器1180中。除此以外，与簇的选择过程1相同。
再有，取代簇的选择过程1，可以选择方差程度第2小以后的其中一个簇，也可以采用将上述簇的一部分选择过程组合所得的过程(步骤S115的说明结束/步骤S103的处理(目标信号选择单元1140的处理)的细节的说明结束)。
下面，说明有关时频屏蔽单元1150的处理。如前述那样，时频屏蔽单元1150将目标信号选择单元1140选择出的选择信号yI(f)(f，τ)中残存的干扰信号进一步抑制。在以下，首先说明为什么在选择信号YI(f)(f，τ)中残存干扰信号。
将上述算式(30)写为仅与选择信号有关时，可以表记为
yI(f)(f，τ)＝WI(f)H(f)·X(f，τ)...(42)
。此外，对其代入算式(4)而省略频率f可写为
$Y_I\left(\tau \right)={W_I}^H·H_I·S_I\left(\tau \right)+\underset{k=1,...,I-1,I+1,...,N}{\Sigma {W_I}^H}·H_k{S}_k\left(\tau \right)...\left(43\right)$
。如果N≤M，则利用独立分量分析(ICA)，有可能设定能够满足WIH·Hk＝0，${}^{\forall }k\in \{1,...,I-1,I+1,...,N\}$的WI。因此，算式(43)的第2项为0。但是，更一般地，在信号源数N比传感器数M多的情况下，存在变为WIH·Hk≠0，${}^{\forall }k\in \kappa$的$\kappa \subseteq \{1,...,I-1,I+1,...,N\}.$这种情况下，选择信号yI(f)将包含不必要的残留分量(干扰信号的残留分量)
$\underset{k\in \kappa }{\overset{N}{\Sigma }}{W_I}^H·H_k·S_k\left(\tau \right)$
(以后不省略f)。
时频屏蔽单元1150的目的是抑制被包含在该选择信号yI(f，τ)中的不需要的残留分量，并生成比选择信号YI(f，τ)的干扰信号的残留分量更少的屏蔽处理选择信号YI′(f，τ)。为此，时频屏蔽单元1150首先在屏蔽生成单元1151(图18)中，生成对于具有干扰信号的残留分量的时频时隙采用小的值、对于干扰信号的残留分量少的时频时隙采用大的值的时频屏蔽0≤M(f，τ)≤1。然后，在屏蔽单元1152中，根据
yI(f)′(f，τ)＝M(f，τ)·YI(f)(f，τ)...(44)
进行屏蔽处理，将屏蔽处理选择信号yI(f)′(f，τ)输出。以下，说明有关其细节。
图23是用于说明图19中的步骤S104的流程图。以下，使用该图，说明步骤S104(屏蔽生成单元1151)的处理的细节。
本例的屏蔽生成单元1151在将频域的混合信号矢量X(f，τ)白化的空间中，求混合信号矢量X(f，τ)和与选择信号对应的基底矢量AI(f)(f)形成的角度θI(f)(f，τ)，基于该角度θI(f)(f，τ)而生成时频屏蔽。再有，白化是将混合信号矢量X(f，τ)线性地变形，使其协方差矩阵与单位矩阵相等。
为此，首先在白化矩阵生成单元1151a中，使用频域的混合信号Xq(f，τ)，生成将混合信号矢量X(f，τ)转移到白化空间的白化矩阵V(f)(步骤S151)。在本例的情况下，白化矩阵生成单元1151a从存储器1100的存储区1102读出混合信号Xq(f，τ)，将R(f)＝τ的情况下的V(f)＝R(f)-1/2作为白化矩阵V(f)来计算，并将其存储在存储区1112中。再有，<*>τ意味着将矢量*时间平均后的矢量，*H意味着*的复数共轭转置，并意味着满足R-1/2·R·(R-1/2)H＝I(I是单位矩阵)的矩阵。此外，作为计算白化矩阵V(f)的典型的方法，可以例示将R(f)进行固有值分解，即R(f)＝E(f)·D(f)·E(f)H(其中E(f)是酉矩阵，D(f)是对角矩阵)，并进行V(f)＝D(f)-1/2·E(f)H的运算的方法。再有，D(f)-1/2等价于对角矩阵D(f)的乘以了各元素的(-1/2)的对角矩阵，所以可以通过乘以对角矩阵D(f)的各元素的(-1/2)来计算。
然后，在白化单元1151b中，使用该白化矩阵V(f)，计算将混合信号矢量X(f，τ)映射到白化空间的白化混合信号矢量Z(f，τ)、以及将基底矢量AI(f)(f)映射到白化空间的白化基底矢量BI(f)(f)(步骤S152)。本例的情况下，首先在白化单元1151b中，从存储器1100的存储区1102读出混合信号Xq(f，τ)，从存储区1111读出与选择信号yI(f)(f，τ)对应的基底矢量AI(f)(f)，从存储区1112读出白化矩阵V(f)。然后，白化单元1151b通过Z(f，τ)＝V(f)·X(f，τ)的运算而计算白化混合信号矢量Z(f，τ)，通过BI(f)(f)＝V(f)·AI(f)(f)的运算而计算白化基底矢量BI(f)(f)，并将它们存储在存储器1100的存储区1112中。
然后，在角度计算单元1151c中，对每个时频计算由白化混合信号矢量Z(f，τ)和白化基底矢量BI(f)(f)形成的角度θI(f)(f，τ)(步骤S153)。本例的情况下，首先在角度计算单元1151c中，从存储器1100的存储区1112读出白化混合信号矢量Z(f，τ)和白化基底矢量BI(f)(f)。然后，角度计算单元1151c通过
θI(f)(f，τ)＝cos-1(|BI(f)H(f)·Z(f，τ)|/||BI(f)(f)||·||Z(f，τ)||)...(45)
的运算，对各时频时隙计算角度θI(f)(f，τ)，并存储在存储区1112中。再有，算式(45)中的|*|意味着矢量*的绝对值，而||*||意味着矢量*的范数。
接着，在函数运算单元1151d中，生成以角度θI(f)(f，τ)为元素的函数的时频屏蔽M(f，τ)(步骤S154)。本例的情况下，在函数运算单元1151d中，首先从存储器1100的存储区1108读出实数参数θT，从存储区1112读出角度θI(f)(f，τ)。然后，函数运算单元1151d将逻辑斯谛函数
$M\left(\theta (f,\tau )\right)=\frac{1}{1+e^{g·(\theta (f,\tau )-{\theta }_T)}}...\left(46\right)$
作为时频屏蔽M(f，τ)来计算。再有，实数参数θT、g分别是指定时频屏蔽M(f，τ)的转向点和斜率的参数，通过前处理被存储在存储区1108中。图24A表示对两种实数参数θT、g，根据算式(46)算出的时频屏蔽M(f，τ)。如该图中例示那样，实数参数θT越小，时频屏蔽M(f，τ)取大的值(本例中为1)的区域越窄。这是因为实数参数θT越小，屏蔽处理选择信号yI(f)′(f，τ)中残留的干扰信号分量越少，而其反面，则呈现屏蔽处理选择信号yI(f)′(f，τ)为不自然的信号的倾向。例如，在语音信号为目标信号的情况下，使实数参数θT越小，音乐噪声(musical noise)越大。而实数参数g越大，时频屏蔽M(f，τ)的波形(从大的值(本例中为1)向小的值(本例中为0)的转移))越急剧。这里，为了尽可能减少在屏蔽处理选择信号yI(f)′(f，τ)中残存的干扰信号分量，并使屏蔽处理选择信号yI(f)′(f，τ)为自然的信号，期望使实数参数g小，并使时频屏蔽M(f，τ)的波形为平滑的波形。
再有，也可以为对每个频率设定这些实数参数θT、g的结构。而且也可以导入实数参数α，并将逻辑斯谛函数
$M\left(\theta (f,\tau )\right)=\frac{\alpha }{1+e^{g·(\theta (f,\tau )-{\theta }_T)}}...\left(47\right)$
作为时频屏蔽M(f，τ)。而且，如果是在角度θI(f)(f，τ)接近0的区域中采用大的值，在θI(f)(f，τ)大的区域中采用小的值的0≤M(θ(f，τ))≤1的函数，则即使将其他函数用作时频屏蔽M(f，τ)也可以(步骤S104(屏蔽生成单元1151)的处理的细节的说明结束)。
屏蔽单元1152从存储器1100的存储区1111读出选择信号yI(f)(f，τ)，从存储区1112读出时频屏蔽M(f，τ)。然后，屏蔽单元1152通过
yI(f)′(f，τ)＝M(f，τ)·YI(f)(f，τ)...(48)
的运算而求屏蔽处理选择信号yI(f)′(f，τ)，将其存储在存储器1100的存储区1113中(步骤S105(屏蔽单元1152)的处理的细节的说明结束)。
下面，说明有关利用上述时频屏蔽M(f，τ)的屏蔽的效果。
如果信号源的分离性好，信号源Sk(f，τ)接近零的可能性高，则算式(4)可以近似为
X(f，τ)≈Hk(f)·Sk(f，τ)，k∈{1，...，N}...(49)
。再有，算式(49)中的k是与各信号源对应的下标，对每个时频位置(f，τ)来决定。因此，在目标信号唯一有效或接近它的时频位置(f，τ)，白化混合信号矢量Z(f，τ)可以近似为
Z(f，τ)≈V(f)·HI(f)(f)·SI(f)(f，τ)≈V(f)·AI(f)(f)·YI(f)(f，τ)
。其中，YI(f)(f，τ)是标量值。此外，如上所述，白化基底矢量BI(f)(f)为
BI(f)(f)＝V(f)·AI(f)(f)                  ...(50)
。从以上可知，在目标信号唯一有效或接近它的时频位置(f，τ)，白化混合信号矢量Z(f，τ)和白化基底矢量BI(f)(f)形成的角度θI(f)(f，τ)接近0。因而，可以说时频屏蔽M(f，τ)是将目标信号唯一有效或接近它的时频位置(f，τ)中的选择信号yI(f)(f，τ)作为屏蔽处理选择信号yI(f)′(f，τ)提取的时频屏蔽(参照算式(48))。
另一方面，假如在I(f)＝1的情况，在目标信号几乎无效的时频位置(f，τ)，白化混合信号矢量Z(f，τ)可以近似为
$Z(f,\tau )\approx {\Sigma }_{k=2}^{N}V\left(f\right)·H_k\left(f\right)·S_k(f,\tau )...\left(51\right)$
。这里，如果信号源的N与传感器的数M相同或比其少，则在白化空间中的矢量V(f)·H1(f)，...，V(f)·Hk(f)相互地正交。再有，算式(51)的Sk(f，τ)是标量值。由此可知，白化混合信号矢量Z(f，τ)和白化基底矢量BI(f)(f)形成的角度θI(f)(f，τ)增大。此外，即使N＞M，白化基底矢量BI(f)(I(f)＝1)与目标信号以外的矢量V(f)·H2(f)，...，V(f)·Hk(f)也具有大的角度趋势。从以上可知，在目标信号几乎无效的时频位置(f，τ)，采用角度θI(f)(f，τ)大的值。因而，时频屏蔽M(f，τ)在从角度θI(f)(f，τ)偏离0的区域中采用小的值的原因可认为是，将目标信号几乎无效的时频位置(f，τ)中的选择信号yI(f)(f，τ)从屏蔽处理选择信号yI(f)′(f，τ)中排除(参见算式(28))。
从以上可知，利用时频屏蔽M(f，τ)的时频屏蔽处理进一步抑制在选择信号yI(f)(f，τ)中残存的干扰信号分量。
再有，该时频屏蔽处理对语音或音乐等具有分离性的信号特别有效。在分离性低的情况下，即使在目标信号有效的时频位置(f，τ)也大多包含其他干扰信号，算式(49)的近似不成立，有可能角度θI(f)(f，τ)偏离0。即，在没有分离性的情况下，例如，如图24B那样，在某一时频位置(f，τ)中出来与目标信号(I(f)＝1)对应的矢量V(f)·H1(f)以外，还共存有与干扰信号对应的矢量V(f)·H2(f)、V(f)·H3(f)。本例的情况下，白化混合信号矢量Z(f，τ)为
$Z(f,\tau )\approx {\Sigma }_{k=1}^{3}V\left(f\right)·H_k\left(f\right)·S_k(f,\tau )...\left(52\right)$
，所以白化混合信号矢量Z(f，τ)和白化基底矢量BI(f)(f)形成的角度θI(f)(f，τ)也会偏离0。这表示着有可能将目标信号为有效的时频位置(f，τ)的信号从屏蔽处理选择信号yI(f)′(f，τ)中排除。
此外，该时频屏蔽处理在目标信号的功率比干扰信号的功率充分大的情况下特别有效。即，因为在目标信号的功率比干扰信号的功率充分大的情况下，即使是分离性低，在目标信号为有效的时频位置(f，τ)也包含其他干扰信号分量的状况，算式(49)的近似相对成立，角度θI(f)(f，τ)近似为0。例如，在目标信号的功率比干扰信号的功率充分大的情况下，算式(52)中的干扰信号的贡献度变低，白化混合信号矢量Z(f，τ)和白化基底矢量BI(f)(f)形成的角度θI(f)(f，τ)也近似为0。这表示可以降低目标信号为有效的时频位置(f，τ)的信号从屏蔽处理选择信号yI(f)′(f，τ)中被排除的可能性。此外，意味着可以使在屏蔽处理选择信号YI(f)′(f，τ)中仍残存的干扰信号分量相对低(步骤S105(屏蔽单元1152)的处理的细节的说明结束)。
下面，说明有关本发明的第4实施方式。
第4实施方式是第3实施方式的变形例，仅在不进行利用时频屏蔽的处理方面与第3实施方式有所不同。以下，以与第3实施方式的不同方面为中心进行说明，对于与第3实施方式共同的事项省略说明。
<结构>
图25是第4实施方式的信号分离装置1200的方框图的例示。
如图25中例示那样，本实施方式的信号分离装置1200与信号分离装置1001的不同点是，在存储器1100中没有存储区1112、1113，以及没有时频屏蔽单元1150。
<处理>
下面，说明有关本实施方式的信号分离装置1200的处理。
图26是用于说明第4实施方式的信号分离装置1200的处理的流程图。以下，以与第3实施方式的不同点为中心进行说明。
首先，与第3实施方式同样，在频域变换单元1120中，从存储器1100的存储区1101读出时域的混合信号xq(t)。然后，频域变换单元1120将它们通过快速傅立叶变换等变换为频域的混合信号Xq(f，τ)，并将其存储在存储器1100的存储区1102中(步骤S161)。
然后，在信号分离单元1130中，从存储器1100的存储区1102读出频域的混合信号Xq(f，τ)。本例的信号分离单元1130对以读出的混合信号Xq(f，τ)为元素的混合信号矢量X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T，采用独立分量分析(ICA)，对每个频率f计算M行M列的分离矩阵W(f)＝[W1(f)，...，WM(f)]H(*H是矩阵*的复数共轭转置矩阵)和分离信号矢量y(f，τ)＝W(f)·X(f，τ)(步骤S162)。再有，算出的分离矩阵W(f)被存储在存储器1100的存储区1103中。此外，构成分离信号矢量y(f，τ)＝[Y1(f，τ)，...，yM(f，τ)]T的分离信号yp(f，τ)(p∈{1，...，M})被存储在存储区1107中。
然后，在目标信号选择单元1140中，从存储器1100的存储区1103读出分离矩阵W(f)，将作为其一般化逆矩阵的列的基底矢量归一化，并将该归一化过的基底矢量分簇。然后，目标信号选择单元1140将该簇的方差作为指标，从存储器1100的存储区1107的分离信号中对每个频率f选择出选择信号yI(f)(f，τ)，并将其存储在存储器1100的存储区1111中(步骤S163)。
然后，在时域变换单元1160中，读出从存储器1100的存储区1111所选择的分离信号yI(f)(f，τ)，对其实施快速傅立叶逆变换等而生成时域的分离信号y(t)，并将其存储在存储器1100的存储区1114中(步骤S164)。
下面，说明有关本发明的第5实施方式。
本实施方式是第3实施方式的变形例，仅时频屏蔽的生成方法与第3实施方式有所不同。以下，以与第3实施方式的不同点为中心进行说明，对于与第3实施方式共同的事项省略说明。
<结构>
图27是第5实施方式的信号分离装置1300的方框图的例示。图28A是表示图27中的时频屏蔽单元1350的详细结构的方框图。图28B是表示图28A的屏蔽生成单元1351的详细结构的方框图。再有，在这些图中对与第3实施方式相同的部分，附加与第3实施方式的图相同的标号。
如图27中例示那样，本实施方式的信号分离装置1300与信号分离装置1001的不同点是，信号分离装置1300有时频屏蔽单元1350来取代时频屏蔽单元1150，存储器1100有存储区1308、1312来取代存储区1108、1112。如图28A所示，时频屏蔽单元1350包括屏蔽生成单元1351和屏蔽单元1152。如图28B所示，屏蔽生成单元1351包括频率归一化单元1351a、范数归一化单元1351b、形心提取单元1351c、平方距离计算单元1351d及函数生成单元1351e。频率归一化单元1351a包括第1归一化单元1351aa和第2归一化单元1351ab。形心提取单元1351c包括形心选择单元1351ca和范数归一化单元1351cd。
<屏蔽生成处理>
本实施方式与第3实施方式的不同点仅是时频屏蔽生成处理(步骤S104)。以下，仅说明本实施方式的时频屏蔽的生成处理。
图29是用于说明第5实施方式的时频屏蔽生成处理的流程图。图30A是用于说明图29中的步骤S171的细节的流程图。图30B是用于说明图29中的步骤S172的细节的流程图。以下，用这些图说明本实施方式的时频屏蔽生成处理。
首先，屏蔽生成单元1351的频率归一化单元1351a将存储在存储器1100的存储区1102中的频域的混合信号Xq(f，τ)所构成的混合信号矢量X(f，τ)归一化为不依赖于频率的频率归一化矢量X′(f，τ)(频率归一化)，将该频率归一化矢量X′(f，τ)的各元素Xq′(f，τ)存储在存储器1100的存储区1312中(步骤S171)。
以下，说明该频率归一化处理(步骤S171)的细节。
首先，在控制单元1170(图27)中对参数q代入1，并将其存储在临时存储器1180中(步骤S181)。然后，在频率归一化单元1351a(图28B)中，从存储器1100的存储区1308读入上述参数d、c、Q，从存储区1102读入与各(f，τ)对应的混合信号矢量X(f，τ)的元素Xq(f，τ)，从临时存储器1180读入参数q。然后，频率归一化单元1351a进行
${X_q}^{\prime }(f,\tau )=\left|X_q(f,\tau )\right|\exp \left[j\frac{\arg [X_q(f,\tau )/X_Q(f,\tau )]}{4{\mathrm{fc}}^{-1}d}\right]...\left(53\right)$
的运算，将该运算结果作为频率归一化矢量X′(f，τ)＝[X1′(f，τ)，...，XM′(f，τ)]T的各元素，存储在存储器1100的存储区1312中(步骤S182)。再有，arg[·]表示幅角，j表示虚数单位。
更详细地说，首先，频率归一化单元1351a的第1归一化单元1351aa将混合信号矢量X(f，τ)的特定的一个元素Xq(f，τ)作为基准而将该混合信号矢量X(f，τ)的各元素Xq(f，τ)的幅角通过以下运算进行归一化。
Xq″′(f，τ)＝|Xq(f，τ)|exp{j·arg[Xq(f，τ)/XQ(f，τ)]}...(54)
然后，频率归一化单元1351a的第2归一化单元1351ab将由第1归一化单元1351aa归一化过的各元素Xq″′(f，τ)的幅角如以下那样除以与频率f成比例的值4fc-1。
${X_q}^{\prime }(f,\tau )=\left|{X_q}^{\prime \prime \prime }(f,\tau )\right|\exp \left[j\frac{\arg \left[{X_q}^{\prime \prime \prime }(f,\tau )\right]}{4{\mathrm{fc}}^{-1}d}\right]...\left(55\right)$
然后，在控制单元1170中，判断被存储在临时存储器1180中的参数q是否满足q＝M(步骤S183)。这里，如果不是q＝M，则控制单元1170使q+1的运算结果为新的参数q的值，并将其存储在临时存储器1180中(步骤S184)，将处理返回到步骤S182。另一方面，如果q＝M，则控制单元1170使步骤S171的处理结束，执行以下的步骤S172的处理(频率归一化处理(步骤S171)的细节结束)。
然后，屏蔽生成单元1351的范数归一化单元1351b将被存储在存储器1100的存储区1312中的各元素Xq′(f，τ)构成的频率归一化矢量X′(f，τ)归一化为范数为规定值(本例中为1)的范数归一化矢量X″(f，τ)，将这些各元素Xq″(f，τ)存储在存储区1312中(步骤S172)。
以下，说明该范数归一化处理(步骤S172)的细节。
首先，在范数归一化单元1351b(图28B)中，从存储器1100的存储区1312读入与各(f，τ)对应的频率归一化矢量X′(f，τ)＝[X1′(f，τ)，...，XM′(f，τ)]T。然后，范数归一化单元1351b进行
$\left|\right|X^{\prime }(f,\tau )\left|\right|=\sqrt{{\Sigma }_{q=1}^M{\left({X_q}^{\prime }(f,\tau )\right)}^2}$
的运算而求它们的范数||X′(f，τ)||，将频率归一化矢量X′(f，τ)和范数||X′(f，τ)||存储在临时存储器1180中(步骤S185)。
然后，范数归一化单元1351b从临时存储器1180读出与各(f，τ)对应的频率归一化矢量X′(f，τ)和范数||X′(f，τ)||，进行
X″(f，τ)＝X′(f，τ)/||X′(f，τ)||
的运算而求范数归一化矢量X″(f，τ)(步骤S186)。
求出的范数归一化矢量X″(f，τ)被存储在存储器1100的存储区1312。由此，步骤S172的处理结束(范数归一化处理(步骤S172)的细节的说明结束)。
然后，形心提取单元1351c的形心选择单元1351ca从临时存储器1180读入簇选择信息ι(参照步骤S141)，从存储器1100的存储区1110读入与该簇选择信息ι对应的形心ηι(步骤S173)。然后，范数归一化单元1351cb将形心选择单元1351ca读入的形心ηι的范数归一化为规定的值(步骤S172的规定值[本例中为1])。将该范数归一化后的形心ηι称为范数归一化形心ηι′(步骤S174)。再有，范数归一化的过程与步骤S185、S186相同。此外，范数归一化形心ηι′被存储在存储器1100存储区1312中。
然后，平方距离计算单元1351d从存储器1100的存储区1312读入范数归一化矢量X″(f，τ)和范数归一化形心ηι′，计算它们的距离的平方
DS(f，τ)＝||ητ′-X″(f，τ)||2
(步骤S175)，将该距离的平方DS(f，τ)存储在存储器1100的存储区1312中。
然后，函数生成单元1351e从存储器1100的存储区1312读入距离的平方DS(f，τ)，使用将其作为变量的函数而生成时频屏蔽M(f，τ)，并存储在存储器1100的存储区1312中(步骤S176)。具体地说，例如，函数生成单元1351e从存储器1100的存储区1308读入实数参数g、DT，将以下的逻辑斯谛函数作为时频屏蔽M(DS(f，τ)而生成。再有，DT被事先存储在存储区1308。而e是纳皮尔数。
$M\left(\mathrm{DS}(f,\tau )\right)=\frac{1}{1+e^{g·(\mathrm{DS}(f,\tau )-D_T)}}...\left(56\right)$
然后，以上那样生成的时频屏蔽M(DS(f，τ))与第3实施方式同样，用于屏蔽单元1152中的屏蔽处理。
为了表示第3、第4实施方式的效果，进行了将靠近话筒的主要语音增强提取的实验。在该实验中，在图31A所示的实验条件下测量了冲击响应hqk(r)。这里，配置了扬声器，以再现鸡尾酒会的状况。此外，全部的扬声器的音量几乎相等，仅特别的扬声器的音量未明显增大。话筒中的混合将以8kHz采样的6秒的英语语音通过与测量出的冲击响应卷积而达成。话筒配置如图31A所示进行三维配置，但在安装了信号分离装置的系统(装置)中，仅将基准话筒(话筒2)和其它话筒间的最大距离(3.5cm)作为信息来提供，未提供详细的话筒配置。在各实验中，从靠近话筒的四个扬声器位置(a120，b120，c120，and c170)中将一个选择为目标音源，剩余的三个扬声器为无音状态。远离话筒的六个扬声器在各实验中始终作为干扰音动作。提取结果通过作为Input SIR-Output SIR的SIR(signal-to-interference ratio)的改善量来评价。该值越大，意味着更好地提取目标语音，进一步抑制其他干扰音。这两种SIR由
$\mathrm{InputSIR}=10{\log }_{10}\frac{{⟨{|{\Sigma }_r{h}_{11}\left(r\right)·s_1(t-r)|}^2⟩}_t}{{⟨{|{\Sigma }_{k\ne 1}{\Sigma }_r{h}_{\mathrm{lk}}\left(r\right)·s_k(t-r)|}^2⟩}_t}\left(\mathrm{dB}\right)$
$\mathrm{OutputSIR}=10{\log }_{10}\frac{{⟨{|{\Sigma }_r{u}_{11}\left(r\right)·s_1(t-r)|}^2⟩}_t}{{⟨{|{\Sigma }_{k\ne 1}{\Sigma }_r{u}_{\mathrm{lk}}\left(r\right)·s_k(t-r)|}^2⟩}_t}\left(\mathrm{dB}\right)$
定义。其中
$u_{\mathrm{lk}}\left(r\right)={\Sigma }_{q=1}^M{\Sigma }_{\tau =0}^{L-1}{w}_{\mathrm{lq}}\left(\tau \right)·h_{\mathrm{qk}}(r-\tau )$
是从sk(t)对y1(t)的冲击响应。
实验对于各目标音源位置，将七个语音(一个目标语音和六个干扰语音)构成的组合达成16种来进行。图31B是表示仅ICA的情况下(第4实施方式)、将ICA和时频屏蔽两者组合的情况下(第3实施方式)的SIR的平均改善量的表。SIR的改善量多少受目标音源位置左右，但获得大致良好的结果。在位置a120和b120的结果良好的原因是，干扰音从不同的位置到来。位置c120和c170被二维地观察时，由于从相同的方向到来许多干扰音而被看成困难的位置，但实际上位置c170的结果变得很好。这是因为c170的高度与干扰音有所不同，通过三维地排列的话筒，本系统自动地利用高度的差异来进行提取处理。此外，根据图31B的表可知，通过时频屏蔽性能被改善。对于决定时频屏蔽的算式(46)，使用了图31A所示的三种参数。通过使用更小的θT，取得更大的SIR改善量。但是，利用小的θT的几个音带来不自然的音(音乐噪声)。实验的结果，在多数情况下确认了参数(θT，g)＝(0.333π，20)可充分进行干扰音的抑制，并且输出自然音。
再有，本发明不限定于上述第3至第5实施方式。例如，在上述各实施方式，在信号分离单元1130中计算M行M列的分离矩阵W(f)，但也可以是计算N行M列等方矩阵以外的分离矩阵W(f)的结构。这种情况下，基底矢量成为分离矩阵W(f)的一般化逆矩阵W+(f)(例如，穆尔·彭罗斯一般化矩阵)的各列。
此外，在第3实施方式，使用时频屏蔽由选择信号yI(f)(f，τ)生成进一步抑制干扰信号分量的屏蔽处理选择信号yI(f)′(f，τ)，但也可以通过其他方法生成对干扰信号分量进行抑制的屏蔽处理选择信号yI(f)′(f，τ)。例如，在信号源仅有两个的情况下，比较被提取出的分离信号y1(f，τ)、Y2(f，τ)的大小，如果|Y1(f，τ)|＞|Y2(f，τ)|，则生成将Y1(f，τ)作为时频屏蔽处理选择信号yI(f)′(f，τ)提取的时频屏蔽，如果|Y1(f，τ)＜|Y2(f，τ)|，则生成将Y2(f，τ)作为屏蔽处理选择信号yI(f)′(f，τ)提取的时频屏蔽，并将分离信号y1(f，τ)、Y2(f，τ)乘以作为元素的矢量就可以。
而且，在上述第3实施方式，信号分离单元1130使用独立分量分析(ICA)来计算分离矩阵和分离信号，但也可以通过时频屏蔽(意味着每个时频的屏蔽，例如，取1或0的值的二进制屏蔽)从观测信号中提取分离信号(例如，参照O.yilmaz and S.Rickard，″Blind separation of speech mixtures viatime-frequency masking，″IEEE Trans.an SP.Vol.52，No.7，pp.1830-1847，2004)，从该计算结果而生成分离矩阵。
此外，在上述第3实施方式，频率归一化单元1142a的第1归一化单元1142aa以基底矢量Ap(f)的特定的一个元素AQp(f)作为基准，通过作为算式(35)的一部分的算式(15)将该基底矢量Ap(f)的各元素Aqp(f)的幅角归一化。但是，例如，根据上述算式(27-1)～(27-3)等，第1归一化单元1142aa也可以为将基底矢量Ap(f)的特定的一个元素AQp(f)作为基准，将该基底矢量Ap(f)的各矢量Aqp(f)的幅角归一化。
此外，频率归一化单元1142a也可以取代算式(35)而通过上述算式(28-1)～(28-4)等的运算来进行频率归一化。
此外，在上述第3实施方式，在范数归一化单元1142b中进行了范数为1的归一化，但即使进行使范数为1以外的规定值的归一化也可以。而且，也可以是不设置范数归一化单元1142b，不进行范数归一化的结构。这种情况下的分簇如上述那样，将矢量的方向的类似性作为基准来进行。
此外，参数d对于所有的传感器q可以相同，也可以对应于各传感器q而设定多个值。例如，也可以将基准传感器和传感器q之间的距离作为与各个传感器q对应的参数d的值。
下面论述本发明的第6实施方式。
本实施方式是使用上述原理，不需要传感器的精确配置信息，容易并且高效率地利用从所有观测信号获得的信息来进行信号分离的实施方式。在本实施方式，后述的‘混合信号矢量’相当于前述的‘复数矢量’。
<结构>
本实施方式的信号分离装置2001也与第1实施发生同样，通过信号分离程序被读入公知的冯·诺伊曼型计算机而构成。图32是表示第6实施方式的信号分离装置2001的结构的方框图。图33是表示将图32的信号分离单元2120的细节例示的方框图。再有，这些图中的实线的箭头表示实际的数据的流，虚线的箭头表示理论的信息流。此外，在这些图中与输入到控制单元2140的数据的流对应的箭头省略。
如图32和图33中例示那样，信号分离装置2001包括存储器2100、频域变换单元2110(包括与″复数矢量生成单元″相当的功能)、信号分离单元2120、时域变换单元2130及控制单元2140。此外，该信号分离单元2120包括频率归一化单元2121(构成″归一化单元″)、范数归一化单元2122(构成″归一化单元″)、分簇单元2123及分离信号生成单元2124。频率归一化单元2121包括第1归一化单元2121a和第2归一化单元2121b。控制单元2140有临时存储器2141。
这里，存储器2100及临时存储器2141相当于寄存器10ac、辅助存储装置10f及RAM 10d等。频域变换单元2110、信号分离单元2120、时域变换单元2130及控制单元2140通过在CPU10a中读入OS程序或信号分离程序，CPU10a执行它们而构成。
<处理>
下面，说明有关本实施方式的信号分离装置2001的处理。在以下，对混合了N个源信号，由M个传感器观测的状况进行处理。此外，在前处理中，假设由各传感器观测的时域的混合信号Xq(t)(q＝1，...，M)被存储在存储器2100的存储区2101中，信号的传送速度c、从M以下的自然数选择出的基准值Q、Q′(分别从M个传感器选择出的基准传感器的下标号)及实数d的各参数存储在存储区2105中。
图34是用于说明本实施方式的信号分离装置2001的处理整体的流程图。以下，参照该图，说明本实施方式的信号分离装置2001的处理。
首先，在频域变换单元2110中，从存储器2100的存储区2101读出时域的混合信号Xq(t)，将它们通过快速离散傅立叶变换而变换为每个频率的时序信号(称为″频域的混合信号)Xq(f，τ)(q＝1，...，M and f＝0，fs/L，...，fs(L-1)L，fs是采样频率)，并存储在存储器2100的存储区2102中(步骤S201)。
然后，在信号分离单元2120的频率归一化单元2121中，从存储器2100的存储区2102读入频域的混合信号Xq(f，τ)。读出了频域的混合信号Xq(f，τ)的频率归一化单元2121将它们构成的混合信号矢量X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T归一化为不依赖于频率f的频率归一化矢量X′(f，τ)(步骤S202)。生成的频率归一化矢量X′(f，τ)被存储在存储器2100的存储区2103中。再有，有关步骤S202的处理细节后面论述。
然后，在信号分离单元2120的范数归一化单元2122中，从存储器2100的存储区2103读入各频率归一化矢量X′(f，τ)，将它们归一化为范数为规定的值(例如1)的范数归一化矢量X″(f，τ)。然后，范数归一化单元2122将生成的各范数归一化矢量X″(f，τ)存储在存储器2100的存储区2104中(步骤S203)。再有，有关该细节后面论述。
然后，在信号分离单元2120的分簇单元2123中，从存储器2100的存储区2104读入各范数归一化矢量X″(f，τ)，将它们分簇，并生成簇。然后，分簇单元2123将确定各簇的簇信息Ck(确定第k(k＝1、...、N)簇的元X″(f，τ)的信息)存储在存储器2100存储区2106中(步骤S204)。再有，有关细节后面论述。
然后，在信号分离单元2120的分离信号生成单元2124中，从存储器2100的存储2106、2105读入簇信息Ck及基准值Q′。然后，分离信号生成单元2124使用该簇信息Ck及基准值Q′，根据与属于第k簇的范数归一化矢量X″(f，τ)对应的混合信号矢量X(f，τ)，从存储区2120提取第Q′元素XQ′(f，τ)，并生成将其作为第k分量Yk(f，τ)的分离信号矢量y(f，τ)。然后，分离信号生成单元2124将生成的分离信号矢量y(f，τ)存储在存储器2100的存储区2107中(步骤S205)。再有，有关该细节后面论述。
最后，在时域变换单元2130中，从存储器2100的存储区2107读入分离信号矢量y(f，τ)，通过将该分离信号分量yk(f，τ)对每个下标k进行快速傅立叶逆变换等而变换为时域分离信号Yk(t)。然后，时域变换单元2130将变换后的时域分离信号yk(t)存储在存储器2100的存储区2108中(步骤S206)。
下面说明有关各处理的细节。
频率归一化单元2121及范数归一化单元2122将全部的混合信号矢量X(f，τ)＝[X1(f，τ)，...，XM(f，τ)]T(f＝0，fs/L，...，fs(L-1)/L)归一化，并将它们归一化为不依赖于频率而仅依赖于信号源的位置的范数归一化矢量X″(f，τ)。由此，将它们在步骤S204中分簇时，各簇仅与各信号源对应。未适当地进行该归一化时不形成簇。如上述那样，本实施方式的归一化构成频率归一化和范数归一化。频率归一化是在频率归一化单元2121中将混合信号矢量X(f，τ)归一化为不依赖于频率的频率归一化矢量X′(f，τ)。范数归一化是在范数归一化单元2122中将频率归一化矢量X′(f，τ)归一化为范数取规定值(在本例中为1)的范数归一化矢量X″(f，τ)。以下说明这些归一化的细节。
图35A是用于说明图34所示的步骤S202的处理细节的流程图。以下，参照该流程图说明步骤S202的处理细节。
首先，在控制单元2140(图32)中将1代入参数q，并将其存储在临时存储器2141中(步骤S211)。然后，在频率归一化单元2121(图32和图33)中，从存储器2100的存储区2105读入参数d、c、Q，从存储区2102读入与各X(f，τ)对应的混合信号矢量(f，τ)的元素Xq(f，τ)，从临时存储器2141读入参数q。然后，频率归一化单元2121进行
${X_q}^{\prime }(f,\tau )=\left|X_q(f,\tau )\right|\exp \left[j\frac{\arg [X_q(f,\tau )/X_Q(f,\tau )]}{4{\mathrm{fc}}^{-1}d}\right]...\left(60\right)$
的运算，将该运算结果作为频率归一化矢量X′(f，τ)＝[X1′(f，τ)，...，XM′(f，τ)]T的各元素，并存储在存储器2100存储区2103中(步骤S212)。再有，arg[·]意味着幅角，而j意味着虚数单位。
更详细地说，第1归一化单元2121a的频率归一化单元2121将混合信号矢量X(f，τ)的特定的一个元素Xq(f，τ)作为基准，将该混合信号矢量X(f，τ)的各元素Xq(f，τ)的幅角通过以下运算进行归一化。
Xq″′(f，τ)＝|Xq(f，τ)|exp{j·arg[Xq(f，τ)/XQ(f，τ)]}...(61)。
然后，频率归一化单元2121的第2归一化单元2121b将第1归一化单元2121a归一化后的各元素Xq″′(f，τ)的幅角如以下那样除以与频率f成比例的值4fc-1d。
${X_q}^{\prime }(f,\tau )=\left|{X_q}^{\prime \prime \prime }(f,\tau )\right|\exp \left[j\frac{\arg \left[{}^{X_q}(f,\tau )\right]}{4{\mathrm{fc}}^{-1}d}\right]...\left(62\right)$
然后，在控制单元2140中，判断被存储在临时存储器2141中的参数q是否满足q＝M(步骤S213)。如果不是q＝M，则控制单元2140使q+1的运算结果为新的参数q，并将其存储在临时存储器2141中(步骤S214)，将处理返回到步骤S212。另一方面，如果q＝M，则控制单元2140使步骤S202的处理结束，并执行以下的步骤S203的处理。
图35B是用于说明图34的步骤S203的处理细节的流程图。以下，参照该流程图说明步骤S203的处理细节。
在范数归一化单元2122(图32、图33)中，从存储器2100的存储区2103读入与各(f，τ)对应的频率归一化矢量X′(f，τ)＝[X1′(f，τ)，...，XM′(f，τ)]T。然后，范数归一化单元2122进行
$\left|\right|X^{\prime }(f,\tau )\left|\right|=\sqrt{{\Sigma }_{q=1}^M{\left({X_q}^{\prime }(f,\tau )\right)}^2}$
的运算而求这些范数||X′(f，τ)||，将频率归一化矢量X′(f，τ)和范数||X′(f，τ)||存储在临时存储器2141中(步骤S221)。
接着，范数归一化单元2122从临时存储器2141读出各(f，τ)对应的频率归一化矢量X′(f，τ)及范数||X′(f，τ)||，进行
X″(f，τ)＝X′(f，τ)/||X′(f，τ)||...(63)
的运算而求范数归一化矢量X″(f，τ)(步骤S222)。求出的各范数归一化矢量X″(f，τ)被存储在存储器2100的存储区2104中。由此，步骤S203的处理结束。
这样生成的范数归一化矢量X″(f，τ)成为不依赖于频率而仅依赖于信号源的位置的矢量。其结果，该范数归一化矢量X″(f，τ)形成簇。以下说明其理由。
由于在本实施方式中假设源信号的分离性，所以混合信号矢量X(f，τ)的各元素Xq(f，τ)变成与从对应于信号源p的信号源k至传感器q的频率响应Hqk成比例的(乘以了作为某个复数标量的源信号Sk(f，τ))的分量(Xq(f，τ)＝Hqk(f，τ)·Sk(f，τ))。
这些源信号Sk(f，τ)根据离散时间(即根据相位)而变化，当然，如果频率f相同，则由传感器q观测的信号源Sk(f，τ)的幅角、以及由基准传感器Q观测的源信号Sk(f，τ)的幅角的相对值即使离散时间变化也是一定的。
如上所述，频率归一化单元2121的第1归一化单元2121a将混合信号矢量X(f，τ)的特定的一个元素XQ(f，τ)作为基准而将该混合信号矢量X(f，τ)的各Xq(f，τ)的幅角归一化。
由此，除去上述源信号Sk(f，τ)的相位引起的不确定性，将与信号源p和传感器q对应的混合信号矢量X(f，τ)的各元素Xq(f，τ)的幅角作为与相对于信号源p和基准传感器Q(对应于基准值Q)对应的混合信号矢量X(f，τ)的元素XQ(f，τ)的幅角的相对值来表现。再有，这种情况下，与元素XQ(f，τ)的幅角对应的相对值被表现为0。
考虑将从信号源k至传感器q的频率响应用没有反射或混响的直达波模型来近似。于是，由上述第1归一化单元2121a归一化的幅角成为与从信号源k至传感器的波的到达时间差和频率f双方成比例的幅角。这里的到达时间差是来自信号源k的波到达传感器q为止的时间和该波到达基准传感器q为止的时间差。
如上所述，第2归一化单元2121b将第1归一化单元2121a归一化后的各元素Xq″′(f，τ)的幅角除以与频率f成比例的值。由此，将各元素Xq′(fτ)归一化为排除了它们的幅角的频率依赖性的各元素Xq″′(f，τ)。由此，归一化后的各元素Xq′(f，τ)，如果根据直达波模型，则仅依赖于从信号源k至传感器的波的到达时间差。这里，从信号源k至传感器的波的到达时间差仅依赖于信号源k、传感器q、和基准传感器Q的相对位置。因此，如果信号源k、传感器q、基准传感器Q相同，则即使频率f有所不同，各元素Xq′(f，τ)的幅角也相同。因此，频率归一化矢量X′(f，τ)不依赖于频率f，而仅依赖于信号源k的位置。因此，通过将频率归一化矢量X′(f，τ)的范数归一化的范数归一化矢量X″(f，τ)的分簇，生成与每个信号源对应的簇。再有，在实际环境下，因反射或混响等的影响，直达波模型未被严密地满足，但如后述的实验结果所示那样，变得十分近似。
下面，用模型说明范数归一化矢量X″(f，τ)形成簇的理由。
用直达波(近距离场)混合模型来近似上述算式(1)表示的冲击响应hqk(r)，并以频域表示时，变为
$H_{\mathrm{qk}}\left(f\right)=\frac{\gamma \left(f\right)}{d_{\mathrm{qk}}}\exp [-j2\pi {\mathrm{fc}}^{-1}(d_{\mathrm{qk}}-d_{\mathrm{Qk}})]...\left(64\right)$
。其中dqk是信号源k和传感器q的距离，γ(f)是依赖于频率的常数。此外，衰减γ(f)/dqk由距离dqk和常数γ(f)决定，延迟(dqk-dQk)/c由在基准传感器Q的位置被归一化距离决定。
此外，假设信号的分离性时，在各时频(f，τ)中以下关系成立。
Xq(f，τ)＝Hqk(f，τ)·Sk(f，τ)...(65)
这里，由算式(62)、(63)、(64)及(65)，变为
${X_p}^{\prime \prime }(f,\tau )=\frac{1}{d_{\mathrm{qk}}D}\exp [-j\frac{\pi }{2}\frac{(d_{\mathrm{qk}}-d_{\mathrm{Qk}})}{d}],D=\sqrt{{\Sigma }_{i=1}^M\frac{1}{{d_{\mathrm{ik}}}^2}}...\left(66\right)$
从该算式可知，范数归一化矢量X″(f，τ)的各元素Xq″(f，τ)独立于频率f，仅依赖于信号源k和传感器q的位置。因此，将范数归一化矢量分簇时，对每个相同信号源形成对应的簇。
此外，同样的情况还指以不考虑信号的衰减的近距离场混合模型或远距离场混合模型进行模型化的情况(与第1实施方式相同)。
此外，与第1实施方式同样，根据算式(66)，期望参数d的值为d＞dmax/2(dmax表示与元XQ″(f，τ)对应的基准传感器和其他传感器的)，更好是d≥dmax，最好是d＝dmax。
图37和38是用于说明每个参数d的范数归一化矢量X″(f，τ)的分量Xq″(f，τ)和其幅角arg[Xq″(f，τ)]之间关系的复数平面图。再有，图中的横轴表示实轴，纵轴表示虚轴。
图37A是表示dmax/2≥d的情况下的复数平面图。这里，根据上述dmax的定义，对于任意的q和k，dqk-dQk的绝对值在dmax以下。因此，dmax/2≥d的情况下，(π/2)·(dqk-dQk)/d≤-π和(π/2)·(dqk-dQK)/d≥π成立。其结果，由算式(66)表示的Xq″(f，τ)的幅角arg[Xq″(f，τ)]有可能分布在超过2π的α1≤arg[Xq″(f，τ)]≤α2(α1≤-π，α2≥π)的范围内。因此，不同的范数归一化矢量X″(f，τ)的分量Xq″(f，τ)的幅角有可能一致，在上述分簇中，有可能将不同的范数归一化矢量X″(f，τ)分簇在相同簇中。因此，期望d＞dmax/2。但是，如果与该幅角的重复范围对应的范数归一化矢量X″(f，τ)的样本不存在，则即使是dmax/2≥d也没有问题。
图37B是表示dmax/2＜d＜dmax的情况下的复数平面图。这种情况下，-π＜(π/2)·(dqk-DQk)/d＜-π/2、π/2＜(π/2)·(dqk-dQk)/d＜π成立。其结果，由算式(66)表示的Xq″(f，τ)的幅角arg[Xq″(f，τ″)]有可能分布在β1≤arg[Xq″(f，τ)]≤β2(-π＜β1＜-π/2，π/2＜β2＜π)的范围内。因此，在-π＜arg[Xq″(f，τ)]＜-π/2及π/2＜arg[Xq″(f，τ)]＜π的范围中，随着不同的范数归一化矢量X″(f，τ)的元素间的幅角之差的增加，这些元素间的距离也可能不单调增加。这有可能使上述分簇的精度降低。因此，期望是d≥dmax。
图38A是d＝dmax情况下的复数平面图，图38B是d＞dmax的情况下的复数平面图。这里，d＞dmax的情况下，-π/2＜(π/2)·(dqk-dQk)/d＜0、0＜(π/2)·(dqk-dQk)/d＜π/2成立。其结果，由算式(66)表示的Xq″(f，τ)的幅角arg[Xq″(f，τ)]如图38B所示，分布在γ1≤arg[Xq″(f，τ)]≤γ2(-π/2＜γ1＜0、0＜γ2＜π/2)的范围内。因而，d越大，该分布范围越窄，在窄范围中簇密集。这使上述分簇的精度下降。
对此，d＝dmax的情况下，-π/2≤(π/2)·(dqk-dQk)/d＜0and 0＜(π/2)·(dqk-dQk)/d≤π/2成立。其结果，由算式(66)表示的Xq″(f，τ)的幅角arg[Xq″(f，π)]如图38A所示，分布在-π/2≤arg[Xq″(f，τ)]≤π/2的范围。这种情况下，对于范数归一化矢量X″(f，τ)的元素间的幅角之差的增加，它们的距离也可以维持单调增加的关系，同时使簇在尽可能宽的范围中分散。其结果，一般可以提高分簇的精度([频率归一化单元2121和范数归一化单元2122的处理的细节]的说明结束)。
如上所述，分簇单元2123从存储器2100的存储区2104读入范数归一化矢量X″(f，τ)，将它们分簇而生成M个簇。该分簇例如标准地进行将各簇的元(X″(f，τ)∈Ck)和各簇的形心ηk之间的平方和Uk的总和U
$U={\Sigma }_{k=1}^M{U}_k$
$U_k={\Sigma }_{X^{\prime \prime }(f,\tau )\in C_k}{\left|\right|X^{\prime \prime }(f,\tau )-{\eta }_k\left|\right|}^2$
最小化。例如，该最小化例如可以通过使用由非专利文献6等说明的k-means分簇而高效率地进行。例如。簇信息Ck表示的簇的形心(中心矢量)ηk通过
${\eta }_k=\frac{{\Sigma }_{X^{\prime \prime }(f,\tau )\in C_k}{X}^{\prime \prime }(f,\tau )/\left|C_k\right|}{\left|\right|{\Sigma }_{X^{\prime \prime }(f,\tau )\in C_k}{X}^{\prime \prime }(f,\tau )/\left|C_k\right|\left|\right|}$
来计算。其中|Ck|是簇信息Ck表示的簇的元(范数归一化矢量X″(f，τ))的数。这里，作为距离，使用欧几里得距离的平方，但也可以使用将其一般化的闵可夫斯基距离距离([分簇单元2123的处理的细节]的说明结束)。
图36是用于说明图34所示的步骤S205的处理的细节的流程图。以下，参照该图说明步骤S205的处理的细节。
首先，在控制单元2140(图32)中，将全部的参数k(k＝1，...，N)及时频(f，τ)(被定义的范围中的所有f和τ)初始化为0，并将它们存储在存储器2100的存储区2107中(步骤S230)。
接着，在控制单元2140中将1代入参数k，将其存储在临时存储器2141(步骤S231)。接着，在分离信号生成单元2124(图32和图33)中，读入存储器2100的存储区2106的簇信息Ck，提取它表示的第k簇的元(members)(归一化矢量X″(f，τ))，并将它们存储在临时存储器2141(步骤S232)中。接着，分离信号生成单元2124参照步骤S232中被存储在临时存储器2141中的各范数归一化矢量X″(f，τ)，从存储器2100存储区2102读入与这些矢量对应的时频(f，τ)的各混合信号矢量X(f，τ)，将它们存储在临时存储器2141(步骤S233)中。然后，分离信号生成单元2124从存储器2100的存储区2105读入基准值Q′，从临时存储器2141中提取在步骤S233中被存储的混合信号矢量X(f，τ)的第Q′号元素XQ′(f，τ)(对于每个时频(f，τ))。然后，分离信号生成单元2124将提取出的元素XQ′(f，τ)作为分离信号矢量Y(f，τ)的第k号分量Yk(f，τ)来更新存储器2100的存储区2107的值(步骤S234)。即，该例的分离信号生成单元2124提取
$Y_k(f,\tau )=\left\{\begin{array}{cc}{X}_{Q^{\prime }}(f,\tau )& X^{\prime \prime }(f,\tau )\in C_k\\ 0& \mathrm{otherwise}\end{array}\right.$
作为Yk(f，τ)。
然后，在控制单元2140中，判断被存储在临时存储器2141中的参数k是否满足k＝N(步骤S235)。这里，如果不是k＝N，控制单元2140使k+1的运算结果为新的参数k，并将其存储在临时存储器2141中(步骤S236)，将处理返回到步骤S232。另一方面，如果k＝N，则控制单元2140使步骤S205的处理结束([分离信号生成单元2124的处理的细节]的说明结束)。
<实验结果>
下面，表示利用本实施方式的音源分离实验结果。这里，进行用于表示本实施方式效果的两种信号分离的实验。
第1个实验是利用两个传感器的分离实验。该实验条件如图39A所示。信号源为三个，从扬声器输出6秒种的英语的语音。此外，该实验结果表示在图39B的表中。在该表中，表示有SIR(signal-to-interference ratios)的提高量。数字越大，表示分离性能越好。这里，表示了分离前的传感器的观测结果(InputSIR)、利用DOA的分簇的结果(DOA(Previous))、以及利用本实施方式(利用归一化的分簇)的结果。通过该结果，可以确认在两个传感器的情况下，根据本实施方式的方法，可按与仅利用DOA的分簇结果相同的性能进行信号分离。
第2个实验是利用不规则的传感器配置的实验。实验条件如图40A所示。在该实验中，将四个无方向性话筒(传感器)非直线配置。此外，作为它们的配置信息，将话筒间隔的上限为4cm提供给分离系统。信号源的数为四个，从扬声器输出6秒的英语的语音。在这样的传感器或信号源的配置中使用DOA时，采用进行对各个传感器对估计DOA→对每个传感器对分簇→将有关所有传感器对的分簇结果集中这样的繁杂的处理。但是，在本实施方式中不进行这样繁杂的集中处理，就可以获得图40B所示的高分离性能。此外，即使在图41A那样的条件下进行第2个实验，也可以同样获得图41B所示的高分离性能。
<第6实施方式的特征>
通过以上，将第6实施方式的特征归纳如下。
(1)由于全部使用从混合信号矢量获得的信息进行分簇，所以可以有效地灵活使用所有传感器的信息，提高信号分离的性能。
(2)由于不需要精确地知道传感器的配置信息，所以可以采用不规则的传感器配置，而且可以不需要校正传感器位置。
<变形例等>
本发明不限于上述第6实施方式。例如，在第6实施方式，频率归一化单元2121的第1归一化单元2121a将混合信号矢量X(f，τ)的特定的一个元素Xq(f，τ)作为基准而对该混合信号矢量X(f，τ)的各元素Xq(f，τ)的幅角通过算式(61)的运算进行归一化。但是，例如，根据以下那样的算式，频率归一化单元2121的第1归一化单元2121a也可以是将混合信号矢量X(f，τ)的特定的一个元素Xq(f，τ)作为基准而将该混合信号矢量X(f，τ)的各元素Xq(f，τ)的幅角归一化的结构。
Xq″′(f，τ)＝|Xq(f，τ)|exp{j·(arg[Xq(f，τ)·XQ*(f，τ)])}
Xq″′(f，τ)＝|Xq(f，τ)|exp{j·(arg[Xq(f，τ)]-arg[XQ(f，τ)])}
Xq″′(f，τ)＝|Xq(f，τ)|exp{j·Ψ(arg[Xq(f，τ)/XQ(f，τ)])}
其中，·*是·的复数共轭。而Ψ{·}是函数，从分簇精度的观点来看，期望是单调增加函数。
此外，频率归一化单元2121也可以取代算式(60)，通过
${X_q}^{\prime }(f,\tau )=\rho ·\frac{\arg [X_q(f,\tau )/X_Q(f,\tau )]}{4{\mathrm{fc}}^{-1}d}$
${X_q}^{\prime }(f,\tau )=\rho ·\frac{\arg [X_q(f,\tau )·X_Q*(f,\tau )]}{4{\mathrm{fc}}^{-1}d}$
${X_q}^{\prime }(f,\tau )=\rho ·\frac{\arg \left[X_q(f,\tau )\right]-\arg \left[X_Q(f,\tau )\right]}{4{\mathrm{fc}}^{-1}d}$
${X_q}^{\prime }(f,\tau )=\rho ·\frac{\Psi \left(\arg \right[X_q(f,\tau )/X_Q(f,\tau )\left]\right)}{4{\mathrm{fc}}^{-1}d}$
等的运算而进行频率归一化。其中，ρ是常数(例如ρ＝1)。
此外，在上述第6实施方式，在范数归一化单元2122中进行了使范数为1的归一化，但也可以进行使范数为1以外的规定值的归一化。此外，也可以是不设置范数归一化单元2122，不进行范数归一化的结构。这种情况下，分簇单元2123进行频率归一化矢量X′(f，τ)的分簇。但是，频率归一化矢量X′(f，τ)的范数未统一。因此，这种情况下的分簇基准不是矢量是否包含范数并相似，而变为是否仅矢量的方向相似。它变成使用相似度的评价。作为相似度之一，可以例示余弦距离
cosθ＝|X′H(f，τ)·ηk|/(||X′(f，τ)||·||ηk||)
。其中θ是频率归一化矢量X′(f，τ)和形心ηk的矢量形成的角度。使用余弦距离的情况下，分簇单元2123生成使余弦距离的总和
$U_i={\Sigma }_{{X_p}^{\prime }(f,\tau )\in C_i}|{X_p}^{\prime H}(f,\tau )·{\eta }_i|/\left(\right|\left|{X_p}^{\prime }(f,\tau )\right||·|\left|{\eta }_i\right|\left|\right)$
为最小值化的簇。再有，形心ηk是各簇的元的平均。
此外，上述基准值Q、Q′可以相互相等，也可以不等。
此外，参数d可以对全部的传感器q相同，也可以对应于各传感器q而设定多个值。例如，也可以将基准传感器和传感器q之间的距离作为对应于各个传感器q的参数d。
此外，在分离信号生成单元2124中，将
$Y_k(f,\tau )=\left\{\begin{array}{cc}{X}_{Q^{\prime }}(f,\tau )& X^{\prime \prime }(f,\tau )\in C_k\\ 0& \mathrm{otherwise}\end{array}\right.$
代入，达成
$M_k(f,\tau )=\left\{\begin{array}{cc}1& X^{\prime \prime }(f,\tau )\in C_k\\ 0& \mathrm{otherwise}\end{array}\right.$
的二元屏蔽(binary mask)，也可以作为
yk(f，τ)＝Mk(f，τ)XQ′(f，τ)
而获得分离信号矢量y(f，τ)的第k分量Yk(f，τ)。
而且，在上述各实施方式，通过傅立叶变换及傅立叶逆变换来进行频域和时域之间的变换，但使用小波变换、DFT滤波器组、多相滤波器组等，也可以进行这种变换(例如，参见R.E.Crochiere，L.R.Rabiner，″Multirate DigitalSignal Processing.″Eaglewood Cliffs，NJ：Prentice-Hall，1983(ISBN0-13-605162-6))。此外，上述各种处理不仅根据记载而时序地执行，也可以根据执行处理的装置的处理能力或需要而并行或单独地执行。另外，在不脱离本发明的意图的范围内，当然可进行适当变更。
此外，在通过计算机来实现上述各实施方式的结构的情况下，各装置应具有的功能的处理内容通过程序来记述。然后，通过由计算机执行该程序，可在计算机上实现上述处理功能。
此外，可以将记述了这些处理内容的程序预先记录在计算机可读取的记录媒体中。作为计算机可读取的记录媒体，例如可以是磁记录装置、光盘、光磁记录媒体、半导体存储器等那样的记录媒体，但具体地说，例如，作为磁记录装置，可以使用硬盘装置、软盘、磁带等，作为光盘，可以使用DVD(Digital Versatile Disc)、DVD-RAM(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable/RW(Re Writable)等，作为光磁记录媒体，可使用MO(Magneto-Optical disc)等，作为半导体存储器，可使用EEP-ROM(Electronically Erasable and Programmable-Read OnlyMemory)等。
此外，这种程序的流通，例如通过将记录了该程序的DVD、CD-ROM等可移动式记录媒体销售、转让、租赁等来进行。而且，将这种程序预先存储在服务器计算机的存储装置中，经由网络，通过从服务器计算机对其他计算机传送该程序，也可以形成使该程序流通的结构。
此外，作为上述实施方式的其他实行方式，计算机从可移动式记录媒体中直接读取该程序，可以根据该程序来执行处理，而且还可以对该计算机每次从服务器计算机传送程序，根据每次接受的程序来执行处理。此外，也可以不从服务器计算机进行对该计算机的程序的传送，而通过仅取得该执行指示和结果来实现处理功能的所谓的ASP(应用服务提供商)型的服务器，作为执行上述处理的结构。再有，就本实施方式的程序来说，包含以作为用于供给电子计算机的处理的信息的程序为标准的程序(不是对计算机的直接指令，而是带有对计算机的处理进行规定的性质的数据等)。
此外，在该方式中，通过在计算机上执行规定的程序，从而构成该装置，但也可以将这些处理内容的至少一部分硬件地实现。
工业上的可利用性
通过本发明的技术，在发生各种各样的干扰信号的实际环境中，可高精度地取出目标信号。作为对声音信号的应用例，例如，可列举作为声音识别器的前端而作用的声音分离系统等。即使是说话人和话筒处于分离位置，话筒将说话人以外的声音集音的状况，通过使用这样的系统，也可以仅取出说话人的声音而正确地识别声音。