6.3.2 BeamForming

6.3.2.1 ノードの概要

以下の手法を用いて音源分離を行う．

• DS : 遅延和ビームフォーミング (Delay-and-Sum beamforming)

• WDS : 重み付き遅延和ビームフォーミング (Weighted Delay-and-Sum beamforming)

• NULL : NULL制御つきビームフォーミング (NULL beamforming)

• ILSE : 不定項最小二乗誤差ビームフォーミング (Indefinite term and Least Square Estimator based beamforming)

• LCMV : 線形拘束付最小分散型 (Linearly Constrained Minimum Variance) ビームフォーミング

• GJ : Griffiths-Jim ビームフォーミング

• GICA : 幾何学的独立成分分析 (Geometrically constrained Independent Component Analysis)

• GHDSS : 幾何学的高次無相関化音源分離法 (Geometrically constrained Higher-order Decorrelation-based Source Separation)

ノードの入力は，

• 混合音のマルチチャネル複素スペクトル

• 目的音源の方向

• 雑音の音源方向

である． また，出力は分離音ごとの複素スペクトルである．

6.3.2.2 必要なファイル

6.3.2.3 使用方法

どんなときに使うのか

所与の音源方向に対して，マイクロホンアレーを用いて当該方向の音源分離を行う． なお，音源方向として，音源定位部での推定結果，あるいは，定数値を使用することができる．

典型的な接続例

BeamForming ノードの接続例を図 6.52に示す． 入力は以下である．

1. INPUT_FRAMES : MultiFFT 等から来る混合音の多チャネル複素スペクトル

2. INPUT_SOURCES : LocalizeMUSIC や ConstantLocalization 等から来る音源方向

3. INPUT_NOISE_SOURCES : 抑圧対象音の音源方向（オプション入力）

出力は分離音声となる．

6.3.2.4 ノードの入出力とプロパティ

入力

INPUT_FRAMES

: Matrix<complex<float> > 型．マルチチャネル複素スペクトル． 行がチャネル，つまり，各マイクロホンから入力された波形の 複素スペクトルに対応し，列が周波数ビンに対応する．

INPUT_SOURCES

: Vector<ObjectRef> 型．音源定位結果等が格納された Source 型オブジェクトの Vector 配列である． 典型的には， SourceTracker ノード，SourceIntervalExtender ノードと 繋げ，その出力を用いる．

INPUT_NOISE_SOURCES

: Vector<ObjectRef> 型．INPUT_SOURCES と同じ Source 型オブジェクトの Vector 配列である．雑音方向の情報のオプション入力である． NULL，ILSEでの音源分離を行う際，雑音方向にビームフォーマの死角を形成することができる．

出力

OUTPUT

: Map<int, ObjectRef> 型．分離音の音源IDと，分離音の1チャネル複素スペクトル
(Vector<complex<float> > 型) のペア．

パラメータ

LENGTH

: int 型． 分析フレーム長[samples]．前段階における値（AudioStreamFromMic ，MultiFFT ノードなど）と一致している必要がある． デフォルト値は512[samples]．

ADVANCE

: int 型． フレームのシフト長[samples]．前段階における値（AudioStreamFromMic ，MultiFFT ノードなど）と一致している必要がある． デフォルト値は160[samples]．

SAMPLING_RATE

: int 型． 入力波形のサンプリング周波数[Hz]．デフォルト値は16000[Hz]．

LOWER_BOUND_FREQUENCY

: int 型． 分離処理を行う際に利用する最小周波数値であり，これより下の周波数に対しては処理を行わず，出力スペクトルの値は0となる． 0以上サンプリング周波数値の半分までの範囲で指定する．

UPPER_BOUND_FREQUENCY

: int 型． 分離処理を行う際に利用する最大周波数値であり，これより上の周波数に対しては処理を行わず，出力スペクトルの値は0となる． LOWER_BOUND_FREQUENCY $<$ UPPER_BOUND_FREQUENCY である必要がある．

TF_CONJ_FILENAME

: string 型． 伝達関数が記述されたバイナリファイル名を記す． ファイルフォーマットは 5.3.1 節を参照． BF_METHOD の全てにおいて有効．

INITW_FILENAME

: string 型． 分離行列の初期値が記述されたバイナリファイル名を記す． BF_METHOD=GICA,　LCMV, GJ, GHDSS の時のみ有効． 事前の計算により,値の収束した分離行列を初期値として与えることで, 音が鳴り始めた最初の部分から精度よく分離することが可能となる. 指定されていると，そのファイルにある分離行列が， 指定されていなければ，TF_CONJ_FILENAMEファイルの分離行列データベースから得た分離行列か、幾何学的関係から推定された分離行列が， 初期分離行列として使用される．

GICA_SS_METHOD

: string 型． BF_METHOD=GICA の時のみ有効． ブラインド音源分離のための独立成分分析である ICA (Independent Component Analysis)の ステップサイズの算出方法を選ぶ． FIX, LC_MYU, ADAPTIVE から選択． ユーザが指定した値 GICA_SS_MYU に固定する場合は FIX， 幾何制約に基づくステップサイズに連動した値 GICA_LC_MYU にする場合は LC_MYU， 適応的ステップサイズにする場合は ADAPTIVE を指定．

GICA_SS_MYU

: float 型． BF_METHOD=GICA の時のみ有効． ブラインド音源分離のための分離行列更新時のステップサイズ． デフォルト値は 0.001． GICA_SS_METHOD=FIX の場合は この値が固定ステップサイズの値となる． GICA_SS_METHOD=LC_MYU の場合は無視される． GICA_SS_METHOD=ADAPTIVE の場合は適応的に決定されたステップサイズに GICA_SS_MYU のゲインを乗算してステップサイズとする． この値と GICA_LC_MYU を 0 にし，Delay and Sum 型のビームフォーマの分離行列を INITW_FILENAME として渡すことで， BeamForming は，Delay and Sum 型のビームフォーマと等価な処理が可能となる．

GHDSS_SS_METHOD

: string 型． BF_METHOD=GHDSS の時のみ有効． 高次無相関化に基づく音源分離である HDSS (Higher-order Decorrelation-based Source Separation)のステップサイズの 算出方法を選ぶ． ユーザが指定した値 GHDSS_SS_MYU に固定する場合は FIX， 幾何制約に基づくステップサイズに連動した値 GHDSS_LC_MYU にする場合は LC_MYU， 適応的ステップサイズにする場合は ADAPTIVE を指定．

GHDSS_SS_MYU

: float 型． BF_METHOD=GHDSS の時のみ有効． 高次無相関化に基づく分離行列更新時のステップサイズ． デフォルト値は 0.001． GHDSS_SS_METHOD=FIX の場合は この値が固定ステップサイズの値となる． GHDSS_SS_METHOD=LC_MYU の場合は無視される． GHDSS_SS_METHOD=ADAPTIVE の場合は適応的に決定されたステップサイズに GHDSS_SS_MYU のゲインを乗算してステップサイズとする． この値と GHDSS_LC_MYU を 0 にし，Delay and Sum 型のビームフォーマの分離行列を INITW_FILENAME として渡すことで， BeamForming は，Delay and Sum 型のビームフォーマと等価な処理が可能となる．

LCMV_LC_METHOD

: string 型． 幾何制約に基づくステップサイズの算出方法を選ぶ． BF_METHOD=LCMV の時のみ有効で，幾何拘束に基づく音源分離である GC (Geometric Constraint)のステップサイズを決定する． FIX, ADAPTIVE から選択． FIX の場合は LCMV_LC_MYU がステップサイズとなり，ADAPTIVE の場合は 適応的ステップサイズとなる．

LCMV_LC_MYU

: float 型． 幾何制約に基づく分離行列更新時のステップサイズ． デフォルト値は 0.001． BF_METHOD=LCMV の時のみ有効． LCMV_LC_METHOD=FIX の場合は LCMV_LC_MYU が固定ステップサイズの値となる． LCMV_LC_METHOD=ADAPTIVE の場合は適応的に決定されたステップサイズに LCMV_LC_MYU のゲインを乗算してステップサイズとする．

GJ_LC_METHOD

: string 型． 幾何制約に基づくステップサイズの算出方法を選ぶ． BF_METHOD=GJ の時のみ有効で，幾何拘束に基づく音源分離である GC (Geometric Constraint)のステップサイズを決定する． FIX, ADAPTIVE から選択． FIX の場合は GJ_LC_MYU がステップサイズとなり，ADAPTIVE の場合は 適応的ステップサイズとなる．

GJ_LC_MYU

: float 型． 幾何制約に基づく分離行列更新時のステップサイズ． デフォルト値は 0.001． BF_METHOD=GJ の時のみ有効． GJ_LC_METHOD=FIX の場合は GJ_LC_MYU が固定ステップサイズの値となる． GJ_LC_METHOD=ADAPTIVE の場合は適応的に決定されたステップサイズに GJ_LC_MYU のゲインを乗算してステップサイズとする．

GICA_LC_METHOD

: string 型． 幾何制約に基づくステップサイズの算出方法を選ぶ． BF_METHOD=GICA の時のみ有効で，幾何拘束に基づく音源分離である GC (Geometric Constraint)のステップサイズを決定する． FIX, ADAPTIVE から選択． FIX の場合は GICA_LC_MYU がステップサイズとなり，ADAPTIVE の場合は 適応的ステップサイズとなる．

GICA_LC_MYU

: float 型． 幾何制約に基づく分離行列更新時のステップサイズ． デフォルト値は 0.001． BF_METHOD=GICA の時のみ有効． GICA_LC_METHOD=FIX の場合は GICA_LC_MYU が固定ステップサイズの値となる． GICA_LC_METHOD=ADAPTIVE の場合は適応的に決定されたステップサイズに GICA_LC_MYU のゲインを乗算してステップサイズとする． この値と GICA_SS_MYU を 0 にし，Delay and Sum 型のビームフォーマの分離行列を INITW_FILENAME として渡することで， BeamForming は，Delay and Sum 型のビームフォーマと等価な処理が可能となる．

GHDSS_LC_METHOD

: string 型． 幾何制約に基づくステップサイズの算出方法を選ぶ． BF_METHOD=GHDSS の時のみ有効で，幾何拘束に基づく音源分離である GC (Geometric Constraint)のステップサイズを決定する． FIX, ADAPTIVE から選択． FIX の場合は GHDSS_LC_MYU がステップサイズとなり，ADAPTIVE の場合は 適応的ステップサイズとなる．

GHDSS_LC_MYU

: float 型． 幾何制約に基づく分離行列更新時のステップサイズ． デフォルト値は 0.001． BF_METHOD=GHDSS の時のみ有効． GHDSS_LC_METHOD=FIX の場合は GHDSS_LC_MYU が固定ステップサイズの値となる． GHDSS_LC_METHOD=ADAPTIVE の場合は適応的に決定されたステップサイズに GHDSS_LC_MYU のゲインを乗算してステップサイズとする． この値と GHDSS_SS_MYU を 0 にし，Delay and Sum 型のビームフォーマの分離行列を INITW_FILENAME として渡することで， BeamForming は，Delay and Sum 型のビームフォーマと等価な処理が可能となる．

GHDSS_LC_CONST

: string 型． デフォルトは FULL． BF_METHOD=GHDSS の時のみ有効． 幾何制約の手法を選択する． 幾何制約に対角成分（直接音成分）のみを使う場合は DIAG， 直接音成分に加えて，非対角成分も使用する場合は FULLを指定する． 死角は高次無相関化によって自動的に形成されるため， DIAG でも高精度な分離が可能．

GICA_SS_SCAL

: float 型． デフォルト値は 1.0． BF_METHOD=GICA の時のみ有効． 高次相関行列計算における双曲線正接関数(tanh)のスケールファクタを指定する． 0より大きい正の実数を指定する．値が小さいほど非線形性が少なくなり通常の相関行列計算に近づく．

GHDSS_SS_SCAL

: float 型． デフォルト値は 1.0． BF_METHOD=GHDSS の時のみ有効． 高次相関行列計算における双曲線正接関数(tanh)のスケールファクタを指定する． 0より大きい正の実数を指定する．値が小さいほど非線形性が少なくなり通常の相関行列計算に近づく．

GHDSS_NOISE_FLOOR

: float 型． デフォルト値は 0． BF_METHOD=GHDSS の時のみ有効． 入力信号をノイズとみなす振幅の閾値(上限)を指定する． 入力信号の振幅がこの値以下の場合，ノイズ区間とみなされ，分離行列の更新がされない． ノイズが大きく，分離行列が安定して収束しない場合に，正の実数を指定する．

GHDSS_UPDATE

: string 型． デフォルトは STEP． BF_METHOD=GHDSS の時のみ有効． 分離行列の更新方法を決める．STEP，TOTALから選択． STEPは高次無相関化に基づく更新を行った後に，幾何制約に基づく更新を行う． TOTALでは，高次無相関化に基づく更新と幾何制約に基づく更新を同時に行う．

UPDATE_METHOD_W

: string 型． ID，POS または ID_POS を指定．ID がデフォルト． BF_METHOD=LCMV, GJ, GICA, GHDSS の場合に有効． 音源位置情報が変わった際に，分離行列の再計算が必要となる． この時の音源位置情報が変わったとみなす方法を指定する． 分離行列は，内部で対応する音源 ID や音源方向の座標とともに一定時間保存され， 一度音が止んでも，同一の方向からの音源と判断される音が検出されると， 再び保存された分離行列の値を用いて分離処理が行われる． このとき，分離行列の更新を行うかどうかの基準を設定する． ID を設定した場合，音源 ID によって同方向音源かどうか判断する． POS を設定した場合，音源方向を比較して判断する． ID_POS を設定した場合，音源 ID を比較し，同一と判断されなかった場合は， さらに音源方向の座標を比較して判断を行う．

UPDATE_ACCEPT_DISTANCE

: float 型． デフォルトは 300.0． BF_METHOD=LCMV, GJ, GICA, GHDSS の場合，UPDATE_METHOD_W が POS または ID_POS のとき有効． 音源の移動に対して同一音源とみなす距離[mm]．設定した距離の範囲内であれば更新された分離行列を利用して演算が行われる．

EXPORT_W

: bool 型． デフォルトは false． BF_METHOD=LCMV, GJ, GICA, GHDSS の場合に有効． 更新された分離行列の結果を出力するかどうかを設定． trueのとき，EXPORT_W_FILENAME を指定する．

EXPORT_W_FILENAME

: string 型． BF_METHOD=LCMV, GJ, GICA, GHDSS の場合，EXPORT_W が trueのとき有効． 分離行列を書きだすファイル名を指定する． フォーマットは 5.3.2 節を参照．

BF_METHOD

: string 型． 音源分離手法を指定する．以下の音源分離手法をサポートしている．

• DS : 遅延和ビームフォーミング (Delay-and-Sum beamforming)[1]

• WDS : 重み付き遅延和ビームフォーミング (Weighted Delay-and-Sum beamforming)[1]

• NULL : NULL制御つきビームフォーミング (NULL beamforming)[1]

• ILSE : 最小平均二乗誤差制御つきビームフォーミング (Iterative Least Squares with Enumeration)[2]

• LCMV : 線形拘束付最小分散型 (Linearly Constrained Minimum Variance) ビームフォーミング[3]

• GJ : Griffiths-Jim ビームフォーミング[4]

• GICA : 幾何学的独立成分分析 (Geometrically constrained Independent Component Analysis)[7]

• GHDSS : 幾何学的高次無相関化音源分離法 (Geometrically constrained Higher-order Decorrelation-based Source Separation)[7]

ENABLE_DEBUG

: bool 型． デフォルトは false． trueが与えられると, 分離状況が標準出力に出力される．

6.3.2.5 ノードの詳細

技術的な詳細: 基本的に詳細は下記の参考文献を参照されたい．

音源分離概要: 音源分離問題で用いる記号を表 6.44 にまとめる． 演算はフレーム毎に周波数領域において行われるため， 各記号は周波数領域での，一般には複素数の値を表す． 音源分離は$K$個の周波数ビン($1 \leq k \leq K$)それぞれに対して演算が行われるが，本節ではそれを略記する． $N$, $M$, $f$をそれぞれ，音源数，マイク数，フレームインデックスとする．

音のモデルは以下の一般的な線形モデルを扱う．

$\displaystyle \boldsymbol {X}(f) $

$\displaystyle = $

$\displaystyle \boldsymbol {H}\boldsymbol {S}(f) + \boldsymbol {N}(f)． \label{eq:beamforming-observation} $

(38)

分離の目的は，

$\displaystyle \boldsymbol {Y}(f) $

$\displaystyle = $

$\displaystyle \boldsymbol {W}(f)\boldsymbol {X}(f) \label{eq:Beamforming-separation} $

(39)

として，$\boldsymbol {Y}(f)$ が $\boldsymbol {S}(f)$ に近づくように，$\boldsymbol {W}(f)$ を推定することである． 最後に推定された$\boldsymbol {W}(f)$は，EXPORT_W=trueにし， EXPORT_W_FILENAME で指定した適当なファイル名で保存することができる．

TF_CONJ_FILENAME で指定する伝達関数ファイルには計測された$\boldsymbol {H}$を格納する． 今後はこれを実際の伝達関数と区別するため，$\hat{\boldsymbol {H}}$と表記する．

BF_METHOD=DS,WDS,NULL,ILSEの場合: INPUT_SOURCES 入力端子と INPUT_NOISE_SOURCES 入力端子から入ってくる 音源方向と雑音方向の情報を用いて，$\hat{\boldsymbol {H}}$を用いて$\boldsymbol {W}(f)$を決定する．

BF_METHOD=LCMV,GJの場合: 分離行列更新のための評価関数$J_{\textrm{L}}(\boldsymbol {W}(f))$は， INPUT_SOURCES 入力端子と INPUT_NOISE_SOURCES 入力端子から入ってくる音源方向と雑音方向の情報で定義される． 分離行列の更新は略記すると以下のようになる．

$\displaystyle \boldsymbol {W}(f+1) $

$\displaystyle = $

$\displaystyle \boldsymbol {W}(f) + \mu \nabla _{\boldsymbol {W}}\boldsymbol {J}_{\textrm{L}}(\boldsymbol {W})(f)\label{eq:LCMV-GJ-J} $

(40)

ただし，$\nabla _{\boldsymbol {W}}\boldsymbol {J}_{\textrm{L}}(\boldsymbol {W}) = \frac{\partial \boldsymbol {J}_{\textrm{L}}(\boldsymbol {W})}{\partial \boldsymbol {W}}$である． この $\mu $ を LC_MYU で指定できる． LC_METHOD=ADAPTIVE に指定した場合は，

$\displaystyle \mu $

$\displaystyle = $

$\displaystyle \left. \frac{\boldsymbol {J}_{\textrm{L}}(\boldsymbol {W})}{\left| \nabla _{\boldsymbol {W}}\boldsymbol {J}_{\textrm{L}}(\boldsymbol {W})\right|^2} \right|_{\boldsymbol {W} = \boldsymbol {W}(f)}\label{eq:LCMV-GJ-mu} $

(41)

と適応的にステップサイズが計算される．

BF_METHOD=GICAの場合: 分離行列更新のための評価関数$J_{\textrm{G}}(\boldsymbol {W}(f))$は， INPUT_SOURCES 入力端子と INPUT_NOISE_SOURCES 入力端子から入ってくる音源方向と雑音方向の情報とで以下で定義される．

$\displaystyle J_{\textrm{G}}(\boldsymbol {W}(f)) $

$\displaystyle = $

$\displaystyle J_{\textrm{SS}}(\boldsymbol {W}(f)) + J_{\textrm{LC}}(\boldsymbol {W}(f)) \label{eq:GHDSS-J} $

(42)

ただし，$J_{\textrm{SS}}(\boldsymbol {W}(f))$は，ブラインド音源分離に基づく音源分離手法のための評価関数， $J_{\textrm{LC}}(\boldsymbol {W}(f))$は幾何制約に基づく音源分離手法のための評価関数である． 分離行列の更新は略記すると以下のようになる．

$\displaystyle \boldsymbol {W}(f+1) $

$\displaystyle = $

$\displaystyle \boldsymbol {W}(f) + \mu _{\textrm{SS}} \nabla _{\boldsymbol {W}}\boldsymbol {J}_{\textrm{SS}}(\boldsymbol {W})(f) + \mu _{\textrm{LC}} \nabla _{\boldsymbol {W}}\boldsymbol {J}_{\textrm{LC}}(\boldsymbol {W})(f) \label{eq:GHDSS-W} $

(43)

ただし，$\nabla _{\boldsymbol {W}}$は，式(40)と同様に$\boldsymbol {W}$についての偏微分を表す． この$\mu _{\textrm{SS}}$と$\mu _{\textrm{LC}}$をそれぞれ，SS_MYU, LC_MYU で指定できる． SS_METHOD=ADAPTIVE に指定した場合は，

$\displaystyle \mu _{\textrm{SS}} $

$\displaystyle = $

$\displaystyle \left. \frac{\boldsymbol {J}_{\textrm{SS}}(\boldsymbol {W})}{\left| \nabla _{\boldsymbol {W}}\boldsymbol {J}_{\textrm{SS}}(\boldsymbol {W})\right|^2} \right|_{\boldsymbol {W} = \boldsymbol {W}(f)}\label{eq:GHDSS-SS-mu} $

(44)

と， LC_METHOD=ADAPTIVE に指定した場合は，

$\displaystyle \mu _{\textrm{LC}} $

$\displaystyle = $

$\displaystyle \left. \frac{\boldsymbol {J}_{\textrm{LC}}(\boldsymbol {W})}{\left| \nabla _{\boldsymbol {W}}\boldsymbol {J}_{\textrm{LC}}(\boldsymbol {W})\right|^2} \right|_{\boldsymbol {W} = \boldsymbol {W}(f)}\label{eq:GHDSS-LC-mu} $

(45)

と適応的にステップサイズが計算される．

トラブルシューティング: 基本的には GHDSS ノードのトラブルシューティングと同じ．

6.3.2.6 参考文献

• H. Krim and M. Viberg, ’Two decades of array signal processing research: the parametric approach’, in IEEE Signal Processing Magazine, vol. 13, no. 4, pp. 67–94, 1996. D. H. Johnson and D. E. Dudgeon, Array Signal Processing: Concepts and Techniques, Prentice-Hall, 1993.

• S. Talwar, et al.: ’Blind separation of synchronous co-channel digital signals using an antenna array. I. Algorithms’, IEEE Transactions on Signal Processing, vol. 44 , no. 5, pp. 1184 - 1197.

• O. L. FrostIII, ’An Algorithm for Lineary Constrained Adaptive array processing’, Proc. of the IEEE, Vol. 60, No.8, 1972

• L. Griffiths and C. Jim, ’An alternative approach to linearly constrained adaptive beamforming’, IEEE trans. on ant. and propag. Vol. AP-30, No.1, 1982

• H. Nakajima, et al.: ’Blind Source Separation With Parameter-Free Adaptive Step-Size Method for Robot Audition’, IEEE Trans. ASL Vol.18, No.6, pp.1476-1485, 2010.