2.5 視聴覚情報統合による曖昧性解消

ロボット聴覚は要素技術ではなく，プロセスであり，複数のシステムから 構成される．構成部品となる要素技術は多数あり，しかも，構成部品の性能 にはばらつきがあるので，プロセスではすべてがうまくかみ合って機能する必 要がある．しかも，このかみ合わせがしっかりするほど，プロセスはうま く機能する．音響処理だけでは曖昧性が解消できないので，視聴覚情報統合が かみ合わせの重要な鍵となる．

情報統合のレベルには，時間的，空間的，メディア間，システム間があり，さ らに，各レベル内でも，レベル間でも階層的な情報統合が必要である．中臺ら は次のような視聴覚情報統合を提案している．最下位レベルでは音声信号と唇 の動きから話者を検出する．その上のレベルでは，音素 (phoneme) 認識 と口 形素 (viseme) 認識とを統合する．その上位レベルは，話者位置と顔の3D位置 との統合である．最上位は，話者同定・検証と顔同定・検証との統合である． もちろん，同一レベルの情報統合だけでなく，ボトムアップ処理やトップダウ ン処理の相互作用が考えられる．

一般に混合音処理は不良設定問題であり，より完全な解を得るためには，何ら かの前提，例えばスパースネスの仮定が必要となる．時間領域でのスパースネ ス，周波数領域でのスパースネス，3D空間でのスパースネス，さらには特徴空 間でのスパースネスなどが考えられる．情報統合の成否は，スパースネスの設 計だけでなく，個々の要素技術の性能にも依存することに注意する必要がある．