HARK Document Version 3.1.0. (Revision: 9278) : 3話者同時発話認識

1.4.1 3話者同時発話認識

$\includegraphics[width=0.9\linewidth ]{fig/Intro/Order-e-1.eps}$

a) Robovieが注文をたずねる．

$\includegraphics[width=0.9\linewidth ]{fig/Intro/RobovieR2-Meal-Order.eps}$

b) ３人が同時に料理の注文を行う．

$\includegraphics[width=0.9\linewidth ]{fig/Intro/Order-e-3.eps}$

c) 1.9秒後にRobovieが注文を反復し，合計金額を答える．

Figure 1.6: 3人が料理を同時に注文するのを聞き分けるRobovie-R2

３話者同時発話認識は，マイクロフォン入力，音源定位，音源分離，ミッシングフィーチャマスク生成，および，自動音声認識の一連の処理により，話者それぞれの発話認識結果を返す．このFlowDesigner でのモジュールネットワークは図1.2に示したものである．対話管理モジュールは，

ユーザの発話を聞き，注文依頼だと判定すると，次の処理を行う．
ロボット聴覚の一連の処理 – 音源定位・音源分離・ポストフィルタ処理・音響特徴量の抽出・ミッシングフィーチャマスク生成 – を行う．
発話人数分の音響特徴量とミッシングフィーチャマスクを音声認識エンジンに送り，音声認識結果を受け取る．
音声認識結果を分析し，料理の注文である場合には，注文を復唱し，料理の金額の合計額を答える．
さらに注文を受け付ける．

音声認識での音響モデルは，不特定話者対象としている．言語モデルは文脈自由文法で記述しているので，文法を工夫すれば，「ラーメン　大盛り」や「ラーメン　ピリ辛　大盛り」，「ラーメン　ライス大盛り」なども可能である．

3人の実話者全員が話し終えてから認識終了までに従来のファイル経由ベースの処理では，約7.9秒を要していたが，HARK の使用により，応答が約1.9秒に短縮された¹．応答が速いため，全員の注文終了後，直ちにロボットがそれぞれの注文を復唱し，合計金額を答えるように感じられる．なお，モジュールの設定にも依存するが，ファイル入力の場合には，発話終了時が明確であるので，発話終了から認識を終え，ロボットが応答を始めるまでの遅延時間は0.4秒程度である．

また，復唱の時に，ロボットが発話者の方へ顔を振り向けることも可能である． HRP-2では挙動付きの応答を行っている．ただし，身振り手振りを入れるとその準備のためにどうしても応答が遅れ，間の抜けた挙動となってしまうので，注意が必要である．

Footnotes

デモはhttp://winnie.kuis.kyoto-u.ac.jp/SIG/