6.1.1 AudioStreamFromMic

6.1.1.1 モジュールの概要

マイクロホンアレーからマルチチャネル音声波形データを取り込む． サポートするオーディオインタフェースデバイスは， システムインフロンティア製 RASP シリーズ， 東京エレクトロンデバイス製 TD-BD-16ADUSB， ALSA ベースのデバイス (例，RME Hammerfall DSP Multiface シリーズ) である． また，デバイス以外にも， IEEE Float形式のマルチチャネルの音響信号の raw データを TCP/IP ソケット接続で受信することも可能である． 各種デバイスの導入は，第 8 章を参照のこと．

6.1.1.2 必要なファイル

無し．

6.1.1.3 使用方法

どんなときに使うのか

このモジュールは，HARK システムへの入力として， マイクロホンアレイから得られた音声波形データを用いる場合に使用する．

典型的な接続例

図6.1 に AudioStreamFromMic モジュールの使用例を示す．

Figure 6.1: AudioStreamFromMic の接続例

デバイスの写真

AudioStreamFromMic モジュールがサポートするデバイスのうち，以下を写真で紹介する．

1. 無線 RASP，

2. RME Hammerfall DSP シリーズ Multiface (ALSA 対応デバイス)．

6.1.1.3.1 １．無線 RASP

図6.2 は無線 RASP の外観である． HARK システムとの接続には，無線 LAN による Ethernet を通じて行う． 無線 RASP への電源供給は，付属のACアダプタで行う．

無線 RASP は，プラグインパワーに対応しており， プラグインパワー供給のマイクロホンをそのまま端子に接続できる． マイクロホンプリアンプを使用せずに手軽に録音ができる利点がある．

Figure 6.2: 無線 RASP

6.1.1.3.2 2．RME Hammerfall DSP Multiface シリーズ

図6.3，6.4 は RME Hammerfall DSP シリーズ Multiface の外観である． 32bit CardBus を通じてホスト PC と通信を行う． 6.3 mm TRS 端子を通じてマイクロホンを接続できるが， 入力レベルを確保するために，別途マイクロホンアンプを使用する (図 6.4)． 例えば，マイクロホンを RME OctaMic II に接続し， OctaMic II と Multiface を接続する． OctaMic II は，ファンタム電源供給をサポートしており， ファンタム電源を必要とするコンデンサマイクロホン （例えば，DPA 社 4060-BM）を直接接続可能である． しかし，プラグインパワー供給機能がないため，プラグイン パワー供給型のマイクロホンを接続するためには， 別途プラグインワパー用の電池ボックスが必要である． 例えば，電池ボックスは Sony EMC-C115 や audio-technica AT9903 に附属している．

Figure 6.3: RME Hammerfall DSP Multiface の正面

Figure 6.4: RME Hammerfall DSP Multiface の背面

6.1.1.4 モジュールの入出力とプロパティ

入力

無し．

出力

AUDIO

: Matrix<float> 型．行がチャネル，列がサンプルのインデックスである，マルチチャネル音声波形データ．列の大きさはパラメータ LENGTH に等しい．

NOT_EOF

: bool 型．まだ波形の入力があるかどうかを表す．録音波形に対する繰り返し処理の終了フラグとして用いる．trueのとき，波形の取り込みを続行し，falseのとき，読み込みを終える．常に trueを出力する．

パラメータ

LENGTH

: int 型．512 がデフォルト値．処理の基本単位であるフレームの長さを サンプル数で指定する． 値を大きくすれば，周波数解像度が上がる一方，時間解像度は下がる． 音声波形の分析には，$20 \sim 40$ [ms] に相当する長さが適切であると 言われている．サンプリング周波数が 16000 [Hz] のとき，デフォルト値は 32 [ms] に相当する．

ADVANCE

: int 型．160 がデフォルト値．フレームのシフト長をサンプル数で指定する． サンプリング周波数が 16000 [Hz] のとき，デフォルト値はフレーム周波数 10 [ms] に相当する．

CHANNEL_COUNT

: int 型．使用するデバイスのチャネル数．

SAMPLING_RATE

: int 型．16000 がデフォルト値．取り込む波形のサンプリング 周波数を指定する．処理の中で $\omega $ [Hz] までの周波数が必要な場合， サンプリング周波数は $2\omega $ [Hz] 以上の値を指定する． サンプリング周波数を大きくとると，一般にデータ処理量が増えるので， 実時間処理が困難になる．

DEVICETYPE

: string 型． ALSA, RASP, WS, TDBD16ADUSB, RASP24-16, RASP24-32, RASP-LC, NETWORK から選択する． ALSA ベースのドライバをサポートするデバイスを使用する場合には ALSA を選択する． RASP-2 を使用する場合には RASP を選択する． 無線 RASP を使用する場合は WS を選択する． TD-BD-16ADUSB を使用する場合には TDBD16ADUSB を選択する． RASP-24 を 16bit 量子化ビット数の録音モードで使用する場合には RASP24-16 を選択する． RASP-24 を 24bit 量子化ビット数の録音モードで使用する場合には RASP24-32 を選択する． RASP-LC を PC と無線 LAN による接続で使用する場合には RASP-LC を選択する． （RASP-LC を PC に直接 USB 接続する場合は ALSA で構わない．） TCP/IP 接続を介して IEEE float 形式の raw データを受信したい場合は NETWORK を選択する．

GAIN

: string 型． 0dB がデフォルト値．マイクの録音ゲインを設定する． 0dB, 12dB, 24dB, 36dB, 48dB の中から選択する． RASP-24 を録音デバイスとして利用する時のみ有効になる．

DEVICE

: string 型．DEVICETYPE 毎に入力内容が異なるため，以下の説明を参考のこと．

6.1.1.5 モジュールの詳細

HARK がサポートするオーディオデバイスは，以下の通り．

1. システムインフロンティア製 RASP シリーズ

   • RASP-2

   • 無線 RASP

   • RASP-24

   • RASP-LC

2. 東京エレクトロンデバイス製 TD-BD-16ADUSB．

3. ALSA ベースのデバイス．以下は例．

   • Microsoft 製 Kinect Xbox

   • Sony 製 PlayStation Eye

   • Dev-Audio 製 Microcone

   • RME Hammerfall DSP シリーズ Multiface

4. TCP/IP ソケット接続で送られる音響信号 (IEEE float wav 形式)

以下ではそれぞれのデバイスを用いる際のパラメータ設定を記す．

RASP シリーズ:

• RASP-2 のパラメータ設定

• 無線 RASP のパラメータ設定

• RASP-24 のパラメータ設定

• RASP-LC のパラメータ設定

東京エレクトロンデバイス製デバイス:

• TD-BD-16ADUSB のパラメータ設定

ALSA 対応デバイス:

ALSA 対応デバイスの場合，DEVICE パラメータは plughw:a,b と指定する．aとbには正の整数が入る． a には，arecord -l で表示されるカード番号を入れる． 音声入力デバイスが複数接続されている場合には，カード番号が複数表示される．使用するカード番号を入れる． b には arecord -l で表示されるサブデバイス番号を入れる． サブデバイスが複数あるデバイスの場合，使用するサブデバイスの番号を入れる． サブデバイスが複数ある場合の例としては，アナログ入力とディジタル入力を持ったデバイスが該当する．

• Kinect Xbox のパラメータ設定

• PlayStation Eye のパラメータ設定

• Microcone のパラメータ設定

• RME Hammerfall DSP シリーズ Multiface のパラメータ設定

ソケット接続 ( DEVICETYPE=NETWORK を選択した場合):

DEVICE パラメータは音響信号を送信する側のマシンの IP アドレスを指定する． その他のパラメータは送られてくる音響信号に合わせる必要がある． 送信したい音響信号が $M$ チャネルで，１フレーム毎に $T$ サンプルのデータを取得できる場合， 以下のように送信すれば良い．

WHILE(1){
    X = Get_Audio_Stream (Suppose X is a T-by-M matrix.)
    FOR t = 1 to T
        FOR m = 1 to M
            DATA[M * t + m] = X[t][m]
        ENDFOR
    ENDFOR
    send(soket_id, (char*)DATA, M * T * sizeof(float), 0)
}

ここで，$X$ は IEEE float wav 形式であり， $-1 \leq X \leq 1$ である．

Windows版 DirectSound，ASIO 対応デバイス:

Windows版HARKでは，無線 RASP，RASP-24，ソケット接続に加えてDirectSoundおよびASIOに対応したオーディオインタフェースデバイスを取り扱うことができる．

DirectSound，ASIO対応デバイスの指定は基本的にDEVICEパラメータにデバイス名を入力することになっている．

デバイス名はデバイスマネージャなどで確認できるが，Windows版HARKでは[スタート]→[プログラム] →[HARK]にあるSound Device Listを起動すると，図6.5に示すように現在接続中の デバイス名が表示される．

たとえばRME Hammerfall DSP シリーズ Multifaceを利用したい場合は，DEVICETYPEに"ASIO"，DEVICEに"ASIO Hammerfall DSP"と設定すればよい．DEVICEパラメータは部分一致でも設定可能となっているので図6.5の場合であれば単に"Hammerfall"を設定するだけでもよい．

ただし，複数のデバイス名が部分一致した場合は上位にリストアップされているデバイスが選択されるので注意が必要である．

また，マルチバイト文字の入力には対応していない．

Kinect Xbox， PlayStation Eye，Microconeに関しては正確なデバイス名の入力の必要はなく，下記に示すパラメータを設定することで利用可能となっている．

• Kinect Xbox のパラメータ設定

• PlayStation Eye のパラメータ設定

• Microcone のパラメータ設定

• RME Hammerfall DSP シリーズ Multiface のパラメータ設定

Figure 6.5: デバイス名の確認