6.1.5 HarkDataStreamSender

6.1.5.1 ノードの概要

以下の音響信号処理結果をソケット通信で送信するノードである．

• 音響信号

• STFT後の周波数スペクトル

• 音源定位結果のソース情報

• 音響特徴量

• ミッシングフィーチャーマスク

6.1.5.2 必要なファイル

無し．

6.1.5.3 使用方法

どんなときに使うのか

上記のデータの中で必要な情報を TCP/IP 通信を用いて，HARK 外のシステムに送信するために用いる．

典型的な接続例

図6.10の例では全ての入力端子に接続している． 送信したいデータに合わせて入力端子を開放することも可能である． 入力端子の接続と送信されるデータの関係については「ノードの詳細」を参照．

Figure 6.10: HarkDataStreamSender の接続例

6.1.5.4 ノードの入出力とプロパティ

入力

MIC_WAVE

: Matrix<float> 型．音響信号（チャンネル数 $\times $ 各チャンネルのSTFTの窓長サイズの音響信号）

MIC_FFT

: Matrix<complex<float> > 型．周波数スペクトル（チャンネル数 $\times $ 各チャンネルのスペクトル）

SRC_INFO

: Vector<ObjectRef> 型．音源数個の音源定位結果のソース情報

SRC_WAVE

: Map<int, ObjectRef> 型．音源 ID と音響信号の Vector<float> 型のデータのペア．

SRC_FFT

: Map<int, ObjectRef> 型．音源 ID と周波数スペクトルの Vector<complex<float> > 型のデータのペア．

SRC_FEATURE

: Map<int, ObjectRef> 型．音源 ID と音響特徴量の Vector<float> 型のデータのペア．

SRC_RELIABILITY

: Map<int, ObjectRef> 型．音源 ID とマスクベクトルの Vector<float> 型のデータのペア．

出力

OUTPUT

: ObjectRef 型．入力と同じものが出力される．

パラメータ

HOST

: string 型．データ送信先ホストの IP アドレス．SOCKET_ENABLED が falseの場合は無効．

PORT

: int 型．ソケット番号． SOCKET_ENABLED が falseの場合は無効．

ADVANCE

: int 型．フレームのシフト長．前段処理と同じ値にする．

BUFFER_SIZE

: int 型．ソケット通信のために確保するバッファサイズ．

FRAMES_PER_SEND

: int 型．ソケット通信を何フレームに一回行うかを指定する．デフォルトは1．

DEBUG_PRINT

: bool 型．デバッグ標準出力のON/OFF

SOCKET_ENABLE

: bool 型．trueでデータをソケットに転送し，falseで転送しない．

6.1.5.5 ノードの詳細

• パラメータの説明

HOST は，データを送信する外部プログラムが動作するホストのホスト名，または IP アドレスを指定する．

PORT は，データを送信するネットワークポート番号を指定する．

ADVANCE はフレームのシフト長であり，前段処理の設定値と同じにする．

BUFFER_SIZE はソケット通信のために確保するバッファサイズ． BUFFER_SIZE * 1024 の float 型の配列が初期化時に確保される．送信するデータより大きく確保する．

FRAMES_PER_SEND はソケット通信を何フレームに一回行うかを指定する． 通常は1で問題ないが，通信量を削減したい時に使用できる．

DEBUG_PRINT はデバッグ標準出力の表示の可否である． 送信データの一部と同じ情報が出力される． 表示される内容については表6.13の 「 Debug 」を参照．

SOCKET_ENABLED が falseのときは，データを外部システムに送信しない． これは，外部プログラムを動かさずに HARK のネットワーク動作チェックを行うために使用する．

• データ送信の詳細

(B-1) データ送信用構造体

データの送信は，各フレーム毎に幾つかに分けられて行われる． データ送信のために定義されている構造体を下記にリストアップする．

• HD_Header
  説明 : 送信データの先頭で送信される基本情報が入ったヘッダ
  データサイズ : 3 * sizeof(int)

HarkDataStreamSender は入力端子の開放の可否によって送信されるデータが異なり， データ受信側では type によって，受信データを解釈できる． 以下に例を挙げる． 送信されるデータの更なる詳細については(B-2)に示す．

• MIC_FFT 入力端子のみが接続されている場合，type は２進数で表すと 0000010 となる． また，送信されるデータはマイク毎の周波数スペクトルのみとなる．

• MIC_WAVE, SRC_INFO, SRC_FEATURE の３つの入力端子が接続されている場合， type は２進数で表すと 0100101 となる． 送信されるデータはマイク毎の音響信号，音源定位結果のソース情報，音源 ID 毎の音響特徴量となる．

• SRC_WAVE, SRC_FFT, SRC_FEATURE, SRC_RELIABILITY の４つの入力端子については， 音源 ID ごとの情報になるため，SRC_INFO の情報が必須である． もし，SRC_INFO を接続せずに，上記４つの入力端子を接続したとしても，何も送信されない． その場合，type は２進数で 0000000 となる．

• HDH_MicData
  説明 : ２次元配列を送信するための，サイズに関する配列の構造情報
  データサイズ : 3 * sizeof(int)

• HDH_SrcInfo
  説明 : 音源定位結果のソース情報
  データサイズ : 1 * sizeof(int) + 4 * sizeof(float)

• HDH_SrcData
  説明 : １次元配列を送信するための，サイズに関する配列の構造情報
  データサイズ : 2 * sizeof(int)

(B-2) 送信データ

送信データは各フレーム毎に，表6.12， 表6.13の(a)-(q)のように，分割されて行われる． 表6.12に，送信データ(a)-(q)と，接続された入力端子の関係を， 表6.13に，送信データの説明を示す．

(B-3) 送信アルゴリズム

HARKのネットワークファイルを実行する際に繰り返し演算される部分のアルゴリズムを以下に示す．

 calculate{
    Send (a)

    IF MIC_WAVE is connected
        Send (b)
        Send (c)
    ENDIF

    IF MIC_FFT is connected
        Send (d)
        Send (e)
        Send (f)
    ENDIF
  
    IF SRC_INFO is connected
       
        Send (g) (Let the number of sounds ’src_num’.)    
       
        FOR i = 1 to src_num (This is a sound ID based routine.)
                  
            Send (h)
       	   
            IF SRC_WAVE is connected
                Send (i)
                Send (j)
            ENDIF
       	   
            IF SRC_FFT is connected
                Send (k)
                Send (l)
                Send (m)
            ENDIF
       	   
            IF SRC_FEATURE is connected
                Send (n)
                Send (o)
            ENDIF
       	   
            IF SRC_RELIABILITY is connected
                Send (p)
                Send (q)
            ENDIF
            
        ENDFOR    
       
    ENDIF

 }

ここで，コード内の(a)-(q)が， 表6.12と 表6.13の(a)-(q)に対応している．