LSTM

[数学,機械学習]

LSTM

• LSTMの実際的な仕組みについてまとめる
  • 概要説明は Seq2seqを理解するまでの事前知識 で

LSTM(長・短期記憶)

回帰型ニューラルネットワーク（RNN）のアーキテクチャの１つ

  LSTMを数式ベースで理解する

• 参考
  • 【深層学習】RNN の意味を徹底解説！【ディープラーニングの世界 vol. 8 】 #062
  • 【深層学習】RNN の3通りの使い方 - RNN の混乱ポイントを倒す！【ディープラーニングの世界 vol. 9 】 #064
  • 【深層学習】LSTM - RNN に記憶をもたせる試みその2【ディープラーニングの世界 vol. 11 】 #067
  • 機械学習などの本でよく出てくる数式の、Qiitaでの書き方集

まずRNNの数式の意味を把握する

• 入力：\( x^{(0)},x^{(1)},...,x^{(T)} \)
  • 系列データは上記のような式で表せる
    • 実例を自然言語で示す
    • 実際のxの中身は例えば x = {'これ', 'は', '寒冷', '渦', 'と', '呼ば', 'れ', '悪天候', 'の', '原因', 'と', 'なる', 'と', 'いう'} のような感じ
    • x[0] = 'これ'、x[3] = '渦'

RNNのキモとなる式が以下

• \( (y^{(t)}, h^{(t)}) = f(x^{(t)}, y^{(t-1)}, h^{(t-1)}) \)
• 出力：\( y^{(0)},y^{(1)},...,y^{(T)} \)

• 人間の翻訳タスクを機械学習のモデル化するとこうなるよという話、わかりやすい
  • 要は、系列データを扱う際人間はデータごとに考えることを遷移していっているということ

• 左下の図のように、矢印が上から出てまた下に戻る図を初期によく見かけていたがあれはわかりにくかった
• 具体的にRNNの回路にx(t)を渡して処理してy(t)とh(t)を出力、次に進むという流れがわかりやすい
  • 上記の説明を実際的な処理フロー図に落としたのが以下の図

• 「データごとに考えることを遷移する」というところを数式化したのが
  • \( (y^{(t)}, h^{(t)}) = f(x^{(t)}, y^{(t-1)}, h^{(t-1)}) \)
    • （今の単語について）＝（今の単語x(t), 一個前の考え --> y(t-1), h(t-1) ）
    • t と t-1 の考えがわかればOKだと思う（英語だとt=timestepとか書かれているがそれではわけわからん）
  • 出力：\( y^{(0)},y^{(1)},...,y^{(T)} \)

LSTMについても上記の図と同じようなものと考えていいと思います

RNNの系列変換を分類する

この板書も非常にわかりやすかった、特にこれ以上コメントすることもないがseq2seqとは２回の系列変換であるとよくわかる。

• seq2vec, vec2seq, seq2seq　←　キーワード

LSTMで出てくる数式

紹介する順番は異なる

• \( f^{(t)} = f^{\sigma}_{f} (x^{(t)}, h^{(t-1)}) \)
• \( i^{(t)} = f^{\sigma}_{i} (x^{(t)}, h^{(t-1)}) \)
• \( o^{(t)} = f^{\sigma}_{i} (x^{(t)}, h^{(t-1)}) \)
• \( \tilde{C}^{(t)} = f^{\sigma}_{i} (x^{(t)}, h^{(t-1)}) \)
• \( C^{(t)} = f^{(t)} \circ C^{(t-1)} + i^{(t)} \circ \tilde{C}^{(t)} \)
• \( y^{(t)} = h^{(t)} = o^{(t)} \circ C^{(t)} \)
  • 演算子 ∘ はアダマール積（要素ごとの積）を示す。

RNNではyやhを出す式は1つしかなかったが、それが6つに増えただけだと考えるとわかりやすい。

• 覚えること
  • C: 長期記憶担当
  • h: 短期記憶担当

• \( C^{(t)} = f^{(t)} \circ C^{(t-1)} + i^{(t)} \circ \tilde{C}^{(t)} \)
  • 第１項：forget gate vector: fの値に応じて１つ前の記憶を忘れる
  • 第２項：記憶に追加している
    • i_t : Input Gate Vector, 入力ゲートの活性化ベクトル
    • C_t : Context Vector, 文脈ベクトル

• \( y^{(t)} = h^{(t)} = o^{(t)} \circ C^{(t)} \)
  • 長期記憶Cから必要な短期記憶を抜き出す
    • o_t : Output Gate Vector, 出力ゲートの活性化ベクトル