FreeStyleWiki

活性関数

このエントリーをはてなブックマークに追加

[数学,機械学習]

活性関数

  Softmax関数

\( {{\bf f}({\bf x}) = \left[ \frac{\exp(x_i)}{\sum_j \exp(x_j)} \right]_{i=1}^N} \)

  • Softmax関数を行列に適用すると各行の要素の合計値が1.0になるように調整される
  • 要素がたくさんあるが、それをいい感じに確立として捉えたい場合に有効な手段だった

  Sparsemax関数