FreeStyleWiki

sparsemax

[数学,機械学習]

sparsemax

  sparsemaxとは

In words, sparsemax returns the Euclidean projection of the input vector z onto the probability simplex.

This projection is likely to hit the boundary of the simplex, in which case sparsemax(z) becomes sparse.

We will see that sparsemax retains most of the important properties of softmax, having in addition the ability of producing sparse distributions.

  • つまり、sparsemaxは、入力ベクトルzのユークリッド射影を確率単体として返します
    • 確率単体はこれまた1行全部足しこんだら1.0になるよう調整された確率分布
  • この射影は確率単体の境界に達する可能性があり、その場合、sparsemax(z)はスパースになります
  • sparsemaxは、softmaxの重要なプロパティのほとんどを保持し、さらにスパース分布を生成する機能を備えていることがわかります