sparsemax
- 記事がでかくなりすぎなので分割
- 数式の解説をMathWillsに記載した
sparsemaxとは
- Martins and Astudilloによってsparsemaxという関数が提案されている
- softmaxはわかるが、sparsemaxとはなんだ
In words, sparsemax returns the Euclidean projection of the input vector z onto the probability simplex.
This projection is likely to hit the boundary of the simplex, in which case sparsemax(z) becomes sparse.
We will see that sparsemax retains most of the important properties of softmax, having in addition the ability of producing sparse distributions.
- つまり、sparsemaxは、入力ベクトルzのユークリッド射影を確率単体として返します
- 確率単体はこれまた１行全部足しこんだら1.0になるよう調整された確率分布
- この射影は確率単体の境界に達する可能性があり、その場合、sparsemax(z)はスパースになります
- sparsemaxは、softmaxの重要なプロパティのほとんどを保持し、さらにスパース分布を生成する機能を備えていることがわかります