FreeStyleWiki

constrained softmax

[数学,機械学習]

constrained softmax

constrained softmax

まず、softmax関数を変分的スタイルで表すと以下のようになるとのこと

\( \begin{aligned} {\bf softmax(z)} &= \underbrace{\underset{\alpha \in \Delta^{L-1} }{argmin}\ {\bf KL(\alpha||softmax(z))} }_{from\ KL(P||Q) = H(P,Q)-H(P)} \\ &= \underset{\alpha \in \Delta^{L-1} }{argmin}\ \underbrace{ {\bf H}(\alpha, {\bf softmax(z)})}_{from\ H(P,Q) = -\underset{x}{\Sigma}p(x)log\ q(x)+\underset{x}{\Sigma}p(x)log\ p(x)} - {\bf H}(\alpha) \\ &= \underset{\alpha \in \Delta^{L-1} }{argmin} -{\bf H}(\alpha) -z^{\top} \alpha \end{aligned} \)

…↑式変形のところはちょっと自信がないです。間違えてたら教えてください。

\( \begin{aligned} { {\bf csoftmax}({\bf z;u}) := \underset{\alpha \in \Delta^{L-1} }{argmin} -{\bf H}(\alpha) -z^{\top} \alpha } \\ s.t.\ \alpha \leq u,\ where\ u \in \mathbb{R}^L \end{aligned} \)

  • 式の定義
    • u は u∈ℝ^Lで、上限(upper bound)をベクターでもつ, 云々
    • KL, H はそれぞれカルバック・ライブラー情報量とそのエントロピーを指す、なんやねんそれ
    • Rのドキュメントに記事があった