Rényi Entropy and Free Energy

物理 情報理論

Rényi Entropy and Free Energy https://arxiv.org/pdf/1102.2098.pdf

Rényi Entropyの定義

S _ { q } = \frac { 1 } { 1 - q } \ln \sum _ { i } p _ { i } ^ { q } \tag{1}

0 \lt q \lt \infty ,q \neq 1

これはシャノンエントロピーを含む一般的な表現になっている（ユニークという意味ではない）。

q \rightarrow 1の極限でS_{q}シャノンエントロピーに対応する。すなわち以下。

\lim _ { q \rightarrow 1 } S _ { q } = - \sum _ { i } p _ { i } \ln p _ { i }

Rényi entropyの解釈

  • Shannon entropyは統計・熱力学的に解釈性があるのに対して、Rényi entropy はよくわからない。

  • Rényi entropy に自然な解釈を与えるには熱力学や統計力学の修正が必要なのか？

    • 必ずしもそうではなく、Rényi entropy は自由エネルギーに対応していることからなにかわかることがあるのではないか。
    • Rényi entropy のパラメータqは熱力学的温度の逆数に対応している

free energy

温度 T_0の熱平衡状態においてエネルギーE_iの状態数は

\exp{(-E_i/T_0)}

温度Tにおける割合は、これを全状態で規格化して、

\frac{\exp{(-E_i/T)}}{Z}

このときの規格化定数Zは分配関数と呼ばれ、以下で全状態の和として与えられる。

Z = \sum_i \exp{(-E_i/T)}

このとき、 free energy F は以下で定義される。

F=-T \ln Z \tag{2}

Rényi entropy と free energy の対応

Rényi entropy の パラメータq( 0 \lt q \lt \infty ,q \neq 1)をT_0/Tとおくと以下を得る。

S _ { T _ { 0 } / T } = \frac { 1 } { 1 - T _ { 0 } / T } \ln \sum _ { i } p _ { i } ^ { T _ { 0 } / T } = \frac { T } { T - T _ { 0 } } \ln \sum _ { i } e ^ { - E _ { i } / T } = - \frac { F } { T - T _ { 0 } }

最後の等式は(2)式をつかった。 これをFについて解くと、Rényi entropy と free energy Fの以下の関係が得られる。

F=-(T-T_0)S_{T_0/T} \tag{3}

  • qに対する仮定（ 0 \lt q \lt \infty ,q \neq 1）より、(3)式はT\neq T_0のときのみ成立する。
  • ただし、 q \rightarrow 1 のときT \rightarrow T_0 なので、両辺はシャノンエントロピーS_1に収束する。

Rényi entropy と Tsallis entropy

q \rightarrow 1でイコール（シャノンエントロピーに収束）。

ところで情報理論においてはボルツマン定数k=1の単位系で話が進むがこれはなんか意味があるのかな。 単なる温度Tのスケーリング因子なので適当に1に規格化してしまえばよいのだろうが、判然としない。

続く。