エントロピーの期待値 - ryamadaのコンピュータ・数学メモ

$t;0 \le t \le 1$ の確率で起きるベルヌーイ事象がある。そのエントロピーは $-t\log(t) - (1-t) \log(1-t)$
今、 $t$ が0-1の値をベータ分布に従ってとると考えているときに、その帰結情報を得るということは、 $\int_0^1 \frac{1}{B(a,b)}t^{a-1}(1-t)^{b-1} \times (-t\log(t)-(1-t)\log(1-t)) dt$ の情報量を期待する、ということ(でいいだろうか)
まあ、よいとして、この積分をやってみたい
$E[\text{ent}(beta(a,b))]=\int_0^1 \frac{1}{B(a,b)}t^{a-1}(1-t)^{b-1} \times (-t\log(t)-(1-t)\log(1-t)) dt$ は
$-\int_0^1 \frac{1}{B(a,b)}t^{a}(1-t)^{b-1}\log(t)dt-\int_0^1 \frac{1}{B(a,b)}t^{a-1}(1-t)^{b}\log(1-t)dt$ となるが、第２項の1-t -> sと置き換えて
$-\int_0^1 \frac{1}{B(a,b)}t^{a}(1-t)^{b-1}\log(t)dt-\int_0^1 \frac{1}{B(a,b)}(1-s)^{a-1}(s)^{b}\log(s)ds$ となるから $\int_0^1 t^A(1-t)^B \log(t)dt$ がわかればよい
$\frac{d}{dx} (f_1(x)\log(x) + f_2(x)) = g(x)\log(x)$ となりそうだから、これを満足するような $f_1(x),f_2(x),g(x)$ という多項式を求めよう
$\frac{d}{dx}(f_1(x)\log(x)+f_2(x)) = \frac{d f_1(x)}{dx}\log(x) + \frac{f_1(x)}{x} + \frac{d f_2(x)}{dx} =g(x)\log(x)$ だから
$\frac{d f_1(x)}{dx}=g(x)$ , $\frac{f_1(x)}{dx} + \frac{d f_2(x)}{dx} =0$
ここで $g(x)=x^a (1-x)^b=\sum_{i=0}^b (-1)^b\begin{pmatrix}b\\i\end{pmatrix}x^{a+i}$ として、地道に解くと
$f_1(x) = \sum_{i=0}^b (-1)^i\begin{pmatrix}b\\i\end{pmatrix}\frac{x^{a+i+1}}{a+i+1}$
$f_2(x) = -\sum_{i=0}^b (-1)^i\begin{pmatrix}b\\i\end{pmatrix}\frac{x^{a+i+1}}{(a+i+1)^2}$ となって、結局
$\int x^a(1-x)^b\log(x)dx = \sum_{i=0}^b (-1)^i \begin{pmatrix}b\\i\end{pmatrix}\frac{1}{(a+i+1)^2} ((a+i+1)\log(x)+1)x^{a+i+1};C$ となる
$0 \le x \le 1$ の定積分なら $\sum_{i=0}^b (-1)^i \begin{pmatrix}b\\i\end{pmatrix}\frac{1}{(a+i+1)^2}$
結局 $E[\text{ent}(beta(a,b))] = -\frac{1}{B(a,b)}(\sum_{i=0}^a(-1)^i\begin{pmatrix}a\\i\end{pmatrix}\frac{1}{(b+i+1)^2} + \sum_{i=0}^b(-1)^i\begin{pmatrix}b\\i\end{pmatrix}\frac{1}{(a+i+1)^2})$