ぱらぱらめくる『エントロピーの正体』 - ryamadaのコンピュータ・数学メモ

エントロピーの正体 / 原タイトル:Entropy and the Second Law[本/雑誌] / アリー・ベン=ナイム/著小野嘉之/訳

ジャンル: 本・雑誌・コミック > 科学・医学・技術 > 物理学
ショップ: CD＆DVD NEOWING
価格: 2,592円

この本を読むには、少しコツがいる
著者が「エントロピー」という用語の物理学と情報学とでの使われ方の違いとその混乱の原因について強い熱意があり、それを強調するがために読みにくい点があるが、その言わんとすることを了解するために、その熱意を読み流すことに撤して読むのがコツ
一度、エントロピーという言葉を忘れてから読み始めること。なぜなら、熱力学で使われるエントロピーという用語と、それに関する説明（と著者によれば誤った説明）と、情報学でのエントロピーという用語とその定義とを、「同じエントロピー」という単語と思ってこの本を読むと、この本の主張の理解が難しくなるから
シャノンの情報測度(Shannon Information Metric)
- 確率ベクトル( $p_1,p_2,....,p_n$ )で構成されているn個の事象の組を考える
- 選び方がどれくらいの場合があるかの不確実性を測りたい
- $(p_1,...,p_n)$ の関数Hを考える
- Hは $p_i$ の連続関数
- 全てのiについて $(p_i=1/n)$ のときHは単調増加関数
- ある選び方が２つの連続した選び方に分解される場合、元のHの値は個々のHの値の重み付き和である
- この条件を満足する唯一の関数が $H=-K\sum p_i \log{p_i}$ であり、シャノンの情報測度と呼ばれる
熱力学で言うところのエントロピー
- シャノンの情報測度を用いて計算することができる
- 基本的には、いくつかの巨視的な条件下で多数の分子の状態が、どこにどれくらいあるかの不確実性がシャノンの情報測度であり、その値は、巨視的条件の変化により変わる。状態数の計算結果が増大することがエントロピーの増大