エントロピー

ぱらぱらめくる『エントロピーの正体』

エントロピーの正体 / 原タイトル:Entropy and the Second Law[本/雑誌] / アリー・ベン=ナイム/著 小野嘉之/訳ジャンル: 本・雑誌・コミック > 科学・医学・技術 > 物理学ショップ: CD&DVD NEOWING価格: 2,592円 この本を読むには、少しコツがいる 著者が…

「アルゴリズム]情報幾何・エントロピー・圧縮・AIC・EMアルゴリズムのすべてが登場ぱらぱらめくる『新版 情報理論の基礎』

情報理論の基礎―情報と学習の直観的理解のために (SGC Books)作者: 村田昇出版社/メーカー: サイエンス社発売日: 2008/08/01メディア: 単行本購入: 4人 クリック: 11回この商品を含むブログ (7件) を見る 目次 1 はじめに 2 情報理論の基礎事項 3 情報幾何の…

kNN-density estimation

点クラウド情報からエントロピーを推定する話はこちらに書いた。そこで使っていたのは、kNN(k-nearest neighbor)法 その背後には、ある点の密度をその点からk番目に近い点までの範囲に、何個の点があるかで計算しようというもの(参考資料) このkNN密度推定を…

k-NN entropy

NN entropy: Nearest Neighbor entropyは、標本座標が与えられたときに、各標本の最近傍点との距離を用いて標本の母集団のエントロピーを推定する方法のこと k-NN entropyは最近傍点の代わりに、第k近傍点を用いる方法のこと 標本座標の次元をm、標本数をn、…

エントロピーの期待値

の確率で起きるベルヌーイ事象がある。そのエントロピーは 今、が0-1の値をベータ分布に従ってとると考えているときに、その帰結情報を得るということは、の情報量を期待する、ということ(でいいだろうか) まあ、よいとして、この積分をやってみたい は とな…