ナンクル力学系

学んだ事を書き連ねていこう。

Posts Tagged ‘情報理論

「情報理論の基礎 新版」を読んだ

with 3 comments

情報幾何とか簡単に学べる本見つけたので読んでみた読後の感想とかを書いてみる.

途中つまらなくなったり式足りないだろ適当だろw,な所は飛ばしたから理解していない部分多いけど.

まずは章別の感想:

  • 第1章 はじめに
    • まあ普通かな.と思いきや,確率モデルの分類が良い感じ.
  • 第2章 情報理論の基礎事項
    • 0と1の符号からの導入.KL情報量まで.
    • 復号化の話とかは知らなかったので少し新鮮.(そんなに驚く内容は無かった.)
    • 終始具体的に考える.最後に公理を言うけど,理論的な枠組みを構築するようなことはしないのでこっちも身構えずに「ふ~んそうなんだ」と軽い感じで読める.(全章そんな感じ.)
  • 第3章 情報幾何の考え方
    • 情報幾何の導入の流れ:
      • KL情報量
      • → ピタゴラスの定理
      • → m-測地線e-測地線
      • → m-平坦e-平坦
      • → 直交葉層化
    • の,雰囲気(だけw)分かる.
    • でも,これだけ簡単な話だけで以下の章を説明してしまうというのは凄いと思った.
  • 第4章 符号化と種々の情報量
    • 符号化とか面白く無いし飛ばそうかな,と思ったら意外と面白かったw
      • タイプ漸近等分割性相互情報量通信路容量,FM/AMの話とか
    • K-meansについてはもうちょっと書いて欲しかった.
    • 式や説明が足りない感じがしたので色々補いながら読んだ.
    • 今のレベルで読んで分かるのはこの章までだったのかもw
  • 第5章 モデル選択
    • Fisher情報量とかCramer-Raoの不等式とか復習できるな!とか思いながら読んだ.
    • しかし,意外と統計について身についてないことに気づく.
      • 不偏推定量って何?な状態になってたし.(やばいだろw)
      • テキストとか手元に無かったのでひとり小一時間考えてぼんやり理解した.
    • 結果,AICとかほとんど分からなかった.
    • バネにしよう.
  • 第6章 混合モデルとアルゴリズムの幾何学的理解
    • 楽しみにしていた章.
    • 前章の分からなかった感を引きずり,ボーっとしながら読む.
    • EMアルゴリズムとかなんとなくは分かったw
    • でも,
      • 「実際の応用問題を上手く解こうと思って考えたアルゴリズム」
      • 「実は情報幾何の枠組みで何で上手く行くか分かる」
      • という話の展開は興奮した!
    • バネにしよう!

理解したことまとめ:

  • 情報幾何の必要性
    • 統計や機械学習の分野でアルゴリズムの正当性を言うには,それが収束することを示さなければならない.
    • 収束を説明するには,その対象を点としてとらえて,しかもその距離が定義されてなければならない.
    • しかし,その距離はパラメタに対して非線形になってしまう.
    • そこで微分幾何!
      • 微分幾何は非線形な距離,つまり曲がった空間を扱うための学問.
    • ...という流れ.
  • 情報量とかについての(感覚的な)理解
    • 情報量\log_2 \frac{1}{P}符号長l
    • エントロピー情報量の平均値(期待値) H(X) = \sum P_i \log_2 \frac{1}{P_i},つまり符号の平均的な長さ
      • 本当は,「理想的な」平均的な長さ.
    • 要素の種類は2^{l} = 2^{\log_2 \frac{1}{P}} 個.
    • エントロピーから,すべての要素の種類はだいたい2^{H(X)}個だと見積もることが出来る.
    • 当たり前のことだけど,情報量は符号長だ!という具体的な対応付けを意識できたのは嬉しいかもしれない.

前々から情報幾何は学びたかったのでその必要性についてはなんとなくは理解してたつもりだったけど,今なら言葉に出来る.そう思えるようになったのは結構大きい.あとは情報量についてちょっと血の通った認識が出来るようになったこと.

さて,統計もっと頑張るか.

Advertisements

Written by tkf

October 25, 2008 at 9:16 pm

Posted in 数学

Tagged with ,