ナンクル力学系

学んだ事を書き連ねていこう。

「情報理論の基礎 新版」を読んだ

with 3 comments

情報幾何とか簡単に学べる本見つけたので読んでみた読後の感想とかを書いてみる.

途中つまらなくなったり式足りないだろ適当だろw,な所は飛ばしたから理解していない部分多いけど.

まずは章別の感想:

  • 第1章 はじめに
    • まあ普通かな.と思いきや,確率モデルの分類が良い感じ.
  • 第2章 情報理論の基礎事項
    • 0と1の符号からの導入.KL情報量まで.
    • 復号化の話とかは知らなかったので少し新鮮.(そんなに驚く内容は無かった.)
    • 終始具体的に考える.最後に公理を言うけど,理論的な枠組みを構築するようなことはしないのでこっちも身構えずに「ふ~んそうなんだ」と軽い感じで読める.(全章そんな感じ.)
  • 第3章 情報幾何の考え方
    • 情報幾何の導入の流れ:
      • KL情報量
      • → ピタゴラスの定理
      • → m-測地線e-測地線
      • → m-平坦e-平坦
      • → 直交葉層化
    • の,雰囲気(だけw)分かる.
    • でも,これだけ簡単な話だけで以下の章を説明してしまうというのは凄いと思った.
  • 第4章 符号化と種々の情報量
    • 符号化とか面白く無いし飛ばそうかな,と思ったら意外と面白かったw
      • タイプ漸近等分割性相互情報量通信路容量,FM/AMの話とか
    • K-meansについてはもうちょっと書いて欲しかった.
    • 式や説明が足りない感じがしたので色々補いながら読んだ.
    • 今のレベルで読んで分かるのはこの章までだったのかもw
  • 第5章 モデル選択
    • Fisher情報量とかCramer-Raoの不等式とか復習できるな!とか思いながら読んだ.
    • しかし,意外と統計について身についてないことに気づく.
      • 不偏推定量って何?な状態になってたし.(やばいだろw)
      • テキストとか手元に無かったのでひとり小一時間考えてぼんやり理解した.
    • 結果,AICとかほとんど分からなかった.
    • バネにしよう.
  • 第6章 混合モデルとアルゴリズムの幾何学的理解
    • 楽しみにしていた章.
    • 前章の分からなかった感を引きずり,ボーっとしながら読む.
    • EMアルゴリズムとかなんとなくは分かったw
    • でも,
      • 「実際の応用問題を上手く解こうと思って考えたアルゴリズム」
      • 「実は情報幾何の枠組みで何で上手く行くか分かる」
      • という話の展開は興奮した!
    • バネにしよう!

理解したことまとめ:

  • 情報幾何の必要性
    • 統計や機械学習の分野でアルゴリズムの正当性を言うには,それが収束することを示さなければならない.
    • 収束を説明するには,その対象を点としてとらえて,しかもその距離が定義されてなければならない.
    • しかし,その距離はパラメタに対して非線形になってしまう.
    • そこで微分幾何!
      • 微分幾何は非線形な距離,つまり曲がった空間を扱うための学問.
    • ...という流れ.
  • 情報量とかについての(感覚的な)理解
    • 情報量\log_2 \frac{1}{P}符号長l
    • エントロピー情報量の平均値(期待値) H(X) = \sum P_i \log_2 \frac{1}{P_i},つまり符号の平均的な長さ
      • 本当は,「理想的な」平均的な長さ.
    • 要素の種類は2^{l} = 2^{\log_2 \frac{1}{P}} 個.
    • エントロピーから,すべての要素の種類はだいたい2^{H(X)}個だと見積もることが出来る.
    • 当たり前のことだけど,情報量は符号長だ!という具体的な対応付けを意識できたのは嬉しいかもしれない.

前々から情報幾何は学びたかったのでその必要性についてはなんとなくは理解してたつもりだったけど,今なら言葉に出来る.そう思えるようになったのは結構大きい.あとは情報量についてちょっと血の通った認識が出来るようになったこと.

さて,統計もっと頑張るか.

Written by tkf

October 25, 2008 at 9:16 pm

Posted in 数学

Tagged with ,

3 Responses

Subscribe to comments with RSS.

  1. ナンクルさん初めまして!!
    いつも楽しくブログを拝見させていただいてます!

    不躾かもしれませんが少しお聞きしたいことがあります.
    僕はロボット工学研究室のB4なのですが今度甘利先生の「情報幾何の方法」を勉強する事になりました.
    ところが本を読んでも難解でさっぱりわかりません.(TT)
    教養時代には微積,線形代数,統計を勉強しましたが学部に入ってからは複素関数しか勉強していません.
    こんな僕ですが甘利先生の情報幾何を読むためにどのような勉強をしたら良いか,またお勧めの本などあれば教えていただければ幸いです.
    宜しくお願いします.

    ゆっこ

    November 28, 2008 at 4:53 pm

  2. ゆっこさん,はじめまして.

    こちらも,ロボット工学系の研究室のB4です.w
    お互い卒論頑張りましょう!!w

    甘利先生先生の「情報幾何の方法」は眺めた程度でしかありませんし,情報・統計・情報幾何の理解はほとんど出来ていない状態なので,以下の内容は「ふーん.そう思ってる人も居るんだ」程度に考えてください.

    > ころが本を読んでも難解でさっぱりわかりません.(TT)
    ...ということは,第一章,つまり微分幾何学の話が難しいと考えて良いでしょうか?微分幾何には,独特の(というか,数学的に抽象化されてるなあ,と感じる)微分形式を使った書き方があるので,それに慣れるのは大変でしょう.

    微分幾何を学ぶ方法ですが,自分の場合だと,解析力学との関係で勉強したので既に知識があったということが大きいかもしれません.
    解析力学との関係で微分幾何を学んだ時は,
    解析力学と微分形式 (深谷 賢治)
    http://www.amazon.co.jp/%E8%A7%A3%E6%9E%90%E5%8A%9B%E5%AD%A6%E3%81%A8%E5%BE%AE%E5%88%86%E5%BD%A2%E5%BC%8F-%E7%8F%BE%E4%BB%A3%E6%95%B0%E5%AD%A6%E3%81%B8%E3%81%AE%E5%85%A5%E9%96%80-%E6%B7%B1%E8%B0%B7-%E8%B3%A2%E6%B2%BB/dp/4000068849
    解析力学1 (山本 義隆)
    http://www.amazon.co.jp/%E8%A7%A3%E6%9E%90%E5%8A%9B%E5%AD%A61-%E6%9C%9D%E5%80%89%E7%89%A9%E7%90%86%E5%AD%A6%E5%A4%A7%E7%B3%BB-%E5%B1%B1%E6%9C%AC-%E7%BE%A9%E9%9A%86/dp/4254136714
    の順番で読みました.

    数学で物理を(武部 尚志)
    http://www.amazon.co.jp/%E6%95%B0%E5%AD%A6%E3%81%A7%E7%89%A9%E7%90%86%E3%82%92-%E6%AD%A6%E9%83%A8-%E5%B0%9A%E5%BF%97/dp/4535784698
    は,これを使って勉強したわけではありませんが,後半に微分幾何の説明が少し書いていて,「つかみ」には良いかもしれません.

    ただ,解析力学を勉強するわけでも無いのに物理との関係で学ぶのは意味が無いかもしれないですね.微分幾何だけの分かりやすい本もあると思います.

    例えば,この本も読んで勉強した訳ではありませんが,
    ベクトル解析からの幾何学入門 (千葉 逸人) 
    http://www18.ocn.ne.jp/~hchiba/books.htm
    は,この本で勉強したいなあと立ち読みしていて思いました.

    こんな感じでどうでしょうか.参考になれば幸いです!

    arataka

    November 28, 2008 at 10:08 pm

  3. ナンクルさんありがとうございます。m(__)m
    とても参考になりました!
    さっそく本を買って勉強しています。

    >微分幾何には,独特の(というか,数学的に抽象化されてるなあ,と感じる)微分形式を使った書き方があるので,それに慣れるのは大変でしょう.

    そうです、その通りです。(><)
    これ以降の章はパターン認識を勉強したこともあるのですんなり入ってきたのですが第一章を読むのが非常に苦しかったのです。

    ありがとうございました^^
    これからも楽しく拝見させていただきます。

    ゆっこ

    December 2, 2008 at 2:02 pm


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: