ナンクル力学系

学んだ事を書き連ねていこう。

PRMLの1~5章をとても荒めに理解した

leave a comment »

一応NNについて書いている5章まで読んだ。いつも、章の後半がきつい。ベイジアンっぽくなるからというより集中力が切れてるからのような。

とりあえず、理解した(というか頭に残っている)流れはとても荒いけど、過程大切なので書く:

  • 統計的に機械学習を考えるときは、尤度p(w|x,t) \propto p(t|x,w) p(w) の最大化として考えようね。(1章)
  • p(t|x,w) を正規分布とすると、二乗誤差を誤差関数とみて最小化と等価だね。これが回帰!(1,3,5章)
  • p(w)を正規分布とすると正規化項に。(1,5章)
  • p(t|x,w)を多項分布とすると、クロスエントロピー(またはKLダイバージェンス)を誤差関数とみて最小化と等価だね。これがクラス分類!(4,5章)

もうちょっと細かく思い出そうとすると、本を開いて読み直してしまいそうだ。全部確率分布で統一的に理解できる、という感覚に慣れてきたので今のところは満足(しちゃだめだけどw)。全然ベイジアンしてねー。笑

softmax関数を出力層に使ったNNで誤差関数をKLダイバージェンスにする論文に出会い、なぜって思った時の疑問が解消されたのはうれしかった。

ラボに戻ったら、誤差関数変えてNN作ってみたりしたい。

実家居る間に、EMとかもやりたい。

卒論概要書かいてな(ry

Advertisements

Written by tkf

December 29, 2008 at 9:39 pm

Posted in 数学

Tagged with , ,

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: