ナンクル力学系

学んだ事を書き連ねていこう。

Posts Tagged ‘neural network

統数研ワークショップ1日目メモ

with one comment

メモなので細かいことは気にしない.というか分からないことも多かったし.

Read the rest of this entry »

Written by tkf

December 13, 2008 at 12:11 am

ニューラルネット使い見習いの言い訳

leave a comment »

昨日寝る直前と今日の朝にニューラルネットを使って認知科学やロボティクスの分野を考える積極的な理由をやっと思いついたので書いてみる。

悩みが解決するとなんで悩んでたかすぐに忘れてしまうな、と思っていたら運良くブログに書いていた:

人の認知的な働きを理解するためにモデルを考えてロボット実験で検証する、ってのが今のラボでの研究の方法。問題となる認知的な働きは認知心理学から、モデルのアイディアは脳・神経学から引っ張って来る。このモデルというのが曲者。そもそも人工ニューラルネットワークで実験して出来る、ってことが脳でも起こっていると結論付けることの論理は飛躍しすぎていないか。当然そういう議論はされてきたはずで、それが分かっているならここまで不安にはならないんだろうな。

そうか、地続きじゃないから不安なんだ

「そういう議論はされてきて」なかったみたいで、ラボの人と話をしたりしたけれどその分野の人々はこの本質的な問いに答えを見つけきれずにいるみたいだった。だからと言って、ラボの人たちがそういう疑問から目をそむけたまま研究をしているわけではない(当然、か)ことも分かった。それでも自分自身の理由にまではならなかった。

AIは記号を仮定して世界を理解する(=認知の)モデルをつくろうとしたのでシンボルグラウディング問題などにぶちあった(この辺はちゃんと勉強してないので怪しすぎる)わけだけど、ニューラルネットを使えば記号の仮定は要らない。それは、要請(例えば教示信号)から創発するものだというのがニューラルネットを使ってこの問題を考える人たちの立場。

しかしもっとも重要なことは、記号を仮定しないで記号を扱える(ように見える)仕組みを作れる、という点では無くて、その仕組みが「何も出来ないニューラルネット」から「機能(例えば記号処理)を実現したニューラルネット」まで連続的に変化した結果として得られたものだ、ということだ。ラボの人たちとの会話に出てた話なのに、これを理解するまでなんでこんなに時間かかったんだろう。

科学的な方法なら、何が機能の実現に必要かを見極められなければいけない。例えば、ノックアウトマウスみたいな。機能が実現するまでの連続的なパス(ラボの人の口癖だなあ)があれば、それをがんばって見極められるかもしれない。初めから完成しているシステム(例えばAI)ではなく、ニューラルネットを使うのは未完成と完成が一つの道でつながってるからなんだ。

この連続的だ、ということを理解したもう一つのうれしさは、「GAじゃダメなの?」という問いにはっきり「ダメ」だと答えられるようになったこと。BPを使った勾配法は統計的回帰なので収束する論理的背景があるれけど、GAはいまいち理解出来ないから使いたくない、今まではそう答えてきた。確かに今でもそう思ってるんだけど、「GAで出来るならそれで良いじゃん」と言われると「くぅっ…」となってしまう。今なら、「学習が連続的じゃないからつかえない」と一言で言える。これはうれしい。

書いていて、穴があるなあと思い始めたのがまた悩みどころなんだけど、当分はこれが建前(笑)になりそう。

一応、穴と思った点:

  • 別に、学習中に連続じゃなくても、出来たやつを連続的に壊していけばいいじゃん。
  • だったらGAでもいいよね!(ちょw

悩みます。まだまだ悩みます。

twitterに書き捨てるだけじゃなくて良かったー。

追記

でも連続な(1本の)パスでかつ学習する方向に変化させるには勾配法だよね。言い換えればパラメタ空間にベクトル場張れる、みたいな。

Written by tkf

December 1, 2008 at 12:39 am

Posted in 研究日誌

Tagged with , ,

グラフを見て分かるNeural Networksシリーズ〜数式抜きで解説してみる〜

with one comment

ニューラルネットを数式抜きで解説してみようという画期的なシリーズを始めます!
多分すぐ終わるけどねw

ここで言うニューラルネットは人工ニューラルネット(ANN)のことで,生物の脳神経系のニューラルネットとはアイディアと名前を借りてきたくらいでほとんど関係は無いと思ってOKです.

ニューラルネットは下図のようなニューロンが結合したものです.

nn0

ニューラルネットで扱うニューロンはこんな感じ

  • Input x
    • ニューロンの入力です.
  • Weight W
    • ニューロンの結合荷重と呼ばれます.ここではweightと言うことにします.それぞれの入力信号をどれだけ増幅するかを決定します.負の値(入力の反転)や,0(結合していない)をとることもあります.
  • Bias b
    • ニューロンへ,ひたすら同じ値を入力します.
  • Internal Value u
    • biasと入力にweightを掛けた値の総和です.
  • Output y
    • ニューロンの出力です.
  • Activation :
    • internal value uからoutput yへの変換です.この変換のお陰で,ニューラルネットは多様な入出力関係を作り出すことが出来ます.

ニューロンの(というかactivation)の入出力関係を図で表すと下の図のようになります.

右下のグラフの波形が,左上の波形に,右上(一番大きい)のグラフの入出力関係を用いて変換されます.(グラフを書く関係上,入力と出力とでグラフが90度回転しているので注意してください.)

色の対応を見ると,

  • 0に近い入力は似た形を出力
  • 0から離れると1に張り付いた出力

になることが分かります.

neunet0

ニューラルネットに用いるactivationの入出力の非線形性はこんな感じ

ではまず,下のような一番簡単な入力が1つだけのニューラルネットワークを考えてみましょう!

nn1

入力が1つだけのニューロン

このweight wとbias bを変化させると多様な出力を得ることが出来ます.wとbの値を変化させてみたニューロンに,波形を入力した時の出力をグラフで表してみます.

一段目が入力で,二段目がweightを固定してbiasを動かしてみた例,三段目がbias固定でweightを動かしてみた例です.

  • biasを動かすと入力に反応したりしなくなったりする
    • → 入力に「着目」するかを選んでいるように見える!
  • weightを動かすと入力が伸縮している
    • → 入力にどの程度「着目」するかを決めているように見える!
neunet1

同じ入出力に対して、weightとbiasを変化させると出力はこのように変化する

だんだん面白くなってきました!

この多様な入出力関係を使うことで,様々な入出力関係を構成することが出来ます.組み合わせのもっとも簡単な例として下のような2入力,1出力,1ニューロンのニューラルネットを考えて見ます.

nn2

入力が2つのニューロン

このニューラルネットを使って実現されたand回路を見てみます.(ここでは,weightとbiasを(2.0, 2.0),-1.6としました.)

and回路とは,2つの入力が真ならば真を,それ以外なら偽を出力する(論理)回路です.全部書き下すと,

  • 真,真 ⇒ 真 ・・・ (真かつ真ならば真)
  • 真,偽 ⇒ 偽 ・・・ (真かつ偽ならば偽)
  • 偽,真 ⇒ 偽 ・・・ (偽かつ真ならば偽)
  • 偽,偽 ⇒ 偽 ・・・ (偽かつ偽ならば偽)

という関係です.ここでは,-1を偽,1を真とします.

二つの入力に今まで同様,波形を入力してみます.同じ入力だと面白くないので周期をずらしてみました.

二つの入力が共に1に近くなった時だけ,Outputが反応していることが分かると思います.

ニューラルネットのこんな簡単な仕組みで,入力からある情報(ここでは二つの入力が両方1に近い)を取り出せるなんて凄いね!感動して下さい.

neunet2

and回路を作ってみて、sin波のピークが合わさった時だけ反応するネットワークが出来た

今回は簡単な構造ニューラルネットしか扱わなかったし,ニューラルネットのメインのテーマである「学習」にも触れませんでした.さらに,入力と出力の関係だけでなく,過去の入力との関係を扱えるニューラルネットも存在します.

という訳で,かなりディープな世界になっています!

...疲れた.次回はないな.(ぉw

ついでに...

~数式を自重しないニューラルネットワーク入門~

今回扱ったニューラルネットの一つ,(一層)パーセプトロンは

y_i = \tanh( \sum_j w_{ij} x_j + b_i ) i \in {\cal O} j \in {\cal I}
ただし {\cal O}, {\cal I}は入出力空間

です.

数式のほうがわかりやすいね!!w

Written by tkf

November 29, 2008 at 3:41 am

グラフを見て分かるNeural Networksシリーズ〜グラフ描くためのpythonのコード〜

leave a comment »

neunet0

ニューラルネットワークで用いるアクティベーション関数の入出力の非線形性はこんな感じ

import pylab
import scipy
pylab.clf()

gx0, gx1, gx2 = 0.1, 0.3, 0.95
gy0, gy1, gy2 = 0.1, 0.3, 0.95

x = scipy.arange(-5,5,0.5)

a = pylab.axes([gx1, gy1, gx2-gx1, gy2-gy1])
pylab.plot(x,scipy.tanh(x))
pylab.axis((-5,5,-1.1,1.1))
pylab.setp(a,xticks=[],yticks=[])

t = scipy.arange(0,20,0.1)
x1 = 0.5 * scipy.sin(t)
x2 = 0.5 * scipy.sin(t) + 2.0
x3 = 0.5 * scipy.sin(t) + 4.0

a = pylab.axes([gx1, gy0, gx2-gx1, gy1-gy0])
pylab.plot(x1,t)
pylab.plot(x2,t)
pylab.plot(x3,t)
pylab.axis((-5,5,None,None))
pylab.setp(a,xticks=[-5,0,5],yticks=[])
pylab.xlabel("Input")

a = pylab.axes([gx0, gy1, gx1-gx0, gy2-gy1])
pylab.plot(t,scipy.tanh(x1))
pylab.plot(t,scipy.tanh(x2))
pylab.plot(t,scipy.tanh(x3))
pylab.axis((None,None,-1.1,1.1))
pylab.setp(a,xticks=[],yticks=[-1,0,1])
pylab.ylabel("Output")

#pylab.show()
pylab.savefig("neunet0.png")
neunet1

同じ入出力に対して、weightとbiasを変化させると出力はこのように変化する

import pylab
import scipy

t = scipy.arange(0,50,0.1)
x = scipy.sin(t)

NeuNets = [
    #( w , b )
    [ (0.5,-2.0),
      (0.5,-1.0),
      (0.5,-0.5),
      (0.5,-0.0) ],
    [ (10.,-2.0),
      (3.0,-2.0),
      (2.0,-2.0),
      (0.5,-2.0) ],
    ]
col_num=len(NeuNets)+1

pylab.clf()
pylab.subplot(col_num,1,1)
pylab.plot(t,x)
pylab.axis((None,None,-1,1))
pylab.ylabel("Input")

for i,NN in enumerate(NeuNets):
    pylab.subplot(col_num,1,i+2)
    for (w,b) in NN:
        pylab.plot(t,scipy.tanh(w*x+b),
                   label="w=%.01f b=%.01f"%(w,b))
        pylab.axis((None,None,-1,1))
        pylab.ylabel("Output")
    pylab.legend()

#pylab.show()
pylab.savefig("neunet1.png")
neunet2

and回路を作ってみて、sin波のピークが合わさった時だけ反応するネットワークが出来た

import pylab
import scipy

t  = scipy.arange(0,50,0.1)
x1 = scipy.sin(t)
x2 = scipy.sin(2*t)

pylab.clf()
pylab.subplot(2,1,1)
pylab.plot(t,x1,label="x1")
pylab.plot(t,x2,label="x2")
pylab.axis((None,None,-1,1))
pylab.ylabel("Input")
pylab.legend()

pylab.subplot(2,1,2)
pylab.plot(t,scipy.tanh( 2.0*(x1 + x2 - 0.8)))
pylab.axis((None,None,-1,1))
pylab.ylabel("Output")
pylab.legend()

#pylab.show()
pylab.savefig("neunet2.png")

Written by tkf

November 29, 2008 at 1:08 am

そうか、地続きじゃないから不安なんだ

with 2 comments

数学は定義・公理から定理まで、物理は原理・基礎方程式から法則まで理論的に地続きだ。そして地続きなことが科学的だ、と言える理由なんだと思う。

なら、今の自分の研究はどうだろう、と考えてみた。分からなかった。だから最近不安なんだ、と気づいた。分かっていたけどこうして書いてみるとなぜかすっきりする。

人の認知的な働きを理解するためにモデルを考えてロボット実験で検証する、ってのが今のラボでの研究の方法。問題となる認知的な働きは認知心理学から、モデルのアイディアは脳・神経学から引っ張って来る。このモデルというのが曲者。そもそも人工ニューラルネットワークで実験して出来る、ってことが脳でも起こっていると結論付けることの論理は飛躍しすぎていないか。当然そういう議論はされてきたはずで、それが分かっているならここまで不安にはならないんだろうな。

数学や物理にも○○予想、実験法則の形で論理の飛躍はある。脳と人工ニューラルネットワークの飛躍もそれに似たものなのか?前者(数学・物理)はそう期待するだけの理由があるのだけど、後者(脳科学)にはあるのか?

早く理由を見つければ不安はなくなる。

はず。

Written by tkf

November 8, 2008 at 1:29 pm

悲しいバグ

leave a comment »

ニューラルネットワークのアクティベーション(sigmoid関数やtanh関数など)は、ニューロンの出力からその微分値を計算出きるので、バックプロパゲーションをするプログラムではその関係式を使う。例えば、

u = \tanh (x)

du/dx = d \tanh (x) / dx = 1 - (\tanh x)^2 = 1-u^2

という関係。

自分で計算する時にはニューロンの出力はu、内部値はxと置くんだけど、ボスは逆。今書いてるプログラムはボスに合わせて書いているので、自分の記法では無い。そのせいでプログラムにバグが混入してた。微分値計算の関数に、xではなく慣れてる方のuを入れてしまっていた。気をつけてるつもりだったのに!

気づけてよかったけど何か悲しいし悔しい。

Written by tkf

October 31, 2008 at 3:08 am

Posted in 研究日誌, programming

Tagged with ,

もう少しで第一段階クリアかもしれない

leave a comment »

先週は色々と進展があった.ちょくちょく図を保存してたのでそれを貼ってみる.

まず,small-worldとかそいう大掛かりなことをやる前に定性的なニューラルネットの働きを理解しようと思ったので,2個のニューロンの性質を調べることにした.とりあえずNullclineでも書いてみようと思って,x軸だけ書いてみたのがこれ:

と,これ:

(とりあえず一個目のニューロンの荷重変数だけを動かしている.)

...なんかおかしい気がする.突起が立っているのは多分無限大に発散してるんだけど,こんなにいっぱい突起が出来るもんなのか?と思っていたら,式に現れているLogの中身の正負チェックをしていないだけだという,高校生並みのミスをしていることが発覚.情けなくなった.

そういう不具合は少しずつ消えていったものの,動かすパラメタが多すぎて手に負えなかったので過去の論文をあたると色々あった.もっと早く論文を探してれば良かったと思った.過去の研究者の努力を無駄にしてはいけないよな.という訳で,リミットサイクルとかが出せて大喜びした図:

3のニューロンでもリミットサイクル:

そしてカオス!:

ここまでは上の論文の内容をトレースしただけ.他に面白いアトラクタを出せないかと思って,ニューロンを9つに増やして,レギュラーネットワークっぽく組んで出したのがこれ:

ニューロンの時定数変えたりして頑張ったけど,けっきょく相互引き込みが起こって定数倍の周期軌道に落ち込んでいる感じ.

ここまでが先週.

今日もまた,ニューラルネットで面白いアトラクタの出し方の論文とかあさってみた.それで出来たのがこの図:

さっきの図と構造は同じだけど,ニューロンの時定数はそろえてある.その後,ランダムにニューロンをつなぎ変えてみた.ちょっとカオスっぽく見えない?かなあ.笑

明日もうちょっと頑張ろう.

そろそろ,研究テーマとの接点が見えてきたのであんまりブログに書かないほうが良い気がしてきたなあ.一応今はまだ「お勉強」色が強いので問題は無いはず.綺麗で面白い図とか,失敗して面白い図とか出来たら人に見せたいんだよな.あと,図を描くためのプログラム(↑はPythonで作った)も大丈夫そうな範囲で公開したい.書きなぐったスクリプトをちょっと整理してから,だなこれも.

Written by tkf

May 7, 2008 at 9:02 pm

Posted in 研究日誌

Tagged with