ナンクル力学系

学んだ事を書き連ねていこう。

Posts Tagged ‘まとめ

2008年に書き溜めたログを見直してみる

leave a comment »

卒業研究やりながら取っていたメモを見直してみる。こういうアウトプット(?)も大事ではと思う。今年の目玉イベントは二回ほど壁にぶち当たったことなので、それに至る過程の復習になればと思いながら書く。

1月

  • まだメモ取り始めてない。
  • 研究室の異動の手続きとかしていた。前研究室の先生にはお世話になりましたm(_ _)m

2月

  • メモ取り始めた。
  • 具体的にどんな研究できるのかと思って修論読みに行ったり。
  • 修士(推薦・院試・留学?)どうするかとか悩んでいたらしい。
  • 新しい研究室の先生と面談。
  • 新しい研究室の班を見学した。
  • C言語使えないから練習だと思ってNN作ってみたりした。
  • 注:この時点ではNN使う班に行くとは思って無かったw

3月

  • メモがない。
  • 今の研究室の班配属が決まる。埼玉のとある研究所に飛ばされるw
  • 研究室始動日飲みで大失敗w

4月

  • RNNのプログラムを書いて勉強 > 面談とお話
  • 研究室に置いてあった本からモロに影響を受けて幼児のU字発達とかに興味を持っていた。
  • なぜか、スモールワールドとかの話とくっ付け始める。
  • 今考えると発想がぶっとんでいるw
  • boost graphの変態的なC++を使いはじめる。
  • boost graph使ってNN作ってたらしい。(アホだろw) >道具に振り回された先週.休みの多い今週.

5月

  • スモールワールドにしたRNNのリャプノフ指数(とリャプノフ次元)を求めるプログラムを書き始める。
  • QR分解とか使った。
  • CTRNNを力学系的に解析した論文を読んだり応用したりしたのは面白かった >もう少しで第一段階クリアかもしれない
  • この論文に影響を受けて変な勾配法とか作って試したりした。

6月

  • この辺で強化学習について勉強していたはずだけどログ残ってない。
  • Open Dynamics Engineを使い始める。
  • 隠れ状態ありの倒立振子の強化学習プログラムを作る。
  • ここで、自分が今までBPTTだと思って導出していた式がRTRLだと気づく。少し悲しくなる。
  • 強化学習をBPTT用で作り直す。
  • ほとんどブログ書いてない。多分精神的にやばい兆候。

7月

  • 強化学習にかなりてこずってる。
  • 隠れ状態ありを最初からやるのはきつかも、ってことで角速度も加えてリカレントなしでやり始めたのはこの時期?
  • 教示データのジェネレーションと学習のイテレーションは別にやらなきゃNNは学習しないよ、ってことを教わる。結構常識らしい。また悲しくなる。
  • ブログ書いてない。多分精神的にやばい。

8月

  • Open Dynamics Engineの使い方が間違っていたことに気づく。結構悲しくなる。
  • この辺まで、パラメタの調整とかプログラムをちょこちょこ修正したりとかばっか。かわいそうだなこいつ。
  • 隠れ状態無しの倒立振子の強化学習に成功。
  • ここまでで何回もNN作り直してるっぽいのに、また新しく作っているな。
  • NNのプログラムに汎用性もたせるための工夫とかやり始めたw
  • ロボットシミュレータを作り始める。
  • 色々新しいモデルを考え始める。どれも上手くいかないことに気づく。今考えると当たり前w
  • ブログ書いてない。多分精神的にそうとうやばい。

9月

  • 強化学習じゃない他のテーマでいけないかとか考え始める。
  • Python/C APIでNNを作るという変態的なことを始めた。
  • ワーキングメモリーのモデルできないかな、とか考え始める。
  • NNのジェネレータをPythonで書くとかド変態なことをした。

10月:壁①

  • 自分の考えたテーマで卒論を書くことをあきらめた。←壁①
  • この時点での反省はこの辺にまとめた >  卒論半ばの反省会
  • ボスと一緒に研究する感じになった。
  • 俺はプログラム担当に。プログラム的には色々と変なことしたけど今年最後のNNは純Cだったとさw
  • 色々と本を読んだりする時間をとるようにし始めた。楽しい!
  • ラボのセミナーに(再)参加し始める。

11月:壁②

12月

  • 実験大詰め。現時点で大体データそろった。ボス曰く、「まあこれで卒論は書けるね。」
  • 今月あんまりメモとってないな。(ぉぃ
  • 総数研ワークショップに行ってきた > 1日目メモ / 2日目メモ
  • ワークショップ素晴らしい。もっとじゃんじゃん参加すべきだな。

振り返ってみると、

  • 何かに没頭して抜け出せなくなるという自分の性格が表れたパターンが前半
  • まわりを見始めたらボコボコ壁にぶつかり始めたパターンが後半

という感じ。後半のパターンが多分正しい。研究が上手くいかないと結構落ち込むけどメモやブログで何を積み重ねてきたが分かるようにしてると案外大丈夫かもとか思ったり。今年はChangeLogでメモ取ってたけど、左のTabインデントがもったいないなと最近思う。来年はrstでとるかな。

プログラミングスキルは結構成長した年。
研究者的にはそれがどんなもんかある程度分かってきた年。
コーヒー的には充実した年。
そんな感じの2008年でした!

Advertisements

Written by tkf

December 30, 2008 at 2:12 pm

Posted in 研究日誌

Tagged with

PRMLの1~5章をとても荒めに理解した

leave a comment »

一応NNについて書いている5章まで読んだ。いつも、章の後半がきつい。ベイジアンっぽくなるからというより集中力が切れてるからのような。

とりあえず、理解した(というか頭に残っている)流れはとても荒いけど、過程大切なので書く:

  • 統計的に機械学習を考えるときは、尤度p(w|x,t) \propto p(t|x,w) p(w) の最大化として考えようね。(1章)
  • p(t|x,w) を正規分布とすると、二乗誤差を誤差関数とみて最小化と等価だね。これが回帰!(1,3,5章)
  • p(w)を正規分布とすると正規化項に。(1,5章)
  • p(t|x,w)を多項分布とすると、クロスエントロピー(またはKLダイバージェンス)を誤差関数とみて最小化と等価だね。これがクラス分類!(4,5章)

もうちょっと細かく思い出そうとすると、本を開いて読み直してしまいそうだ。全部確率分布で統一的に理解できる、という感覚に慣れてきたので今のところは満足(しちゃだめだけどw)。全然ベイジアンしてねー。笑

softmax関数を出力層に使ったNNで誤差関数をKLダイバージェンスにする論文に出会い、なぜって思った時の疑問が解消されたのはうれしかった。

ラボに戻ったら、誤差関数変えてNN作ってみたりしたい。

実家居る間に、EMとかもやりたい。

卒論概要書かいてな(ry

Written by tkf

December 29, 2008 at 9:39 pm

Posted in 数学

Tagged with , ,

数式の使えるWebサービスまとめ

with one comment

もっとあるかもしれないけど,知ってるのはこんな感じ.もっと使えるor変なサービスあったら知りたい!w

ブログ

自分のサーバにインストールして使うタイプじゃなくて,サインアップするだけで使えるやつ.

  • WordPress.com
    • このブログで使ってるサービス.数式使える
    • こんな感じ→{}^t \hat M \hat \Omega \hat M = \hat \Omega
    • アンチエイリアスかかってて綺麗だと思う.サイトのデザイン変えたら,背景色や数式の色をちゃんと変えてくれる.
  • はてな
  • プレスナイン
    • WordPressが使えるサービス.
    • 数式使えるようにするには設定とか必要?

WikiWiki

画像を生成できるサービス

大きく分けて,画像を生成するからダウンロードして使ってよ,と直接リンクして良いよ,ってのがある.

  • TeXclip
    • TeXのハイライトをしてくれるので,書きやすい.undo/redo出来る.
    • EPSでダウンロード出来る.
    • 数式の色が選べる(たくさん).
  • 物理のかぎしっぽ数式画像作成ツール

    • EPSでダウンロード出来る.
    • 数式の色が選べる(4色のみ).
  • BrEdiMa
    • Webアプリ(javascriptライブラリ?)なので厳密にはサービスではない.
    • TeX記法が分からなくても書ける.
    • デモページで数式画像が出力される.
    • Greasemonkey としてはてなダイアリーなどでも利用出来るらしい.
    • リアルタイム生成.
  • Formula
  • Equation Editor
    • Google Gadgets.はてダに貼り付けられるらしい.
    • マウスでクリックと,直接TeXで数式を打ち込む方式両方使える.
    • リアルタイム生成.
  • LaTeX Equation Editor for the Internet
    • 生成した画像は直接リンクしてOK.
    • マウスでクリックと,直接TeXで数式を打ち込む方式両方使える.スタイルとか細かく選べて,充実している感じ.
    • リアルタイム生成.
    • .gif, .png, .pdf (ん?), .swf (んん?!) の形式で出力.

その他

  • NoteSake
    • 数式使える
    • Webページにして公開することは出来ない.
    • .pdf と .doc でダウンロード化.
    • グループで使ったり,ノートを共有したり出来る.

参考

Written by tkf

December 20, 2008 at 10:41 pm

Posted in Uncategorized

Tagged with , ,

ルベーグ積分21/30講

leave a comment »

ルベーグ積分30講(志賀浩二)の第21講,\Re^k 上ではルベーグ積分とリーマン積分が同じ値をとるよ,というところまで読んだ.

学習記録と目次を足して二で割ったようなやつ:

Read the rest of this entry »

Written by tkf

November 4, 2008 at 9:22 am

Posted in 数学

Tagged with ,

読みたい本まとめ

leave a comment »

勉強したいこと、読みたい本が溜まりつつあるので急いで整理する。

目に入った順:

  • ルベーグ積分30講(志賀浩二)
    • イメージを大切にしている感じ。
    • 厳密さも、今の自分の能力・時間とかを睨むとこれくらいが良い気がする。
    • 1構読むのにそんな時間はかからない感じ。
  • Pattern Recognition and Machine Learning (Christopher M. Bishop)
    • ニューラルネットやるなら、機械学習の基礎が分かってないとダメだろJK、ってことで読む本。アマゾンから届いた。
    • 高いし重い。
    • まとまった時間で読みたい。
  • Rethinking Innateness (Jeffrey L. Elman, et al)
    • ラボのチームリーダー(ボスのボス)から、「この分野のこと知りたいならまずこの本読むと良いかも。でもこの時期に読んだらアイディア溢れてきて卒論書けないかもねw」と言われた本。
    • 数式少ない><
    • じっくり読まなきゃダメっぽい。腐った英語能力には良い刺激かも。
  • 数理統計学(稲垣宣生)
    • 途中まで読んだ。検定あたりまで。検定というネーミングがなぜか嫌で興味を失いつつあるw。っていっちゃだめだ!
    • 途切れても良いからまとまった時間で読んで、あとで一気に復習する感じかな。
  • プログラミングのための確率統計(仮)
    • 第一部を飛ばし読みしたのでそれの復習。あと後半も。
    • 簡単に読めるので、急いで今読まなくても良いかも?
  • パターン認識(石井健一郎、他)
    • 一応全部読んだけど、やっぱり復習大事。
    • 。。。って言いつつ読まない気がするw。
    • 今のところ優先度は低いかな?
  • 情報量統計学(坂元慶行、他)
    • 数理統計学よりこっちのほうが自分の興味にあってるかもしれない。
  • 情報幾何の方法(甘利俊一、長岡浩司)
    • いつになったら読めるのやらw
  • 神経回路網の数理(甘利俊一)
    • そういやこの本も読みたいな〜と思ってた。
    • 前の研究室出ていくときに、先生からもらった思い出の品。でもまだ読んでない。
    • なんかエピソード思い出したらよまなくちゃ!と思ってきたw
    • しかし優先度は低めで(ぇ

読みたい本多すぎだw

複数のタスクを同時実行することは不得意中の不得意なので、どうにかしないとな。今まででこんないっぺんに本沢山読んだことないし。

あと、今の研究がチーム戦でしかも締切りが結構ヤバい状況なのであんまり時間無いんだよな。

とりあえず、

  • 最優先で
    • Pattern Recognition and Machine Learning
      • 勉強する時間は全部こいつに当てる。
    • Rethinking Innateness
      • 細切れの時間でも良いから読む。継続させる。
    • ルベーグ積分30講
      • 寝る前とか半端な時間に1構読む、って感じで。
  • どれか読み終わったら
    • 数理統計学 か 情報量統計学
    • ↑二つどっちかの後、読めそうなら 情報幾何の方法
  • 保留
    • プログラミングのための確率統計(仮) の復習
    • パターン認識 の復習
    • 神経回路網の数理

という作戦で!

Written by tkf

October 21, 2008 at 8:28 am

カオスとか非線形力学系を一人で学ぶための本まとめ

with 3 comments

カオスや非線形力学について,数学科や物理科以外の学生でも(もちろん数学科や物理科の学生さんも)一人で学べるような本を紹介します.また,最後に「こう読めば良いんじゃないか」という順番も示します.

ちなみに私は工学部の人なので,そんなに数学や物理に特化した授業を受けたわけではないです.参考までに,私がその本を読んだ時期も書いておきます.

[1] Kathleen T. Alligood, Tim Sauer, James A. Yorke,津田 一郎 訳 :カオス 第1巻 – 力学系入門カオス 第2巻 – 力学系入門カオス 第3巻 – 力学系入門
原書 :Chaos: An Introduction to Dynamical Systems

  • 必要な知識 : 微分積分,線形代数(と,その微分方程式との関係),微分方程式
  • 読んだ時期 : 4年の春(というか昨日読み終わった)

カオスの本は数学科や物理科でしか習わないような位相やルベーグ積分の知識などを要求されるような高度な本か,数式がほとんどなくて,説明も適当で,ストレンジアトラクタやフラクタルの図を見せて「ほら綺麗でしょ」という本が多いのではと思います.そんな本にイライラしている人にぴったりな本です.

数学科の人でも満足できる定理の証明があり,その他の学科の人でもついて行けるようにたくさんの例を示してる本はこの本以外に見たことがありません.また,より高度に数学的な内容を考えることが出来る「挑戦問題」と,実際の物理現象への応用を説明してくれる「研究室訪問」が各章末にあり,”何度でも美味しい”本だと思います.訳本は3分冊で分量も多く,最初は定理の証明はしない,などの読み方に工夫が必要になるかもしれません.

訳本は2007年出版なので比較的新しい本なのかと思ってましたが,原書は1997年出版なので10年以上も前の本ということになります.力学系が学部の正式なカリキュラムとして取り入れられている大学は少ないと思いますが,それでも日本のカオスなど力学系についての教育が10年も遅れてるのと思うと恐ろしくなります.一つの本でそこまで言うのは言いすぎですが,それくらい良い本だと思います.

[2] Steven H. Strogatz :Nonlinear Dynamics and Chaos: With Applications to Physics, Biology, Chemistry, and Engineering

  • 必要な知識 :微分方程式が解ければOK,あとちょっと線形代数
  • 読んだ時期 : 1年後半から2年冬くらい(忙しくて読んだり読まなかったりしてたので時間がかかった)

普通の微分方程式の授業しか受けたことが無ければ,微分方程式というのは解くものだ,と思っているでしょう.しかし,この本(の前半)は解かなくても分かる微分方程式の性質を調べます.難しい数式は一切出てきませんが,数式はいっぱい出てきます.その簡単な数式で現象がそこまで理解出来るのか,非線形力学系やカオスについてそこまで議論できるのか,という驚きにあふれています.実際,先の「カオス 力学系入門」[1]で取り上げられている話題のほとんどはこの本で網羅されていますし,この本にはあるのに[1]には無い話題もあります.(「飛び道具」的な感じはしますが.それも楽しいです.)ただ,定理の証明などは省かれている部分も多く,研究などで使う応用のためには追加調査が要るでしょう.

まずはカオスと非線形力学について触れよう,くいらいの気持ちで読めばそのほとんどが分かる,そいう本です.

[3] 藪野浩司 :工学のための非線形解析入門, 臨時別冊・数理科学2004年6月

  • 必要な知識 : 微分方程式が解ける
  • 読んだ時期 : 2年の秋

先の二つの本はカオスや非線形力学を網羅的に扱おうとした本ですが,この本は逆に工学に現れる非線形現象をどう解析するか?に的を絞っています.しかし,扱っているモデルはバネや振り子など,微分方程式のモデルではなじみのあるものだと思うので工学系でなくても読みやすい本だと思います.

この本が素晴らしいのは,無次元化という話題を詳細に扱っていることです.無次元化は現象を理解するのに大切な方法ですが,これを扱っている本はあまりありません.私も,先のStrogatzの本で初めて知りましたが,この本はその知識をより体系的にまとめてくれるのに役立ちました.

また,非線形現象の解析のために中心多様体理論,ベクトル場の標準形,摂動法,多重尺度法などかなり高度な内容を扱っていますが,定理の証明などは無く,それはどの条件の時に使えるか?などに言及することで,とにかく沢山の例を挙げています.定理は良いから,沢山の例を見たい,解きたい,という人にぴったりな本です.すぐにでも応用にも使えそうな,実戦向けの本です.


[4] 笠原 晧司 :新微分方程式対話

  • 必要な知識 : 微分方程式,線形代数
  • 読んだ時期 : 1年夏(だったかな...もはや忘れた)

この本はタイトルの通り,微分方程式の本です.カオスや非線形力学系という言葉は出てきません.しかし,普通の微分方程式の授業と非線形力学系の橋渡しをするのに丁度良い本です.この本で扱われている内容はカオスや力学系の本にも書かれていますが,端折られている場合が多いように感じます.まじめに非線形力学系の本を読もうと思ったら,その前にこの本をさらっと読むと良いと思います.学生と教授との対話形式(なぜか大阪弁?)なので,かなり軽く読めると思いますが,内容は結構濃いです.

この本ではかなり線形代数の知識が使われています.使われている知識を網羅した読みやすい本に,道具としての線型代数があります.私が「微分方程式対話」とそれに必要な「道具としての線型代数」の主な話題を短くまとめたテキスト「微分方程式の安定性」を公開してるので,それが参考になるかもしれません.(今パッとみたら結構文章が酷いですが.笑)

[5] 千葉 逸人 :解くための微分方程式と力学系,月刊 理系への数学で連載中(2008年5月現在)

  • 必要な知識 : 線形代数
  • 読んだ時期 : 最近,いくつかの月の記事を読みました

単行本化したら絶対買おうと思っている本です.簡単な微分方程式からスタートしますが,後半からは著者の千葉さんが今研究されている話題のような,新しいトピックにも触れています.非線形微分方程式の解の様子を理解するための高度な方法を知りたいならこのテキストを読むべきでしょう.沢山の例があり,適用方法も分かります.定理の証明が無い部分もありますが,それは単行本化される時に補完されることを願います.

ただ,限られた紙面での連載のためか,時々扱っている数学公式が難しい(少なくとも私は知りませんでした)場合があるので,自力での追加調査が必要になると思います.

本の読み方・読む順序

最終的には[1]を読むことを目標にするのが良いと思います.しかし,数学が得意でなければ難しいと思うので,そういう人はまず[2]を読むのが良いかもしれません.しかし,[2]は訳本が無いので英語が苦手な人には厳しいかもしれません.そういう人は,[4]か[5]で微分方程式と力学系の関係をさらっと抑えてから[1]を読めば良いと思います.

また,[1]は長いので,微分方程式の内容が理解できてる人はまず第2巻をさらっと読むことをお勧めします.そうすれば,一見つまらない写像の話に1巻全体を割く理由が分かって読みやすくなる可能性があるからです.(これは私がそう読んで,良かったと思えたからです.最初に1巻が手に入らなかった,という理由があったのですが.)

[3]-[5]は副読本として,それぞれのトピックを補強するのに役立つでしょう.

まとめると,

  • [2]→(微分方程式について補強が必要なら[4] or [5])→[1]
  • [3]は無次元化についての補足か,[5]で出た非線形微分方程式の解析方法をさらに応用するために使う.

という流れから,自分の数学・英語の力に応じて選択という感じです.あとは実際に本を書店か図書館で見たときのフィーリングでしょう.それが一番大事ですが.

この記事はずっと探していた内容でもあり,ずっと書きたかった内容でもあります.

「カオス」や「非線形」という言葉は理工学系の大学生なら一度は聞いたことがある言葉ではないでしょうか.書店に行っても沢山の啓蒙書が並んでいます.私も大学一年の時にSYNC(ストロガッツ著)という本を読み,非線形力学の可能性に興奮した一人です.

しかし,私は工学部の学生だったので普通のカオスの本や力学系の本を読むのは大変でした.それでも必要な知識を手に入れるために色々な本を読んだり,探したりしていて見つけたのが上で紹介した本です.この記事が私と同じような興味を持ちながら,情報が少ないためにどうしたら良いか分からないという人の役にたったら良いなと思います.

Written by tkf

May 6, 2008 at 2:55 pm