Posts Tagged ‘まとめ’
2008年に書き溜めたログを見直してみる
卒業研究やりながら取っていたメモを見直してみる。こういうアウトプット（？）も大事ではと思う。今年の目玉イベントは二回ほど壁にぶち当たったことなので、それに至る過程の復習になればと思いながら書く。
1月
- まだメモ取り始めてない。
- 研究室の異動の手続きとかしていた。前研究室の先生にはお世話になりましたm(_ _)m
2月
- メモ取り始めた。
- 具体的にどんな研究できるのかと思って修論読みに行ったり。
- 修士（推薦・院試・留学？）どうするかとか悩んでいたらしい。
- 新しい研究室の先生と面談。
- 新しい研究室の班を見学した。
- C言語使えないから練習だと思ってNN作ってみたりした。
- 注：この時点ではNN使う班に行くとは思って無かったｗ
3月
- メモがない。
- 今の研究室の班配属が決まる。埼玉のとある研究所に飛ばされるｗ
- 研究室始動日飲みで大失敗ｗ
4月
- RNNのプログラムを書いて勉強 > 面談とお話
- 研究室に置いてあった本からモロに影響を受けて幼児のU字発達とかに興味を持っていた。
- なぜか、スモールワールドとかの話とくっ付け始める。
- 今考えると発想がぶっとんでいるｗ
- boost graphの変態的なC++を使いはじめる。
- boost graph使ってNN作ってたらしい。（アホだろｗ） >道具に振り回された先週．休みの多い今週．
5月
- スモールワールドにしたRNNのリャプノフ指数（とリャプノフ次元）を求めるプログラムを書き始める。
- QR分解とか使った。
- CTRNNを力学系的に解析した論文を読んだり応用したりしたのは面白かった >もう少しで第一段階クリアかもしれない
- この論文に影響を受けて変な勾配法とか作って試したりした。
6月
- この辺で強化学習について勉強していたはずだけどログ残ってない。
- Open Dynamics Engineを使い始める。
- 隠れ状態ありの倒立振子の強化学習プログラムを作る。
- ここで、自分が今までBPTTだと思って導出していた式がRTRLだと気づく。少し悲しくなる。
- 強化学習をBPTT用で作り直す。
- ほとんどブログ書いてない。多分精神的にやばい兆候。
7月
- 強化学習にかなりてこずってる。
- 隠れ状態ありを最初からやるのはきつかも、ってことで角速度も加えてリカレントなしでやり始めたのはこの時期？
- 教示データのジェネレーションと学習のイテレーションは別にやらなきゃNNは学習しないよ、ってことを教わる。結構常識らしい。また悲しくなる。
- ブログ書いてない。多分精神的にやばい。
8月
- Open Dynamics Engineの使い方が間違っていたことに気づく。結構悲しくなる。
- この辺まで、パラメタの調整とかプログラムをちょこちょこ修正したりとかばっか。かわいそうだなこいつ。
- 隠れ状態無しの倒立振子の強化学習に成功。
- ここまでで何回もNN作り直してるっぽいのに、また新しく作っているな。
- NNのプログラムに汎用性もたせるための工夫とかやり始めたｗ
- ロボットシミュレータを作り始める。
- 色々新しいモデルを考え始める。どれも上手くいかないことに気づく。今考えると当たり前ｗ
- ブログ書いてない。多分精神的にそうとうやばい。
9月
- 強化学習じゃない他のテーマでいけないかとか考え始める。
- Python/C APIでNNを作るという変態的なことを始めた。
- ワーキングメモリーのモデルできないかな、とか考え始める。
- NNのジェネレータをPythonで書くとかド変態なことをした。
10月：壁①
- 自分の考えたテーマで卒論を書くことをあきらめた。←壁①
- この時点での反省はこの辺にまとめた > 卒論半ばの反省会
- ボスと一緒に研究する感じになった。
- 俺はプログラム担当に。プログラム的には色々と変なことしたけど今年最後のNNは純Cだったとさｗ
- 色々と本を読んだりする時間をとるようにし始めた。楽しい！
- ラボのセミナーに（再）参加し始める。
11月：壁②
- なぜか俺の書いたプログラムは性能が出なかったので、もとからあるプログラムで行くことに。（あれ？ｗ
- ラボでのお茶会（雑談しながらコーヒーを飲む会）に参加し始める。
- この辺から、モデル屋さんの立場ってどうなんだとか悩み始める。←壁②
この辺に書いた > ニューラルネット使い見習いの言い訳 / 立ち止まって考えないと。 / そうか、地続きじゃないから不安なんだ / 文句があるのでまとめてみよう - あとラボでの人間関係とかねw ←壁②’
12月
- 実験大詰め。現時点で大体データそろった。ボス曰く、「まあこれで卒論は書けるね。」
- 今月あんまりメモとってないな。（ぉぃ
- 総数研ワークショップに行ってきた > 1日目メモ / 2日目メモ
- ワークショップ素晴らしい。もっとじゃんじゃん参加すべきだな。
—
振り返ってみると、
- 何かに没頭して抜け出せなくなるという自分の性格が表れたパターンが前半
- まわりを見始めたらボコボコ壁にぶつかり始めたパターンが後半
という感じ。後半のパターンが多分正しい。研究が上手くいかないと結構落ち込むけどメモやブログで何を積み重ねてきたが分かるようにしてると案外大丈夫かもとか思ったり。今年はChangeLogでメモ取ってたけど、左のTabインデントがもったいないなと最近思う。来年はrstでとるかな。
プログラミングスキルは結構成長した年。
研究者的にはそれがどんなもんかある程度分かってきた年。
コーヒー的には充実した年。
そんな感じの2008年でした！
PRMLの1～5章をとても荒めに理解した
一応NNについて書いている5章まで読んだ。いつも、章の後半がきつい。ベイジアンっぽくなるからというより集中力が切れてるからのような。
とりあえず、理解した（というか頭に残っている）流れはとても荒いけど、過程大切なので書く：
- 統計的に機械学習を考えるときは、尤度
の最大化として考えようね。（1章）
を正規分布とすると、二乗誤差を誤差関数とみて最小化と等価だね。これが回帰！（１，３，５章）
を正規分布とすると正規化項に。（１，５章）
を多項分布とすると、クロスエントロピー（またはKLダイバージェンス）を誤差関数とみて最小化と等価だね。これがクラス分類！（４，５章）
もうちょっと細かく思い出そうとすると、本を開いて読み直してしまいそうだ。全部確率分布で統一的に理解できる、という感覚に慣れてきたので今のところは満足（しちゃだめだけどｗ）。全然ベイジアンしてねー。笑
softmax関数を出力層に使ったNNで誤差関数をKLダイバージェンスにする論文に出会い、なぜって思った時の疑問が解消されたのはうれしかった。
ラボに戻ったら、誤差関数変えてＮＮ作ってみたりしたい。
実家居る間に、EMとかもやりたい。
卒論概要書かいてな(ry
数式の使えるWebサービスまとめ
もっとあるかもしれないけど，知ってるのはこんな感じ．もっと使えるor変なサービスあったら知りたい！ｗ
ブログ
自分のサーバにインストールして使うタイプじゃなくて，サインアップするだけで使えるやつ．
- WordPress.com
- このブログで使ってるサービス．数式使える．
- こんな感じ→
- アンチエイリアスかかってて綺麗だと思う．サイトのデザイン変えたら，背景色や数式の色をちゃんと変えてくれる．
- はてな
- ふちがギザギザしているのでちょっと好きじゃない．
- mimeTeXを使っている
- 実際のブログだとこんな感じ
- プレスナイン
- WordPressが使えるサービス．
- 数式使えるようにするには設定とか必要？
WikiWiki
画像を生成できるサービス
大きく分けて，画像を生成するからダウンロードして使ってよ，と直接リンクして良いよ，ってのがある．
- TeXclip
- TeXのハイライトをしてくれるので，書きやすい．undo/redo出来る．
- EPSでダウンロード出来る．
- 数式の色が選べる（たくさん）．
- 物理のかぎしっぽ数式画像作成ツール
- EPSでダウンロード出来る．
- 数式の色が選べる（4色のみ）．
- BrEdiMa
- Webアプリ（javascriptライブラリ？）なので厳密にはサービスではない．
- TeX記法が分からなくても書ける．
- デモページで数式画像が出力される．
- Greasemonkey としてはてなダイアリーなどでも利用出来るらしい．
- リアルタイム生成．
- Formula
- 数式をブログに貼り付けて共有するサービスだそうです．
- 数式にコメントやタグがつけられる．こんな感じ．
- 生成した画像は直接リンクしてOK．
- リアルタイム生成．
- Equation Editor
- Google Gadgets．はてダに貼り付けられるらしい．
- マウスでクリックと，直接TeXで数式を打ち込む方式両方使える．
- リアルタイム生成．
- LaTeX Equation Editor for the Internet
- 生成した画像は直接リンクしてOK．
- マウスでクリックと，直接TeXで数式を打ち込む方式両方使える．スタイルとか細かく選べて，充実している感じ．
- リアルタイム生成．
- .gif, .png, .pdf （ん？）, .swf （んん？！） の形式で出力．
その他
—
参考
