よろしくお願いします！！

• RailGunのドキュメントへようこそ!
• Welcome to RailGun’s documentation!
• tkf / railgun / overview — Bitbucket

• a[i*N+j]で書くよりa[i][j]で書くほうが速いかｗ ってか当たり前かな．毎回i*Nやるの無駄だし． — Twitter / tkf: a[i*N+j]で書くよりa[i][j]で書くほうが …

と思ってたけど，

• ポインタ参照(*)とアドレス取得(&)って四則演算くらい計算コストかかるもんなんだろうか — Twitter / tkf: ポインタ参照(*)とアドレス取得(&)って四則演算く …

とか良くわからないなと思ってたら

• @tkf CPU内部の四則演算より、メモリアクセスの方が、一般に時間はかかるでしょう。キャッシュ (先読み）メモリがあるのは、そのためでしょう。 — Twitter / hsugawa: @tkf CPU内部の四則演算より、メモリアクセスの …

と教えてもらって，一筋縄な問題じゃなさそうだと思ったので．

サンプルで作ったのはのRNN(recurrent neural network)． ソースは gist: 267098 – GitHub にある．結構キモいソースだと思うw．

1次元配列での実装(a[i*Nj+j])を rnn_ca1d.c に， 2次元配列での実装(a[i][j])を rnn_ca2d.c に書いてある．

rnn_ca1d.c は配列にアクセスするためのマクロを:

#define Wcc(i,j) self->wcc[ self->num_c*(i) + (j) ]
#define Bc(i)    self->bc[(i)]
#define Ec(i)    self->ec[(i)]
#define Uc(i,j)  self->uc[ self->num_c*(i) + (j) ]
#define Xc(i,j)  self->xc[ self->num_c*(i) + (j) ]

で書いていて， rnn_ca2d.c は:

#define Wcc(i,j) self->wcc[i][j]
#define Bc(i)    self->bc[i]
#define Ec(i)    self->ec[i]
#define Uc(i,j)  self->uc[i][j]
#define Xc(i,j)  self->xc[i][j]

で書いてある．あとの内容はほとんど同じ．

rnn_ca1d.c と rnn_ca2d.c を gcc と icc でそれぞれ -O2(デフォルトなはず) と -O3 オプションをつけてコンパイル．そして，実行時間を計ってみたのが以下:

tkf% make runtest 2> runtest.txt
for i in  rnn_ca1d-gcc-O2 rnn_ca1d-gcc-O3 rnn_ca1d-icc-O2 rnn_ca1d-icc-O3 rnn_ca
2d-gcc-O2 rnn_ca2d-gcc-O3 rnn_ca2d-icc-O2 rnn_ca2d-icc-O3; \
        do \
        printf "%s %d %d %d " \
        ./$i 30 1000 300 1>&2; \
        time ./$i 30 1000 300; \
        done
tkf% cat runtest.txt
./rnn_ca1d-gcc-O2 30 1000 300 1.65user 0.00system 0:01.65elapsed 99%CPU (0avgtex
t+0avgdata 0maxresident)k
0inputs+0outputs (0major+272minor)pagefaults 0swaps
./rnn_ca1d-gcc-O3 30 1000 300 1.56user 0.00system 0:01.57elapsed 99%CPU (0avgtext+0avgdata 0maxresident)k
(略)

結果が分かりにくいので整形してみる:

tkf% sed -e "N; s/\n//" runtest.txt | cut -f1,5 -d' '
./rnn_ca1d-gcc-O2 1.64user
./rnn_ca1d-gcc-O3 1.56user
./rnn_ca1d-icc-O2 0.80user
./rnn_ca1d-icc-O3 0.80user
./rnn_ca2d-gcc-O2 1.48user
./rnn_ca2d-gcc-O3 2.62user
./rnn_ca2d-icc-O2 1.07user
./rnn_ca2d-icc-O3 2.23user

分かることは，

• icc で1次元配列(a[i*Nj+j])で実装したバージョンが一番速い．
• 2次元配列(a[i][j])での実装は，gcc/iccのどちらでも -O3 の パフォーマンスが落ちる．不思議．
• gcc -O2 だと，2次元配列(a[i][j])のほうが若干速い．
• ※ 3回試してほとんど同じ結果だった．

ちなみに， make の時に出たメッセージを見ると2次元配列(a[i][j])での実装を-O3で コンパイルするとベクトル化されてるループが少ないことが分かる:

tkf% make all
gcc -lm -O2 rnn_ca1d.c -o rnn_ca1d-gcc-O2
gcc -lm -O3 rnn_ca1d.c -o rnn_ca1d-gcc-O3
icc -vec-report1 -O2 rnn_ca1d.c -o rnn_ca1d-icc-O2
rnn_ca1d.c(65): (col. 3) remark: ループがベクトル化されました。.
rnn_ca1d.c(67): (col. 5) remark: ループがベクトル化されました。.
rnn_ca1d.c(67): (col. 5) remark: ループがベクトル化されました。.
rnn_ca1d.c(20): (col. 3) remark: ループがベクトル化されました。.
rnn_ca1d.c(39): (col. 5) remark: ループがベクトル化されました。.
icc -vec-report1 -O3 rnn_ca1d.c -o rnn_ca1d-icc-O3
rnn_ca1d.c(65): (col. 3) remark: ループがベクトル化されました。.
rnn_ca1d.c(67): (col. 5) remark: ループがベクトル化されました。.
rnn_ca1d.c(67): (col. 5) remark: ループがベクトル化されました。.
rnn_ca1d.c(20): (col. 3) remark: ループがベクトル化されました。.
rnn_ca1d.c(39): (col. 5) remark: ループがベクトル化されました。.
gcc -lm -O2 rnn_ca2d.c -o rnn_ca2d-gcc-O2
gcc -lm -O3 rnn_ca2d.c -o rnn_ca2d-gcc-O3
icc -vec-report1 -O2 rnn_ca2d.c -o rnn_ca2d-icc-O2
rnn_ca2d.c(69): (col. 3) remark: ループがベクトル化されました。.
rnn_ca2d.c(71): (col. 5) remark: ループがベクトル化されました。.
rnn_ca2d.c(20): (col. 3) remark: ループがベクトル化されました。.
rnn_ca2d.c(39): (col. 5) remark: ループがベクトル化されました。.
icc -vec-report1 -O3 rnn_ca2d.c -o rnn_ca2d-icc-O3
rnn_ca2d.c(20): (col. 3) remark: ループがベクトル化されました。.
rnn_ca2d.c(39): (col. 5) remark: ループがベクトル化されました。.

iccの-O3オプションって-O2プラスアルファだと思ってたけど違うんだろうか． まあ，一次元配列で実装してれば問題ないことが分かったので良しとしよう!

あと，どの配列実装が速いかはたぶん計算に依存してるだろうから，この結果は 他の数値計算に適用できないと思う．これを書いてるときにちょっと添え字の 書き方間違えてて，その時の結果はかなり違ったし．だから，こういうテスト はなるべく実際の計算に近いソースで試すべきなんだろうな． 普通に行列xベクトルの計算プログラムじゃなくてRNNで試して良かった．

でも良く考えたら，一番参考になったのは，というかお世話になったのは添削してくれた 知り合いなので，これだけ見て履歴書を書くのは大変かもしれない． でも，最初は色々サンプル見て感じをつかむのが良い気がする．

• CVs and covering letters: Sample CVs — CV には3種類あるよ，っていう話とそれぞれのサンプルPDFがある． これ読んで「academic CV」を書けば良いのか，と分かった．
• Creating Effective CVs – www.vitae.ac.uk/researchers — ここにも似たこと書いてあるけど，もっと詳しい．
• CVs and covering letters: Sample CVs — サンプルPDFがある． 添え状(CVを添付するメール)についてのページもある．
• Curriculum Vitae (CV) – Careers Centre – UEA — ここにもサンプルPDFある．ボリュームがあって詳しそうだったのでちゃんと読んだ．

ここまで書いてて気づいたんだけど，↑のページは全部 .uk だ． もしかしたらアメリカとか他の国だと情況が違うかもしれないので注意したほうが良いのかも． でも Academic CV なら大体同じかも．（無責任すぎる．．．）

他には，LaTeX 関係など:

• LaTeX CV Template — これをもとに作成．
• Dario Taraborelli: Typesetting your academic CV in LaTeX — こっちは見た目が色々あって面白そうだと思ったけど使わなかった．（使えなかった?）

おまけ:

• 履歴書に入れてはいけない6つの言葉 : ライフハッカー［日本版］, 仕事も生活も上手くこなすライフハック情報満載のブログ・メディア — これは，履歴書ほぼ書き終わった時期に見つけたものだったはず． 良い例/悪い例が載ってて参考になるなあ，と思った．
• JobSpice — CV を作るためのWebサービスらしい．使ってないけど．

1 とりあえずメモだけ

何が出来るかというと，こんなのとか（インパクトが欲しかったので，学習の様子をアニメーションにしてみた）：

左上がエラーの学習曲線，右上がパラメタのRMSの学習曲線，左下が教示信号とネットワーク出力の相空間プロット，右下がコンテキストの相空間プロット．このアニメを作るソースはこれ（が吐いたpngをconvert -delay 5 *.png nn.mpgで変換）．

これを作った理由は，Pythonだと簡単に式を書けるからバグ入りにくい，だからCで書いた本番用のテストに使える！と思ったから．だから，かなり計算効率は悪いけど分かりやすい書き方になっている(はず)．これを使って本番用のネットの一つバグが落とせたのはかなりうれしかったけど，その本番用のはラボにいる別の人のより性能悪いっぽいので両方共にバグがあるかも（おいw

という訳で，バグレポートお待ちしてます！←ｺｺ!

あ，簡単なネットワークの式はPyRNN v0.0 documentation で説明してます．

追記

• README.rst にインストール方法書いてるけど，実はインストールしなくても使えます． toy/ElmanNet に色々遊べるスクリプトがあるので，それを一番根元のディレクトリ(setup.py がある場所)にもってきて実行すればおk（なはず．
• numpy と matplotlib が必要です．
• アニメの再生速度はlog scale(っぽく)速くしてます．実際は後半待つのが超ダルいです．
• momentumという黒魔術項を入れて，ネットワークの学習を加速しますけどそのせいで暴れています．でも暴れているのを見るのが楽しいです．

まずリポジトリを作る:

mkdir ~/tmp/svntest
svnadmin create $HOME/tmp/svntest/repo1

作ったリポジトリをチェックアウトして使う:

mkdir ~/tmp/svntest/co1
svn co file://$HOME/tmp/svntest/repo1 repo1
cd ~/tmp/svntest/co1/repo1/
touch README
svn add README
svn ci -m ""

最近気づいたのは pylab は遅いけど matplotlib.pyplot だと早いということ． pylab を使うと簡単にかけそうだけど，たくさん書きたいので matplotlib.pyplot で頑張ることに．

どこの処理が時間かかってるのか計るコードも入れた (tm なんちゃらってのが計測している部分)． 最新の matplotlib (0.99) が必要．

コード:

import matplotlib.pyplot as plt
from mpl_toolkits.axes_grid import AxesGrid
import numpy

tm = []
def tm_append(tm):
    import time
    tm.append(time.time())
def tm_print_diff(tm):
    for (t0,t1) in zip(tm[:-1],tm[1:]):
        print t1 - t0

list_func = [ numpy.sin,
              lambda x: numpy.exp(-0.1*x),
              lambda x: numpy.sin(x)*numpy.exp(-0.1*x) ]
list_tmax = [5, 10, 15, 20]
nrows_ncols = (len(list_func), len(list_tmax))

tm_append(tm) ## time
F = plt.figure(1)
F.clf()
tm_append(tm) ## time
grid = AxesGrid(F, 111, # similar to subplot(111)
                nrows_ncols = nrows_ncols,
                axes_pad = 0.0,
                add_all=True,
                aspect=False,
                )
tm_append(tm) ## time

for ax in grid:
    ax.cla()
grid.set_label_mode('L')
tm_append(tm) ## time

i = 0
for f in list_func:
    for tmax in list_tmax:
        t = numpy.arange(0,tmax,0.1)
        grid[i].plot(t, f(t))
        i += 1
tm_append(tm) ## time

plt.draw()
plt.savefig('axesgrid.png')
#plt.show()
tm_append(tm) ## time

tm_print_diff(tm)

結果:

1.4825220108
2.09476304054
0.745758056641
0.0568108558655
1.95767402649

やっぱり， plt.figure (1行目) や AxesGrid (2行目) は時間かかるっぽいな． 二回目以降は for ax in grid 以下を実行してやれば良いので，かなりお得かな． ax.cla() した後で grid.set_label_mode(‘L’) して一番下と一番左以外の軸にラベルがつかないように しているのがミソ．

今見て，役に立ちそうなやつは Fokker–Planck 方程式と自己相関関数の話くらいかなあ．

ちなみに， Sphinx (日本語サイト) っていうドキュメント生成システムを使っている．気に入っている点:

• reSTを使ってかける
• wikiと違って ローカルでサクサク見えるから
• javascript を使った検索機能
• 数式かける
• コードハイライト

ソースは github で公開している(arataka’s note at master – GitHub)． Wiki みたく編集の履歴がとれないのをこっちでカバー．

今から内容増えるかは不明w 量子力学要らない非物理屋さんのための統計力学とか書きたいんだけどなあ．

ただ， os. とかの補完はちゃんと効かないっぽい? os.py のソース見てみたら 解析が難しそう(動的に読み込んでいる)感じだったから，それが原因かな?

参考

• emacsのpython-modeでもauto-complete.elを使う
• pysmell – Project Hosting on Google Code