No Such Blog or Diary

気がついたら Amazon EC2 まわりの利用料金が $87.60 とか．100台使い始めたあたりから計算能力と共にお金の消費も格段に増えたなぁ．small インスタンスしか使ってないけれど，トータルの時間数が 1,022 Hrs とかなのでそれなりのお値段になった．

とりあえず，大量に同時に使うと機嫌の悪い子が混ざってくるので単価が上がる気がする．障害復旧分のオーバヘッドとかで．EMRではそこら辺どうなってるんだろう？　

日曜の午前なのに対応が来るとは思わんかった．9時過ぎにインスタンス数制限解除の申請を投げたら，10時過ぎに返事が返ってきた．驚きの早さ．休日の業務ご苦労様です．

さて，これで128台で遊べるようになった．金が飛んで行くけど．

閑話休題．

Elastic MapReduce もありますよん，と宣伝されたのだけど，自前で Hadoop クラスタ用の AMI を作れる場合に EMR のメリットってどうなんだろ？

Amazon EC2 ってインスタンス数の上限とかあったのね．20個じゃ足らん．とりあえず増加の申請をしてみたけれどいつ応答があるのかそもそも増加可能なのかも分からん．

しゃーない，もう一つの64インスタンスまで使える方を試すか．そろそろ空いたかな？　とらいえずセットアップからか……

scala-library.jar を $HADOOP_PREFIX/lib に入れたうえで jobtracker やら namenode やらを立ち上げているのに Scala のクラスが見つからないと文句を言われる……

手元で試したら 0.20.203.0 では大丈夫だけど 0.20.205.0 では lib に入れといてもダメっぽい．なぜ？

とりあえずバージョン落として作りなおすか．

……

更にいくつか発生した問題を解消してようやく実験データが取れるようになったと思ったら外が明るい．ハラ減った．

実験のためのテストデータ生成プログラムが OCaml で書かれているのだけど，Amazon Linux のリポジトリに OCaml なんぞ入っていない．CentOS のリポジトリとか EPEL のリポジトリとか登録しても OCaml が無い．

これが関数型言語を使うことで被る不利益というやつか……　これだから関数型プログラマは，とか自分が言いたくなる場面に出くわすとは思わんかった．

さて，とりあえず C に移植するか．他の Linux の AMI 使えばいいのだけど誰の作ったイメージなのか分からないものを使うのは非常に抵抗があるし．

続き：

自前のデータ生成プログラムで作った入力を食わせたらエラーが出た．なんでだろうと暫く謎だったのだけど，ソースコードを読んでみたら，入力ファイルの名前が特定のフォーマットに従っていないとエラーが出るという仕様……　さすがにパッと思いつくエラー原因ではなかった．

そして scala-library.jar が無くて怒られるから AMI の作り直し……　ついでだから s3cmd も入れておこう．

うーん，自前で hadoop 用の AMI 作ろうと思ったのだけど Amazon Linux は root で ssh できない設定だったりするので Hadoop についてるスクリプトがそのままでは使えん．

ということで一行一行手動実行しつつ Amazon Linux で使えるように修正してたら１日終わった．まあ，いくつか用事が入って作業中断しまくったのでしょうがないのだけど，とりあえずインスタンスが無駄に動いているとお金が飛んで行く……

100インスタンスを1時間動かしても1000円だけど，止めるの忘れて1日動かし続けると2万円とか怖いなぁ．

閑話休題．

Amazon Linux では /root/.ssh/authorized_keys のところに鍵は入っているのだけど command = "echo ..." でメッセージだけ表示してログインできないようになっていると．ついでに /etc/ssh/sshd_config で root のログインをコマンド実行しか認めなくなっていると．とりあえず，sshd_config は書き換えてから AMI 作ればいいとして，authorized_keys はインスタンス起動時に毎回初期化されてしまうので /etc/rc.local とかで command="echo ..." を消すようにしてあげれば root で ssh できる AMI ができると．まあ，危ないけれど常時使うものでもないからいいや．