2011年08月06日
Hadoop 0.20.203.0 で……
- 2011-08-06 (Sat)
- 一般
いや，ひとつのジョブに対して同時実行する map タスクの数を制限したかったのだけど，結局 mapred-site.xml を変更する以外の手法が分からなかった．
ということで，最大 map タスク数毎に conf ディレクトリのコピーを作って mapred-site.xml でジョブの最大数を指定して…… とかやって実験環境を構築．あとはスクリプトで実験開始．
ぶっちゃけ，並列プログラムの速度向上を測定する実験ってアホなことしてるよなぁと思わなくない．20コア使って 10分で終わるとわかっている計算を1コアで３時間かけて実行するとかアタマが悪い気が…… いや，計算を途中で打ち切ってむちゃくちゃ時間かかることだけ書くにんするだけでいい気もするのだけど．
- Comments: 0
- TrackBack (Close): -