2011年02月14日

ラインごとに Mapper に渡さなくていい，まとめて寄越せ　→　自前で FileSplit 全体を Mapper に与える RecordReader を実装．中身はすっからかんだけどね．

bin/hadoop namenode -format して bin/start-all.sh して bin/hadoop fs -put hoge.dat . とかすると文句を言われる　→　bin/hadoop fs -mkdir tmp してから bin/hadoop fs -put hoge.dat . すると文句を言われない．からの状態からディレクトリを何でもいいからひとつ作ってやると，ホームディレクトリ（.）にファイルを置ける．というか，mkdir でディレクトリ作ったときにホームディレクトリもついでに作られるからなのか？　とにかくディレクトリを先に作っておかないとファイルを置けないのかね？

mapreduce の FileSplit のサイズは mapred-site.xml でmapreduce.input.fileinputformat.split.maxsize を指定．

bin/hadoop --config conf-hoge ... とかで設定ファイルを切り替えられる．start から stop まで一貫して同じ設定を使わないと色々とおかしくなってくれるけど．