2011年08月24日
Hadoop で Writable な Set と List が欲しかった
- 2011-08-24 (Wed)
- 一般
ということで，AbstractMapWritable を継承して MapWritable と同じように SetWritable と ListWritable を実装した．リストやセットに要素を追加する操作時に要素となるオブジェクトのクラスをテーブルに登録しておくのが大事．これを忘れると訳のわからない嵌り方をする．
そしてテーブルサイズが 256 なので，予約分を抜いて，127個くらいの異なるクラスのインスタンスしか MapWritable には入れてはいけない．それ以上のクラスを使おうとするとコケる気がする．全然知らなかった制限がこんな所に潜んでいた……
さて，あとは RecordReader がインスタンスを使いまわすのをどうにかせんとうまく動かん．
- Comments: 0
- TrackBack (Close): -