Home > 一般 > Hadoop で Writable な Set と List が欲しかった

Hadoop で Writable な Set と List が欲しかった

  • 2011-08-24 (Wed) 23:36
  • 一般

ということで,AbstractMapWritable を継承して MapWritable と同じように SetWritable と ListWritable を実装した.リストやセットに要素を追加する操作時に要素となるオブジェクトのクラスをテーブルに登録しておくのが大事.これを忘れると訳のわからない嵌り方をする.

そしてテーブルサイズが 256 なので,予約分を抜いて,127個くらいの異なるクラスのインスタンスしか MapWritable には入れてはいけない.それ以上のクラスを使おうとするとコケる気がする.全然知らなかった制限がこんな所に潜んでいた……

さて,あとは RecordReader がインスタンスを使いまわすのをどうにかせんとうまく動かん.

★下記に2つの英単語をスペースで区切って入力してください

Home > 一般 > Hadoop で Writable な Set と List が欲しかった

Search
Feeds

Page Top