No Such Blog or Diary

«Prev || 1 | 2 | 3 |...| 915 | 916 | 917 |...| 1325 | 1326 | 1327 || Next»

Hadoop に言う事を聞かせられるようになってきた

ラインごとに Mapper に渡さなくていい,まとめて寄越せ → 自前で FileSplit 全体を Mapper に与える RecordReader を実装.中身はすっからかんだけどね.

bin/hadoop namenode -format して bin/start-all.sh して bin/hadoop fs -put hoge.dat . とかすると文句を言われる → bin/hadoop fs -mkdir tmp してから bin/hadoop fs -put hoge.dat . すると文句を言われない.からの状態からディレクトリを何でもいいからひとつ作ってやると,ホームディレクトリ(.)にファイルを置ける.というか,mkdir でディレクトリ作ったときにホームディレクトリもついでに作られるからなのか? とにかくディレクトリを先に作っておかないとファイルを置けないのかね?

mapreduce の FileSplit のサイズは mapred-site.xml でmapreduce.input.fileinputformat.split.maxsize を指定.

bin/hadoop --config conf-hoge ... とかで設定ファイルを切り替えられる.start から stop まで一貫して同じ設定を使わないと色々とおかしくなってくれるけど.

曽我の梅林へ

曽我の梅林へ梅を見に行った.10時過ぎには大学にいく必要があったので,日の出前に梅林に到着.路面が凍結しているので危ない.特に止まった時が一番危ない.気を受けないと付いた足が滑って立ちゴケする.コケなかったけど.走行距離200キロ.

んで,別所梅林.ここらの梅林全体をまとめて曽我梅林と呼んで,別所梅林はその中のひとつってことでいいのかな.よく解らんけど蘇我の梅林に行こうと言っていつも来ていたのはここだったはず.

雪の降った翌日の早朝なので,寒いシリーズ:赤富士,雪をかぶった箱根の山,朝日.



蘇我の梅林は好き勝手に入り込める点が良い.好きなように梅が見られるし,地面の草も良い感じ…… 寒すぎて凍ってたれど.昼間ならきれいな緑の地面と青い空と白い梅とか撮れるはず.でも地面が凍っているので白い梅と早朝の青空.

そして帰りの東名高速で事故のために渋滞発生.おかげで大学に行くのが微妙に遅れてしまった.迷惑だから自爆でも事故るな.

Hadoop が言うこと聞かない

Hadoop のオンラインドキュメントが腐っていたというオチだったのだけど… HDFS へのディレクトリの転送がおかしい気がする.

さて,次はファイルからの読み込み部分をカスタマイズしにかかろう.FileSplit の境界を超えた部分の扱いが今ひとつ理解出来ていないのだけど… 自分で実装するときにはどうやって境界超えた端数を持ってくるんだ?

雪の中ポスター印刷

上野の Kinko's は土日祝日でも大判印刷(フルサービス)を24時間受け付けているのでありがたい.学会発表のポスターを切羽詰った状態で印刷するのに特に有効(事前に電話で連絡しておかないとオペレータが休みで時間かかるとかあり得るけど).

ということで,雪の中印刷をお願いに行った.午後2時少し前に受け付けて午後4時少し前に出来上がりの電話をもらったので,A2サイズ8枚で2時間という結果だった.雪の降る中を大学から往復するには微妙な時間だったけど… 予定より早い仕上がりで良かった.

白と黒

上の組織から最終講義用のポスター作れと仕事が降ってきたので,作った.ボス曰く「無駄な背景いれず白地に黒文字でいい」とのことだったので,真っ白に大きな黒文字で必要事項しか目に入らない,という方向で作成.デザインは引き算だとか言われたりするけれど,宣伝に余計な情報は入れないほうが良いよね.

で,作成途中に降ってきたコメント:葬儀の案内みたにはならないようにお願いします.

……

世間一般に白黒ってのは葬式というか弔事・凶事のイメージなのだろうか? まあ,確かに,白黒の鯨幕とか多くの人は葬式でしか見たことがなく,「白黒=葬儀」なのかも知れない.そして慶事には紅白と.

でも白黒の鯨幕って本来は弔事・慶事に関係なく使用されてたのもので,皇室や神社では慶事に使用していたりするとのこと:氷川神社のページwikipedia

黒=高貴とかのイメージかね.綺麗な黒を得るのは難しく,厳かな感じだと思う.綺麗に極まった白黒は美しい.

とはいえ世間的には白黒が葬儀だというのは変わらない事実.でもまあ,光沢紙使えば葬儀の案内には見えないよね.フォントも楷書体と行書体を使わず濃い黒色にすれば葬儀の案内にはなるまい.あとは横書きにしておけば大丈夫なはず.

光沢紙にゴシック体の横書きで書かれた葬儀の案内はなかろう.

イベント準備中に思うところ

上の組織から突然何が降ってきても対応できるように構えるってものすごく大変だよなぁ,と.上から降ってくる仕事が事前に分かっていれば楽なのだけど.そうでもないから色々と想定して動かないとならんのでコストが高い.

ということを考えてたのだけど,これってオートマトンの並列化っぽいよなぁ,とかふと思った.逐次に計算すると現在の状態一つだけ覚えておけばいいから楽.並列にやるには手前の計算の結果がどの状態で終わってもいいように全部の可能性を計算しておく必要がある.まさに今の我々の状況そのもの.コストが高い.

«Prev || 1 | 2 | 3 |...| 915 | 916 | 917 |...| 1325 | 1326 | 1327 || Next»
Search
Feeds

Page Top