bbcp を使ってみた

bbcp のソースからのコンパイルは面倒そうなので，バイナリがあるっぽいからそれを持ってきて試してみた．手元は 64bit Ubuntu 14.04 なので amd64_linux26 のバイナリを，遠隔地は 32bit Ubuntu 14.04 なので i386_linux26 のバイナリを使うことにして……

bbcp: error while loading shared libraries: libcrypto.so.6: cannot open shared object file: No such file or directory

というエラーを両方で食らった．libcrypto.so や libcrypto.so.1.0.0 は入っているのだけど，libcrypto.so.6 なんぞ無い．わざわざ指定のものを持ってくるのも面倒．

こんな時に一番手間がかからずとりあえずで試す気になるのがリンクを作ってしまうこと：

32bit $ sudo ln -s /usr/lib/i386-linux-gnu/libcrypto.so /usr/lib/i386-linux-gnu/libcrypto.so.6
64bit $ sudo ln -s /lib/x86_64-linux-gnu/libcrypto.so.1.0.0 /lib/x86_64-linux-gnu/libcrypto.so.6

で，動いた．めでたしめでたし．

とりあえず全然チューンしてないけれど，500MB のデータの転送をしてみて scp が 1.9MB/s なところを bbcp が 6.3 MB/s を出した（-s 16 でストリーム数 16 本）．bbcp が3倍以上速いという結果．すばらしい．これで遠くのサーバで実験するとか言うのもストレスが減る気がする．

ストリーム数を変えた測定： 8 本だと 5.2MB/s，32 本で 7.9MB/s，最大本数の 64本で 9.6MB/s ．とりあえずストリーム数が多いほうが速いという環境らしい．

閑話休題．

bbcp コマンドの起点ではなくファイルの転送元からストリーム用のコネクションを張るっぽいので，転送先が FW 内とかの場合は -z を付けてコネクションの起点を変えないとコケる．