Hadoopの勉強中なので、その辺の記録をちまちまと残そうかと。
とりあえずインストールした際のコマンドのログを整形したもの
http://www.mwsoft.jp/programming/hadoop/hadoop_install.html
ようやくいろいろセットアップが終わってサーバ4台体制を敷くことに成功したけど、ファイルシステムの仕様すら理解できていないので、パフォーマンスが引き出せるようになるのは少し先になりそう。
年末年始の休み中にこれを使って軽くプログラムを組んでみたいので、今週と来週は勉強漬けの予定。
HadoopはYahooとかAmazonで使われてる鉄板ソフトの割に日本のプログラマで使える人は割と少ないので、今のうちに覚えておけば仕事もらえたりするかもとか甘いことも考えたり。
あと、手持ちのデータ解析するにもRDBMSでは限界を感じるので、これでうまいこと短時間で処理ができる仕組みができることを祈っています。
Core2Duoの2.4GHzとAtom330にCeleron2台というけしてハイレベルじゃない構成でどの程度の処理能力を見せられるか。我が家のマシンがこれ以上増えないで済む事を祈る。（現在、サーバ4台＋日常用2台で計6台稼動中）