2012年04月30日
貧乏性とElastic MapReduce
実行命令を出すと指定した数のインスタンスが自動で立ち上がり、S3に置いてあるデータに対して処理が行われる。
続きを読む
2012年04月29日
2012年04月28日
今週の更新記事
http://www.mwsoft.jp/programming/hadoop/mapreduce_with_lucene_filter.html
単語抽出の時とか普通に使えそうだった。
Luceneのフィルタ一覧
http://www.mwsoft.jp/programming/lucene/lucene_filter.html
上のHadoopの記事を書くにあたって下準備として調べたもの。
MapReduceでの平均値の算出
http://www.mwsoft.jp/programming/hadoop/average_mapreduce.html
子象本は読みましたアピールその2。でもアレとアレとアレとアレも書いとかないとアピール度的に低いな。
LuceneのIndexファイルに関するメモ書き
http://www.mwsoft.jp/programming/lucene/lucene_index_memo.html
インデックスディレクトリに作成されるいくつかのファイルについて中身を見てみた。
2012年04月22日
先週の更新記事
Luceneのフィルタ一覧
http://www.mwsoft.jp/programming/lucene/lucene_filter.html
Hadoopで文字列処理する時に使えるものないかなぁと思って、アレやコレやと試してみた記録をまとめた感じのもの。英語のStemmerについてはもう少し調べないといけない。
このフィルタも入れとこうよとかあったら言ってもらえれば対応するかもしれません。
HadoopでSnappyを使ってみたメモ
http://www.mwsoft.jp/programming/hadoop/snappy_memo.html
Mapperの中間ファイルとして使ったり、多段で動かす際の中間ファイルとして使ったり。手軽に使えるのは良いことだ。
2012年04月18日
2012年04月15日
2012年04月14日
Lucene/Solr3.6リリース - 形態素解析が使えるようになった
今週はAmazonのCloudSearchが発表されたり、Lucene/Solrの3.6がリリースされたりと、全文検索さんとお付き合いしている人たちにはアドレナリンが出やすい1週間でした。
3.6には形態素解析を使ったAnalyzer(Kuromoji)が入るなど、日本人にとっては脳内物質が駆けめぐりやすいリリースになっているようです。β‐エンドルフィン。チロシン。エンケファリン。
とりあえず触ってみたところとかをメモ。 続きを読む
2012年04月04日
in-mapper combiningメモ
子象本くらいは読んでますよ、みたいなところをアピールするためにこんなのを書いてみる。
in-mapper combining(MapReduceデザインパターン)
http://www.mwsoft.jp/programming/hadoop/in_mapper_combining.html
0.23系が触りたい気持ちもありつつ、今仕事で使うとしたら0.20だろうということで地固めに励む。
2012年04月02日
HadoopのWritableに関するメモ
とりあえずHadoopに関するそれっぽい記事をたくさん書くのだ。書くのだ。
HadoopのWritableに関するメモ
http://www.mwsoft.jp/programming/hadoop/writable_memo.html
書くのだ。
2012年04月01日
日記的なもの
三層分離モデルによるOpen政治について
http://www.mwsoft.jp/column/open_governments.html
SFのプロットを作る時に設定に凝り過ぎてはいけない、みたいな格言を思い出した。しかし凝らな過ぎてもいけない。難しい。
続きを読む