AmazonのElastic MapReduceは時間単位でサーバを借りてMapReduce処理を実行することができる。
実行命令を出すと指定した数のインスタンスが自動で立ち上がり、S3に置いてあるデータに対して処理が行われる。
続きを読む
2012年04月30日
2012年04月29日
2012年04月28日
今週の更新記事
Hadoopでテキストを扱う際にLuceneのTokenizerで単語分割してみる
http://www.mwsoft.jp/programming/hadoop/mapreduce_with_lucene_filter.html
単語抽出の時とか普通に使えそうだった。
Luceneのフィルタ一覧
http://www.mwsoft.jp/programming/lucene/lucene_filter.html
上のHadoopの記事を書くにあたって下準備として調べたもの。
MapReduceでの平均値の算出
http://www.mwsoft.jp/programming/hadoop/average_mapreduce.html
子象本は読みましたアピールその２。でもアレとアレとアレとアレも書いとかないとアピール度的に低いな。
LuceneのIndexファイルに関するメモ書き
http://www.mwsoft.jp/programming/lucene/lucene_index_memo.html
インデックスディレクトリに作成されるいくつかのファイルについて中身を見てみた。
http://www.mwsoft.jp/programming/hadoop/mapreduce_with_lucene_filter.html
単語抽出の時とか普通に使えそうだった。
Luceneのフィルタ一覧
http://www.mwsoft.jp/programming/lucene/lucene_filter.html
上のHadoopの記事を書くにあたって下準備として調べたもの。
MapReduceでの平均値の算出
http://www.mwsoft.jp/programming/hadoop/average_mapreduce.html
子象本は読みましたアピールその２。でもアレとアレとアレとアレも書いとかないとアピール度的に低いな。
LuceneのIndexファイルに関するメモ書き
http://www.mwsoft.jp/programming/lucene/lucene_index_memo.html
インデックスディレクトリに作成されるいくつかのファイルについて中身を見てみた。
2012年04月22日
先週の更新記事
毎回ブログで「更新したよ」的なことを書くと検索の引っかかり方的にアレなのが気になってたので、1週間分まとめて書くことにしてみる。
Luceneのフィルタ一覧
http://www.mwsoft.jp/programming/lucene/lucene_filter.html
Hadoopで文字列処理する時に使えるものないかなぁと思って、アレやコレやと試してみた記録をまとめた感じのもの。英語のStemmerについてはもう少し調べないといけない。
このフィルタも入れとこうよとかあったら言ってもらえれば対応するかもしれません。
HadoopでSnappyを使ってみたメモ
http://www.mwsoft.jp/programming/hadoop/snappy_memo.html
Mapperの中間ファイルとして使ったり、多段で動かす際の中間ファイルとして使ったり。手軽に使えるのは良いことだ。
Luceneのフィルタ一覧
http://www.mwsoft.jp/programming/lucene/lucene_filter.html
Hadoopで文字列処理する時に使えるものないかなぁと思って、アレやコレやと試してみた記録をまとめた感じのもの。英語のStemmerについてはもう少し調べないといけない。
このフィルタも入れとこうよとかあったら言ってもらえれば対応するかもしれません。
HadoopでSnappyを使ってみたメモ
http://www.mwsoft.jp/programming/hadoop/snappy_memo.html
Mapperの中間ファイルとして使ったり、多段で動かす際の中間ファイルとして使ったり。手軽に使えるのは良いことだ。
2012年04月18日
2012年04月15日
2012年04月14日
Lucene/Solr3.6リリース - 形態素解析が使えるようになった
今週はAmazonのCloudSearchが発表されたり、Lucene/Solrの3.6がリリースされたりと、全文検索さんとお付き合いしている人たちにはアドレナリンが出やすい1週間でした。
3.6には形態素解析を使ったAnalyzer（Kuromoji）が入るなど、日本人にとっては脳内物質が駆けめぐりやすいリリースになっているようです。β‐エンドルフィン。チロシン。エンケファリン。
とりあえず触ってみたところとかをメモ。 続きを読む
2012年04月04日
in-mapper combiningメモ
就職活動月間その２。
子象本くらいは読んでますよ、みたいなところをアピールするためにこんなのを書いてみる。
in-mapper combining（MapReduceデザインパターン）
http://www.mwsoft.jp/programming/hadoop/in_mapper_combining.html
0.23系が触りたい気持ちもありつつ、今仕事で使うとしたら0.20だろうということで地固めに励む。
子象本くらいは読んでますよ、みたいなところをアピールするためにこんなのを書いてみる。
in-mapper combining（MapReduceデザインパターン）
http://www.mwsoft.jp/programming/hadoop/in_mapper_combining.html
0.23系が触りたい気持ちもありつつ、今仕事で使うとしたら0.20だろうということで地固めに励む。
2012年04月02日
HadoopのWritableに関するメモ
今月は就職活動準備月間。
とりあえずHadoopに関するそれっぽい記事をたくさん書くのだ。書くのだ。
HadoopのWritableに関するメモ
http://www.mwsoft.jp/programming/hadoop/writable_memo.html
書くのだ。
とりあえずHadoopに関するそれっぽい記事をたくさん書くのだ。書くのだ。
HadoopのWritableに関するメモ
http://www.mwsoft.jp/programming/hadoop/writable_memo.html
書くのだ。
2012年04月01日
日記的なもの
せっかく4月1日なんで変な文章でも書いてみようと思って、オープンソースの体系をそのまま政治体系に置き換えた捏造資料を作ってみたのだけど、今ひとつ面白くならなかった。
三層分離モデルによるOpen政治について
http://www.mwsoft.jp/column/open_governments.html
SFのプロットを作る時に設定に凝り過ぎてはいけない、みたいな格言を思い出した。しかし凝らな過ぎてもいけない。難しい。
続きを読む
三層分離モデルによるOpen政治について
http://www.mwsoft.jp/column/open_governments.html
SFのプロットを作る時に設定に凝り過ぎてはいけない、みたいな格言を思い出した。しかし凝らな過ぎてもいけない。難しい。
続きを読む