2012年04月30日

貧乏性とElastic MapReduce

AmazonのElastic MapReduceは時間単位でサーバを借りてMapReduce処理を実行することができる。

実行命令を出すと指定した数のインスタンスが自動で立ち上がり、S3に置いてあるデータに対して処理が行われる。

続きを読む

2012年04月29日

日記的な夢十夜

最近、よく夢を見る。おそらく睡眠時間を増やした影響だと思われる。具体的には6時間だったのを7時間にした。

今までは泥のように眠って泥の中から起きている感じだったけど、7時間眠ると起きる30分くらい前からなんとなく覚醒しかけているような感じがする。

で、その覚醒しかけている時に夢を見る。

たいていは目が覚めた時に「あー、夢で良かった」と思うような内容。寝起きのボケた頭だと、夢だったと認識しつつもまだ心のどこかで「ヤバい」という警笛が鳴り続けたりする。そんな感覚に陥るような夢。

続きを読む

2012年04月28日

今週の更新記事

Hadoopでテキストを扱う際にLuceneのTokenizerで単語分割してみる
http://www.mwsoft.jp/programming/hadoop/mapreduce_with_lucene_filter.html
単語抽出の時とか普通に使えそうだった。

Luceneのフィルタ一覧
http://www.mwsoft.jp/programming/lucene/lucene_filter.html
上のHadoopの記事を書くにあたって下準備として調べたもの。

MapReduceでの平均値の算出
http://www.mwsoft.jp/programming/hadoop/average_mapreduce.html
子象本は読みましたアピールその2。でもアレとアレとアレとアレも書いとかないとアピール度的に低いな。

LuceneのIndexファイルに関するメモ書き
http://www.mwsoft.jp/programming/lucene/lucene_index_memo.html
インデックスディレクトリに作成されるいくつかのファイルについて中身を見てみた。

2012年04月22日

先週の更新記事

毎回ブログで「更新したよ」的なことを書くと検索の引っかかり方的にアレなのが気になってたので、1週間分まとめて書くことにしてみる。



Luceneのフィルタ一覧
http://www.mwsoft.jp/programming/lucene/lucene_filter.html

Hadoopで文字列処理する時に使えるものないかなぁと思って、アレやコレやと試してみた記録をまとめた感じのもの。英語のStemmerについてはもう少し調べないといけない。

このフィルタも入れとこうよとかあったら言ってもらえれば対応するかもしれません。



HadoopでSnappyを使ってみたメモ
http://www.mwsoft.jp/programming/hadoop/snappy_memo.html

Mapperの中間ファイルとして使ったり、多段で動かす際の中間ファイルとして使ったり。手軽に使えるのは良いことだ。

2012年04月18日

メモ書き

さくらのVPSのプランに変更があった。これまで月額980円の最安プランはメモリ512MB、HDD20GBだったのが、同額でメモリ1GB、HDD100GBになった。

メモリはどうでもいいけどHDDの容量は欲しいので、新規に1GBのプランを契約し、旧契約を破棄する形で乗り換えてみる。 続きを読む

2012年04月15日

日記的なもの

フリーの英語のサウンドノベルに手を出してみたところ、思ったより面白くてうっかり延々プレイし続けてしまった。こうした行為は英語を読む速度の向上に繋がるので、没頭し過ぎても自制はしないことにしている。

フリーのノベルを面白いと感じられたのは、おそらく日本語で見たら微妙だと感じる表現でも、英語だとしっかり理解できない分、素直に受け止められてしまうことがあるのではないかと思う。

それは多分、今まで延々と触れ続けてきた日本語では感じられない良さ。子供の頃に本を読んだ時の高揚感に似ているところがあって悪くない気分がした。

こういう感覚はちょっと幸せだ。

続きを読む

2012年04月14日

Lucene/Solr3.6リリース - 形態素解析が使えるようになった

今週はAmazonのCloudSearchが発表されたり、Lucene/Solrの3.6がリリースされたりと、全文検索さんとお付き合いしている人たちにはアドレナリンが出やすい1週間でした。

3.6には形態素解析を使ったAnalyzer(Kuromoji)が入るなど、日本人にとっては脳内物質が駆けめぐりやすいリリースになっているようです。β‐エンドルフィン。チロシン。エンケファリン。

とりあえず触ってみたところとかをメモ。 続きを読む

2012年04月04日

in-mapper combiningメモ

就職活動月間その2。

子象本くらいは読んでますよ、みたいなところをアピールするためにこんなのを書いてみる。

in-mapper combining(MapReduceデザインパターン)
http://www.mwsoft.jp/programming/hadoop/in_mapper_combining.html

0.23系が触りたい気持ちもありつつ、今仕事で使うとしたら0.20だろうということで地固めに励む。

2012年04月02日

HadoopのWritableに関するメモ

今月は就職活動準備月間。

とりあえずHadoopに関するそれっぽい記事をたくさん書くのだ。書くのだ。

HadoopのWritableに関するメモ
http://www.mwsoft.jp/programming/hadoop/writable_memo.html

書くのだ。

2012年04月01日

日記的なもの

せっかく4月1日なんで変な文章でも書いてみようと思って、オープンソースの体系をそのまま政治体系に置き換えた捏造資料を作ってみたのだけど、今ひとつ面白くならなかった。

三層分離モデルによるOpen政治について
http://www.mwsoft.jp/column/open_governments.html

SFのプロットを作る時に設定に凝り過ぎてはいけない、みたいな格言を思い出した。しかし凝らな過ぎてもいけない。難しい。

続きを読む