2012年02月26日

日記的なもの

サイトに関連エントリー機能を付けてみた。下記のページのようにレフトナビに入れてある。

http://www.mwsoft.jp/programming/lucene/more_like_this_wikipedia.html

これは自サイトの全文書をSolrに放り込んで、上記URL内でも使っているMoreLikeThisでスコアが高いもの上位5件抽出したもの。

VPSにSolrのサーバ立てても良かったんだけど、ページを呼ばれるたびに毎回MoreLikeThisリクエストが来てもらっても困るので、全ページの結果をJSON形式で保存して読み込むようにした。

新しい記事を書くたびに再生成しないといけないのが面倒だけど、自動化して流せるようにしておけばそれほど手間でもない。実行時間も今のところ30秒くらい。

続きを読む

2012年02月21日

MoreLikeThisで遊んでみた

SolrのMoreLikeThisでWikipediaの類似記事を取得してみた
http://www.mwsoft.jp/programming/lucene/more_like_this_wikipedia.html

今週は確定申告の準備をすると言ったな。あれは嘘だ。

いや、ちゃんとやるつもりでCalc開いて入力とかも始めたんですけどね。

気がついたら上のようなものを書いてました。

おかしいなぁ。

2012年02月19日

日記的なもの

こんなの書いた。

H2+Lucene+形態素解析で全文検索しようとしたメモ
http://www.mwsoft.jp/programming/lucene/lucene_h2.html

結論としてうまくいかなかったけど、この手の情報を必要としている人もいるのではないかと思ったので、とりあえず貼っておく。

先週は上記のこと戯れているうちに過ぎてしまい、ノルマを果たせず。まぁ、勉強にはなったからいいや。

今週からは確定申告の準備を始めるので休業予定。作業の8割くらいは知り合いにお願いして済ませてあるので、今週中にはなんとか終わるといいなぁといった感じ。

さっさと終わらせてプログラミングに戻ろう。

続きを読む

2012年02月15日

メモ書き(CDH4 b1とか)

まずはさっき書いた記事をブログに貼り忘れてたので気持ち的に貼っておく。

HadoopとLuceneとNutchの名前の由来
http://www.mwsoft.jp/programming/hadoop/where_come_from.html


で、本題。CDH4のベータ版が出たらしいので適当にメモ書き。

続きを読む

2012年02月12日

日記的なもの

最近はUbuntuを使っているので、たしなみとして11.10を入れてUnitiyなどに触れてみた。

1週間くらい使ってみたけど、全体的にちょっとした重さを感じることがある。Windowsキー押した時の反応はもう少し速くなって欲しいね。あとちょこちょこ挙動が不安定になることも。2Dにすれば軽くなるかと思ったらなぜかもっと動きが悪くなった。まだ作りかけなのだろう。

続きを読む

2012年02月11日

Solrjのサンプルコードをいろいろ書いてみた

今週2本目。もう少しで今週が終わるとこだった。セーフ。

Solrjサンプルコード集
http://www.mwsoft.jp/programming/lucene/solrj.html

けっこう頑張って書きました。でも、今ひとつまだSolrさんの中身を把握しきれてない。情報の変化がけっこう激しいし。

もう少し仲良くなりたい。気兼ねなく休日に誘えるくらい。

「今週末、一緒にMoreLikeThisしに行かない?」

2012年02月07日

Twitter4JでTweetを収集してみる

今週1つ目。

Twitter4JでTweetを収集してみる
http://www.mwsoft.jp/programming/java/twitter4j.html

GeoLocationが何で検索してるのか良く分からなかったけど、興味ないからいいや。

個人的には「登録してあるユーザとハッシュタグについて今日1日分の情報を収集して、その中に含まれてるリンクを並べて表示」みたいなことをしている。

情報収集ツールとしてはけっこうありがたい。あと、不自然言語好きな人も重宝してそう。

2012年02月04日

日記的なもの

ブログの検索バーのエンコード指定が間違っていたので直す。

さくらのブログはSJISだった。忘れていた。

あと、新しいレイアウトをボチボチ全体に反映中。一部はスクリプトで出力してるけど、大半は手作業。ページごとにHTMLの構成が微妙に違うから一括置換は難しい。いつ終わるのやら。

続きを読む

2012年02月03日

プログラマ文庫更新

死に至る病の文章って実は汎用性があるんじゃないかと思ったので、プログラマ文庫にそれっぽい内容を追加してみる。

プログラマ文庫
http://www.mwsoft.jp/column/novel/

原文以上に宗教的になってしまった感があるけど、思った通りなんでもいけそうだということが分かった。

2012年02月02日

Java製形態素解析器「Kuromoji」を試してみる

予告通りKuromojiに手を出してみた。

Java製形態素解析器「Kuromoji」を試してみる
http://www.mwsoft.jp/programming/lucene/kuromoji.html

Luceneの状況とかを見極めてから手を出した方が良かった気もした。すぐに記事の修正が必要になりそうな気がする。

あと、ソースが読みやすかった。