2010年12月25日

クリスマスの表記揺れ

せっかくのクリスマスだったので、クリスマスらしいことをしようと思った。

そこでTwitterの日本語のツイートを適当に収集するクローラを作り、12月24日に回してみて、クリスマスという言葉が何回くらい発生するか調べてみることにした。

1日回したら、100万ツイート(重複なし)ほどを収集することができた。その100万に対してこのコマンドを打つとどうなるか。

$ grep クリスマス tweet_20101224 | wc -l

さて、結果はいくつと表示されたでしょう?








正解は、7万6千でした。

実に全ツイートのうち7.6%に「クリスマス」という単語が含まれていたことになります。

どんだけクリスマス好きなんだ、と。

その他のクリスマスに関連ありそうなワードの出現数はこんな感じ。

メリー : 17,230
メリークリスマス : 12,937
ホワイトクリスマス : 2,058
サンタ : 25,545
サンタさん : 8,763
サンタクロース : 3,520
トナカイ : 1,697

予約 : 3,612
待ち合わせ : 332
ディナー : 1,074
イルミネーション : 1,513

ジングルベル : 201
きよしこの夜 : 96
恋人はサンタクロース : 46
雨は夜更け : 224
戦場のメリークリスマス : 46
キャロル : 194

メリー(17,230)とメリークリスマス(12,937)の間に5千の差があるのは省略形と表記揺れのせいのよう。

「メリークリスマース」と伸ばして表記したり、「メリーです」と略す表記、あとは「メリークルシミマス」のようにもじった表現が多く含まれてもいた。「シャンメリー」が661出現しているなど、別の表記も紛れている。

試しにCJKAnalyzerでLuceneに放りこんでMoreLikeThisで「クリスマス」を検索し、結果からクリスマスを含んだものを除外すると、揺れを含んだTweetだけがうまく取れた。

ざくっと抜き出すと、こんな感じ。抜き出しは手動。自動でできるようにしようかと思ったけど、微妙にうまくいかず一時保留。

・メリークリスマ〜ス
・メリー・クリスマ〜ス
・メリークリスマッス
・メリークリスマァ〜ス
・おはスマス
・おはクリ〜
・メリー栗スマス
・メリークリスマーイッシュ
・メェリクリッスマスっ
・クリスマシー
・クリス…マス?
・クリスマす
・メリークリスマちゅ
・メリークリスマちゅっちゅっ
・マリークリスマース
・メリークリスマーース
・メリー・クリスマツ
・メリークリスマッスン〜
・メリークリスマぁぁぁぁぁス
・メリ〜クリスマ〜〜〜ス
・クリスマイヴ
・メリークリスマリノス
・クリスマウス
・クリスマ
・クリス=マス
・メリークリスマインコ
・クリスマゾイブ
・メリメリクリスマース
・メリークリスマセ
・メリークリトリス
・メリーモーキングクリスマァ―ス
・メリ-クリスマ-ス
・イブクリスマー
・メリークリスマっピー
・メリークリスマもー
・メリー!そしてクリスマース!
・ハッピークリスマカーイブ
・メリークリスマせん
・クロスマス
・クリックスマス
・メリークリスマツムラ
・メリークリスマツコ
・メ肉リスマス
・リスマスプレゼント
・クぅリスマス
・メリーユリスマス
・くリスマス
・メリーキュリスマス
・クぅ〜リスマス
・帰宅リスマス
・めりーメリー帰宅リスマス
・メリー奈落リスマス
・クーリスマスー
・ヤリスマス
・ヤーリスマス
・メリーカリスマス
・メリカリ
・メリーきゅリスマスイブ〜
・厄リスマス
・みろ〜くリスマスイブ
・クリスマシツリー
・メリクリイ
・クリススマス
・メリークリストリマス
・メリー クリス・トーマス
・クリストゥマス
・メ(ア)リー&クリスマ(ックス)
・メリークリスマふ
・メリークリスマオ
・メrrrrrリーークrrrrrリスマス
・メ莉〜玖リスマス
・メリ~ックリスマ~ス
・メリークリスマぬ
・メリ♪メリ♪クリスマ〜ス♪
・プレ・メリ〜クリスマ〜ス♪
・クリーメリスマス

パターンの多さに少し感心。