メモリはどうでもいいけどHDDの容量は欲しいので、新規に1GBのプランを契約し、旧契約を破棄する形で乗り換えてみる。
これまではUbuntuを使ってたけど、今回はデフォルトのCentOS 6.2 x86_64を使ってみることにする。この辺は気分の問題。
下記に新規VPSに対して行なった設定を残しておく。以前Ubuntuに対してやったのとだいたい同じ作業。
まず、VPSコントロールパネルでOSの再インストールをしてパスワードを設定。
次にrootでログイン。
$ ssh root@xxx.xxx.xxx.xxx
このままだとroot＋パスワードでログインできてしまう危険な状態なので、設定を速やかに変更する。
まずはユーザの作成。
# useradd -d /home/user user
パスワード設定。
# passwd user
一度ログアウトして作成したユーザで入れるか確認。
# exit $ ssh user@xxx.xxx.xxx.xxx
スーパーユーザに戻る。
$ su
sshの設定を変更
# vi /etc/ssh/sshd_config
ポート22はやめよう
# Port 22 ↓ Port 60022
ルートでのログインもやめよう
PermitRootLogin yes ↓ PermitRootLogin no
急いでsshdを再起動
# /etc/init.d/sshd restart
ローカルの端末から、設定が反映されてるか確認
// 22番はダメ $ ssh user@xxx.xxx.xxx.xxx // rootもダメ $ ssh -p60022 root@xxx.xxx.xxx.xxx // userでポート指定すれば大丈夫 $ ssh -p60022 root@xxx.xxx.xxx.xxx
これでサーバの防御力が3上がった。レザーアーマーを着たくらいの安心感。野生の獣とかなら襲われても大丈夫。けど、魔物に攻撃されるとまだ危険。
次にパスワード認証は怖いので、鍵を使った認証に変更
とりあえずローカル側で鍵を作る
$ cd ~/.ssh/ $ ssh-keygen -t rsa
次にVPS側で.sshディレクトリの用意
$ mkdir .ssh $ chmod 700 .ssh
この状態でローカル側から鍵を送る
$ scp -P60022 id_rsa.pub user@xxx.xxx.xxx.xxx:.ssh/authorized_keys
ローカルからvpsにsshで繋いでみて、パスワードを聞かれなければ成功
$ ssh -p60022 user@xxx.xxx.xxx.xxx
rootになってsshの設定を変更
$ su # vi /etc/ssh/sshd_config
設定変更
#PasswordAuthentication yes ↓ PasswordAuthentication no
sshdの再起動
/etc/init.d/sshd restart
これで鍵のない端末からパスワードを使って入ろうとしても弾かれるようになったはず。
試しにローカルで鍵を移動してから繋いでみる
$ mv ~/.ssh/id_rsa* $ ssh -p60022 user@xxx.xxx.xxx.xxx Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
怒られる。
戻して繋ぐ
$ mv ~/dev_id_rsa* ~/.ssh/ $ ssh -p60022 user@xxx.xxx.xxx.xxx
入れる
これでプレートメールを着込んだくらいの防御力になった。
しかし鎧だけでは頭部への打撃は防げないので、兜や盾も用意することにしよう。
まずはiptablesで不用なポートへの接続を防ぐ。デフォルトだと空になってる。
$ su # vi /etc/sysconfig/iptables
iptablesはあまり詳しくないので説明割愛
とりあえず下記のサイトなどを参考に、日本だけを許可するとかいろいろやってたら自分が何をしているのか分からなくなりました。
http://www.iex3.info/archives/1145
http://serverkurabe.com/blog/sakuravps-start-10
http://tanaka.sakura.ad.jp/archives/001065.html
http://centossrv.com/iptables.shtml
あとはdenyhostsを入れておくと、一定時間内に連続アクセスしてきたIPをhosts.denyに放り込めるらしい。
# yum install denyhosts # vi /etc/denyhosts.conf # /etc/init.d/denyhosts start
少し間違えるだけで自分のローカルのIPも禁止リストに入れられてしまう。そんな時はバーチャルコンソールから/etc/hosts.denyを開いて自分のIPを削除する。
とりあえずこれで鎧と盾と兜は揃った気がする。
疲れたので今日はここまで。 ]]>
3.6には形態素解析を使ったAnalyzer（Kuromoji）が入るなど、日本人にとっては脳内物質が駆けめぐりやすいリリースになっているようです。β‐エンドルフィン。チロシン。エンケファリン。
Lucene3.6のChange Log
core : http://lucene.apache.org/core/3_6_0/changes/Changes.html
contrib : http://lucene.apache.org/core/3_6_0/changes/Contrib-Changes.html
Solr3.6のRelease Note
http://wiki.apache.org/lucene-java/ReleaseNote36
SolrのJavaDocを見るとJapaneseTokenizerFactoryがいる
http://lucene.apache.org/solr/api/org/apache/solr/analysis/JapaneseTokenizerFactory.html
LuceneのJavaDocを見るとJapaneseTokenizerがいる
http://lucene.apache.org/core/3_6_0/api/all/org/apache/lucene/analysis/ja/JapaneseTokenizer.html
名前はJapaneseTokenizerですが、中身はKuromojiです。
JapaneseTokenizerのSolrでの使い方は、exampleの中のschema.xmlにtext_jaという名前で、下記みたいな感じで（コメントは改変）定義されていました。
<fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="false">
<analyzer>
<!-- modeはnormal,search,extendedがある。 -->
<tokenizer class="solr.JapaneseTokenizerFactory" mode="search"/>
<!-- ユーザ辞書を定義する場合は下記のような感じで。 -->
<!--<tokenizer class="solr.JapaneseTokenizerFactory" mode="search" userDictionary="lang/userdict_ja.txt"/>-->
<!-- 動詞とかを基本形でインデックスに登録するフィルタ。確かlucene-gosenにいたヤツだっけか。 -->
<filter class="solr.JapaneseBaseFormFilterFactory"/>
<!-- いらない品詞はインデックスに登録しないフィルタ。 -->
<filter class="solr.JapanesePartOfSpeechStopFilterFactory" tags="lang/stoptags_ja.txt" enablePositionIncrements="true"/>
<!-- 全角のローマ字を半角にしたり、半角カナを全角にするフィルタ。 (Unicode NFKC subset) -->
<filter class="solr.CJKWidthFilterFactory"/>
<!-- 一般的過ぎる文字をフィルタリング。「てにをは」とか「です、ます」とか。 -->
<filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_ja.txt" enablePositionIncrements="true" />
<!-- フィルターとフィルタみたいな片仮名の表記揺れに関するフィルタ。 -->
<filter class="solr.JapaneseKatakanaStemFilterFactory" minimumLength="4"/>
<!-- ローマ字を小文字にするフィルタ。 -->
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
試しに「この日本語は、どうインデックスに入れられるか。」という文字列を上記の設定に対して通して見ると、下記のような結果になりました。
| この | 日本語 | は | どう | インデックス | に | 入れ | られる | か |
| ↓ JapaneseBaseFormFilterで基本形に | ||||||||
| この | 日本語 | は | どう | インデックス | に | 入れる | られる | か |
| ↓ StopFilterで「は」、「に」、「か」などが削られる | ||||||||
| この | 日本語 | どう | インデックス | 入れる | られる | |||
| ↓ JapanesePartOfSpeechStopFilterで接続し、助詞、助動詞、記号などが削られる | ||||||||
| 日本語 | どう | インデックス | 入れる | |||||
CJKTokenizerがdeplecatedになって、StandardAnalyzer＋CJKBigramFilterを使うようになったようです。
<fieldType name="text_cjk" class="solr.TextField" positionIncrementGap="100">
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.CJKWidthFilterFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
<!-- 漢字と平仮名をbi-gramにしてみる -->
<filter class="solr.CJKBigramFilterFactory" han="true" hiragana="true" katakana="false" hangul="false"/>
</analyzer>
</fieldType>
上記のように、漢字、平仮名、カタカナ、ハングルに対して、それぞれbi-gramにするかどうかが設定できるようです。
試しに「この日本語は、どうインデックスに入れられるか。」という文字列を入れてみると下記のような結果になりました。
| この | の日 | 日本 | 本語 | 語は | どう | インデックス | に入 | 入れ | れら | られ | れる | るか |
上の設定でkatakanaをfalseにしているので、「インデックス」がbi-gramになってません。割と便利。
HTMLStripCharFilterが新しくなったとか。
JFlex-based HTMLStripCharFilter replacement
https://issues.apache.org/jira/browse/LUCENE-3690
とりあえずこんな定義をしてみる。
<fieldType name="text_ja_html" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="false">
<analyzer>
<tokenizer class="solr.JapaneseTokenizerFactory" mode="search"/>
<charFilter class="solr.HTMLStripCharFilterFactory" escapedTags="a, title" />
</analyzer>
</fieldType>
こんなHTMLをインデックスに入れようとしてみる。
<html><script>hoge</script> <head><title>タイトル</title> <body> 本文<br> <a href="url">ゆーあーるえる</a> </body> </html>
結果
| タイトル | 本文 | a | href | url | ゆー | あー | る | える | a |
for ((key, value) <- context) {
// ここで処理
}def single[A](elem: A) = new Iterator[A] {
private var hasnext = true
def hasNext: Boolean = hasnext
def next(): A =
if (hasnext) { hasnext = false; elem }
else empty.next()
}implicit def hadoopContext2scalaIterator[A, B](that: MapContext[A, B, _, _]) = new Iterator[(A, B)] {
var callnext = true
var callhasnext = false
var hasnext = true
def hasNext: Boolean = {
callhasnext = true
if (callnext) { callnext = false; that.nextKeyValue() }
else hasnext
}
def next(): (A, B) = {
if (!callhasnext) hasnext = that.nextKeyValue()
callnext = true
callhasnext = false
if (hasnext) (that.getCurrentKey(), that.getCurrentValue())
else Iterator.empty.next
}
}override def run(context: Context) {
for ((key, value) <- context; word <- value.toString.split("\\s"))
context.write(new Text(word), new LongWritable(1L))
}