mwSoft blog

Lucene3系だった頃と書き方がちょっと変わってたのでメモしておく。

とりあえず下記を参考にdependencyは記述されているものとする。
https://github.com/codelibs/elasticsearch-analysis-kuromoji-neologd 続きを読む

こんな感じ。

Exception in thread "main" scala.MatchError: [foo,28,995,0.0] (of class org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema)

Scalaのtry catchで複数の例外をまとめてcatchしたい場合は、こんな風に書ける。続きを読む

CssBoxでWebページを収集している時に途中で詰まって動かなくなることがけっこうあったので、Awaitで指定時間以内に結果が戻ってこなければ諦める処理を書く。

こういうの簡単に書けるっていいよね。

import scala.concurrent._
import scala.concurrent.duration.DurationInt
import scala.concurrent.ExecutionContext.Implicits.global
import java.util.concurrent.TimeoutException

val f = future {
  // ここでHTTP通信の処理
}
f onSuccess {
  case content => // ここで取得した値をごにょごにょ
}

try Await.result(f, 10 seconds)
catch { case e: TimeoutException => e.printStackTrace() }

Slickで取ったSQLの結果はたいていlistかfirstOptionで取っていたのだけど、大きめの結果を取る場合はfetchした方が良いよなという事で、elementsを使ってみる。

確認のため、1000万件の結果を取得させてみて、listと比べてメモリ消費量が少ないことを確認する。 続きを読む

Database.forURL(
  "jdbc:h2:data/dbname;TRACE_LEVEL_SYSTEM_OUT=2",
  driver = "org.h2.Driver")

for ((key, value) <- context) {
  // ここで処理
}

• NodeSeqとかXMLLoaderのソースをひと通り読んだけど、えらくシンプルだった
• XPathが使いたくて仕方ない気持ちになったけど、良い解決方法が思いつかなかった
• 良いライブラリを見かけるまでは、オレオレ実装で頑張ろうと思った