hive0.13を使っている際にNullPointerExceptionが起きて落ちる現象が発生する。
at org.apache.hadoop.hive.ql.io.HiveInputFormat.init(HiveInputFormat.java:255) at org.apache.hadoop.hive.ql.io.HiveInputFormat.getSplits(HiveInputFormat.java:300) at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getSplits(CombineHiveInputFormat.java:371)続きを読む
というようなことをする為にクエリを書く。もっと良い書き方があるような気もする。
StackOverFlowを見たらRankを使おうみたいなことが書いてあったけど、サンプルがうまく動かなかったのでROW_NUMBERを使用。0.11以降実装されているらしい。
下記クエリの仕様は、page_id, user_idが記述されているアクセスログ的なテーブルを集計して、各page_idを訪れているuser_id上位10件を出すものとする。page_idはurl encodeする。 続きを読む
Luceneの検索件数を返すtotalHitsがintだったので32bit以上だとどうなるんだろうと思ってやってみた。 続きを読む
CssBoxでWebページを収集している時に途中で詰まって動かなくなることがけっこうあったので、Awaitで指定時間以内に結果が戻ってこなければ諦める処理を書く。
こういうの簡単に書けるっていいよね。
import scala.concurrent._
import scala.concurrent.duration.DurationInt
import scala.concurrent.ExecutionContext.Implicits.global
import java.util.concurrent.TimeoutException
val f = future {
// ここでHTTP通信の処理
}
f onSuccess {
case content => // ここで取得した値をごにょごにょ
}
try Await.result(f, 10 seconds)
catch { case e: TimeoutException => e.printStackTrace() }