2014年07月31日

hive0.13でstored as textfileで作ったテーブルでjoinすると起こることがあるバグ

hive0.13を使っている際にNullPointerExceptionが起きて落ちる現象が発生する。

at org.apache.hadoop.hive.ql.io.HiveInputFormat.init(HiveInputFormat.java:255)
at org.apache.hadoop.hive.ql.io.HiveInputFormat.getSplits(HiveInputFormat.java:300)
at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getSplits(CombineHiveInputFormat.java:371)
続きを読む

2014年07月29日

HIVE 0.13でGROUP BYしてCOUNTして上位10件をCOLLECT_ALLしてarrayで取得する

というようなことをする為にクエリを書く。もっと良い書き方があるような気もする。

StackOverFlowを見たらRankを使おうみたいなことが書いてあったけど、サンプルがうまく動かなかったのでROW_NUMBERを使用。0.11以降実装されているらしい。

下記クエリの仕様は、page_id, user_idが記述されているアクセスログ的なテーブルを集計して、各page_idを訪れているuser_id上位10件を出すものとする。page_idはurl encodeする。 続きを読む

2014年07月19日

Xubuntu14.04のAlt+PrintScreenが動かない

他のショートカットと設定がぶつかってるらしい。

設定マネージャでチャネルのxfce4-keyboard-shortcutsを選択して、Alt + Printが設定されているのを見つける。するとこんなふうに書いてある。

xfce4-screenshooter -w

ちゃんとWindowでコピーはしてくれるような設定になっているようだ。

とりあえずコマンド的には上記で実行可能なので、これを適当なショートカットに割り振ってやる。新規から下記のように登録。

プロパティ : /commands/custom/<Super>Print
データ型 : String
値 : xfce4-screenshooter -w

これでSuper + PrintScreenでとりあえずスクリーンショットは取れるようになった。

Luceneに32bit以上の数のデータを入れてみる

Luceneの検索件数を返すtotalHitsがintだったので32bit以上だとどうなるんだろうと思ってやってみた。 続きを読む

2014年07月18日

ScalaのAwaitで処理をTimeoutさせる

CssBoxでWebページを収集している時に途中で詰まって動かなくなることがけっこうあったので、Awaitで指定時間以内に結果が戻ってこなければ諦める処理を書く。

こういうの簡単に書けるっていいよね。

import scala.concurrent._
import scala.concurrent.duration.DurationInt
import scala.concurrent.ExecutionContext.Implicits.global
import java.util.concurrent.TimeoutException

val f = future {
  // ここでHTTP通信の処理
}
f onSuccess {
  case content => // ここで取得した値をごにょごにょ
}

try Await.result(f, 10 seconds)
catch { case e: TimeoutException => e.printStackTrace() }

2014年07月05日

Kindleでハイライト共有をオフにする

Kindleで読んでいる本には、他のユーザがハイライトした箇所に、何人がハイライトしています的な注釈が入ることがある。

小説でやられると興醒めするので、下記手順でオフにする。

設定 → 読書オプション → メモとハイライト

ここに「ポピュラー・ハイライト」と「公開メモ」があるので、これをオフにする。

日記的なもの

気がついたら1ヶ月が過ぎていた。一瞬で1ヶ月が過ぎていた。1ヶ月が一瞬なら、3ヶ月は三瞬、1年は十二瞬。まばたきを何度かしているうちに人生が終わりそうだ。

仕事環境が少し変わって非常に集中しやすい状況になった。集中しているうちに時間が経って、日の移り変わりが曖昧になって、時間が消えている。何があったか思い出せない。何もなかったのかもしれない。



続きを読む

Ubuntuでmp3ファイルの音量を変更する

lameを使う

http://wiki.audacityteam.org/wiki/Lame_Installation#Obtaining_LAME_using_APT_on_the_command_line

$ sudo apt-get install lame libmp3lame0

下記のようなコマンドで実行できる。

$ lame --scale 3 in.mp3 out.mp3

scaleを大きくすれば出力ファイルの音量も上がる。上げ過ぎると歪む。5も上げればけっこう大きくなった感じがする。