2017年02月18日

kuromoji-neologdを使った形態素解析

Lucene3系だった頃と書き方がちょっと変わってたのでメモしておく。

とりあえず下記を参考にdependencyは記述されているものとする。
https://github.com/codelibs/elasticsearch-analysis-kuromoji-neologd 続きを読む

2016年12月21日

Scala SparkでRowがMatchErrorを起こす

こんな感じ。

Exception in thread "main" scala.MatchError: [foo,28,995,0.0] (of class org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema)
続きを読む

2016年09月10日

JavaでAvroのGenericRecordの中身をループで見る

やり方がわからなかったので調べた。getFieldsでSchema.Fieldの一覧を取ってそれをループさせれば良いようだ。

Recordが入れ子になっている場合は型調べつつ再帰的にやれば子要素まで取れると思う(未確認)。

Javaと言いつつコードはScala。まあ、同じようなものだし。続きを読む

2016年09月09日

rails + postgresqlを動かしたメモ

なんか久々にrails動かしたので手順をメモしておく。何年ぶりだろう。 続きを読む

gnomeの端末でrvmでuseできなかった場合

ちょっとRubyを使う用事があったのでrvm入れてuseとか言ったら下記のエラーが出た。

$ rvm use ruby-2.2.1

RVM is not a function, selecting rubies with 'rvm use ...' will not work.

You need to change your terminal emulator preferences to allow login shell.
Sometimes it is required to use `/bin/bash --login` as the command.
Please visit https://rvm.io/integration/gnome-terminal/ for an example.
続きを読む

2016年09月04日

JavaでSlackにMessageを投稿する最小限のコード

メッセージを飛ばすだけの用事で依存ライブラリを増やすのもなんだったので、最小限のメッセージを飛ばすだけのコードを書く。戻り値はレスポンスを文字列にしたもの。続きを読む

firefoxのデフォルトの文字サイズが小さく感じる時

新しくPCを買って触っていたところ、Firefoxで表示される文字サイズがどうも小さく感じることが多かった。

デフォルトのズームサイズを変えてしまえばよかろうということで、変え方を探したところmozllaのフォーラムにやり方が書いてあった。

about:config で layout.css.devPixelsPerPx の値を変えれば良いようだ。うちは1.25にしたらちょうど良いサイズになった。

apt-getでopenjdkを入れる

普段はoracleのjdk installerを入れてるけど、openjdk入れたい時ってどうすればいいんだっけ。

jreの場合はdefault-jreを入れるところだけど、jdkの場合はdefault-jdkで良いらしい。

$ sudo apt-get install default-jdk

これで最新(この記事を書いている時点では1.8.0_91)が入った。defaultと書いておけば済むのは便利。

前のバージョンを入れたい際は apt-get install openjdk-7-jdk のようにバージョン付きのパッケージがあるっぽいけど未検証。

2016年09月01日

JavaでHadoopのrmdirしたかった

fs.rmdir(path) みたいなことができるかと思ったのだけど、API見てみるとおらぬ。 続きを読む

2016年08月25日

linuxでフォルダ内のファイルを古いものからn件削除する

n日経過したファイルとかじゃなく、古いものから順にn件消したい時ってどうするんだっけと思ったけど、ls -tで日付でソートした状態で出してからtailでn件を抽出してrmすれば良いか。

$ ls -t | tail -100 | xargs rm

2016年08月22日

yumでg++を入れる

yum g++ではないらしい。長らくUbuntu系しか使ってなかったので忘れてしまった。

下記で入る。

yum gcc-c++

2016年08月18日

scala.util.Tryで複数の例外をcatchする方法がわからなかった

Scalaのtry catchで複数の例外をまとめてcatchしたい場合は、こんな風に書ける。続きを読む

2016年08月13日

pythonのjoblibでコア数以上の並列が可能か確認する

sleepさせながら行う処理を100個ほど立ち上げたかったので、4コアのマシン上でちゃんとプロセスが100個並列で立ち上がってくれるか、それともどっかで頭打ちしてしまうのか確認する。続きを読む

Python3でURLから{schema}://{domain}/を抜き出したい

http://www.example.com/foo/bar/baz というURLがあった時に、http://www.example.com/ の部分だけ抜き出したかった。

StackOverFlowにPython2での抜き出し方が書いてあった。Python3用だと下記のように書けるようだ。

from urllib.parse import urlparse
url = 'http://www.example.com/foo/bar/baz'
'{uri.scheme}://{uri.netloc}/'.format(uri=urlparse(url))
  #=> http://www.example.com/

2016年07月23日

numpyで数値が指定範囲にいない場合に、指定範囲のmin/maxに置き換えたい

とある数値について、0.0〜1.0の間にいて欲しいのに-0.1とか1.1みたいな値が混ざっていた場合。 続きを読む

2016年07月13日

Kafka - Zookeeperからbrokerの一覧を取得する(Python)

さらっと一覧を出したかったのでPythonのコードを書く。

Stackoverflowによるとzookeeperから取っていたので、多分、こんな感じで良いのだと思う。 続きを読む

2016年06月23日

Xubuntu16.04を入れたメモ

時間があったので16.04を入れてみる。今のところ快適に動いている。 続きを読む

2016年06月22日

UbuntuでBluemanがダウンロードディレクトリがないと言ってくる

Xubuntu16.04を入れていつものごとく LANG=C xdg-user-dirs-gtk-update でホームディレクトリ配下の日本語ディレクトリを英語化したところ、再起動時に下記のようなエラーが出るようになった。

Configured directory for incoming files does not exist

Please make sure that directory "/home/user/ダウンロード" exists or configure it with blueman-services
続きを読む

2016年05月14日

Mint + Mozc(Fcitx)でたまに英語キーボード入力になる

Mint LinuxでMozc(Fcitx)を利用している時に、最初は日本語キーボード入力(106)だったのが、たまに英語キーボード(101)に切り替わってしまうことがあった。

Fcitxの設定の中に英語キーボードが候補に入っていると、たまに入れ替わってしまっているように見えた。

英語キーボードの設定そのものを消して対応する。

スタートメニュー → 設定 → Fcitx設定から、入力メソッドの中で「キーボード - 英語」が入っていたら、それを削除(-)する。

これで今のところ現象は収まっているようだ。

2016年04月29日

xbacklightで起動時のディスプレイのblightnessを調整する

新しく買ったノートにMintを入れたのだけど、電源管理あたりにblightnessの調整が付いてなくてキーボードからの調整もできなかったので、xbacklightで調整した。続きを読む