Gitのコミット時に付けられるhashって衝突するんじゃね、と思って確認したことをメモしておく。 続きを読む
2016年02月09日
2015年12月03日
AWS Redshiftメモ
少しだけ使ったのでコマンドの内容だけメモを残しておく。 続きを読む
2015年05月22日
hiveでtable dropする際にInternal error processing get_partition_namesと言われた
こんなエラーが出た。
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.thrift.TApplicationException: Internal error processing get_partition_names
こちらによると、このエラーが出た場合、DBをuseしてからであれば通るのだとか。
hive -e "use db_name; drop table foo;"
確かにこれで通った。
useしなくてもdropできるケースもあるようなのだけど、違いがわからない。
2014年07月31日
hive0.13でstored as textfileで作ったテーブルでjoinすると起こることがあるバグ
hive0.13を使っている際にNullPointerExceptionが起きて落ちる現象が発生する。
at org.apache.hadoop.hive.ql.io.HiveInputFormat.init(HiveInputFormat.java:255) at org.apache.hadoop.hive.ql.io.HiveInputFormat.getSplits(HiveInputFormat.java:300) at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getSplits(CombineHiveInputFormat.java:371)続きを読む
2014年07月29日
HIVE 0.13でGROUP BYしてCOUNTして上位10件をCOLLECT_ALLしてarrayで取得する
というようなことをする為にクエリを書く。もっと良い書き方があるような気もする。
StackOverFlowを見たらRankを使おうみたいなことが書いてあったけど、サンプルがうまく動かなかったのでROW_NUMBERを使用。0.11以降実装されているらしい。
下記クエリの仕様は、page_id, user_idが記述されているアクセスログ的なテーブルを集計して、各page_idを訪れているuser_id上位10件を出すものとする。page_idはurl encodeする。 続きを読む
2014年05月16日
vimでクリップボードにコピー
リモートのやり方知らなかったのでメモ。 続きを読む
2013年09月17日
【限定一社様】MWさん売ってます
11月1日から暇になるので、そろそろ真面目に仕事探しをしようかと思ったのだけど、いざ探してみると、希望職種(自然言語、データマイニング、全文検索)にマッチする案件があまり見つからない。職種を妥協すれば仕事自体はあるけど、可能なら希望に沿った仕事を手に入れたいところ。
ということで、下記のようなページを作ってWebで仕事が探せないか挑戦して見ることにした。
【限定一社様】プログラマ1名売ってます!
http://www.mwsoft.jp/findjob/
続きを読む
2012年07月11日
2010年03月23日
Ubuntuにapt-getでApache2を入れた際のパス構成とか
というわけで、2度と迷わないようにメモ。
続きを読む
2010年03月18日
全角片仮名と全角平仮名の変換をした際に悩んだこと
http://www.mwsoft.jp/programming/other/convert_hiragana_katakana.html
いや、「まとめてみた」ではないな、「迷ってみた」と書いた方が適切かもしれない。
続きを読む
2010年02月05日
2010年01月24日
SQLiteの全文検索を使ってみる
SQLiteの全文検索というと、昔はFTS1とか2とかのモジュールを使用する方式だったみたいだけど、現在はFTS3なるものがsqlite3.exeとかに含まれているので、得に下準備をすることなく使用できるっぽい。
公式の説明
http://www.sqlite.org/fts3.html
参考にしたサイト
http://cast-a-spell.at.webry.info/200806/article_15.html
続きを読む
2009年12月26日
2009年12月15日
Pydevのインストールをした際の手順
以下、その時にやった手順です。
続きを読む
2009年09月22日
2009年08月12日
GoogleとBingの長短が見えるFirefoxのアドオン
GoogleとBingの検索結果を同時に表示できるFirefoxアドオン「Bing & Google」
https://addons.mozilla.org/ja/firefox/addon/12253
Microsoftの反撃の一打。これまでと比べて評判も上々な検索エンジン、Bing。
Googleとどっちを使うべきだろうと悩んでいる人もいると思いますが、これを使えば、BingとGoogle、どちらが自分に向いているかが体感的に判断できると思います。
インストールすると、Firefoxの検索ボックスに、Bing & Google用の検索情報が追加されます。Firefoxの再起動はいらないので、追加は一瞬です。
それを選択して検索すると、フレームで区切られた画面が表示され、左にBingの検索結果、右にGoogleの検索結果が出ます。
ざっと使ってみた感じでは、提案力はBingが良く、打ち間違いに対するフォロー性能はGoogleが良いです。
うちのクライアント情報だと、Googleは日本語のサイトを上位に出してきて、Bingはそれよりも英語サイトを多めに出してきます。英語の公式サイトに行きたいのにGoogleで検索すると割と下の方に出ることに首を捻ったら、Bingの好感度がアップする瞬間かもしれない。
検索してから表示されるまでにかかる時間は、Googleの方が若干速いです。その辺はGoogleの得意分野か。でも、ストレスを感じるほどの差ではないです。
それからGoogleの方が検索結果に出る内容のバリエーションが豊かです。同一サイト内で複数のページを表示したり、動画や画像、ニュース、地図なんかも表示する。Bingも画像は出るけどGoogleより控えめ。この辺は好みが分かれそう。
個人的な結論としては、どっちも一長一短という感じで、Bing & Google使って両方の検索結果を同時に閲覧できる状態が一番良いかなぁと思ってしまいました。
尚、Bing & Googleは、検索結果をそのままクリックすると、フレーム内だけ遷移してしまうので、移動後にGoogle Onlyをクリックするか、Ctrl + クリックとかホイールクリックで新しいタブとして開いてあげないと見づらい。同一ドメインに飛ぶ時以外は自動でフレームクリアしてくれると良いなぁ。
あと、検索内容によってはGoogleの検索結果が最後まで表示されないことがあるけど、その辺はご愛嬌ということで。
2009年06月27日
Eclipseのソースの落とし方
落とし方はここ
http://wiki.eclipse.org/CVS_Howto
主な設定
Host : dev.eclipse.org
Path : /cvsroot/eclipse
User : anonymous
Password: 空白
Connection Type : pserver
パスはいろいろあるので、この辺から欲しいものを適当に
http://wiki.eclipse.org/CVS_Howto#CVS_Repository_Paths
2009年05月26日
geditのショートカット
タブの移動
Ctrl + Alt + Page Up
Ctrl + Alt + Page Down
タブを閉じる
Ctrl + W
あと、アンドゥした後のリドゥでCtrl + Yしても動かなかった。まぁ、これは予想できるけど。
アンドゥ
Ctrl + Z
リドゥ
Shift + Ctrl + Z
他にWindowsユーザ的に直感が効かなくなるのは、検索辺りだろうか。検索事態は普通だけど、次を検索が違う。
検索
Ctrl + F
次を検索
Ctrl + G
前を検索
Shift + Ctrl + G
強調表示のクリア
Shift + Ctrl + K
こういった違いはOSまたいで使っていると、よく忘れます。忘れた時はメニュー開いて回るよりここ見た方が早いかもしれない。
http://library.gnome.org/users/gedit/stable/gedit-shortcutkeys.html.ja
2009年05月20日
WindowsでBeep音を消す
・デバイスマネージャを開く
・メニューの「表示」 → 「非表示のデバイスを表示」を選択
・プラグアンドプレイではないドライバを開く
・「Beep」を右クリック → プロパティ
・ドライバ → 現在の状態を「停止」にし、スタートアップを「無効」に
これで消せるらしい。
2009年05月19日
Fedora10でBeep音を消す
$ modprobe -r pcspkr
でとりあえず止めて
$ sudo vi /etc/modprobe.d/blacklist
でブラックリスト開いて
modprobe pcspkr
を追加してた気がするのだけど(たぶん。インストール後に1回やるだけだから少し記憶が薄い)、「設定」→「ハードウェア」→「サウンド」を開いて「警告音のサウンドを演奏する」のチェックを外せばだいたい消えるような話を見かけた。
http://djlab.sakura.ne.jp/mydiary/?p=508
GUIでいろいろ出来るようになっているのだなぁ。でも、とりあえずCUIで覚えておいた方がディストリビューション変えた時の戸惑いが少なくて良いような気もしつつ。