2016年02月09日

Gitのhashが衝突するのはどれくらいの確率か

Gitのコミット時に付けられるhashって衝突するんじゃね、と思って確認したことをメモしておく。 続きを読む

2015年12月03日

AWS Redshiftメモ

少しだけ使ったのでコマンドの内容だけメモを残しておく。 続きを読む

2015年05月22日

hiveでtable dropする際にInternal error processing get_partition_namesと言われた

こんなエラーが出た。

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.thrift.TApplicationException: Internal error processing get_partition_names

こちらによると、このエラーが出た場合、DBをuseしてからであれば通るのだとか。

hive -e "use db_name; drop table foo;"

確かにこれで通った。

useしなくてもdropできるケースもあるようなのだけど、違いがわからない。

2014年07月31日

hive0.13でstored as textfileで作ったテーブルでjoinすると起こることがあるバグ

hive0.13を使っている際にNullPointerExceptionが起きて落ちる現象が発生する。

at org.apache.hadoop.hive.ql.io.HiveInputFormat.init(HiveInputFormat.java:255)
at org.apache.hadoop.hive.ql.io.HiveInputFormat.getSplits(HiveInputFormat.java:300)
at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getSplits(CombineHiveInputFormat.java:371)
続きを読む

2014年07月29日

HIVE 0.13でGROUP BYしてCOUNTして上位10件をCOLLECT_ALLしてarrayで取得する

というようなことをする為にクエリを書く。もっと良い書き方があるような気もする。

StackOverFlowを見たらRankを使おうみたいなことが書いてあったけど、サンプルがうまく動かなかったのでROW_NUMBERを使用。0.11以降実装されているらしい。

下記クエリの仕様は、page_id, user_idが記述されているアクセスログ的なテーブルを集計して、各page_idを訪れているuser_id上位10件を出すものとする。page_idはurl encodeする。 続きを読む

2014年05月16日

vimでクリップボードにコピー

リモートのやり方知らなかったのでメモ。 続きを読む

2013年09月17日

【限定一社様】MWさん売ってます

ご覧の商品は完売致しました。次回入荷は半年から数年後を予定しております。

11月1日から暇になるので、そろそろ真面目に仕事探しをしようかと思ったのだけど、いざ探してみると、希望職種(自然言語、データマイニング、全文検索)にマッチする案件があまり見つからない。職種を妥協すれば仕事自体はあるけど、可能なら希望に沿った仕事を手に入れたいところ。

ということで、下記のようなページを作ってWebで仕事が探せないか挑戦して見ることにした。

【限定一社様】プログラマ1名売ってます!
http://www.mwsoft.jp/findjob/

続きを読む

2012年07月11日

仕事募集中

おはようございます、Watanabeです。

現在、私は知り合いの会社で、出勤日自由、出勤時間自由、勤務中の仮眠可、読書したり他ごとやってても可、夜間の飲酒可、但しお金はあまりもらえないという気楽な条件で働いてます。

続きを読む

2010年03月23日

Ubuntuにapt-getでApache2を入れた際のパス構成とか

UbuntuにApache2をapt-getで入れてみたところ、パス構成がわからなくなって少し戸惑う。普段はソースから/usr/local/apache2に入れているので、その下だけ見れば済んでいたのだけど。

というわけで、2度と迷わないようにメモ。

続きを読む

2010年03月18日

全角片仮名と全角平仮名の変換をした際に悩んだこと

全角平仮名と全角片仮名の変換をするコードを書いた時に、「どうするのが正解なんだ?」という点で少し迷ったので、まとめてみた。

http://www.mwsoft.jp/programming/other/convert_hiragana_katakana.html

いや、「まとめてみた」ではないな、「迷ってみた」と書いた方が適切かもしれない。

続きを読む

2010年02月05日

ポメラDM20ショートカットキー一覧

Alt+Menu押した時に表示されるショートカット一覧の写しと、各機能の説明兼感想一覧。



続きを読む

2010年01月24日

SQLiteの全文検索を使ってみる

FTS3を使って全文検索してみた。

SQLiteの全文検索というと、昔はFTS1とか2とかのモジュールを使用する方式だったみたいだけど、現在はFTS3なるものがsqlite3.exeとかに含まれているので、得に下準備をすることなく使用できるっぽい。

公式の説明
http://www.sqlite.org/fts3.html

参考にしたサイト
http://cast-a-spell.at.webry.info/200806/article_15.html

続きを読む

2009年12月26日

SQLite3を入れた(WindowsXP)

さっきSQLiteを入れたので、その時やったことを残しておく。

続きを読む

2009年12月15日

Pydevのインストールをした際の手順

そろそろRubyも飽きてきたので(ここ9ヶ月ほど、仕事の大半がRubyだった。。。)、Pythonに立ち返るべくPydev(Eclipseプラグイン)を入れました。

以下、その時にやった手順です。

続きを読む

2009年09月22日

スパムメールから収集したテキスト装飾

先日、我が家の捨てアドを久々に開いたら、数千件のスパムメールが溜まっていることに気づいた。

オオアリクイみたいなセンスの良いスパムがないかなぁと思って軽く見てみたが、残念ながら良質な内容は見当たらなかった。


ただ、見ていると、テキスト装飾が凝ったものが多くて感心した。

仕事でも情報をテキストで残すことがあるけど、そんな時にちょっと見やすくするのに使えるのではないかと思って収集してみた。




続きを読む

2009年08月12日

GoogleとBingの長短が見えるFirefoxのアドオン

久々に「これは使っておくべきだ」と思えるようなアドオンを見かけました。

GoogleとBingの検索結果を同時に表示できるFirefoxアドオン「Bing & Google」
https://addons.mozilla.org/ja/firefox/addon/12253


Microsoftの反撃の一打。これまでと比べて評判も上々な検索エンジン、Bing。
Googleとどっちを使うべきだろうと悩んでいる人もいると思いますが、これを使えば、BingとGoogle、どちらが自分に向いているかが体感的に判断できると思います。


インストールすると、Firefoxの検索ボックスに、Bing & Google用の検索情報が追加されます。Firefoxの再起動はいらないので、追加は一瞬です。

bing_and_google.jpg

それを選択して検索すると、フレームで区切られた画面が表示され、左にBingの検索結果、右にGoogleの検索結果が出ます。


ざっと使ってみた感じでは、提案力はBingが良く、打ち間違いに対するフォロー性能はGoogleが良いです。

うちのクライアント情報だと、Googleは日本語のサイトを上位に出してきて、Bingはそれよりも英語サイトを多めに出してきます。英語の公式サイトに行きたいのにGoogleで検索すると割と下の方に出ることに首を捻ったら、Bingの好感度がアップする瞬間かもしれない。

検索してから表示されるまでにかかる時間は、Googleの方が若干速いです。その辺はGoogleの得意分野か。でも、ストレスを感じるほどの差ではないです。

それからGoogleの方が検索結果に出る内容のバリエーションが豊かです。同一サイト内で複数のページを表示したり、動画や画像、ニュース、地図なんかも表示する。Bingも画像は出るけどGoogleより控えめ。この辺は好みが分かれそう。


個人的な結論としては、どっちも一長一短という感じで、Bing & Google使って両方の検索結果を同時に閲覧できる状態が一番良いかなぁと思ってしまいました。

尚、Bing & Googleは、検索結果をそのままクリックすると、フレーム内だけ遷移してしまうので、移動後にGoogle Onlyをクリックするか、Ctrl + クリックとかホイールクリックで新しいタブとして開いてあげないと見づらい。同一ドメインに飛ぶ時以外は自動でフレームクリアしてくれると良いなぁ。

あと、検索内容によってはGoogleの検索結果が最後まで表示されないことがあるけど、その辺はご愛嬌ということで。

2009年06月27日

Eclipseのソースの落とし方

Eclipseのソースの色変えのロジックが見たくて、ソース自体を落としてくる。


落とし方はここ
http://wiki.eclipse.org/CVS_Howto


主な設定
Host : dev.eclipse.org
Path : /cvsroot/eclipse
User : anonymous
Password: 空白
Connection Type : pserver


パスはいろいろあるので、この辺から欲しいものを適当に
http://wiki.eclipse.org/CVS_Howto#CVS_Repository_Paths


2009年05月26日

geditのショートカット

geditを使用している時に、選択タブを移動するショートカットが分からなかった。Ctrl+TabでもCtrl+PageUpでも動かず、なんだろうと思ってメニュー開いて調べたらAlt付きだった……

タブの移動
Ctrl + Alt + Page Up
Ctrl + Alt + Page Down

タブを閉じる
Ctrl + W


あと、アンドゥした後のリドゥでCtrl + Yしても動かなかった。まぁ、これは予想できるけど。

アンドゥ
Ctrl + Z

リドゥ
Shift + Ctrl + Z


他にWindowsユーザ的に直感が効かなくなるのは、検索辺りだろうか。検索事態は普通だけど、次を検索が違う。

検索
Ctrl + F

次を検索
Ctrl + G

前を検索
Shift + Ctrl + G

強調表示のクリア
Shift + Ctrl + K


こういった違いはOSまたいで使っていると、よく忘れます。忘れた時はメニュー開いて回るよりここ見た方が早いかもしれない。

http://library.gnome.org/users/gedit/stable/gedit-shortcutkeys.html.ja

2009年05月20日

WindowsでBeep音を消す

Windowsの方のBeep音の消し方を見かけたので書いておく。対象はXPです。

・デバイスマネージャを開く
・メニューの「表示」 → 「非表示のデバイスを表示」を選択
・プラグアンドプレイではないドライバを開く
・「Beep」を右クリック → プロパティ
・ドライバ → 現在の状態を「停止」にし、スタートアップを「無効」に

これで消せるらしい。

2009年05月19日

Fedora10でBeep音を消す

これまでFedoraでBeep音を消す時に

$ modprobe -r pcspkr

でとりあえず止めて

$ sudo vi /etc/modprobe.d/blacklist

でブラックリスト開いて

modprobe pcspkr

を追加してた気がするのだけど(たぶん。インストール後に1回やるだけだから少し記憶が薄い)、「設定」→「ハードウェア」→「サウンド」を開いて「警告音のサウンドを演奏する」のチェックを外せばだいたい消えるような話を見かけた。

http://djlab.sakura.ne.jp/mydiary/?p=508


GUIでいろいろ出来るようになっているのだなぁ。でも、とりあえずCUIで覚えておいた方がディストリビューション変えた時の戸惑いが少なくて良いような気もしつつ。