mwSoft blog

Luceneの検索件数を返すtotalHitsがintだったので32bit以上だとどうなるんだろうと思ってやってみた。 続きを読む

CssBoxでWebページを収集している時に途中で詰まって動かなくなることがけっこうあったので、Awaitで指定時間以内に結果が戻ってこなければ諦める処理を書く。

こういうの簡単に書けるっていいよね。

import scala.concurrent._
import scala.concurrent.duration.DurationInt
import scala.concurrent.ExecutionContext.Implicits.global
import java.util.concurrent.TimeoutException

val f = future {
  // ここでHTTP通信の処理
}
f onSuccess {
  case content => // ここで取得した値をごにょごにょ
}

try Await.result(f, 10 seconds)
catch { case e: TimeoutException => e.printStackTrace() }

リモートのやり方知らなかったのでメモ。 続きを読む

連休に入ってから15本目の投稿。これはポメラじゃなく前のPCのメモに残っていた文章。

unicodedataはUnicode正規化ができたり、少し手を入れれば簡易なUnicodeBlock判定ができたりする。 続きを読む

世の中のPDFファイルを少し収集したかったので、5000回までなら無料で検索できる優しいBingさんにお願いすることにした。5000回以上のリクエストは有料。1万回だと1570円、10万回15,699円。商用で使うならアリな値段だけど個人ではちょっと手を出しづらい。

5000回ということは日に150回は検索ができる。個人での情報収集用途なら十分な回数。

とりあえず下記サイトに行って、右側の5,000回無料のところでサインアップ。
http://datamarket.azure.com/dataset/bing/search

サインアップできたら、マイ アカウントのマイ データのところからデモができる。 続きを読む

requestsを入れておくこと。

$ pip3 requests

week=`date '+%w'`
if [ $week -eq 0 ] ; then
  echo 日曜日
fi

直近の日曜日の日付も欲しかった。

week=`date '+%w'`
sunday=`date -d "-$week days" '+%Y%m%d'`