「あれ、この前書いたソースコードどこやったっけ……。あー、そういえばipythonで書いてどこにも書き写してないや」みたいな時に、ipythonのhistoryをまとめ読みしたくなることってありますよね。
historyコマンドだと一度セッションを終了すると以前のセッションは出てこない。でもhistoryファイルには前セッションの内容も残っている。セッションをまたいでhistoryを取る方法もありそうな気がするけど、さらっと検索した限りだと見当たらなかったので、historyファイルを参照することにしてみる。 続きを読む
csvファイルをhiveに読ませる場合に、ヘッダが付いていたらどうするか。そのまま読み込ませるとヘッダ行も列に追加されてしまう。
hive0.13からはskip.header.line.countを指定して、行を飛ばせるらしい。ついでにフッタ行を飛ばす skip.footer.line.count もいるようだ。
下記、サンプルのcreate文。最後の行でtblpropertiesに1行ヘッダスキップする設定にしている。 続きを読む
毎回微妙に変わる気がする。 続きを読む
3Dでplotしようと思ってサンプルコード通りに書いてみたところ、下記のようなエラーが出る。
AttributeError: 'module' object has no attribute '_string_to_bool'
どうやらpipでインストールする際に3Dも入れる設定をしないといけないらしい。
$ pip insatll --upgrade matplotlib[mplot3d]
上記を実行したら普通に動いた。
前に動かした時は特に3D用に入れた記憶がないのだけど、以前からこうだったっけ。apt-getで入れたから違うとかあるのかな。