Python | グンマー国民の憂鬱

skimageはインポート出来るのに、skimage.ioはインポートできなかった話

多分先日CaffeをUbuntu16.04に入れようとした影響だと思うんですが，
以下のような現象が起こりました！

要するに，skimageはインポートできるのに，
skimage.ioがインポートできなくなっちゃったんです！
ついでにmatplotlib周りも似たような現象にw

結論から言うと，dateutilが古いからだそうです！
以下のコマンドを打って，1.5って出た場合にはdateutilが古いです！

>>> import dateutil
>>> dateutil.__version__

1 2	>>> import dateutil >>> dateutil.__version__

1.5だった場合には，以下のコマンドを実行するとアップデートできます！

pip3 install 'python-dateutil>=2'

1	pip3 install 'python-dateutil>=2'

このdateutilってのは，
イメージとしてはdatetimeにメソッド足した的なやつらしいです．
世界時間を考えたりしなきゃいけない時とかに，
datetimeだと単一のタイムゾーンしか…
みたいなことが起こるので，そんな時にdateutil使ったりするみたいです．

ChainerにCaffeモデルを読み込ませてテストするまで（Ubuntu16.04）

タイトルにある通りです．

初めはCaffeでやろうとするも，
Ubuntu16.04のprotobuf周りのせいで雲行きが怪しくなったので，
今回はChainerにCaffeモデルを読み込ませてテストしてみようって感じです．

① Chainerをインストールする

今回はネットワークを云々したい訳ではないので，
CPUでの利用を考えています．
したがって，Chainerのインストールはコマンド一発です！

sudo pip3 install chainer

1	sudo pip3 install chainer

GPUで使いたい場合は，こちらやこちらを参考にしてください．

② Caffeモデルの準備

次に，Chainerに読み込ませるCaffeモデルの準備をします．
今回はGoogleNetのbvlc_googlenetを利用しています．
1000個のカテゴリーに分類することができます．

こちらにある，caffemodel_urlのリンクからダウンロードしてください．
解凍したら，synset_words.txtを加工してラベルファイルを生成します．
ラベルファイル生成は，以下のコマンドを実行．

wget http://dl.caffe.berkeleyvision.org/caffe_ilsvrc12.tar.gz
tar -xf caffe_ilsvrc12.tar.gz
sed -e 's/^[^ ]* //g' synset_words.txt > labels.txt

wget http://dl.caffe.berkeleyvision.org/caffe_ilsvrc12.tar.gz

tar -xf caffe_ilsvrc12.tar.gz

sed -e 's/^[^ ]* //g' synset_words.txt > labels.txt

これで，labels.txtにラベルが保存されます．

“crane”という行が2つあってまぎらわしいので，
135行目を”crane(bird)”に，
518行目を”crane(machine)”に変更しておくと良いとのことです．

③ テスト画像をChainerへの入力形式に変更

以下のプログラムでテスト画像をChainerの入力形式に変換します．
Chainerの入力形式は[画像インデックス，BGR, Y座標, X座標]なので，
テスト画像をその形式に変換しています．
画像サイズは定義したサイズに変換しますが，
画像中のオブジェクトが歪まないように変形しています．
画像インデックスはテスト画像の枚数分指定しています．

# テスト画像の準備
import numpy as np
from scipy import misc

# 入力画像サイズの定義
target_shape = (224, 224)

# 画像を読み込み、RGB形式に変換する
image = misc.imread('sample.png')

# 画像のリサイズとクリップ
target_h, target_w = target_shape
h, w, _ = image.shape
if w > h:
    shape = (target_h, target_w * w // h)
else:
    shape = (target_h * h // w, target_w)
y_margin = (shape[0] - target_h) // 2
x_margin = (shape[1] - target_w) // 2
image = misc.imresize(image, shape)
image = image[y_margin:y_margin + target_h, x_margin:x_margin + target_w]
pixels = image.astype(np.float32)

# pixelsは3次元でそれぞれの軸は[Y座標, X座標, RGB]を表す
# 入力データは4次元で[画像インデックス, BGR, Y座標, X座標]なので、配列の変換を行う
# RGBからBGRに変換する
pixels = pixels[:,:,::-1]

# 軸を入れ替える
pixels = pixels.transpose(2,0,1)

# 平均画像を引く
mean_image = np.ndarray((3, 224, 224), dtype=np.float32)
mean_image[0] = 103.939
mean_image[1] = 116.779
mean_image[2] = 123.68
pixels -= mean_image

# 4次元にする
pixels = pixels.reshape((1,) + pixels.shape)    
# 画像インデックスはテストの画像数分用意する

# テスト画像の準備

import numpy as np

from scipy import misc

# 入力画像サイズの定義

target_shape = (224, 224)

# 画像を読み込み、RGB形式に変換する

image = misc.imread('sample.png')

# 画像のリサイズとクリップ

target_h, target_w = target_shape

h, w, _ = image.shape

if w > h:

shape = (target_h, target_w * w // h)

else:

shape = (target_h * h // w, target_w)

y_margin = (shape[0] - target_h) // 2

x_margin = (shape[1] - target_w) // 2

image = misc.imresize(image, shape)

image = image[y_margin:y_margin + target_h, x_margin:x_margin + target_w]

pixels = image.astype(np.float32)

# pixelsは3次元でそれぞれの軸は[Y座標, X座標, RGB]を表す

# 入力データは4次元で[画像インデックス, BGR, Y座標, X座標]なので、配列の変換を行う

# RGBからBGRに変換する

pixels = pixels[:,:,::-1]

# 軸を入れ替える

pixels = pixels.transpose(2,0,1)

# 平均画像を引く

mean_image = np.ndarray((3, 224, 224), dtype=np.float32)

mean_image[0] = 103.939

mean_image[1] = 116.779

mean_image[2] = 123.68

pixels -= mean_image

# 4次元にする

pixels = pixels.reshape((1,) + pixels.shape)

# 画像インデックスはテストの画像数分用意する

④ Caffeモデルを読み込む

以下のプログラムで，Caffeモデルを読み込みます．
caffemodelのパスは各自の環境に合わせて定義してください．

# chainerにgooglenetのモデルをインポートする

import chainer
import chainer.functions as F
from chainer.functions import caffe

# caffemodelを読み込む
func = caffe.CaffeFunction('./bvlc_googlenet.caffemodel')

# レイヤー'loss3/classifier'の出力を得て、softmaxを適用する
x = chainer.Variable(pixels, volatile=True)
y, = func(inputs={'data': x}, outputs=['loss3/classifier'], disable=['loss1/ave_pool', 'loss2/ave_pool'], train=False)
prediction = F.softmax(y)

# chainerにgooglenetのモデルをインポートする

import chainer

import chainer.functions as F

from chainer.functions import caffe

# caffemodelを読み込む

func = caffe.CaffeFunction('./bvlc_googlenet.caffemodel')

# レイヤー'loss3/classifier'の出力を得て、softmaxを適用する

x = chainer.Variable(pixels, volatile=True)

y, = func(inputs={'data': x}, outputs=['loss3/classifier'], disable=['loss1/ave_pool', 'loss2/ave_pool'], train=False)

prediction = F.softmax(y)

⑤ 予測させる

最後に以下で予測させます．

# テストしてみる
#ラベルを読み込む
categories = np.loadtxt('./labels.txt', str, delimiter="\n")

# スコアとラベルを紐づけスコアの高い順にソートする
result = zip(prediction.data.reshape((prediction.data.size,)), categories)
result = sorted(result, reverse=True)

# 上位10個の結果を表示する
for i, (score, label) in enumerate(result[:10]):
    print('{:>3d} {:>6.2f}% {}'.format(i + 1, score * 100, label))

# テストしてみる

#ラベルを読み込む

categories = np.loadtxt('./labels.txt', str, delimiter="\n")

# スコアとラベルを紐づけスコアの高い順にソートする

result = zip(prediction.data.reshape((prediction.data.size,)), categories)

result = sorted(result, reverse=True)

# 上位10個の結果を表示する

for i, (score, label) in enumerate(result[:10]):

print('{:>3d} {:>6.2f}% {}'.format(i + 1, score * 100, label))

試しに以下のキジムナーの画像をテストしてみた結果です．

  1  22.69% b'clog, geta, patten, sabot'
  2  16.32% b'cowboy boot'
  3   6.24% b'pot, flowerpot'
  4   4.69% b'wig'
  5   3.22% b'plastic bag'
  6   3.02% b'mousetrap'
  7   2.44% b'ocarina, sweet potato'
  8   1.65% b'toilet seat'
  9   1.64% b'mask'
 10   1.47% b'stinkhorn, carrion fungus'

1 22.69% b'clog, geta, patten, sabot'

2 16.32% b'cowboy boot'

3 6.24% b'pot, flowerpot'

4 4.69% b'wig'

5 3.22% b'plastic bag'

6 3.02% b'mousetrap'

7 2.44% b'ocarina, sweet potato'

8 1.65% b'toilet seat'

9 1.64% b'mask'

10 1.47% b'stinkhorn, carrion fungus'

Python初心者育成講座〜群馬からPythonistaを〜

PyHorse記念すべき第一回目のイベントが昨日ありました！

僕自身のスキルは全然だけど、
群馬とPythonへの情熱からここまで押し上げましたw

応募人数が３０人！！！！！！！！

初めての怪しいイベントでこの人数は正直びっくりしました。
「群馬産Pythonista」を量産することができて良かったです。
これだけ反響がいいと、
僕自身Pythonを頑張ろうって逆にやる気が出ますよねw

今後もPyHorseを通じて、

ヤンググンマーのIT遅れの改善
群馬のIT初心者支援の場所作り
群馬のIT帝国化

を進めて行きたいと思います。

Pythonコミュニティ「PyHorse」を立ち上げました！

「群馬からPythonistaを」

このサイトのタイトルのように，
群馬での生活は非常に退屈で憂鬱なものです．
少しでも群馬をクリエイティブな帝国にしたい．
そんな思いから，群馬にPythonを広めるべく，
「PyHorse」を立ち上げました．

Python + 群馬(Horse) = PyHorse です！

私自身そこまでPythonが出来るわけでもありませんが，
Pythonを始めて知ったときに，初めからこれを学びたかった！
と後悔をしました．
プログラミング言語初心者にとって，
Pythonは非常に学びやすい言語だと思いますので，
同じ後悔を群馬の若者にして欲しくない一心です．

さて，今回その「PyHorse」初のイベント．

Python初心者育成講座

を企画しました．

日時：11月19日（土）8:30 〜 17:00
場所：群馬大学　桐生キャンパス
申し込み：http://pyhorse.connpass.com/event/44406/

です！

このサイトは自分の備忘録的な部分が多いので，
購読者は少ないかと思いますが，
たくさん人が来て，Pythonを一緒に勉強する仲間が欲しいです！

Tkinterモジュールでちょっと困った話

selective searchの実装をいじっていたときに、
描画ツールがねーよみたいな感じで怒られました。

sckitだかnumpyだかのなんかのグラフ描画のときには、
描画に使うパッケージを指示できるみたいで、
僕の場合はTkが使えねーよみたいな感じで怒られました。

以降、Tkに対しての備忘録。

tkinter パッケージ (“Tk インタフェース”) は、
Tk GUI ツールキットに対する標準の Python インタフェースです。
Tk と tkinter はほとんどの Unix プラットフォームの他、
Windows システム上でも利用できます
(Tk 自体は Python の一部ではありません。
Tk は ActiveState で保守されています)。
tkinter が正常にインストールされているかどうかは、
コマンドラインから python -m tkinter を実行することで確認できます。
これはシンプルな Tk インタフェースの
デモンストレーションウィンドウを開きます。

だそうです。

具体的な対処としては、ここからダウンロードすればおkです。

もしくは、

$ sudo apt-get -y install python3-tk

1	$ sudo apt-get -y install python3-tk

でもいけます！

写真・画像APIを叩く

後輩君の研究を手伝ってて、
検索クエリに対して画像を引っ張ってくるAPIを叩く必要があったので、
調べたこととか、まとめときたいと思います。
ちなみに、Python3で活用していくことを考えています。

まず、そもそもどんなAPIが公開されているのかの一覧については
こちらのサイトを参考にしました！

Flickr、フォト蔵、Google、Bing等たくさんあるみたいです。
今回のニーズには沿ってませんでしたけど、Tiqavは面白そうだったので、
後でなんかに使ってみたいですねw

さて、今回まず試したのはフォト蔵APIです。
単純に日本語検索したいので、日本語に強そうなフォト蔵を選んでみました！

フォト蔵のAPIはここで公開されてます！
GETでとってくるみたいで、認証なしなので楽チンですね！
ソースコードはあとで上げてみます〜

して、フォト蔵から画像引っ張って来れるようになったんですけど…
フォト蔵について無知な自分が悪かったんですけど、
これ、あくまでフォトなんですねw
「りんご」とかで引っ張ってくると、「The りんご」がでてくることが少ない！

Googleのimage検索のイメージでいたので、思ってたのとちがーう！

ということで、次はGoogleかBingかってところで…

GoogleのimageAPIはサービスを終了しちゃってて、
似たようなことやるとなると、
custum search APIを上手く使う必要があるみたいです！
ここにやりたいことをやってくれていた方の記事があったんですけど、
今回はより簡単そうなBingの方のAPIを叩くことにしました。

Bingの方のやり方は、
こちらを参考（というかほぼそのままでいい感じ！）にさせて頂きました！

これでキジムナーの画像もたくさん引っ張ってこれますね( ^ ^ )/□

備忘録：
Bing Search APIは2016年12月15日を持って終了するとのアナウンス。
Microsoft Azure Cognitive ServiceにBing API v5というAPIが既にリリースされており、いずれこちらのAPIに切り替える必要あり。

pickleでオブジェクトを漬物に！（追記：shelveの方が便利感）

Pythonでオブジェクトをそのまま保存する方法ないかなぁ〜って探してたら、
pickleなるものを発見しました！
保存するとき：

import pickle

hoge = 'hello'

# pickleで保存

with open('sample.pickle',mode='wb') as f:
　　pickle.dump(hoge,f)

import pickle

hoge = 'hello'

# pickleで保存

with open('sample.pickle',mode='wb') as f:

　　pickle.dump(hoge,f)

こんな感じにすると、sample.pickleの中にhogeがバイナリで保存されます．
読み込むとき：

import pickle

with open('sample.pickle',mode='rb') as f:
　　hoge = pickle.load(f)

import pickle

with open('sample.pickle',mode='rb') as f:

　　hoge = pickle.load(f)

こんな感じにすると、hogeの中に’hello’が格納されて復元できてるはずです。
pickle（ピクル）はピクルス的な、漬ける的なイメージで記憶しておこう。

追記：
複数のオブジェクトを保存しておきたいとき、
pickleだとリストを作って保存しなきゃいけなくて結構面倒だなぁ〜って思った。
そんなときには、shelveモジュールを使うといいらしい！
保存するとき：

import shelve

#保存するファイルネーム
FILENAME = 'hoge.db'

a = 3.1415
b = 'wonderful rush!'

#openとcloseの間で色々突っ込む
d = shelve.open(FILENAME)
#'キー'とオブジェクトの辞書形式で保存
d['pi'] = a
d['kotori'] = b
d.close()

import shelve

#保存するファイルネーム

FILENAME = 'hoge.db'

a = 3.1415

b = 'wonderful rush!'

#openとcloseの間で色々突っ込む

d = shelve.open(FILENAME)

#'キー'とオブジェクトの辞書形式で保存

d['pi'] = a

d['kotori'] = b

d.close()

こんな感じにすると、
{‘pi’ : a
‘kotori’ : b}
のような感じの辞書形式でhoge.dbに保存される。
読み込むとき：

import shelve

# 読み込むファイル名
FILENAME = 'hoge.db'

d = shelve.open(FILENAME)
a = d['pi']
b = d['kotori']
d.close()

import shelve

# 読み込むファイル名

FILENAME = 'hoge.db'

d = shelve.open(FILENAME)

a = d['pi']

b = d['kotori']

d.close()

こんな感じにすると、
変数aに3.1415、変数bに’wonderful rush’が復元される。

2020年11月
月	火	水	木	金	土	日
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30