brew install python@3.12をすると，./Modules/_uuidmodule.c:11:12: fatal error: uuid.h: No such file or directoryと出てきて，ビルドができません．単にuuidをインストールするだけではダメで，コツがいるようでしたので解決法を共有します．

brew install python@3.12でuuid.hがない!!

<code>brew install python@3.12</code>をすると，<code>./Modules/_uuidmodule.c:11:12: fatal error: uuid.h: No such file or directory</code>と出てきて，ビルドができません．単にuuidをインストールするだけではダメで，コツがいるようでしたので解決法を共有します．
<h2>問題&#x26;解決法（忙しい人向け）</h2>
<pre><code class="hljs language-sh">$ brew install python@3.12
...
(略)
...
./Modules/_uuidmodule.c:11:12: fatal error: uuid.h: No such file or directory
 11 | #include &#x3C;uuid.h>
 | ^~~~~~~~
compilation terminated.
make[2]: *** [Makefile:3114: Modules/_uuidmodule.o] Error 1
make[2]: *** Waiting for unfinished jobs....
make[2]: Leaving directory '/tmp/pythonA3.12-20231031-639797-1j9sddh/Python-3.12.0'
make[1]: *** [Makefile:796: profile-gen-stamp] Error 2
make[1]: Leaving directory '/tmp/pythonA3.12-20231031-639797-1j9sddh/Python-3.12.0'
make: *** [Makefile:808: profile-run-stamp] Error 2
</code></pre>
どうやら<code>uuid.h</code>をインクルードしたいらしいのですがどうやら見当たらないようです．
解決法は以下のとおりです．（あくまでも一例）
<pre><code class="hljs language-sh">$ brew install ossp-uuid # uuid.hを入手
$ ln -s $(brew --prefix)/include/uuid/uuid.h $(brew --prefix)/include/uuid.h # シンボリックリンク
$ brew install python@3.12
</code></pre>
これでインストールができるはずです！
<h2>原因は？</h2>
python3.12をビルドする時に，依存関係のあるヘッダファイルは<code>$(brew --prefix)/include/</code>から読み込まれていそうでした．
この時，<code>python@3.12</code>は<code>uuid.h</code>を必要とするのですが，それを含む<code>ossp-uuid</code>に対して依存関係の記述がないため，対象のディレクトリに存在しない場合に問題が問題が起こっている様でした．
ただし，それだけではないのが，今回面倒なところです．
<pre><code class="hljs language-sh">$ brew install ossp-uuid
</code></pre>
を実行すると<code>$(brew --prefix)/include/uuid/uuid.h</code>というように配置され，<code>include/</code>配下に直接置かれていないために，参照できず同じエラーが起こります．
そのため，
<pre><code class="hljs language-sh">$ ln -s $(brew --prefix)/include/uuid/uuid.h $(brew --prefix)/include/uuid.h
</code></pre>
として，<code>uuid.h</code>に<code>uuid/uuid.h</code>のシンボリックリンクを直接張ることで適切にビルド時に参照されることになります．
今回<code>uuid</code>が問題となりましたが，他のパッケージでも同じようなことが起こりうると思われるので，同様のエラーが起きた場合はチェック項目の一つとなりそうです！

poetry add espnetではうまくインストールができなかった．．．そこで，poetryを用いてespnetをインストールする方法を共有します．

poetry add espnetがしたいんじゃっ

<code>poetry add espnet</code>ではうまくインストールができないらしい．．．
そこで，poetryを用いてespnetをインストールする方法を共有します．
<h2><code>poetry add espnet</code>をするとどうなるか</h2>
<pre><code class="hljs language-bash">$ poetry add espnet
$ # 或いは poetry add git+https://github.com/espnet/espnet

Using version ^202209 for espnet

Updating dependencies
Resolving dependencies... (16.1s)

Unable to determine package info for path: /Users/usr/unsupervised-speaker-diarization/.venv/src/pb_bss

Fallback egg_info generation failed.

Command ['/var/folders/lw/7tgtngh90p37c6k_fnbd_91m0000gn/T/tmpuu9nt656/.venv/bin/python', 'setup.py', 'egg_info'] errored with the following return code 1, and output: 
Traceback (most recent call last):
 File "/Users/usr/unsupervised-speaker-diarization/.venv/src/pb_bss/setup.py", line 3, in &#x3C;module>
 import numpy as np
ModuleNotFoundError: No module named 'numpy'

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
 File "/Users/usr/unsupervised-speaker-diarization/.venv/src/pb_bss/setup.py", line 8, in &#x3C;module>
 raise ModuleNotFoundError("""
ModuleNotFoundError: 
This package has some Cython files that will be compilled,

when you install this package. The Cython files use numpy and scipy.

Please install them before you install this packges:

 'conda install numpy Cython scipy'
or
 'pip install numpy Cython scipy'
</code></pre>
<code>numpy</code>と<code>Cython</code>と<code>scipy</code>を入れろと怒られます．
しかし，個別にこれらのライブラリを入れたとしてもうまくいきません．
<h2>解決策</h2>
こちらのissueが参考になりました．（<a href="https://github.com/espnet/espnet/issues/3640">参考</a>）
どうやら問題なのは，espnetの<code>setup.py</code>らしいです．
Speech Enhancementのためにインストールする必要がある<code>ci_sdr</code>がpoetryに対応できていないのが原因だそう．
そこで，ローカルにリポジトリをクローンしてきて，対象箇所をコメントアウトすることで対応します．
手順は以下の流れになります．
<pre><code class="hljs language-bash">$ git clone https://github.com/espnet/espnet
</code></pre>
クローンできたら，<code>./espnet/setup.py</code>を書き換えます．
<code>"ci_sdr"</code>をコメントアウトします．
<pre><code class="hljs language-python"># 30行目から一部抜粋
 # ASR
 "sentencepiece",
 "ctc-segmentation>=1.6.6",
 # TTS
 "pyworld>=0.2.10",
 "pypinyin&#x3C;=0.44.0",
 "espnet_tts_frontend",
 # ENH
 # "ci_sdr"　　# &#x3C;== ここが問題．コメントアウト
 "pytorch_wpe",
 "fast-bss-eval==0.1.3",
 # fix CI error due to the use of deprecated functions
 # https://github.com/espnet/espnet/actions/runs/3174416926/jobs/5171182884#step:8:8419
 # https://importlib-metadata.readthedocs.io/en/latest/history.html#v5-0-0
 "importlib-metad
</code></pre>
編集したら，editableモードでインストールしましょう．
<pre><code class="hljs language-bash">$ poetry add -e ./espnet # ここ大事． espnetではなく，./espnetでパス形式
</code></pre>
<code>./espnet</code>とパスの形で書くことで，ライブラリ名のespnetとパスとしてのespnetを識別させましょう．
これでpoetryでespnetをインストールすることができます．
うまくpoetryが動かない時はサポートしていないライブラリが存在している可能性があるので注意しましょう！

Transformersを使って入力テキストをtokenizeするときに，データセットのサイズが大きかったので，バッチ単位でエンコードしたかった時がありました．この時，collate_fnに対して複数の引数を与えたかった状況の時の対処法です．(日本語変かも)

collate_fnで複数の引数を取りたい!!

Transformersを使って入力テキストをtokenizeするときに，データセットのサイズが大きかったので，バッチ単位でエンコードしたかった時がありました．
この時，collate_fnに対して複数の引数を与えたかった状況の時の対処法です．(日本語変か?)
<h2>やりたかったこと</h2>
DataLoaderを定義するときに，<code>collate_fn</code>のところで自作collate_fnを指定して，batch単位で流れてくるデータに対してエンコードすること．
これがやりたいことになります．つまりこんな感じ
<pre><code class="hljs language-python">from torch.utils import Dataset, DataLoader

class MyDataset(Dataset):
 def __init__(self, *args, **kwargs):
 super().__init__()
 ...
 
 def __len__(self):
 ...

 def __getitem__(self, idx: int):
 ...

dataloader = DataLoader(dataset=MyDataset(), batch_size=16, shuffle=True,
 num_workers=os.cpu_count(),
 collate_fn=custom_collate_fn) # &#x3C;--- ここで自作collate_fnを指定して制御
</code></pre>
<h2>やってうまくいかなかったこと</h2>
先にやってうまくいかなかったことを共有しておきます．
自分が使っているのが，<code>pytorch-lightning</code>なのでそのせいもあるかもしれません．なので，もしかしたら普通に素のPytorchならうまくいくかもしれません．
教えてください🙏
<h3>lambda式で制御する (functools.partialを使う)</h3>
こんなことをしました．
<pre><code class="hljs language-python">from torch.utils import Dataset, DataLoader
from transformers import AutoTokenizer

class MyDataset(Dataset):
 def __init__(self, *args, **kwargs):
 super().__init__()
 ...
 
 def __len__(self):
 ...

 def __getitem__(self, idx: int):
 ...
 return text, label

def custom_collate_fn(data, tokenizer, max_length):
 texts, labels = zip(*data)
 texts = list(texts)
 texts = tokenizer.batch_encode_plus(
 texts,
 padding=True,
 truncation=True,
 max_length=max_length,
 return_tensors='pt',
 )
 labels = torch.LongTensor(labels)
 return texts, labels

tokenizer = AutoTokenizer.from_pretrained(...)
max_length = 256
dataloader = DataLoader(dataset=MyDataset(), batch_size=16, shuffle=True,
 num_workers=os.cpu_count(),
 collate_fn=lambda data: custom_collate_fn(data, tokenizer, max_length))
</code></pre>
<code>pytorch-lightning</code>の仕様だとは思うのですが，<code>pickle</code>で圧縮するらしくそのタイミングでエラーを吐かれました．
なぜだろう...有識者の方教えてください...
<h2>【解決策】 classで定義する</h2>
lambda式でダメだったので，もうクラスの内部に必要なものを保持させておこうということになりました．(僕の中では)
次のコードのような感じで解決しました．
<pre><code class="hljs language-python">from torch.utils import Dataset, DataLoader
from transformers import AutoTokenizer

class MyDataset(Dataset):
 def __init__(self, *args, **kwargs):
 super().__init__()
 ...
 
 def __len__(self):
 ...

 def __getitem__(self, idx: int):
 ...
 return text, label

class CollateFn:
 def __init__(self, tokenizer, max_length: int) -> None:
 self.tokenizer = tokenizer
 self.max_length = max_length
 os.environ["TOKENIZERS_PARALLELISM"] = "true" # &#x3C;--- 多分これを明示的に指定しないと怒られます (true|false)

 def __call__(self, data):
 texts, labels = zip(*data)
 texts = list(texts)
 texts = self.tokenizer.batch_encode_plus(
 texts,
 padding=True,
 truncation=True,
 max_length=self.max_length,
 return_tensors='pt',
 )
 labels = torch.LongTensor(labels)
 return texts, labels

tokenizer = AutoTokenizer.from_pretrained(...)
max_length = 256
dataloader = DataLoader(dataset=MyDataset(), batch_size=16, shuffle=True,
 num_workers=os.cpu_count(),
 collate_fn=CollateFn(tokenizer, max_length))
</code></pre>
<h2>まとめ</h2>
素のPytorchで組めば問題なかったのかもしれませんが，<code>pytorch-lightning</code>を使っている方は同じ状況になるかもしれません．
その時は，ぜひ参考にclassでcollate_fnで実装してみて解決の一助となれたら幸いです．

atmaCup#10に参加しました。しっかりとコンペにフルコミットしたのは今回が初めてなので、ほぼ初参加と言っていいでしょう。しかし、結果はPublic: 137位でPrivate: 130位(+7)というクソ雑魚結果に...。これは大反省会をして次に生かすことに他ならないということで久々にブログに記します。誰かのお役に立てれば嬉しいかなと思いながら、大反省をしていきます。

atmaCup#10大反省会(Public: 137位/Private: 130位)

atmaCup#10に参加しました。しっかりとコンペにフルコミットしたのは今回が初めてなので、ほぼ初参加と言っていいでしょう。しかし、結果はPublic: 137位でPrivate: 130位(+7)というクソ雑魚結果に...。
これは大反省会をして次に生かすことに他ならないということで久々にブログに記します。誰かのお役に立てれば嬉しいかなと思いながら、大反省をしていきます。
<h2>とりあえず結果から</h2>




















<table><thead><tr><th align="left"></th><th align="left">RANKING</th><th align="left">RMSLE SCORE</th></tr></thead><tbody><tr><td align="left">Public</td><td align="left">137</td><td align="left">1.0213</td></tr><tr><td align="left">Private</td><td align="left">130(+7)</td><td align="left">1.0354(-0.0141)</td></tr></tbody></table>
詳細な結果はご覧の通りです。
めっちゃクソ雑魚すぎて...。反省点は永遠に出てきそうですが、
<ul>
<li>どこで負けたのか。敗因はなんなのか？</li>
<li>参考になったディスカッション</li>
<li>これから対策すること</li>
</ul>
この辺に沿って大反省をしていこうと思います。
<h2>MyModel</h2>
<h3>モデル</h3>
反省するために、自分のモデルと特徴量を整理していきます。
まず、僕の作成したモデルが以下になっています。
<ul>
<li>Model: LightGBM (10 FoldのAverage)</li>
<li>KFold: Stratified 10-Fold</li>
<li>parameters:
<ul>
<li>'boosting_type': 'gbdt',</li>
<li>'feature_pre_filter': False,</li>
<li>'lambda_l1': 0.00024503835566927994,</li>
<li>'lambda_l2': 9.900190817327861e-07,</li>
<li>'num_leaves': 56,</li>
<li>'feature_fraction': 0.8999999999999999,</li>
<li>'bagging_fraction': 1.0,</li>
<li>'bagging_freq': 0,</li>
<li>'min_child_samples': 20,</li>
<li>'num_iterations': 100000,</li>
<li>'early_stopping_round': 200,</li>
<li>'learning_rate': 0.02,</li>
</ul>
</li>
</ul>
上記パラメータはoptunaでチューニングしました。チューニングで上がったCVスコアは0.002くらいでしたね(笑)
ほとんど寄与していないですが、気持ちチューニングしたって感じです。
<h3>特徴量</h3>
使用した特徴量をまとめます。 
一応効いた順に並べていきます。

































































<table><thead><tr><th>特徴量</th><th>寄与度</th><th>労力</th></tr></thead><tbody><tr><td>collection, techniques, material のWord2Vec => PCA2次元</td><td>絶大</td><td><a href="https://www.guruguru.science/competitions/16/discussions/2fafef06-5a26-4d33-b535-a94cc9549ac4/">アライさんのディスカッション</a>により小</td></tr><tr><td>principal_makerのカテゴリ</td><td>絶大</td><td>astype('category)なので小</td></tr><tr><td>subtitle => W,H,T,D</td><td>絶大</td><td>中</td></tr><tr><td>subtitle => WxH</td><td>大</td><td>中</td></tr><tr><td>more_title, titleのTF-IDF => PCA2次元</td><td>大</td><td>大</td></tr><tr><td>principal_makerの出現回数</td><td>大</td><td>小</td></tr><tr><td>datingのUNIX時間 / 1E6</td><td>大</td><td>中</td></tr><tr><td>aquisition_dating - year_late</td><td>大</td><td>中</td></tr><tr><td>dating_timeのカテゴリ変数化</td><td>大</td><td>小</td></tr><tr><td>その他諸のカテゴリ変数</td><td>皆無</td><td>大</td></tr><tr><td>paletteの平均,分散,Top色</td><td>ほぼなし</td><td>絶大</td></tr></tbody></table>
テキスト系の特徴量がとても効いていたという印象があります。カラー系はそもそも絵画ということから、テーブルデータであることから離れて考えて、色々仮説は立てましたが、ほぼほぼ意味なかったというね。。。(笑)
色系統で立てた仮説は、こんな感じでした。
<ul>
<li>色の統一感があった方が印象が一定? (分散を見ればわかるのでは)</li>
<li>割合上位色の平均とか分散に依存するのでは?</li>
<li>逆に割合下位色は差し色として効果があるのでは?</li>
</ul>
どれも工夫して結構特徴量に入れたのですが、ほとんどが効いていなくて半ば泣きそうでした(笑)
後半にディスカッションからピックアップしてきたテキスト系がうまいこと効いてくれて、最後の最後にスコアがなんと0.02も飛躍するということに...。
「おい、なんでお前はテキスト系にdeadline前日に目をつけてるんだよ」とかいうお気持ちになりましたが(笑)
ま、それはそれで良い経験でした。
<h2>敗因と今後の展望</h2>
悲惨な結果になりましたので、ここでしっかり敗因を考えていこうと思います。
とにかく敗因は多いと思うので、列挙していこうと思います。この辺は同じような結果の人なら同じこと考えているんじゃないかな。。。
<ul>
<li>自分なりのパイプラインがない(Kaggle routine的な)</li>
<li>実験管理が甘々(ファイル管理雑 => 前やったこととCV,LBがわからん)</li>
<li>関数とかクラスを用意しないから再利用生にかける</li>
<li>EDAが雑雑雑雑......</li>
<li>仮説と実験、立証の思考が浅い(仮説が正しくない時の次がない)</li>
<li>テキスト特徴量の効果に気づいたのが前日の金曜日()</li>
<li>ディスカッションをみた後実装すぐしない</li>
<li>単純に経験と学習量が足りない</li>
</ul>
無限に出てきそうですが、とりあえず主要な原因は上記にあると思います。
最後の単純に経験と学習量に関しては気持ち程度の言い訳で、自分よりも経験が浅いだろう人は上位にたくさんいるので、やり方が悪いとしか思えません。というわけで、最も敗因になったであろうことを深ぼってみようと思います。
<h3>EDAが雑</h3>
EDAって一番地味だけど、仮説立てたり、相関をみつたりと各情報の作用を考える最も重要な時間になります。
今回はEDAが大事ということを肝に銘じた上でEDAを行ったつもりでしたが、それも「つもり」で終わってしまったような気がします。
色々変換したりグラフ化したりしてみましたが、今回はリレーショナルな情報が多かったです。例えば、principal_makerとかmaterialとか。メインのデータにあった特徴量や数値、時間と言った数値の連続値に変換しやすいデータに関しては結構データを読み込んだ感じでした。
しかし、テキストなどスパースで離散的なデータに関しては実験ベースでしっかり分析できていなかったです。特に、それを感じたのがこれもまたアライさんのディスカッションでした。<a href="https://www.guruguru.science/competitions/16/discussions/f463dac2-4233-42d2-8629-ca99a9689987/">タイトルの言語判定特徴</a>ってやつですね。こんな情報まで気づくというのは、しっかり時間かけてEDAしているんだろうなぁ。自分は浅はかな分析しかできていないじゃないか。と思ったわけです。
YouTube講座第二回の時にも、RainCloudとかいうのもありましたし、もっと詳しく直感的なEDAをしていかないといけません。今回それができなかったのが大きな敗因でした。
<h3>パイプライン的なのがない</h3>
パイプライン的な物を持っていないというのが敗因というよりは、ライブラリを知らないという方がこの反省には近いかもしれません。
パイプラインはこれから作ろうと思いますし、今回のディスカッションの中でも今後パイプラインとなりうるのが沢山見つかっているので、これからそれらを自分の懐に隠していこうと思います(笑)
ライブラリの使い方、なければ自分なりのモジュールを作る、それらを一連の流れとして蓄える。
このフローを身につければ、労力がだんだん少なくなっていき、より深い思考フェーズに時間を割けるのだろうなと感じました。
<h3>実験管理が甘々</h3>
僕はとりわけ記憶力にかけているのにもかかわらず、特にメモもせずにおおよそ一つのnotebookで管理していました。
そりゃぁごっちゃになるに決まってるよ...。
管理の仕方は人それぞれだと思いますし、やりながら身につけていかなければならないでしょう。しかし、意識してやらないとベストプラクティスは見つからないわけで。。。
参考になるディスカッションがあったので、<a href="https://www.guruguru.science/competitions/16/discussions/cc793380-410d-413e-bac4-f46d4aa836fd/">こちら</a>を参考に自分なりの手法を探るのが近道な気がします。
ちなみに、昨日atmaCup#10が終わり、新しくコンペに参戦していますが、 
tokaiさんの「自分も1実験1ノートブックで、それぞれの実験に番号をつけてます。また特徴量にも番号をつけています。Google スプレッドシートでスコア管理していて、その際に、①model、②使用した特徴量（番号）③スコアを入力しています。」というコメントを参考にしています。
やりながら探っていこうと思います。
<h3>テキスト特徴量の効果に気づいたのが前日の金曜日</h3>
これはいうまでもなくディスカッションをしっかりやらなかった自分が悪いです。
閉会式でもおっしゃられていましたが、とにかくディスカッションは参考にやってみるというのは確かにそうだなと思いました。
自分の仮説に拘るよりも、他の人が見つけた良い特徴量を試してみて、その後自分のやるもいいし、ディスカッションの中身を魔改造するもいいし、 
まずはディスカッションをやってみるのはベターな考え方だなと感心しました。
次からそうしよっと。
<h2>これから意識することとは</h2>
ここまで大反省会をしてきて(記事を書きながら自分の中のモヤモヤを精査する中で)、自分に足りない物が多すぎるということに直面しました。
ただ、それでもやるべきことは決まってきたので、良い経験になったと思います。自分の課題は自分だけのものではないと思いますので、意識することをまた列挙していきます(ただ面倒臭くなっただけ)(笑)
<ul>
<li>EDAはとにかく丁寧に。モデリングなんて二の次でいいくらい</li>
<li>実験管理をしよう!!! (とりあえずGoogle SpreadSheet試す)</li>
<li>ディスカッションの内容はなるだけ拾い上げる!</li>
<li>ベストプラクティスを見つけたら、すぐパイプライン化する</li>
</ul>
当面コンペに対して、経験を身に付けるまでは上記の内容を自然とできるように意識的に取り組んでいきます。
そして、これから意識することは多分この記事をみてくださった方にも共通することもあると思いますので、皆さんの反省会にも影響を与えられたらという淡い期待を持ちながら反省会を締めたいと思います。
とても楽しく学びになるコンペを設計してくださったことに感謝しつつ、次のatmaCupもすごく期待しております。
atmaCupの開催ありがとうございました、そして参加者のみなさまお疲れ様でした!!!!!((感謝 + 労り) * inf)

pip install tensorflowでtensorflowをインストールしてディープラーニングをやろうとした矢先の事、パッケージが足りないだと...。その時の解決策がとても簡単だったのですが、この手の問題はtensorflowに限らず起こりそうなので、記録しておきます。

tensorflowインストール時 METADATAがない？

pip install tensorflowでtensorflowをインストールしてディープラーニングをやろうとした矢先の事、パッケージが足りないだと...。その時の解決策がとても簡単だったのですが、この手の問題はtensorflowに限らず起こりそうなので、記録しておきます。
<h2>発生したエラー No such file or directory</h2>
今回はなぜかインストールに必要なパッケージのメタファイルがなくて、「No such file or directory」と怒られたわけです。
そして、今回足りなかったパケージがgoogle_pasta-0.2.0.dist-info/METADATAでした。
実際のエラーが以下になります。
<pre><code class="hljs language-bash">ERROR: Could not install packages due to an EnvironmentError:
[Errno 2] No such file or directory:
'/Users/usr/opt/anaconda3/envs/myenv/lib/python3.7/site-packages/google_pasta-0.2.0.dist-info/METADATA'
</code></pre>
<h2>【解決策】もうtouchでファイル作っちゃえ!!</h2>
よくわからないエラーだし、本当になんでこうなったかの経緯が掴めないのですが、 
ファイルがないとかディレクトリがないとか言っているのでとりあえずもうファイル作っちゃえ!!
という事でtouchでファイル作っちゃいます(笑)
<pre><code class="hljs language-bash">$ touch /Users/usr/opt/anaconda3/envs/myenv/lib/python3.7/site-packages/google_pasta-0.2.0.dist-info/METADATA
$ # 上のファイルパスはエラー文のコピペ
$
$ pip install tensorflow
</code></pre>
さっきまでのエラーが原因であれば、これでインストールが完了しているはずです!
まあ、今回はconda環境で起こった問題なので、何かしらcondaの中でやってはいけないコマンドか何かがあったのかなって感じです。
とにかくこのエラーが出たらどうにかなるということで、これからは対処できそうです。
クリスマスイヴの投稿でした \o/ 
それでは、楽しく機械学習をハックしていきましょう!!

今回は、多次元配列で\*演算には注意しないと、バグが起こるよってことを話します。1年Pythonを描き続けましたが知らなかったので、これは共有させていただきますね。Pythonは、ポインタだの参照だのを意識しなくても良い言語だと思うんですが、これは知っておくべきです。

【Python】多次元の不用意な*演算には注意!!

今回は、多次元配列で*演算には注意しないと、バグが起こるよってことを話します。1年Pythonを描き続けましたが知らなかったので、これは共有させていただきますね。Pythonは、ポインタだの参照だのを意識しなくても良い言語だと思うんですが、これは知っておくべきです。
<h2>実験方法</h2>
各配列がどの参照をしているかを注目してみましょう。今回の実験は、以下の流れをとります。
<ol>
<li>2次元配列を定義 &#x3C;- 様々な方法をとります</li>
<li>中の配列の0番目append(0)をする</li>
<li>実験結果の確認</li>
</ol>
それでは早速実験です。対話モードにて行います。
<h2>シンプルに定義</h2>
<pre><code class="hljs language-python">>>> l = [[], [], []]
>>> l[0].append(0)

>>> l

[[0], [], []]
</code></pre>
これはおそらく考えていた通りですね。問題なし。
<h2>+演算で定義</h2>
<pre><code class="hljs language-python">>>> l = [[]] + [[]] + [[]]
>>> l[0].append(0)

>>> l

[[0], [], []]
</code></pre>
これも想定した通り。問題なし。
<h2>*演算で定義</h2>
<pre><code class="hljs language-python">>>> l = [[]] * 3
>>> l[0].append(0)

>>> l

[[0], [0], [0]]
</code></pre>
......ん？？？？
全ての要素配列に0が足してありますね...これは知らんかったやつ...
<h2>*演算に注意!!!</h2>
*演算で配列を定義する際には注意しましょう。
シンプルに定義した場合や+によって定義した配列は、それぞれの配列は別のものとして定義されています。
しかし、*によって定義されたものは、演算対象となった配列の参照そのものさえもコピーされて作られてしまいます。
まとまった挙動を示して欲しいのであれば問題ないですが、大きなくくりの配列にある要素配列に対しては別々に動いて欲しい場合はかなり注意が必要です。
このことを知っておくだけでもバグが出た時に冷静に対処できると思うので、ぜひ覚えておきましょう。

Pythonで他にはない特殊な書き方といえば、内包表記ですかね。Haskellでもかけるみたいな話聞いたことあるけど。実際内包表記は読みやすく、たいてい高速に動くので推奨される書き方と思います。ベンチマークを測ってみたので参考になればと。

内包表記でパフォーマンスをあげるのだ！

Pythonで他にはない特殊な書き方といえば、内包表記ですかね。Haskellでもかけるみたいな話聞いたことあるけど。実際内包表記は読みやすく、たいてい高速に動くので推奨される書き方と思います。ベンチマークを測ってみたので参考になればと。
<h2>今回のコード</h2>
今回速さを測るための指標となるコードは以下になります。
至ってシンプルなforループが以下です。
<pre><code class="hljs language-python">symbols = '$¢£¥€¤'
def non_ascii(c):
 return c > 127
codes = []
for s in symbols:
 if ord(s) > 127:
 codes.append(ord(s))
</code></pre>
これを下に複数の書き方に対して処理速度を測ります。
<h2>いざ実験</h2>
今回試すものが以下になります。
<ol>
<li>ただのforループ</li>
<li>内包表記</li>
<li>内包表記 + 自作関数(non_adcii)</li>
<li>filter + lambda</li>
<li>filter + 自作関数(non_ascii)</li>
</ol>
これらに関して測ってみます。
コードが以下になります。
<pre><code class="hljs language-python">import timeit
TIMES = 10000
SETUP = """
symbols = '$¢£¥€¤'
def non_ascii(c):
 return c > 127
"""
def clock(label, cmd):
 res = timeit.repeat(cmd, setup=SETUP, number=TIMES)
 print(label, *('{:.3f}'.format(x) for x in res))
if __name__ == "__main__":
 clock('for-loop :', 'codes = []\nfor s in symbols:\n\tif ord(s) > 127: codes.append(ord(s))\ncodes')
 clock('listcomp :', '[ord(s) for s in symbols if ord(s) > 127]')
 clock('listcomp + func :', '[ord(s) for s in symbols if non_ascii(ord(s))]')
 clock('filter + lambda :', 'list(filter(lambda c: c > 127, map(ord, symbols)))')
 clock('filter + func :', 'list(filter(non_ascii, map(ord, symbols)))')
</code></pre>
これらから得られる結果がこんな感じです。(人による)
<pre><code class="hljs language-bash">for-loop : 0.009 0.009 0.009 0.009 0.009
listcomp : 0.008 0.008 0.008 0.008 0.008
listcomp + func : 0.012 0.013 0.013 0.012 0.012
filter + lambda : 0.011 0.013 0.012 0.011 0.013
filter + func : 0.014 0.014 0.014 0.014 0.013
</code></pre>
これはまだループも小さいので差はありませんが、安定して早く動いているのは内包表記ですね。
読みやすく、高速に動くことが多い内包表記でした。実際に導入してみてはいかがでしょか。
今回は実験だけ示して終わります〜〜.

PythonからUNIXコマンドを使いたい。そんな時があると思います!(多分滅多にないと思うけど)今回は、「ls」コマンドをPythonスクリプトから実行していこうと思います。

PythonからUNIXコマンド発出【ls編】

PythonからUNIXコマンドを使いたい。そんな時があると思います!(多分滅多にないと思うけど)今回は、「ls」コマンドをPythonスクリプトから実行していこうと思います。
<h2>subpocessモジュールを利用</h2>
今回の用件を満たすのに必要なのは、「subprocessモジュール」になります。Python3.5から*subprocess.run()*というメソッドでサブプロセスをつなげて、コマンドを走らせるという方法が推奨されているみたい...
os.systemとかos.spawn*の代用だそうですね
というわけで、subprocessモジュールを使用していきます。
インポートはそのままです。
<pre><code class="hljs language-python">import subprocess
</code></pre>
<h2>subprocess.run()で実際に走らせる</h2>
それでは早速「ls」コマンドを走らせてみましょう。(実行結果はディレクトリ構造に依存するので、人により異なります)
<pre><code class="hljs language-python">import subprocess

res = subprocess.&#x3C;span class="function">run(
 ['ls']
)

print(res)
</code></pre>
この実行結果は以下になります。
<pre><code class="hljs language-bash">CompletedProcess(args=['ls'], returncode=0)
</code></pre>
特段注意すべきは、コマンドをリスト又はタプルで入力することでしょうか。基本的にスペースを入れることはできません。引数やフラグを足す際に、スペースが必要ならば、リストやタプルにカンマ(,)で区切りましょう。
と言いますか...ん？？
ディレクトリ群出てこないんですけど... 
というのも、あくまで返ってくるのはsubprocess.CompletedProcessクラスだからですね。
<h2>CompletedProcessをいじってみる</h2>
実行出来たはずなのに、結果が帰って来ないようじゃ意味がないので中身を開けていきましょう。
CompletedProcessクラスには以下のメソッドや変数が存在しています。
<ul>
<li>.args</li>
<li>.returncode</li>
<li>.stdout</li>
<li>.check_returncode()</li>
<li>.stderr</li>
</ul>
これから先のチェックは、さきのプログラムの続き。returnされたものはresに入っている。
<pre><code class="hljs language-python">print(res.args)
# >>> ['ls']

print(res.returncode)
# >>> 0

print(res.stdout)
# >>> None

print(res.stderr)
# >>> None
</code></pre>
という結果に...
プログラムが期待通り終了した場合、0が返ってきます。
ただ、標準出力、標準エラーにはNoneが返ってきていますね。どこにも結果がないのだけど...
<h2>実行結果をみる!!</h2>
実は、subprocess.run()には、出力をキャプチャする引数があったみたいです。それがcapture_output。これをTrueにすると出力が保存されます。
<pre><code class="hljs language-python">import subprocess

res = subprocess.&#x3C;span class="function">run(['ls'], capture_output=True)

print(res)
# >>> CompletedProcess(args=['ls'], returncode=0,
stdout=b'Applications\nLibrary\nSystem\nUsers\nVolumes\nbin\ncores\ndev\netc\nhome\nopt\nprivate\nsbin\ntmp\nusr\nvar\n',
stderr=b'')
</code></pre>
これで出力をみることができました。
他にもコマンドを使うことができるので、必要に応じてsubprocessモジュールを使ってみてください。
今回はこれにて終了！

FlaskからJSONを返してAPIサーバー風に稼働させていたのですが、なぜかfetchしたJavaScript側でエラーが...なんだこれとなったのですが、バックエンドのPython側のミスでした。何気に気付きにくかったりするので、またミスしたときのために備忘録として残しておきます。

【Flask】フロントでUnexpected token!?

FlaskからJSONを返してAPIサーバー風に稼働させていたのですが、なぜかfetchしたJavaScript側でエラーが...なんだこれとなったのですが、バックエンドのPython側のミスでした。何気に気付きにくかったりするので、またミスしたときのために備忘録として残しておきます。
今回の環境がこちら
<ul>
<li>Python-3.8.6</li>
<li>Flask</li>
</ul>
<h2>エラー内容</h2>
今回起きたエラーがこちらです。
<pre><code class="hljs language-bash">SyntaxError: Unexpected token o in JSON at position 1
</code></pre>
予期せぬトークンが頭文字にあったらしいです。なんだこれ... 
他の場所では特にエラーなかったのになぜここだけ...
Pythonの方を確認してみます。
<h2>Pythonのミス</h2>
単にPythonのミスでした。ミスの部分だけピックアップします。
<pre><code class="hljs language-python">@app.route('/test')
def test():
 obj = {
 'foo': 'bar',
 }
 
 return jsonify(obj)
</code></pre>
何気にわかりにくいんです。
json.dumps()してなかった......
めっちゃくだらないミスで萎えますねこれ。
というわけで、return jsonifyする前にしっかりdictをjsonにダンプしておきます。
改良版が以下。
<pre><code class="hljs language-python">@app.route('/test')
def test():
 obj = {
 'foo': 'bar',
 }
 
 obj = json.dumps(obj)
 
 return jsonify(obj) 
</code></pre>
これでもう、フロント側ではエラー起こさせません!!!!
簡単に直るけど、気付きにくいってやつです。Flask使ってJSONで通信するときは、フロント側でエラーが出たら、JSONを送っているバックエンドも確認すると良いでしょう。
今回はこれだけです!

Anacondaは、GUIで操作ができてやりやすいですが、起動もかなりおそくCLIでどうにかならないか「conda create」コマンドを使って環境を立てる事があります。しかし、ノリでEnterを押してしまってPythonのバージョンを指定し忘れることが...。かなりの弊害を生み出します。その際の対処法を共有します。

conda createでpythonのバージョン指定忘れた！

Anacondaは、GUIで操作ができてやりやすいですが、起動もかなりおそくCLIでどうにかならないかconda createコマンドを使って環境を立てる事があります。しかし、ノリでEnterを押してしまってPythonのバージョンを指定し忘れることが...。かなりの弊害を生み出します。その際の対処法を共有します。
<h2>CLIでconda環境を作る方法</h2>
まずは、CLIで環境を作るコマンドの紹介です。
<pre><code class="hljs language-bash">conda create -n your-env-name python=3.x
</code></pre>
たったこれだけで環境を建てられます。
<h2>あ、やってしまった...python=3.x忘れた</h2>
僕がノリでガガガってコマンド打って最後にやり忘れるやつです。
押してから気付くのです... 
あ、やってしまった...python=3.xって打つの忘れた...と
<pre><code class="hljs language-bash">conda create -n your-env-name
</code></pre>
これやっちゃうとすごく焦るんですよね。なんでかっていうとですね
<pre><code class="hljs language-bash">(base)$ conda create -n typo
(base)$ conda activate typo
(typo)$ pip list
Traceback (most recent call last):
 File "/usr/local/bin/pip", line 6, in &#x3C;module>
 from pip._internal.cli.main import main
ModuleNotFoundError: No module named 'pip._internal.cli.main'
</code></pre>
pipがない...だと...!?
これは困りました。。。しかもこの環境でやると、そこまで自分好みにカスタマイズしていない方はpython2がデフォになっていると思います。
いやぁ困った。
<h2>【解決策】condaにPythonをインストール</h2>
condaにPythonのバージョンを明示した上でインストールすればうまくいきます！！！
今回は、現状でAnacondaが対応している最新版のPython3.8をインストールします。
<pre><code class="hljs language-bash">(typo)$ conda install python==3.8
Collecting package metadata (current_repodata.json): done
Solving environment: failed with initial frozen solve. Retrying with flexible solve.
Collecting package metadata (repodata.json): done
Solving environment: done

## Package Plan ##

 environment location: /Users/slothyubo/opt/anaconda3/envs/blog-tweet

 added / updated specs:
 - python==3.8


The following packages will be downloaded:

 package | build
 ---------------------------|-----------------
 certifi-2020.6.20 | pyhd3eb1b0_3 155 KB
 libffi-3.2.1 | h0a44026_1007 43 KB
 python-3.8.0 | h359304d_2 18.8 MB
 ------------------------------------------------------------
 Total: 19.0 MB

The following NEW packages will be INSTALLED:

 ca-certificates pkgs/main/osx-64::ca-certificates-2020.10.14-0
 certifi pkgs/main/noarch::certifi-2020.6.20-pyhd3eb1b0_3
 libcxx pkgs/main/osx-64::libcxx-10.0.0-1
 libedit pkgs/main/osx-64::libedit-3.1.20191231-h1de35cc_1
 libffi pkgs/main/osx-64::libffi-3.2.1-h0a44026_1007
 ncurses pkgs/main/osx-64::ncurses-6.2-h0a44026_1
 openssl pkgs/main/osx-64::openssl-1.1.1h-haf1e3a3_0
 pip pkgs/main/osx-64::pip-20.2.4-py38_0
 python pkgs/main/osx-64::python-3.8.0-h359304d_2
 readline pkgs/main/osx-64::readline-7.0-h1de35cc_5
 setuptools pkgs/main/osx-64::setuptools-50.3.0-py38h0dc7051_1
 sqlite pkgs/main/osx-64::sqlite-3.33.0-hffcf06c_0
 tk pkgs/main/osx-64::tk-8.6.10-hb0a8c7a_0
 wheel pkgs/main/noarch::wheel-0.35.1-py_0
 xz pkgs/main/osx-64::xz-5.2.5-h1de35cc_0
 zlib pkgs/main/osx-64::zlib-1.2.11-h1de35cc_3


Proceed ([y]/n)? y # &#x3C;== yでEnter

Downloading and Extracting Packages
python-3.8.0 | 18.8 MB | ######################################################### | 100% 
libffi-3.2.1 | 43 KB | ######################################################### | 100% 
certifi-2020.6.20 | 155 KB | ######################################################### | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
</code></pre>
このようになり、インストールされました。
また途中でpipも同時にインストールされており、これで無事にpipもインストールされるようになりました！
確認
<pre><code class="hljs language-bash">(typo)$ pip --version
pip 20.0.2 from /Users/user/opt/anaconda3/envs/static-site/lib/python3.7/site-packages/pip (python 3.7)
</code></pre>
上記は人によりますが、しっかりpipが使えますね
それでは、もしconda createでPythonのバージョンを書き忘れたら、これで解決しましょう！

Pythonにもmap関数があり、容易に配列から新たな配列を生み出すことができます。lambdaを用いて無名関数を使うなど、いくつか応用方があるので備忘録がてらまとめていこうと思います。

【map】を使って新たな配列を作る

Pythonにもmap関数があり、容易に配列から新たな配列を生み出すことができます。lambdaを用いて無名関数を使うなど、いくつか応用方があるので備忘録がてらまとめていこうと思います。
簡単のため、ある配列の全ての要素の絶対値をとるスクリプトで試します。
<h2>mapと無名関数</h2>
新たに配列から配列を作るために忘れてはいけないのは、mapオブジェクトをlistで囲むことです。
その点を考慮しつつ、新たな配列を生み出していきます。まずは、無名関数lambdaを使います。
<pre><code class="hljs language-python">a = [-3, -2, -1, 0, 1, 2, 3]
to_abs = lambda x: abs(x)

b = list(map(to_abs, a))
print(b)
</code></pre>
<pre><code class="hljs language-bash">[3, 2, 1, 0, 1, 2, 3]
</code></pre>
無名関数to_absにより、渡される各関数の値の絶対値を返します。
<h2>mapと普段使いの関数</h2>
普段通りの関数宣言でも動きます。
<pre><code class="hljs language-python">def to_abs(x):
 return abs(x)
 
c = list(map(to_abs, a))
print(c)
</code></pre>
<pre><code class="hljs language-bash">[3, 2, 1, 0, 1, 2, 3]
</code></pre>
普通に動きますが、ここで注意したいのはmapに渡す関数に直接的に引数を与えないことです。
そうすることで難なく動きます。
引数を渡してみるとどうなるでしょうか。
<pre><code class="hljs language-python">def to_abs(x):
 return abs(x)
 
c = list(map(to_abs(x), a))
print(c)
</code></pre>
<pre><code class="hljs language-bash">Traceback (most recent call last):
 File "map.py", line 3, in &#x3C;module>
 c = list(map(to_abs(x), a))
NameError: name 'x' is not defined
</code></pre>
参照するxがないのでエラーが発生します。その点だけ注意しましょう。
<h2>mapでsetに応用</h2>
setについても同様に動作します
<pre><code class="hljs language-python">d = set(map(to_abs, a))
print(d)
</code></pre>
<pre><code class="hljs language-bash">{0, 1, 2, 3}
</code></pre>
しっかりと集合として捉えられていますね。
mapを使ってさせることはそこまで難しくないですが、処理速度的にはおそらく内包表記の方が速いと思われるので場合に合わせて導入するのが良いかもしれません。
ただ、numpyやpandasでデータ分析をする際は、map関数がそれぞれで与えられていることもあるので、使えるに越したことはないでしょう。

Pythonにはデコレータというものがあるのですが、意外と初学者には知られていない存在で比較的不思議な挙動をする感じがします。関数を直接的に実行しなくともファイルを読み込んだ段階で実行されるようなので、挙動について実験してみました。

Pythonのデコレータの挙動を実験してみた

Pythonにはデコレータというものがあるのですが、意外と初学者には知られていない存在で比較的不思議な挙動をする感じがします。関数を直接的に実行しなくともファイルを読み込んだ段階で実行されるようなので、挙動について実験してみました。
<h2>デコレータ活用例</h2>
まずは、デコレータの活用例をお話しします。(Numpyから借用)
Numpyにおいては、関数のモジュールをnumpyに変更しており、override.pyか_override.pyだかにset_module関数が作られていたと思います(ちょっと曖昧)
適当な関数を定義してモジュールを変更します。
<pre><code class="hljs language-python">def set_module(name):
 def decorator(func):
 func.__module__ = name
 return func
 return decorator
 
def check_module(func):
 print(func.__module__)
 
@set_module('mylib') # module名書き換え
def changed():
 pass
 
# module名変更なし
def not_changed():
 pass
 
if __name__ == '__main__':
 check_module(changed)
 check_module(not_changed)
</code></pre>
各関数の役割
<ul>
<li>set_module
<ul>
<li>デコレータ</li>
<li>関数のモジュール名を変更する</li>
</ul>
</li>
<li>changed
<ul>
<li>モジュール名を変更される関数</li>
</ul>
</li>
<li>not_changed
<ul>
<li>モジュール名を変更されない関数</li>
</ul>
</li>
</ul>
これらの実行結果が以下になります。
<pre><code class="hljs language-bash">mylib
__main__
</code></pre>
変更された方は、期待した通りモジュール名がmylibに変わっていて、変更していない方はメインルーティンに入っていることになっています。
<h2>デコレータの挙動を追う</h2>
デコレータの挙動を追ってみます。基本的には動作がわかるように関数に機能はつけず、標準出力にて動作を確認していきます。
実験するための関数を用意します。
<pre><code class="hljs language-python">def deco(name):
 print(name, '開始')
 def decorator(func):
 print(func.__name__, '実行')
 return func
 print(name, '終了')
 return decorator
 
@deco('deco1')
def test1():
 pass
 
if __name__ == "__main__":
 pass
</code></pre>
特別難しいこともありません。ただ各タイミングで出力を待つデコレータです。
実行結果が以下になります。
<pre><code class="hljs language-bash">deco1 開始
deco1 終了
test1 実行
</code></pre>
デコレータの外の関数を動かした後、デコレートされた(装飾された)関数が返されるという感じです。
流れは以下になります。
<ol>
<li>デコレータの発火</li>
<li>デコレータにより関数を装飾</li>
<li>装飾された関数が返ってくる</li>
<li>あとは3の関数を使うだけ</li>
</ol>
このような流れになっていきます。デコレータは関数を装飾するものなので、ちょっと特殊であまり使うことがない気もしますが...
また、メインルーティンで何も動かしていないのにもかかわらず、出力されています。
デコレータは読み込んだときに動くようです。その特徴がわかればそこまでデコレータは難しいものでもなさそうです。
あとでまた多重デコレータに関する話をしたいと思います。

Pythonを使って、例えばコーパスを作る際、辞書型に対して単語出現回数を記録しするなど、辞書を使うことがあるかもしれません。その際、ifによる条件分岐によって辞書型の初期化をするわけですが、collectionsにあるdefaultdictというものを使うと初期化を勝手にやってくれます。そのdefaultdictについて解説していきます。

【defaultdict】で辞書型の初期化をサボる

Pythonを使って、例えばコーパスを作る際、辞書型に対して単語出現回数を記録しするなど、辞書を使うことがあるかもしれません。その際、ifによる条件分岐によって辞書型の初期化をするわけですが、collectionsにあるdefaultdictというものを使うと初期化を勝手にやってくれます。そのdefaultdictについて解説していきます。
今回は、Wikipediaの「AI」に関するページの一部文章に関して単語出現回数を数えていきます。
<h2>文章を単語ごとに分割する</h2>
まずは手始めに文章を単語ごとに分割していきます。
使用する文章がこちらです。
Artificial intelligence (AI), is intelligence demonstrated by machines, unlike the natural intelligence displayed by humans and animals. Leading AI textbooks define the field as the study of "intelligent agents": any device that perceives its environment and takes actions that maximize its chance of successfully achieving its goals. Colloquially, the term "artificial intelligence" is often used to describe machines (or computers) that mimic "cognitive" functions that humans associate with the human mind, such as "learning" and "problem solving".
As machines become increasingly capable, tasks considered to require "intelligence" are often removed from the definition of AI, a phenomenon known as the AI effect. A quip in Tesler's Theorem says "AI is whatever hasn't been done yet." For instance, optical character recognition is frequently excluded from things considered to be AI, having become a routine technology. Modern machine capabilities generally classified as AI include successfully understanding human speech, competing at the highest level in strategic game systems (such as chess and Go), autonomously operating cars, intelligent routing in content delivery networks, and military simulations.
Artificial intelligence was founded as an academic discipline in 1955, and in the years since has experienced several waves of optimism, followed by disappointment and the loss of funding (known as an "AI winter"), followed by new approaches, success and renewed funding. For most of its history, AI research has been divided into sub-fields that often fail to communicate with each other. These sub-fields are based on technical considerations, such as particular goals (e.g. "robotics" or "machine learning"), the use of particular tools ("logic" or artificial neural networks), or deep philosophical differences. Sub-fields have also been based on social factors (particular institutions or the work of particular researchers).
The traditional problems (or goals) of AI research include reasoning, knowledge representation, planning, learning, natural language processing, perception and the ability to move and manipulate objects. General intelligence is among the field's long-term goals. Approaches include statistical methods, computational intelligence, and traditional symbolic AI. Many tools are used in AI, including versions of search and mathematical optimization, artificial neural networks, and methods based on statistics, probability and economics. The AI field draws upon computer science, information engineering, mathematics, psychology, linguistics, philosophy, and many other fields.
The field was founded on the assumption that human intelligence "can be so precisely described that a machine can be made to simulate it". This raises philosophical arguments about the mind and the ethics of creating artificial beings endowed with human-like intelligence. These issues have been explored by myth, fiction and philosophy since antiquity. Some people also consider AI to be a danger to humanity if it progresses unabated. Others believe that AI, unlike previous technological revolutions, will create a risk of mass unemployment.
In the twenty-first century, AI techniques have experienced a resurgence following concurrent advances in computer power, large amounts of data, and theoretical understanding; and AI techniques have become an essential part of the technology industry, helping to solve many challenging problems in computer science, software engineering and operations research.
こちらを分割します。
contentという変数に上記の文章が入っていることを想定しています。
<pre><code class="hljs language-python">import re
words = re.split('[,\."\s+]', content)
words = [word for word in words if not word=='']
</code></pre>
1行目で「, . " ( ) 空白」を区切りとして単語分けしています。これで空白が取り切れないので、2行目で空文字になってしまったものを削除します。
<h2>初期化をサボってカウントする</h2>
それでは初期化をサボって単語出現回数をカウントしていきます。
<pre><code class="hljs language-python">from collections import defaultdict

freq = defaultdict(int)
for word in words:
 freq[word] += 1
</code></pre>
たったこれでだけで、ifによる条件分岐なしにカウントができます。結果をみてみてもしっかりカウントされていることがわかります。
<pre><code class="hljs language-python">&#x3C;span class="builtins">print(freq)

</code></pre>
<pre><code class="hljs language-bash">defaultdict(&#x3C;\class 'int'>, {'Artificial': 2, 'intelligence': 10, 'AI': 17, 'is': 5, 'demonstrated': 1, 'by': 5, 'machines': 3, 'unlike': 2,
'the': 19, 'natural': 2, 'displayed': 1, 'humans': 2, 'and': 20, 'animals': 1, 'Leading': 1, 'textbooks': 1, 'define': 1, 'field': 3, 'as':
8, 'study': 1, 'of': 14, 'intelligent': 2, 'agents': 1, ':': 1, 'any': 1, 'device': 1, 'that': 8, 'perceives': 1, 'its': 4, 'environment':
1, 'takes': 1, 'actions': 1, 'maximize': 1, 'chance': 1, 'successfully': 2, 'achieving': 1, 'goals': 4, 'Colloquially': 1, 'term': 1,
'artificial': 4, 'often': 3, 'used': 2, 'to': 9, 'describe': 1, 'or': 6, 'computers': 1, 'mimic': 1, 'cognitive': 1, 'functions': 1,
'associate': 1, 'with': 3, 'human': 3, 'mind': 2, 'such': 3, 'learning': 3, 'problem': 1, 'solving': 1, 'As': 1, 'become': 3,
'increasingly': 1, 'capable': 1, 'tasks': 1, 'considered': 2, 'require': 1, 'are': 3, 'removed': 1, 'from': 2, 'definition': 1, 'a':
6, 'phenomenon': 1, 'known': 2, 'effect': 1, 'A': 1, 'quip': 1, 'in': 8, "Tesler's": 1, 'Theorem': 1, 'says': 1, 'whatever': 1,
"hasn't": 1, 'been': 4, 'done': 1, 'yet': 1, 'For': 2, 'instance': 1, 'optical': 1, 'character': 1, 'recognition': 1, 'frequently':
1, 'excluded': 1, 'things': 1, 'be': 4, 'having': 1, 'routine': 1, 'technology': 2, 'Modern': 1, 'machine': 3, 'capabilities': 1,
'generally': 1, 'classified': 1, 'include': 3, 'understanding': 1, 'speech': 1, 'competing': 1, 'at': 1, 'highest': 1, 'level': 1,
'strategic': 1, 'game': 1, 'systems': 1, 'chess': 1, 'Go': 1, 'autonomously': 1, 'operating': 1, 'cars': 1, 'routing': 1,
'content': 1, 'delivery': 1, 'networks': 3, 'military': 1, 'simulations': 1, 'was': 2, 'founded': 2, 'an': 3, 'academic': 1,
'discipline': 1, '1955': 1, 'years': 1, 'since': 2, 'has': 2, 'experienced': 2, 'several': 1, 'waves': 1, 'optimism': 1,
'followed': 2, 'disappointment': 1, 'loss': 1, 'funding': 2, 'winter': 1, 'new': 1, 'approaches': 1, 'success': 1, 'renewed':
1, 'most': 1, 'history': 1, 'research': 3, 'divided': 1, 'into': 1, 'sub-fields': 2, 'fail': 1, 'communicate': 1, 'each': 1,
'other': 2, 'These': 2, 'based': 3, 'on': 4, 'technical': 1, 'considerations': 1, 'particular': 4, 'e': 1, 'g': 1,
'robotics': 1, 'use': 1, 'tools': 2, 'logic': 1, 'neural': 2, 'deep': 1, 'philosophical': 2, 'differences': 1,
'Sub-fields': 1, 'have': 4, 'also': 2, 'social': 1, 'factors': 1, 'institutions': 1, 'work': 1, 'researchers': 1, 'The':
3, 'traditional': 2, 'problems': 2, 'reasoning': 1, 'knowledge': 1, 'representation': 1, 'planning': 1, 'language': 1,
'processing': 1, 'perception': 1, 'ability': 1, 'move': 1, 'manipulate': 1, 'objects': 1, 'General': 1, 'among': 1,
"field's": 1, 'long-term': 1, 'Approaches': 1, 'statistical': 1, 'methods': 2, 'computational': 1, 'symbolic': 1,
'Many': 1, 'including': 1, 'versions': 1, 'search': 1, 'mathematical': 1, 'optimization': 1, 'statistics': 1,
'probability': 1, 'economics': 1, 'draws': 1, 'upon': 1, 'computer': 3, 'science': 2, 'information': 1,
'engineering': 2, 'mathematics': 1, 'psychology': 1, 'linguistics': 1, 'philosophy': 2, 'many': 2, 'fields': 1,
'assumption': 1, 'can': 2, 'so': 1, 'precisely': 1, 'described': 1, 'made': 1, 'simulate': 1, 'it': 2, 'This': 1,
'raises': 1, 'arguments': 1, 'about': 1, 'ethics': 1, 'creating': 1, 'beings': 1, 'endowed': 1, 'human-like': 1,
'issues': 1, 'explored': 1, 'myth': 1, 'fiction': 1, 'antiquity': 1, 'Some': 1, 'people': 1, 'consider': 1,
'danger': 1, 'humanity': 1, 'if': 1, 'progresses': 1, 'unabated': 1, 'Others': 1, 'believe': 1, 'previous': 1,
'technological': 1, 'revolutions': 1, 'will': 1, 'create': 1, 'risk': 1, 'mass': 1, 'unemployment': 1, 'In': 1,
'twenty-first': 1, 'century': 1, 'techniques': 2, 'resurgence': 1, 'following': 1, 'concurrent': 1,
'advances': 1, 'power': 1, 'large': 1, 'amounts': 1, 'data': 1, 'theoretical': 1, 'understanding;': 1,
'essential': 1, 'part': 1, 'industry': 1, 'helping': 1, 'solve': 1, 'challenging': 1, 'software': 1,
'operations': 1})
</code></pre>
これで簡単に単語数カウントができます。
今回は単語数カウントを題材にしましたが、違う初期化方法を指定してあげれば他のことも可能になりますで試してみては。

Pythonで中身をpopで削除したいなーと思った時、なぜか「dictionary changed size during iteration」とのメッセージが。これは意外と出てきたら原因がパッとしないので、2度と同じことを起こさないように記録しておきます。

dictionary changed size during iterationの原因特定した

Pythonで中身をpopで削除したいなーと思った時、なぜか「dictionary changed size during iteration」とのメッセージが。これは意外と出てきたら原因がパッとしないので、2度と同じことを起こさないように記録しておきます。
<h2>直感的にイテレーションしてpopしていく</h2>
ここでは、直感的に初心者が思いつきそうな感じのイテレーションを用いてループを回し、popで辞書を消していきます。
<pre><code class="hljs language-python">dictionary = {
 'a': 0,
 'b': 1,
 'c': 2,
}

for key in dictionary.keys():
 dictionary.pop(key)
</code></pre>
結果はこんな感じに...
<pre><code class="hljs language-bash">Traceback (most recent call last):
 File "&#x3C;stdin>", line 6, in &#x3C;module>
RuntimeError: dictionary changed size during iteration
</code></pre>
は？RuntimeErrorだと...!?
イテレーション中に辞書のサイズ変わったんですけどと怒られたわけです。
ということは、keys()を使っていながら、ループの内部で辞書をいじってはいけないということになりますね。
<h2>keys()をリストとして先に確保してしまえ!!</h2>
さて、解決していきます。
イテレーション中の辞書を書き換えてはいけなかったので、*list()*にしてしまお〜〜 
ということで、キーのイテレータは配列として別物と扱わせます。
少しだけ変えた奴が下。
<pre><code class="hljs language-python">dictionary = {
 'a': 0,
 'b': 1,
 'c': 2,
}

for key in list(dictionary.keys()): &#x3C;=変えるのはここ
 dictionary.pop(key)
</code></pre>
これで、出力も足してみます。
<pre><code class="hljs language-python">print(a)
</code></pre>
結果が以下になります。
<pre><code class="hljs language-bash">1
</code></pre>
お〜動きましたね。
というわけで、辞書型でイテレーションを用いて何かするときは、配列とかで切り離して使ってあげるとエラーなくコードが動きますよ〜
今後は僕も気をつけたいと思います。

Pyythonでソートをしたい時、初めの頃はあまり思いつかないことも多く、lambda式ってなんや...!?こんな状態でソートにはあまり手が出ず、コピペで戦っている方も多いのではないでしょうか。今回はその中でも「辞書型」のソートについてお話しします。

Pythonで【辞書型】をソートする

ディープラーニングとか、とにかく複雑でメモリを使用するような計算処理が家庭用パソコンでもできる時代になりました。(そーゆー時代しか生きていないんですけど)とはいえ、メモリを意識せずともプログラムをかけているのは最適化されたライブラリを使っているからなわけで。。。そんなわけで自分でもメモリ管理を気をつけたいわけです。そこで、弱参照によって、うまいことPython処理系にメモリの破棄を促す方法をお話ししていきます。

【weakref】弱い参照によってメモリ管理をする

ディープラーニングとか、とにかく複雑でメモリを使用するような計算処理が家庭用パソコンでもできる時代になりました。(そーゆー時代しか生きていないんですけど)とはいえ、メモリを意識せずともプログラムをかけているのは最適化されたライブラリを使っているからなわけで。。。そんなわけで自分でもメモリ管理を気をつけたいわけです。そこで、弱参照によって、うまいことPython処理系にメモリの破棄を促す方法をお話ししていきます。
<h2>Pyton処理系のお話</h2>
さて、これまでPythonを触ってきた僕ですが、メモリ管理を意識したことはほっとんどなく、大学の授業でC言語を学んだ際、低レイヤーの処理に少し不慣れで難しさを感じました。
それくらいPython処理系はメモリ管理を強く意識させることはないということなのでしょう。
それで、Python処理系は基本的には、オブジェクトが参照される回数をカウントして、参照するものがなくなった段階でメモリを破棄する。そんなイメージらしい。
つまり、循環参照のような状態に陥ると、ユーザからは参照できないにもかかわらず、メモリに残ってしまうということが発生するそうです。(他の手法でメモリが消されるのだろうが、こちらの消えて欲しいタイミングで消せることをメモリ管理と今回は考える)
<h2>メモリが即座に消されるパターン</h2>
以下が、参照カウント(あるオブジェクトを参照するものの数)によってきれいに即座にメモリが破棄されるパターンです。
<pre><code class="hljs language-python">class object:
 pass
 
def func(a):
 print(a)
 
a = object() # a: 参照カウント 1
b = object() # b: 参照カウント 1
c = object() # c: 参照カウント 1

a.b = b # b: 参照カウント 2
b.c = c # c: 参照カウント 2

a = b = c = None # メモリ破棄(a, b, c: 参照カウント 0)&#x3C;/code>
</code></pre>
<h2>循環参照により即座に破棄されないパターン</h2>
続いて、循環参照を起こしてみます。これによって、長い間メモリにユーザが参照できないオブジェクトが残ってしまいます。
<pre><code class="hljs language-python"># ライブラリをインポート
import weakref

class object:
 pass
 
def func(a):
 print(a)
 
a = object() # a: 参照カウント 1
b = object() # b: 参照カウント 1
c = object() # c: 参照カウント 1

# 以下を弱参照で循環させる
a.b = b # b: 参照カウント 2
b.c = c # c: 参照カウント 2
c.a = a # a: 参照カウント 2
# 以下でメモリが破棄されているか参照する
a_ref = weakref.ref(a)
b_ref = weakref.ref(b)
c_ref = weakref.ref(c)

a = b = c = None # メモリ破棄できない(a, b, c: 参照カウント 1)

print(a_ref, b_ref, c_ref)&#x3C;/code>
</code></pre>
出力はこんな感じです
<pre><code class="hljs language-bash">&#x3C;weakref at 0x7fc5e3a49bf0; to 'object' at 0x7fc5e3a40150> &#x3C;weakref at 0x7fc5e3a49c50; to 'object' at 0x7fc5e3a40190> &#x3C;weakref at 0x7fc5e3a49cb0; to 'object' at 0x7fc5e3a40250>
</code></pre>
破棄されていればdeadと書かれるはず...
やはりダメですね。弱参照で破棄させましょう。
<h2>weakrefで改良</h2>
先ほどの問題を、weakref.refを用いて、弱参照とすることで参照カウントを行わないように設定します。
そうすることで参照カウントが最終的に0になり、メモリをPython処理系によって即座に破棄されることができます。
<pre><code class="hljs language-python"># ライブラリをインポート
import weakref

class object:
 pass
 
def func(a):
 print(a)
 
a = object() # a: 参照カウント 1
b = object() # b: 参照カウント 1
c = object() # c: 参照カウント 1

# 以下を弱参照で循環させる
a.b = weakref.ref(b) # b: 参照カウント 0
b.c = weakref.ref(c) # c: 参照カウント 0
c.a = weakref.ref(a) # a: 参照カウント 0
# 以下でメモリが破棄されているか参照
a_ref = weakref.ref(a)
b_ref = weakref.ref(b)
c_ref = weakref.ref(c)

a = b = c = None # メモリ破棄(a, b, c: 参照カウント 0)

print(a_ref, b_ref, c_ref)&#x3C;/code>
</code></pre>
出力がこんな感じ。
<pre><code class="hljs language-bash">&#x3C;weakref at 0x7f868932dcb0; dead> &#x3C;weakref at 0x7f868932dbf0; dead> &#x3C;weakref at 0x7f868932dc50; dead>
</code></pre>
全てdeadになっていますね。これで期待した通りのタイミングでメモリを破棄することができました!!!
時には低いレイヤーまで考えてみるのも楽しいものですね。(時にはです。意識しなくていいことが幸せ)

線形代数ライブラリを作ろうと色々とプログラムを書いていたわけですが、なんとなくで転置行列をどう簡単に求めるかということを考え始めました。その時に思いついた転置行列の求め方を共有します。

簡単に転置行列求めてみた

線形代数ライブラリを作ろうと色々とプログラムを書いていたわけですが、なんとなくで転置行列をどう簡単に求めるかということを考え始めました。その時に思いついた転置行列の求め方を共有します。
<h2>一般解ぽいやつ(個人の見解)</h2>
まずは一般に使われそうな方法を考えてみました。
入力行列は3x2の行列として、求める転置行列は2x3とします。対応するインデックスの関係がわかりやすいように数値を設定してみます。
<pre><code class="hljs language-python">A = [
 [11, 12],
 [21, 22],
 [31, 32]
]

At = []
j = 0
for i in range(len(A[j])):
 row = []
 for j in range(len(A)):
 row.append(A[j][i])
 At.append(row)
 
print(At)
</code></pre>
これで動くはず...オーソドックスか知らんけど、二重ループ回すのが一般的な思考だと思ったので、これを一般解として提示しました。
ちなみに得られる出力はこちらです。
<pre><code class="hljs language-bash">[[11, 21, 31], [12, 22, 32]]
</code></pre>
多分大丈夫そう。
<h2>一般解ぽいやつを内包表記してみた</h2>
さきに示した一般解っぽいやつを内包表記を用いて書いてみます。
<pre><code class="hljs language-python">A = [
 [11, 12],
 [21, 22],
 [31, 32]
]

j = 0
At = [
 [A[j][i] for j in range(len(A))]
 for i in range(len(A[j]))
]
print(At)
</code></pre>
これも同様に同じ出力が得られます。
<pre><code class="hljs language-bash">[[11, 21, 31], [12, 22, 32]]
</code></pre>
<h2>【本題】zipと展開の合わせ技</h2>
さて、本題です。僕が思いついた手法は以下になります。
<ol>
<li>A(入力行列)を展開して、行列から列ごとに展開</li>
<li>zip()を用いて統合</li>
<li>内包表記にて転置行列を生成</li>
</ol>
こんな流れになります。言葉で言っても難しいので、コードをみてみます。
<pre><code class="hljs language-python">A = [
 [11, 12],
 [21, 22],
 [31, 32]
]

At = [
 list(row) for row in zip(*A)
]
print(At)
</code></pre>
これだけです。
ただ、注意すべき点が一つだけあります。
**list()**としているところです。それはなぜかというと、zipで統合された物はtupleで帰ってきます。
内包表記において、listをとると次のような出力になります。
<pre><code class="hljs language-bash">[(11, 21, 31), (12, 22, 32)]
</code></pre>
tupleで返ってきても良いスクリプトであればそのままでも良いと思いますが、tupleだとイミュータブルなデータになってしまうので、大抵の場合**list()**でlist型に直してあげた方が良いことが多い気がします。
処理速度は測っていませんが、おそらく大きなサイズの行列の入力の時は高速に動くと思います(多分)
興味ある人は処理速度を計測してみてください。それでは、簡単な転置行列を求める方法の提案でした。(Pythonに限る)

Pythonでクラスのインスタンスを生成して格納した変数を出力すると、class名とメモリ番地みたいなやつが出力されてしまいます。Pythonユーザーで機械学習とかで遊んでいる方はわかると思いますが、*numpy*はnp.ndarrayというクラスを持ちながら出力では行列が出力されます。線形代数計算ライブラリを自作している際、そのような特殊な出力にしたいことがありました。実際に行った方法をお話しします。

classの標準出力を特殊な文字列にしたい【__str__|__repr__】

Pythonでクラスのインスタンスを生成して格納した変数を出力すると、class名とメモリ番地みたいなやつが出力されてしまいます。Pythonユーザーで機械学習とかで遊んでいる方はわかると思いますが、numpyはnp.ndarrayというクラスを持ちながら出力では行列が出力されます。線形代数計算ライブラリを自作している際、そのような特殊な出力にしたいことがありました。実際に行った方法をお話しします。
正直タイトルにあるように、出落ちなのですが......
*__str__*というPython独自の特殊メソッドを用いて、やりたいことを実現していきたいと思います。
<h2>やりたいこと</h2>
まずは、実際にやりたいことを明確にしていきます。numpyのような物を参考にしますが、今回は簡単のため、Scalarクラスを作ります。
このクラスは、数値(intもしくはfloat)を受け取って、それをdataとして格納させます。
求める最終形はこちらです。
<pre><code class="hljs language-python">>>> scalar = Scalar(5)
>>> print(scalar)
Scalar(5)
</code></pre>
本来であれば、*&#x3C;__main__.Scalar object at 0x7f85f3a00150>*のように表されてしまいますが、*Scalar(5)*というような特殊文字列にします。
<h2>Scalarクラスを作る</h2>
さて、これからScalarクラスを作ります。
初めは、最低限クラスとして機能するようなコードを書いていきます。
Scalarクラスの仕様は以下とします。
<ul>
<li>インスタンス生成時にint又はfloatを受け取る</li>
<li>上の条件以外ならば、TypeErrorを発出</li>
</ul>
これらの条件を満たすようにクラスを書いたのが以下になります。
<pre><code class="hljs language-python">class Scalar:
 def __init__(self, data):
 if isinstance(data, int) or isinstance(data, float):
 self.data = data
 else:
 raise TypeError('expect int or float, but {}', type(data))
</code></pre>
これでメインルーティンを書いていきます。
以下を試してみます。
<ul>
<li>intを入力</li>
<li>floatを入力</li>
<li>listを入力</li>
</ul>
さて、書きたします。先ほどのクラスを書いたファイルを拡張していきます。
<pre><code class="hljs language-python">class Scalar:
 def __init__(self, data):
 if isinstance(data, int) or isinstance(data, float):
 self.data = data
 else:
 raise TypeError('expect int or float, but {}', type(data))
 
if __name__ == "__main__":
 scalar = Scalar(3)
 print(scalar)
 scalar = Scalar(3.0)
 print(scalar)
 scalar = Scalar([3])
 print(scalar)
</code></pre>
ターミナルで実行してみます。
<pre><code class="hljs language-bash">$ python scalar.py
&#x3C;__main__.Scalar object at 0x7fddd4300150>
&#x3C;__main__.Scalar object at 0x7fddd4300190>
Traceback (most recent call last):
 File "scalar.py", line 13, in &#x3C;module>
 scalar = Scalar([3])
 File "scalar.py", line 6, in __init__
 raise TypeError('expect int or float, but {}', type(data))
TypeError: ('expect int or float, but {}', class 'list')
</code></pre>
3と3.0の入力は受け取れましたが、どうやら[3]の入力は期待した通りエラーを出してくれています。
しかし、やはりこのままではクラスをそのまま出力してしまっています。
<h2>【str】の出番</h2>
それでは、__str__という特殊メソッドを用いて、出力結果を変更していきます。
先までのクラスを以下のように変えていきます。
<pre><code class="hljs language-python">class Scalar:
 def __init__(self, data):
 if isinstance(data, int) or isinstance(data, float):
 self.data = data
 else:
 raise TypeError('expect int or float, but {}', type(data))
 
 &#x3C;span class="comment"># 以下を追加
 def __str__(self):
 return 'Scalar({})'.format(self.data)
</code></pre>
最後の2行を追加する感じです。
それでは、intとfloat以外はエラーを出すことを確認しているのでメインルーティンも同時に変えて以下のファイルとして完成させましょう。
<pre><code class="hljs language-python">class Scalar:
 def __init__(self, data):
 if isinstance(data, int) or isinstance(data, float):
 self.data = data
 else:
 raise TypeError('expect int or float, but {}', type(data))
 
 def __str__(self):
 return 'Scalar({})'.format(self.data)
 
if __name__ == "__main__":
 scalar = Scalar(3)
 print(scalar)
 scalar = Scalar(3.0)
 print(scalar)
</code></pre>
この出力結果はどうなるでしょうか......(ドキドキ??)
<pre><code class="hljs language-bash">$ python scalar.py
Scalar(3)
Scalar(3.0)
</code></pre>
期待した通りの結果ですね!!
このように、クラスのインスタンスの出力を制御するには**str**という特殊メソッドを使うと良いみたいです。
ただし、__reprというものもあります。今回のソースに関しては正直いうと、この**repr**の方が適している気がします。(evalを使えば可逆的に戻すことができるため)
詳しくはこちらを参照されたい(<a href="https://docs.python.org/ja/3/reference/datamodel.html">https://docs.python.org/ja/3/reference/datamodel.html</a>)
<h2>今回のソースの推奨</h2>
<pre><code class="hljs language-python">class Scalar:
 def __init__(self, data):
 if isinstance(data, int) or isinstance(data, float):
 self.data = data
 else:
 raise TypeError('expect int or float, but {}', type(data))
 def __repr__(self):
 return 'Scalar({})'.format(self.data)
 
if __name__ == "__main__":
 scalar = Scalar(3)
 print(scalar)
 scalar = Scalar(3.0)
 print(scalar)
</code></pre>

Pythonからtkinterを使ってGUIを実装していました。Entryを使ってユーザの入力値を受け取ることができますが、デフォルト値の設定の仕方に困ったので、デフォルト値を設定した方法を共有します。

【Python】tkinterでEntryにデフォルト値を入れたい

Pythonからtkinterを使ってGUIを実装していました。Entryを使ってユーザの入力値を受け取ることができますが、デフォルト値の設定の仕方に困ったので、デフォルト値を設定した方法を共有します。
<h2>まずはEntryを生成</h2>
とりあえずコピペしたら動くようにします。
ちなみに今回の僕の環境は以下になります。同じ環境で動かしたい場合は、以下のライブラリをrequirements.txtにコピペでもして、インストールしてください。
<pre><code class="hljs language-bash">altgraph==0.17
certifi==2020.6.20
macholib==1.14
mysql-connector-python==8.0.21
protobuf==3.13.0
pyinstaller==4.0
pyinstaller-hooks-contrib==2020.9
six==1.15.0
</code></pre>
<pre><code class="hljs language-bash">pip install -r requirements.txt
</code></pre>
上のやつをターミナルで回せばインストールできると思います。
さて、本題。。。
まずは、Entryを生成します。今回は、entry.pyに書いていきます。
一番大きなくくりのクラスをAppとして、このインスタンスをメインルーティンで立てていきます。
<pre><code class="hljs language-python">import tkinter as tk

class App(tk.Tk):
 def __init__(self, *args, **kwargs):
 # 魔法
 tk.Tk.__init__(self, *args, **kwargs)

 # 以下でタイトルとウィンドウサイズを設定
 self.title(u"tkinterでEntryにデフォルト値を入れたい")
 self.geometry("500x300")

 # Frameを生成
 self.frame = tk.Frame()
 self.frame.pack()
 # Labelを生成
 label = tk.Label(self.frame, text='Your name')
 label.pack()
 # Entryを生成
 name = tk.Entry(self.frame)
 name.pack()

if __name__ == "__main__":
 app = App()
 app.mainloop()
</code></pre>
これでとりあえずエントリー(入力受付)が可能になります。ここでUIは一切凝っていないので、下のような状態になると思います。
<img src="/images/article/tk-entry-default_1.png" alt="完成画面">
この入力受付に対して、「山田太郎」をデフォルト値として設定していきたいと思います。
<h2>デフォルト値の設定</h2>
続いて、「山田太郎」をデフォルト値として設定していきます。基盤は先ほどのコードになります。
先に言うと、*tk.Entry().insert()*メソッドを用いて、エントリーに対して文字列を挿入します。
それではコードを追加しましょう。
<pre><code class="hljs language-python">import tkinter as tk

class App(tk.Tk):
 def __init__(self, *args, **kwargs):
 # 魔法
 tk.Tk.__init__(self, *args, **kwargs)

 # 以下でタイトルとウィンドウサイズを設定
 self.title(u"tkinterでEntryにデフォルト値を入れたい")
 self.geometry("500x300")

 # Frameを生成
 self.frame = tk.Frame()
 self.frame.pack()
 # Labelを生成
 label = tk.Label(self.frame, text='Your name')
 label.pack()
 # Entryを生成
 name = tk.Entry(self.frame)

 """ここにコードを1行追加"""
 name.insert(0, "山田太郎")
 """ここにコードを1行追加"""

 name.pack()

if __name__ == "__main__":
 app = App()
 app.mainloop()
</code></pre>
概要は上記のようになります。
後半部分に1行足しただけです。足したのはこれ。
name.insert(0, "山田太郎")
第一引数はインデックスを指していて、今回はエントリーの一番初めに挿入したいので、0を入れました。
第二引数は実際に挿入したい値です。よって、今回は「山田太郎」を書きました。
こうすることで結果は以下が得られると思います。
<img src="/images/article/tk-entry-default_2.png" alt="挿入後完成画面">
これでデフォルト値の設定ができました。
正攻法なのかは定かではないですが......www
これでデフォルト値の設定ができました。必要な時は是非ご活用を。

時々、Seleniumで要素を取得してクリックした際、うまくいかないことがあります。その時いくつかの解決策があるのですが、今回はJavaScriptを発火させて解決する方法を解説していきます。

Seleniumからクリックができない...そうだ、JSからクリックしよう

時々、Seleniumで要素を取得してクリックした際、うまくいかないことがあります。その時いくつかの解決策があるのですが、今回はJavaScriptを発火させて解決する方法を解説していきます。。
それでは早速やってみます。
前提条件は以下になります。
<ul>
<li>Python環境が整っている</li>
<li>Seleniumをインストール済み</li>
<li>chromedriverをインストール済み</li>
</ul>
<h2>SeleniumからJavascriptを発火する</h2>
JavaScriptを発火させることはとても簡単です。
<pre><code class="hljs language-python">from selenium import webdriver
import chromedriver_binary

driver = webdriver.Chrome()
driver.get('https://www.example.com/')
driver.execute_script('Your Procedure')
</code></pre>
まずは、Webdriverを開き、その後execute_scriptメソッドを用いて、引数にJSのスクリプトを書き込むのみです。
<h2>実際にボタンをクリックしてみる!</h2>
実際にJSのスクリプトと合わせて、#buttonを持つ要素をクリックしてみましょう。
<pre><code class="hljs language-python">from selenium import webdriver
import chromedriver_binary

driver = webdriver.Chrome()
driver.get('https://www.example.com/')
driver.execute_script('document.getElementById("button").click();')
</code></pre>
スクリプト全体の流れは以下になります。
<ol>
<li>必要なモジュールをインポート</li>
<li>webdriver立ち上げる</li>
<li>対象のサイトを開く</li>
<li>execute_scriptでJSを発火</li>
</ol>
上記のスクリプトはこの流れになります。
時々、ポップアップとかトレース型広告とかでクリックできない場面があります。
その際はJSから直押ししてあげるとうまく行くことがあります。
この方法で解決できない場面も多いですが、比較的容易な手法なので頭の中に一つの解決策として留めておくのもありだと思います。

データ収集中にint型に文字列をパースすることがあったのですが、みるからに数値なのにエラーが返ってきました。これは何気にドツボでした。

invalid literal for int() with base 10: でint型のパースでエラーが！ 

データ収集中にint型に文字列をパースすることがあったのですが、みるからに数値なのにエラーが返ってきました。これは何気にドツボでした。
<h2>ValueErrorの発生</h2>
エラーを招いたコードの例がこちら
<pre><code class="hljs language-python">a = np.array(['1.0', '2.0']).astype('int16')
</code></pre>
実際に出たエラーがこちらです。
<pre><code class="hljs language-bash">ValueError: invalid literal for int() with base 10:
</code></pre>
エラー読んでもいまいち理解できませんでした。
正しくないリテラル...どういうこっちゃ!?
<h2>【原因】文字列が小数だった</h2>
原因は意外にもシンプルで、文字列の形が小数だったからみたいです...
他のコードで確認してみると
<pre><code class="hljs language-python">a = np.array(['1', '2']).astype('int16')

# >> array([1, 2], dtype=int16
</code></pre>
<pre><code class="hljs language-python">a = np.array(['1.0', '2.0']).astype('float32')

# >> array([1, 2], dtype=float32)
</code></pre>
小数であった時、floatへの変換はうまくいっているようです。
<h2>改善策</h2>
いったんfloatに変換してから、intに変換するとできます。遠回りですが。
<pre><code class="hljs language-python">a = np.array(['1.0', '2.0']).astype('float32').astype('int16')

# >> array([1, 2], dtype=int16)
</code></pre>
このようなエラーに直面したら、配列の中身の文字列が少数になっていないか確認してみましょう!!

Macは普段使いなので、あまり情報収集に使いたくなかったために、常時Windowsのノートパソコンを情報収集ボットとしようとしました。その時コードの共有をDropboxを用いたのですが、なぜかいくらpandasを入れても"No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package"というエラーが。。。その原因がわかったのでそのお話をします。

pickleでロードした時pandasがあるのに"No module ~~"で悩んだ件について

Macは普段使いなので、あまり情報収集に使いたくなかったために、常時Windowsのノートパソコンを情報収集ボットとしようとしました。
その時コードの共有をDropboxを用いたのですが、なぜかいくらpandasを入れても 
"No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package" 
というエラーが...
その原因がわかったのでそのお話をします。
<h2>"No module"エラーの発生!?</h2>
前述したとおり、環境の違う状態でコードを共有したわけです。
確認してみると、やはりpandasのバージョンが違っていました。他の記事でも採算を話をしていますが、機械学習によく使われるライブラリたちは特段アップデートが早く、さらに大幅な変更も多い印象です。
実際に起こった原因は、pickleに入れたpandasとロード先のpandasのバージョンの違いでした。
実際の僕のバージョンは以下でした。

















<table><thead><tr><th>対象</th><th>pandasのバージョン</th></tr></thead><tbody><tr><td>以前のpandas</td><td>0.24.2</td></tr><tr><td>移植先のpandas</td><td>0.23.1</td></tr></tbody></table>
そのバージョンが違うと次のようなエラーが出ることがあります。
<pre><code class="hljs language-bash">"No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package"
</code></pre>
上のようなモジュールがないよ！！
と怒られるわけです。
なので、次の解決策を示します
<ul>
<li>再度データを作り直す</li>
<li>前の環境を調べてinstallし直す</li>
<li>前の環境にrequirements.txtを作成しておいて同じ環境を立てる</li>
</ul>
次のセクションでお話をします。
<h2>再度データを作り直す</h2>
このやり方はいうまでもないですが、もう一度作り直す方法です。
前の環境がわからないなど、どうしようもない時はこの方法で太刀打ちすれば良いかと思います
<pre><code class="hljs language-python">import pandas as pd
import pickle

df = pd.DataFrame()
with open('sample.pickle', 'wb') as f:
 pickle.load(df, f)
</code></pre>
といったように、現状の環境で作り直す方法です。
<h2>前の環境を調べてinstallし直す</h2>
前の環境でのバージョンが分かっていれば入れ直せば良いでしょう。
<pre><code class="hljs language-bash">$ pip install pandas=='your pandas version'
</code></pre>
これで特定のバージョンのpandasを入手できるはずです。
<h2>前の環境にrequirements.txtを作成しておいて同じ環境を立てる</h2>
前の環境が目の前にあるならば、以下のようにしてrequirements.txtを作成してしまえば早いでしょう。
<pre><code class="hljs language-bash">$ pip freeze > requirements.txt
</code></pre>
<pre><code class="hljs language-bash"># 新しい環境にて
$ pip install -r requirements.txt
</code></pre>
これで以前と同じ環境が整うので、心配なく動くと思います。

機械学習の学習中に、他のディレクトリで作った自作関数が使いたかったのだけど、うまくimportする方法に悩みました。pythonがモジュールを探すpathをセットしてあげるだけで済んだので、その方法を解説します。

自作のモジュールを他のディレクトリから持ってきたい!!

他のディレクトリで作ったモジュールのimportをさせたかったのですが、その方法がイマイチわからなくて詰まりました。
下の階層にあるなら"."でつなげばいいのですが、階層を遡る必要があると困ったので解決策を提示します。
今回は下層にあるとして進めます。階層が深くなると.(ドット)による記述が無駄に長くなるので、ある程度この記述で冗長な記述も避けられるかな？？と思ったからです。
<h2>やりたかったこと</h2>
他のディレクトリ内のモジュールを引っ張ってくる。
階層構造は以下のようにしてみる
<pre><code class="hljs language-bash">--- target
 | |
 | |--- sample.py
 |
 |--- main.py &#x3C;-- 今ここ
</code></pre>
で、直感的にやりたかったのがこれ
<pre><code class="hljs language-python">@ main.py
from target.sample import Sample
</code></pre>
これはできるんだけど、もし 
from target.target1.target2.sample import Sample 
とかだったらすごく萎えるよね...
<h2>【 解決策 】Pathにセットしてあげる</h2>
sysとosを使って解決します!!
先ほどの階層構造に則ると、参照して欲しいディレクトリはtargetですね。
先に手順を話すと以下になります。
<ol>
<li>sysとosのimport</li>
<li>os.getcwd()でカレントディレクトリを取得(今回は同じ階層のディレクトリにつながっているため)</li>
<li>sys.path.append()でPathを追加</li>
</ol>
この手順にのっとって書いてみます
<pre><code class="hljs language-python"># 手順1
import sys
import os

# 手順2 &#x26; 3
sys.path.append(os.getcwd() + 'target')
from sample import Sample
</code></pre>
一応これで対応できました。
もし仮に4層、5層...と続いてもpathをセットしておけば、探してくれるので大丈夫です。
階層を遡るときは、その都度pathにいれるパスを変えてみてください!!

Pythonで始める機械学習でお勉強中にFutureWarningに遭遇しました。GroupKFoldで起こったのですが、とりあえず今は使えるもののこの先使えなくなることが示されているので修正します。

Scikit-learnのGroupKFoldでgroups配列でWarning発生!!

Pythonで始める機械学習でお勉強中にFutureWarningに遭遇しました。GroupKFoldで起こったのですが、とりあえず今は使えるもののこの先使えなくなることが示されているので修正します。
<h2>FutureWarningを発生させてみる</h2>
少し前の書籍の型に合わせてコードを書いてみます。<del>FutureWarning</del>が発生するはずです。
<pre><code class="hljs language-python">@python

from sklearn.model_selection import GroupKFold # グループ交差検証
from sklearn.datasets import make_blobs # 合成データ生成

# 合成データセットを生成
X, y = make_blobs(n_samples=10, random_state=0)
# 最初の2サンプルが同じグループに、次の4つが同じグループに
groups = [0, 0, 1, 1, 1, 1, 3, 3, 4, 4]
scores = cross_val_score(logreg, X, y, groups, cv=GroupKFold(n_splits=3))
print("Cross-validation scores:\n{}".format(scores))
</code></pre>
おそらくこの型が少し前の技術書の仕様だと思います。Pythonで始める機械学習もこの型でした。
結果をみてみます。
<pre><code class="hljs language-bash">Cross-validation scores:
[0.5 1. 1. ]
/Users/user/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/utils/validation.py:71: 
FutureWarning: Pass groups=[0, 0, 1, 1, 1, 1, 3, 3, 4, 4] as keyword args. 
From version 0.25 passing these as positional arguments will result in an error
FutureWarning)
</code></pre>
こんな感じのWarningが発生します。
最後の方を読んでみると、バージョン0.25からはgroups配列は位置引数としてだとエラーになるよみたいな感じのことを言っています。改善方法は至ってシンプルです。 
次に示します。
<h2>改善策</h2>
改善策は至ってシンプルです。
**groups=(グループ配列)**にすればいいのです。直したコードを示します。
<pre><code class="hljs language-python">@python

from sklearn.model_selection import GroupKFold # グループ交差検証
from sklearn.datasets import make_blobs # 合成データ生成

# 合成データセットを生成
X, y = make_blobs(n_samples=10, random_state=0)
# 最初の2サンプルが同じグループに、次の4つが同じグループに
groups = [0, 0, 1, 1, 1, 1, 3, 3, 4, 4]
scores = cross_val_score(logreg, X, y, groups=groups, cv=GroupKFold(n_splits=3))
print("Cross-validation scores:\n{}".format(scores))
</code></pre>
直したのはこの部分
<pre><code class="hljs language-python">scores = cross_val_score(logreg, X, y, groups=groups, cv=GroupKFold(n_splits=3))
</code></pre>
単にgroups=groupsにするだけです。これだけで直ります。
やはりFutureWarningが多いですね〜この周りは。

MeCabを利用したWebアプリケーションをHerokuにデプロイしようとして、環境をrequirements.txtにまとめていたのですが、、、どうしてもエラーが出てインストールが止まってしまうことがありました。原因は、Mecabだったようなので、エラー回避方法を共有します。

HerokuにMecCabインストールで困った!!

MeCabを利用したWebアプリケーションをHerokuにデプロイしようとして、環境をrequirements.txtにまとめていたのですが、、、どうしてもエラーが出てインストールが止まってしまうことがありました。原因は、Mecabだったようなので、エラー回避方法を共有します。
前提条件として、
<ul>
<li>mecabをpip mecabでインストール済み</li>
<li>HerokuをCLIでいじる準備ができている</li>
</ul>
<h2>とりあえずrequirements.txtを作成</h2>
まあ、pip listしてまず現環境におけるライブラリをみていきましょう。
例えばこんな構成だとします。
<pre><code class="hljs language-bash">(myvenv)$ ~ pip list
Package Version
---------------------- -------------------
certifi 2020.6.20
chardet 3.0.4
click 7.1.2
Flask 1.1.2
gunicorn 20.0.4
idna 2.10
itsdangerous 1.1.0
Jinja2 2.11.2
MarkupSafe 1.1.1
mecab 0.996.2
mysql-connector-python 8.0.21
oauthlib 3.1.0
pip 20.1.1
protobuf 3.12.4
requests 2.24.0
requests-oauthlib 1.3.0
setuptools 49.2.0.post20200714
six 1.15.0
urllib3 1.25.10
Werkzeug 1.0.1
wheel 0.34.2
</code></pre>
中段くらいにmecabのバージョン0.996.2がありますね。それではこれをもとに、requirements.txtを作成していきます。
<pre><code class="hljs language-bash">(myvenv)$ ~ pip freeze > requirements.txt
</code></pre>
これで下準備OKです
<h2>Herokuへログインしてデプロイ</h2>
それではコマンドラインを開きまして、デプロイしていきましょう。
<pre><code class="hljs language-bash">$ ~ heroku % login
</code></pre>
これを打つと、認証画面的にブラウザが勝手に開きます。それでログインできていれば、この画面を消してターミナルに戻る旨の内容が書かれています。
それで、成功したとして、次は
<pre><code class="hljs language-bash">$ ~ % heroku git:clone -a your-app-name
$ ~ % cd your-app-directory

$ your-app-directory % git add .
$ your-app-directorygit % commit -am "deploy!!"
$ your-app-directorygit % push heroku master
</code></pre>
こうするとPythonの場合、runtime.txtからPythonのバージョンを、requirements.txtから依存ライブラリのパッケージを確認して、インストールしていくと次のような問題が発生します。
<pre><code class="hljs language-bash">-----> Python app detected
-----> Installing python-3.8.5
-----> Installing pip 20.0.2, setuptools 39.0.1 and wheel 0.34.2
-----> Installing SQLite3
-----> Installing requirements with pip
 Collecting certifi==2020.6.20
 Downloading certifi-2020.6.20-py2.py3-none-any.whl (156 kB)
 Collecting chardet==3.0.4
 ( 中略 )
 Collecting mecab==0.996.2
 Downloading mecab-0.996.2.tar.gz (62 kB)
 ERROR: Command errored out with exit status 1:
 command: /app/.heroku/python/bin/python -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-kr1kq54r/
 mecab/setup.py'"'"'; __file__='"'"'/tmp/pip-install-kr1kq54r/mecab/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)
 (__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' 
 egg_info --egg-base /tmp/pip-install-kr1kq54r/mecab/pip-egg-info
 cwd: /tmp/pip-install-kr1kq54r/mecab/
 Complete output (10 lines):
 /bin/sh: 1: mecab-config: not found
 Traceback (most recent call last):
 File "&#x3C;string>", line 1, in &#x3C;module>
 File "/tmp/pip-install-kr1kq54r/mecab/setup.py", line 53, in &#x3C;module>
 include_dirs=cmd2("mecab-config --inc-dir"),
 File "/tmp/pip-install-kr1kq54r/mecab/setup.py", line 19, in cmd2
 return cmd1(strings).split()
 File "/tmp/pip-install-kr1kq54r/mecab/setup.py", line 15, in cmd1
 return os.popen(strings).readlines()[0].rstrip()
 IndexError: list index out of range
 ----------------------------------------
 ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full command output.
 ! Push rejected, failed to compile Python app.
 ! Push failed
</code></pre>
こんな感じに怒られるわけですよ...orz
<h2>悪さをするのはMecabだった！？</h2>
どうやら悪さをしていたのは、MeCabだったようです。再度requirements.txtの一部を確認します。
<pre><code class="hljs language-bash">requirements.txt |
----------------------------
certifi==2020.6.20
chardet==3.0.4
click==7.1.2
Flask==1.1.2
gunicorn==20.0.4
idna==2.10
itsdangerous==1.1.0
Jinja2==2.11.2
MarkupSafe==1.1.1
mecab==0.996.2
..................
</code></pre>
どうやら調べてみると、このmecabで指定しているのがよくないみたいですね...
というわけで、このmecab==0.996.2というのをどかしてやりますね。どうするかと言いますと、 
mecab-pythonに変えてあげます。特にバージョンは指定しなくてもよかったです。
ということで直します。
<pre><code class="hljs language-bash">requirements.txt |
----------------------------
..................
..................
mecab-python # mecab==0.996.2 を修正
..................
</code></pre>
これでうまくいくはずです！！
もしうまくいかなかったら、打ち損じとか全角になってないか、他のライブラリでのエラー等を疑うといいと思います。
これぬまにハマりそうなので、同じエラーに悩む人がいたら是非参考にしてください。

ロジスティック回帰をscikit-learnで実装していると、デフォルトはL2正則化でペナルティを与えています。そこで、もっとスパースにしてやろうとL1正則化を行おうとしたのだが、エラーを吐かれた。その時の解決策を共有します。

ロジスティック回帰でL1正則化を利用できない問題の解決法

ロジスティック回帰をscikit-learnで実装していると、デフォルトはL2正則化でペナルティを与えています。
そこで、もっとスパースにしてやろうとL1正則化を行おうとしたのだが、エラーを吐かれた。その時の解決策を共有します。
<h2>エラーを吐かれた時のバージョン</h2>
一応最近開発が立て込んでいるので、Anacondaを使って開発環境を分けているのですが、
<pre><code class="hljs language-bash">(base)$ conda activate ML
(ML)$ conda list (pip listでも行ける)
......
......
scikit-learn 0.23.1 
......
</code></pre>
ということで、scikit-learnのバージョンは0.23.1でした。
<h2>実装してみる</h2>
それでは実装してみます。至ってシンプルなスクリプトで動く想定でやっていきます。こちらで変化させるハイパーパラメータは以下になります。





















<table><thead><tr><th>パラメータ</th><th>値</th></tr></thead><tbody><tr><td>C(正則化のつよさ)</td><td>1(デフォルト)</td></tr><tr><td>penalty</td><td>L1正則化</td></tr><tr><td>max_iter(イテレーションの上限)</td><td>100000</td></tr></tbody></table>
また、訓練データ(X_train, y_train)とテストデータ(X_test, y_test)に分けてあることにします。
<pre><code class="hljs language-python">from sklearn.linear_model import LogisticRegression

lr_l1 = LogisticRegression(penalty='l1', max_iter=100000).fit(X_train, y_train)
</code></pre>
するとこんなエラーが返ってきます。
<pre><code class="hljs language-bash">~/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/linear_model/_logistic.py in fit(self, X, y, sample_weight)
1302 The SAGA solver supports both float64 and float32 bit arrays.
1303 """
-> 1304 solver = _check_solver(self.solver, self.penalty, self.dual)
1305 
1306 if not isinstance(self.C, numbers.Number) or self.C &#x3C; 0:

~/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/linear_model/_logistic.py in _check_solver(solver, penalty, dual)
441 if solver not in ['liblinear', 'saga'] and penalty not in ('l2', 'none'):
442 raise ValueError("Solver %s supports only 'l2' or 'none' penalties, "
--> 443 "got %s penalty." % (solver, penalty))
444 if solver != 'liblinear' and dual:
445 raise ValueError("Solver %s supports only "

ValueError: Solver lbfgs supports only 'l2' or 'none' penalties, got l1 penalty.
</code></pre>
ファイルのありかは人それぞれですが、エラーは返ってきます。 
デフォルトのSolverがlbfgsに変わっていたそうで、l2またはnoneしかペナルティをサポートしていないそうです。
というわけで、Solverにliblinearを指定しないといけないようですね。
<h2>liblinearを指定する</h2>
先ほどのエラーをなくすため、新たにパラメータを足します。

























<table><thead><tr><th>パラメータ</th><th>値</th></tr></thead><tbody><tr><td>C(正則化のつよさ)</td><td>1(デフォルト)</td></tr><tr><td>penalty</td><td>L1正則化</td></tr><tr><td>max_iter(イテレーションの上限)</td><td>100000</td></tr><tr><td>solver</td><td>liblinear</td></tr></tbody></table>
では足します。
<pre><code class="hljs language-python">from sklearn.linear_model import LogisticRegression

lr_l1 = LogisticRegression(penalty='l1', solver='liblinear', max_iter=100000).fit(X_train, y_train)
</code></pre>
これで無事動くようになりました!!!
<h2>まとめ</h2>
まとめです。 
scikit-learnを用いて、ロジスティック回帰を使う時、さらにL1正則化をかけたい時は**solver='liblinear'**を引数に追加しましょう。
この周りは色々と変化が早いので、本を買う際にも初版等も確認しつつ買った方が良い気がしました。バージョン確認も大切に。

Pythonではじめる機械学習をやっている最中に、mglearnというライブラリからmake_forge()メソッドでデータを生成することがあったのですが、Warningが出て怒られたので、推奨される形に戻すために互換性のあるコードに直します。

scikit-learnのmake_blobsに乗り換えよう!!

一応参考書通りに学習するのだが、基本的にはいつも最新版をインストールして使う人間なもので、Warning及びErrorとの戦いはよくあることです。ので、Warningとかが出るとうっと身構えてしまうので、困らないように備忘録かつ反面教師として残しておきます。
<h2>とりあえずmake_forge()をやってみようか</h2>
とりあえずmake_forge()でforgeデータを生成し、Warningさせてみますかね。。。
ライブラリはmglearnを使うのでpip環境がある人は、pip install mglearnをしてください。その上で、
<pre><code class="hljs language-python">import mglearn # mglearnのインポート
X, y = mglearn.datasets.make_forge() # make_forgeメソッドで生成
</code></pre>
以下がアウトプットです。
<pre><code class="hljs language-bash">/Users/user/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/utils/deprecation.py:86: FutureWarning: Function make_blobs is deprecated; Please import make_blobs directly from scikit-learn
warnings.warn(msg, category=FutureWarning)
</code></pre>
なんだかWarningで怒られましたorz
将来的にsklearn.datasets.makeblobs()と被るよってことを言いたいらしいです。scikit-learnから直接make_blobsをインポートしろとか言ってますね。
次からWarningを避けて行きます。
<h2>make_blobsに乗り換える</h2>
make_blobsメソッドに乗り換えて行きます。これはscikit-learnのdatasetsモジュールに含まれているみたいなので、こいつをインポートして行きます。
<pre><code class="hljs language-python">from sklearn.datasets import make_blobs # これでインポート完了
</code></pre>
インポートがうまくいったら次はメソッドを呼び出します。
<pre><code class="hljs language-python">X, y = make_blobs()
</code></pre>
これでデータがうまく生成されたようです。無事Warningも出てきません!!!
念のため、Xの型をみて行きます。
<pre><code class="hljs language-python">print("X.shape: {}".format(X.shape))

# -> X.shape: (100, 2)
</code></pre>
詰まるところ、2つの特徴量を持つデータが100個生成されました。100*2の行列ですね。
make_forge()のときは2つの特徴量のデータが26個を期待していたようなので、データ量が増えたみたいですね。
<h2>まとめ</h2>
mglearn.datasets.make_forge()でWarningを回避する方法のまとめがこちらです。
<pre><code class="hljs language-python">from sklearn.datasets import make_blobs # インポート
X, y = make_blobs() # make_blobsメソッドの実行

"""
確認のおまけ
"""
print("X.shape: {}".format(X.shape))

#-> X.shape: (100, 2) # 特徴量を2つ持つ100個のデータ
</code></pre>
scikit-learn周りは、アップデートが早いので少し古い技術書なだけでも、Future Warningが出たり、Errorが出たりすることが多々あります。
気をつけながら学習をする必要がありそうですね。では、今回はここまで！

Pythonのライブラリ「mysql-connector-python」を使っていたのですが、なかなか'SHOW TABLES'や'SHOW DATABASES'を出力できなかったので、その対処法を備忘録としてまとめます。

mysql-connector-pythonで'SHOW ~~~'に困ったのでその対処法

MySQLのデータベースを扱う際に、Pythonスクリプトから接続したくなったので、Pythonからの接続方法を紹介します。
<h2>mysql-connector-pythonのインストール</h2>
まずは、mysql-connector-pythonのインストールを行っていきます。(復習がてら)
今回は、pipを使ってインストールしていきます。
<pre><code class="hljs language-bash">$~ pip install mysql-connector-python
</code></pre>
これでエラーが出ずに進めばインストールできているはずです。とりあえずこれで準備は完了。
<h2>まずはconnectorをインポート</h2>
まずは接続するためのメソッドをインポートしないと使えないので、インポートしましょう。
<pre><code class="hljs language-python">import mysql.connector
</code></pre>
これで準備はOK!!
<h2>接続とDB操作のためのカーソルを生成、そして切断</h2>
今回の例では、以下の情報を前提にした上で、exampleというデータベースに直で接続していきます。

















<table><thead><tr><th>user</th><th>host</th><th>password</th><th>database</th></tr></thead><tbody><tr><td>root</td><td>127.0.0.1</td><td>example</td><td>example</td></tr></tbody></table>
さて、早速接続の処理を書いてみましょう。
<pre><code class="hljs language-python">cnx = mysql.connector.connect(
 user='root',
 password='example',
 database='example',
)
</code></pre>
これだけで接続は完了です。（パスワード等が全て正しければ） 
ホストはデフォルトが127.0.0.1なので書かなくていいです。
この後に、カーソルをあてます。
<pre><code class="hljs language-python">cur = cnx.cursor()
</code></pre>
この処理だけでオッケーです。
他の処理等も終わったら、しっかり切断しておきましょう。
<pre><code class="hljs language-python">cur.close()
cnx.close()
</code></pre>
これで接続と切断の処理は完了です。
<h2>SHOW TABLE表示していく</h2>
それでは、ここまでで準備は整ったので、*cur = cnx.cursor()*のすぐ後に以下の処理を書いてみましょう。
<pre><code class="hljs language-python">sql = "SHOW TABLES" #命令文
print(cur.execute(sql)) #結果の出力

# --> None #あれ？？ない
</code></pre>
見事失敗ですね(笑)
僕はずっと、実行した結果が戻り値として吐き出されていると思ってこの処理を書きました。しかし、それがないのでNoneが返ってきてしまうのですね...
それでは正しいスクリプトを書いていきましょう。
<pre><code class="hljs language-python">sql = "SHOW TABLES" #命令文
cur.execute(sql) #実行
print(cur.fetchone()) #1つだけフェッチする

# --> (example, )
</code></pre>
出力本体は人の環境によって異なりますが、このような感じでタプル型でテーブル名が出力されます。
複数処理結果をまとめて吐き出すには「fetchall()」というものがあるようです。今回は一つだけテーブルに対して情報を吐いてもらうので「fetchone()」で取得しました。
<h2>せっかくなので'SHOW DATABASES'もやってみる</h2>
せっかくなので「SHOW DATABASES」も出力してみましょう。DATABASE群をみるので、今回接続する際は先ほどのdatabase引数はなくします。















<table><thead><tr><th>user</th><th>host</th><th>password</th></tr></thead><tbody><tr><td>root</td><td>127.0.0.1</td><td>example</td></tr></tbody></table>
<pre><code class="hljs language-python">import mysql.connector

cnx = mysql.connector.connect(
 user='root',
 password='example',
 )

cur = cnx.cursor()

cur.execute("SHOW DATABASES")
print(cur.fetchall()) #&#x3C;&#x3C; fetchall()に注意

cur.close()
cnx.close()

# --> [(example, ), (sys, )]
</code></pre>
今回は複数のデータがあることに留意したとして、**fetchall()**しました。ここも見落としポイントが多い気がします。
僕はそうだったのですが、タプル型に全ての名前が入ると期待したのですが、実際は一つ一つの名前に対してタプルを作り、そのタプル群をリストに入れるようです。
<h2>まとめ</h2>
ここまでみてきた結果、一番安全なのはこれでしょうか。
<pre><code class="hljs language-python">cur = cnx.cursor()

cur.execute("SHOW DATABASES")
print(cur.fetchall()) 
</code></pre>
まずはカーソルを当ててから、そこでコマンドを実行する。そのあとは「fetchall()」でリストに包める。
情報が1つしかないことがわかっているならば問題ないのですが、基本的には複数あるという想定のもと、fetchall()で取得する方がいい気もしました。

Pythonのライブラリ「mysql-connector-python」を使って、ローカルのMySQLデータベースに接続します。

mysql-connector-pythonでローカルDBに接続する

MySQLのデータベースを扱う際に、Pythonスクリプトから接続したくなったので、Pythonからの接続方法を紹介します。
<h2>mysql-connector-pythonのインストール</h2>
まずは、mysql-connector-pythonのインストールを行っていきます。
今回は、pipを使ってインストールしていきます。
<pre><code class="hljs language-bash">$~ pip install mysql-connector-python
</code></pre>
これでエラーが出ずに進めばインストールできているはずです。とりあえずこれで準備は完了。
<h2>まずはconnectorをインポート</h2>
まずは接続するためのメソッドをインポートしないと使えないので、インポートしましょう。
<pre><code class="hljs language-python">import mysql.connector
</code></pre>
これで準備はOK!!
<h2>接続と切断</h2>
それではここまで完成できていれば、あとは接続の処理を書くだけです。
今回の例では、以下の情報を前提にしてみます。

















<table><thead><tr><th>user</th><th>host</th><th>password</th><th>database</th></tr></thead><tbody><tr><td>root</td><td>127.0.0.1</td><td>**********</td><td>example</td></tr></tbody></table>
さて、早速接続の処理を書いてみましょう。
<pre><code class="hljs language-python">import mysql.connectorcnx = mysql.connecor.connect(
 user='root',
 host='127.0.0.1',
 password='**********',
 database='example',
 )
</code></pre>
これだけで接続は完了です。（パスワード等が全て正しければ）
他の処理等も終わったら、しっかり切断しておきましょう。
<pre><code class="hljs language-python"> cnx.close()
</code></pre>
これで接続と切断の処理は完了です。
また、hostが127.0.0.1であることは、他のポートとぶつかっているために人為的にローカルホストやポート番号を変えていなければ、デフォルトの位置になっているはずなので、以下でも実行可能です。
<pre><code class="hljs language-python">import mysql.connectorcnx = mysql.connecor.connect(
 user='root',
 host='127.0.0.1',
 password='**********',
 database='example',
 cnx = mysql.connecor.connect(
 user='root',
 password='**********',
 database='example',
 )
</code></pre>
<h2>connectの引数の内容を辞書にまとめておく</h2>
先ほど、引数に入力した情報を辞書にまとめて接続することもできます。
以下のようなスクリプトになります。
<pre><code class="hljs language-python">import mysql.connector

 config = {
 user: 'root',
 host: '127.0.0.1',
 password: '**********',
 database: 'example',
 }
 cnx = mysql.connector.connect(**config)

 cnx.close()
</code></pre>
configは辞書型なので、「**」でアンパックすることも忘れないようにしましょう。
<h2>まとめ</h2>
最終的にまとめると、流れはこんな感じです。
<h2>#辞書使わない</h2>
<pre><code class="hljs language-python">import mysql.connector

cnx = mysql.connecor.connect(
 user=&#x3C;span class="strings">'root',
 host=&#x3C;span class="strings">'127.0.0.1',
 password=&#x3C;span class="strings">'**********',
 database=&#x3C;span class="strings">'example',
)

cnx.close()
</code></pre>
<h2>#辞書型</h2>
<pre><code class="hljs language-python">import mysql.connector

config = {
 user: &#x3C;span class="strings">'root',
 host: &#x3C;span class="strings">'127.0.0.1',
 password: &#x3C;span class="strings">'**********',
 database: &#x3C;span class="strings">'example',
}
cnx = mysql.connector.connect(**config)

cnx.close()
</code></pre>
後ほど、テーブルを実際に作ったり、インサートしたりの方法を紹介しようと思います。

ゆうぼうの書跡棚

classの標準出力を特殊な文字列にしたい【str|repr】