Pythonで始める機械学習でお勉強中にFutureWarningに遭遇しました。GroupKFoldで起こったのですが、とりあえず今は使えるもののこの先使えなくなることが示されているので修正します。

Scikit-learnのGroupKFoldでgroups配列でWarning発生!!

Pythonで始める機械学習でお勉強中にFutureWarningに遭遇しました。GroupKFoldで起こったのですが、とりあえず今は使えるもののこの先使えなくなることが示されているので修正します。
<h2>FutureWarningを発生させてみる</h2>
少し前の書籍の型に合わせてコードを書いてみます。<del>FutureWarning</del>が発生するはずです。
<pre><code class="hljs language-python">@python

from sklearn.model_selection import GroupKFold # グループ交差検証
from sklearn.datasets import make_blobs # 合成データ生成

# 合成データセットを生成
X, y = make_blobs(n_samples=10, random_state=0)
# 最初の2サンプルが同じグループに、次の4つが同じグループに
groups = [0, 0, 1, 1, 1, 1, 3, 3, 4, 4]
scores = cross_val_score(logreg, X, y, groups, cv=GroupKFold(n_splits=3))
print("Cross-validation scores:\n{}".format(scores))
</code></pre>
おそらくこの型が少し前の技術書の仕様だと思います。Pythonで始める機械学習もこの型でした。
結果をみてみます。
<pre><code class="hljs language-bash">Cross-validation scores:
[0.5 1. 1. ]
/Users/user/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/utils/validation.py:71: 
FutureWarning: Pass groups=[0, 0, 1, 1, 1, 1, 3, 3, 4, 4] as keyword args. 
From version 0.25 passing these as positional arguments will result in an error
FutureWarning)
</code></pre>
こんな感じのWarningが発生します。
最後の方を読んでみると、バージョン0.25からはgroups配列は位置引数としてだとエラーになるよみたいな感じのことを言っています。改善方法は至ってシンプルです。 
次に示します。
<h2>改善策</h2>
改善策は至ってシンプルです。
**groups=(グループ配列)**にすればいいのです。直したコードを示します。
<pre><code class="hljs language-python">@python

from sklearn.model_selection import GroupKFold # グループ交差検証
from sklearn.datasets import make_blobs # 合成データ生成

# 合成データセットを生成
X, y = make_blobs(n_samples=10, random_state=0)
# 最初の2サンプルが同じグループに、次の4つが同じグループに
groups = [0, 0, 1, 1, 1, 1, 3, 3, 4, 4]
scores = cross_val_score(logreg, X, y, groups=groups, cv=GroupKFold(n_splits=3))
print("Cross-validation scores:\n{}".format(scores))
</code></pre>
直したのはこの部分
<pre><code class="hljs language-python">scores = cross_val_score(logreg, X, y, groups=groups, cv=GroupKFold(n_splits=3))
</code></pre>
単にgroups=groupsにするだけです。これだけで直ります。
やはりFutureWarningが多いですね〜この周りは。

ロジスティック回帰をscikit-learnで実装していると、デフォルトはL2正則化でペナルティを与えています。そこで、もっとスパースにしてやろうとL1正則化を行おうとしたのだが、エラーを吐かれた。その時の解決策を共有します。

ロジスティック回帰でL1正則化を利用できない問題の解決法

ロジスティック回帰をscikit-learnで実装していると、デフォルトはL2正則化でペナルティを与えています。
そこで、もっとスパースにしてやろうとL1正則化を行おうとしたのだが、エラーを吐かれた。その時の解決策を共有します。
<h2>エラーを吐かれた時のバージョン</h2>
一応最近開発が立て込んでいるので、Anacondaを使って開発環境を分けているのですが、
<pre><code class="hljs language-bash">(base)$ conda activate ML
(ML)$ conda list (pip listでも行ける)
......
......
scikit-learn 0.23.1 
......
</code></pre>
ということで、scikit-learnのバージョンは0.23.1でした。
<h2>実装してみる</h2>
それでは実装してみます。至ってシンプルなスクリプトで動く想定でやっていきます。こちらで変化させるハイパーパラメータは以下になります。





















<table><thead><tr><th>パラメータ</th><th>値</th></tr></thead><tbody><tr><td>C(正則化のつよさ)</td><td>1(デフォルト)</td></tr><tr><td>penalty</td><td>L1正則化</td></tr><tr><td>max_iter(イテレーションの上限)</td><td>100000</td></tr></tbody></table>
また、訓練データ(X_train, y_train)とテストデータ(X_test, y_test)に分けてあることにします。
<pre><code class="hljs language-python">from sklearn.linear_model import LogisticRegression

lr_l1 = LogisticRegression(penalty='l1', max_iter=100000).fit(X_train, y_train)
</code></pre>
するとこんなエラーが返ってきます。
<pre><code class="hljs language-bash">~/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/linear_model/_logistic.py in fit(self, X, y, sample_weight)
1302 The SAGA solver supports both float64 and float32 bit arrays.
1303 """
-> 1304 solver = _check_solver(self.solver, self.penalty, self.dual)
1305 
1306 if not isinstance(self.C, numbers.Number) or self.C &#x3C; 0:

~/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/linear_model/_logistic.py in _check_solver(solver, penalty, dual)
441 if solver not in ['liblinear', 'saga'] and penalty not in ('l2', 'none'):
442 raise ValueError("Solver %s supports only 'l2' or 'none' penalties, "
--> 443 "got %s penalty." % (solver, penalty))
444 if solver != 'liblinear' and dual:
445 raise ValueError("Solver %s supports only "

ValueError: Solver lbfgs supports only 'l2' or 'none' penalties, got l1 penalty.
</code></pre>
ファイルのありかは人それぞれですが、エラーは返ってきます。 
デフォルトのSolverがlbfgsに変わっていたそうで、l2またはnoneしかペナルティをサポートしていないそうです。
というわけで、Solverにliblinearを指定しないといけないようですね。
<h2>liblinearを指定する</h2>
先ほどのエラーをなくすため、新たにパラメータを足します。

























<table><thead><tr><th>パラメータ</th><th>値</th></tr></thead><tbody><tr><td>C(正則化のつよさ)</td><td>1(デフォルト)</td></tr><tr><td>penalty</td><td>L1正則化</td></tr><tr><td>max_iter(イテレーションの上限)</td><td>100000</td></tr><tr><td>solver</td><td>liblinear</td></tr></tbody></table>
では足します。
<pre><code class="hljs language-python">from sklearn.linear_model import LogisticRegression

lr_l1 = LogisticRegression(penalty='l1', solver='liblinear', max_iter=100000).fit(X_train, y_train)
</code></pre>
これで無事動くようになりました!!!
<h2>まとめ</h2>
まとめです。 
scikit-learnを用いて、ロジスティック回帰を使う時、さらにL1正則化をかけたい時は**solver='liblinear'**を引数に追加しましょう。
この周りは色々と変化が早いので、本を買う際にも初版等も確認しつつ買った方が良い気がしました。バージョン確認も大切に。

Pythonではじめる機械学習をやっている最中に、mglearnというライブラリからmake_forge()メソッドでデータを生成することがあったのですが、Warningが出て怒られたので、推奨される形に戻すために互換性のあるコードに直します。

scikit-learnのmake_blobsに乗り換えよう!!

一応参考書通りに学習するのだが、基本的にはいつも最新版をインストールして使う人間なもので、Warning及びErrorとの戦いはよくあることです。ので、Warningとかが出るとうっと身構えてしまうので、困らないように備忘録かつ反面教師として残しておきます。
<h2>とりあえずmake_forge()をやってみようか</h2>
とりあえずmake_forge()でforgeデータを生成し、Warningさせてみますかね。。。
ライブラリはmglearnを使うのでpip環境がある人は、pip install mglearnをしてください。その上で、
<pre><code class="hljs language-python">import mglearn # mglearnのインポート
X, y = mglearn.datasets.make_forge() # make_forgeメソッドで生成
</code></pre>
以下がアウトプットです。
<pre><code class="hljs language-bash">/Users/user/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/utils/deprecation.py:86: FutureWarning: Function make_blobs is deprecated; Please import make_blobs directly from scikit-learn
warnings.warn(msg, category=FutureWarning)
</code></pre>
なんだかWarningで怒られましたorz
将来的にsklearn.datasets.makeblobs()と被るよってことを言いたいらしいです。scikit-learnから直接make_blobsをインポートしろとか言ってますね。
次からWarningを避けて行きます。
<h2>make_blobsに乗り換える</h2>
make_blobsメソッドに乗り換えて行きます。これはscikit-learnのdatasetsモジュールに含まれているみたいなので、こいつをインポートして行きます。
<pre><code class="hljs language-python">from sklearn.datasets import make_blobs # これでインポート完了
</code></pre>
インポートがうまくいったら次はメソッドを呼び出します。
<pre><code class="hljs language-python">X, y = make_blobs()
</code></pre>
これでデータがうまく生成されたようです。無事Warningも出てきません!!!
念のため、Xの型をみて行きます。
<pre><code class="hljs language-python">print("X.shape: {}".format(X.shape))

# -> X.shape: (100, 2)
</code></pre>
詰まるところ、2つの特徴量を持つデータが100個生成されました。100*2の行列ですね。
make_forge()のときは2つの特徴量のデータが26個を期待していたようなので、データ量が増えたみたいですね。
<h2>まとめ</h2>
mglearn.datasets.make_forge()でWarningを回避する方法のまとめがこちらです。
<pre><code class="hljs language-python">from sklearn.datasets import make_blobs # インポート
X, y = make_blobs() # make_blobsメソッドの実行

"""
確認のおまけ
"""
print("X.shape: {}".format(X.shape))

#-> X.shape: (100, 2) # 特徴量を2つ持つ100個のデータ
</code></pre>
scikit-learn周りは、アップデートが早いので少し古い技術書なだけでも、Future Warningが出たり、Errorが出たりすることが多々あります。
気をつけながら学習をする必要がありそうですね。では、今回はここまで！