Transformersを使って入力テキストをtokenizeするときに，データセットのサイズが大きかったので，バッチ単位でエンコードしたかった時がありました．この時，collate_fnに対して複数の引数を与えたかった状況の時の対処法です．(日本語変かも)

collate_fnで複数の引数を取りたい!!

Transformersを使って入力テキストをtokenizeするときに，データセットのサイズが大きかったので，バッチ単位でエンコードしたかった時がありました．
この時，collate_fnに対して複数の引数を与えたかった状況の時の対処法です．(日本語変か?)
<h2>やりたかったこと</h2>
DataLoaderを定義するときに，<code>collate_fn</code>のところで自作collate_fnを指定して，batch単位で流れてくるデータに対してエンコードすること．
これがやりたいことになります．つまりこんな感じ
<pre><code class="hljs language-python">from torch.utils import Dataset, DataLoader

class MyDataset(Dataset):
 def __init__(self, *args, **kwargs):
 super().__init__()
 ...
 
 def __len__(self):
 ...

 def __getitem__(self, idx: int):
 ...

dataloader = DataLoader(dataset=MyDataset(), batch_size=16, shuffle=True,
 num_workers=os.cpu_count(),
 collate_fn=custom_collate_fn) # &#x3C;--- ここで自作collate_fnを指定して制御
</code></pre>
<h2>やってうまくいかなかったこと</h2>
先にやってうまくいかなかったことを共有しておきます．
自分が使っているのが，<code>pytorch-lightning</code>なのでそのせいもあるかもしれません．なので，もしかしたら普通に素のPytorchならうまくいくかもしれません．
教えてください🙏
<h3>lambda式で制御する (functools.partialを使う)</h3>
こんなことをしました．
<pre><code class="hljs language-python">from torch.utils import Dataset, DataLoader
from transformers import AutoTokenizer

class MyDataset(Dataset):
 def __init__(self, *args, **kwargs):
 super().__init__()
 ...
 
 def __len__(self):
 ...

 def __getitem__(self, idx: int):
 ...
 return text, label

def custom_collate_fn(data, tokenizer, max_length):
 texts, labels = zip(*data)
 texts = list(texts)
 texts = tokenizer.batch_encode_plus(
 texts,
 padding=True,
 truncation=True,
 max_length=max_length,
 return_tensors='pt',
 )
 labels = torch.LongTensor(labels)
 return texts, labels

tokenizer = AutoTokenizer.from_pretrained(...)
max_length = 256
dataloader = DataLoader(dataset=MyDataset(), batch_size=16, shuffle=True,
 num_workers=os.cpu_count(),
 collate_fn=lambda data: custom_collate_fn(data, tokenizer, max_length))
</code></pre>
<code>pytorch-lightning</code>の仕様だとは思うのですが，<code>pickle</code>で圧縮するらしくそのタイミングでエラーを吐かれました．
なぜだろう...有識者の方教えてください...
<h2>【解決策】 classで定義する</h2>
lambda式でダメだったので，もうクラスの内部に必要なものを保持させておこうということになりました．(僕の中では)
次のコードのような感じで解決しました．
<pre><code class="hljs language-python">from torch.utils import Dataset, DataLoader
from transformers import AutoTokenizer

class MyDataset(Dataset):
 def __init__(self, *args, **kwargs):
 super().__init__()
 ...
 
 def __len__(self):
 ...

 def __getitem__(self, idx: int):
 ...
 return text, label

class CollateFn:
 def __init__(self, tokenizer, max_length: int) -> None:
 self.tokenizer = tokenizer
 self.max_length = max_length
 os.environ["TOKENIZERS_PARALLELISM"] = "true" # &#x3C;--- 多分これを明示的に指定しないと怒られます (true|false)

 def __call__(self, data):
 texts, labels = zip(*data)
 texts = list(texts)
 texts = self.tokenizer.batch_encode_plus(
 texts,
 padding=True,
 truncation=True,
 max_length=self.max_length,
 return_tensors='pt',
 )
 labels = torch.LongTensor(labels)
 return texts, labels

tokenizer = AutoTokenizer.from_pretrained(...)
max_length = 256
dataloader = DataLoader(dataset=MyDataset(), batch_size=16, shuffle=True,
 num_workers=os.cpu_count(),
 collate_fn=CollateFn(tokenizer, max_length))
</code></pre>
<h2>まとめ</h2>
素のPytorchで組めば問題なかったのかもしれませんが，<code>pytorch-lightning</code>を使っている方は同じ状況になるかもしれません．
その時は，ぜひ参考にclassでcollate_fnで実装してみて解決の一助となれたら幸いです．

ロジスティック回帰をscikit-learnで実装していると、デフォルトはL2正則化でペナルティを与えています。そこで、もっとスパースにしてやろうとL1正則化を行おうとしたのだが、エラーを吐かれた。その時の解決策を共有します。

ロジスティック回帰でL1正則化を利用できない問題の解決法

ロジスティック回帰をscikit-learnで実装していると、デフォルトはL2正則化でペナルティを与えています。
そこで、もっとスパースにしてやろうとL1正則化を行おうとしたのだが、エラーを吐かれた。その時の解決策を共有します。
<h2>エラーを吐かれた時のバージョン</h2>
一応最近開発が立て込んでいるので、Anacondaを使って開発環境を分けているのですが、
<pre><code class="hljs language-bash">(base)$ conda activate ML
(ML)$ conda list (pip listでも行ける)
......
......
scikit-learn 0.23.1 
......
</code></pre>
ということで、scikit-learnのバージョンは0.23.1でした。
<h2>実装してみる</h2>
それでは実装してみます。至ってシンプルなスクリプトで動く想定でやっていきます。こちらで変化させるハイパーパラメータは以下になります。





















<table><thead><tr><th>パラメータ</th><th>値</th></tr></thead><tbody><tr><td>C(正則化のつよさ)</td><td>1(デフォルト)</td></tr><tr><td>penalty</td><td>L1正則化</td></tr><tr><td>max_iter(イテレーションの上限)</td><td>100000</td></tr></tbody></table>
また、訓練データ(X_train, y_train)とテストデータ(X_test, y_test)に分けてあることにします。
<pre><code class="hljs language-python">from sklearn.linear_model import LogisticRegression

lr_l1 = LogisticRegression(penalty='l1', max_iter=100000).fit(X_train, y_train)
</code></pre>
するとこんなエラーが返ってきます。
<pre><code class="hljs language-bash">~/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/linear_model/_logistic.py in fit(self, X, y, sample_weight)
1302 The SAGA solver supports both float64 and float32 bit arrays.
1303 """
-> 1304 solver = _check_solver(self.solver, self.penalty, self.dual)
1305 
1306 if not isinstance(self.C, numbers.Number) or self.C &#x3C; 0:

~/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/linear_model/_logistic.py in _check_solver(solver, penalty, dual)
441 if solver not in ['liblinear', 'saga'] and penalty not in ('l2', 'none'):
442 raise ValueError("Solver %s supports only 'l2' or 'none' penalties, "
--> 443 "got %s penalty." % (solver, penalty))
444 if solver != 'liblinear' and dual:
445 raise ValueError("Solver %s supports only "

ValueError: Solver lbfgs supports only 'l2' or 'none' penalties, got l1 penalty.
</code></pre>
ファイルのありかは人それぞれですが、エラーは返ってきます。 
デフォルトのSolverがlbfgsに変わっていたそうで、l2またはnoneしかペナルティをサポートしていないそうです。
というわけで、Solverにliblinearを指定しないといけないようですね。
<h2>liblinearを指定する</h2>
先ほどのエラーをなくすため、新たにパラメータを足します。

























<table><thead><tr><th>パラメータ</th><th>値</th></tr></thead><tbody><tr><td>C(正則化のつよさ)</td><td>1(デフォルト)</td></tr><tr><td>penalty</td><td>L1正則化</td></tr><tr><td>max_iter(イテレーションの上限)</td><td>100000</td></tr><tr><td>solver</td><td>liblinear</td></tr></tbody></table>
では足します。
<pre><code class="hljs language-python">from sklearn.linear_model import LogisticRegression

lr_l1 = LogisticRegression(penalty='l1', solver='liblinear', max_iter=100000).fit(X_train, y_train)
</code></pre>
これで無事動くようになりました!!!
<h2>まとめ</h2>
まとめです。 
scikit-learnを用いて、ロジスティック回帰を使う時、さらにL1正則化をかけたい時は**solver='liblinear'**を引数に追加しましょう。
この周りは色々と変化が早いので、本を買う際にも初版等も確認しつつ買った方が良い気がしました。バージョン確認も大切に。

Pythonではじめる機械学習をやっている最中に、mglearnというライブラリからmake_forge()メソッドでデータを生成することがあったのですが、Warningが出て怒られたので、推奨される形に戻すために互換性のあるコードに直します。

scikit-learnのmake_blobsに乗り換えよう!!

一応参考書通りに学習するのだが、基本的にはいつも最新版をインストールして使う人間なもので、Warning及びErrorとの戦いはよくあることです。ので、Warningとかが出るとうっと身構えてしまうので、困らないように備忘録かつ反面教師として残しておきます。
<h2>とりあえずmake_forge()をやってみようか</h2>
とりあえずmake_forge()でforgeデータを生成し、Warningさせてみますかね。。。
ライブラリはmglearnを使うのでpip環境がある人は、pip install mglearnをしてください。その上で、
<pre><code class="hljs language-python">import mglearn # mglearnのインポート
X, y = mglearn.datasets.make_forge() # make_forgeメソッドで生成
</code></pre>
以下がアウトプットです。
<pre><code class="hljs language-bash">/Users/user/opt/anaconda3/envs/ML/lib/python3.6/site-packages/sklearn/utils/deprecation.py:86: FutureWarning: Function make_blobs is deprecated; Please import make_blobs directly from scikit-learn
warnings.warn(msg, category=FutureWarning)
</code></pre>
なんだかWarningで怒られましたorz
将来的にsklearn.datasets.makeblobs()と被るよってことを言いたいらしいです。scikit-learnから直接make_blobsをインポートしろとか言ってますね。
次からWarningを避けて行きます。
<h2>make_blobsに乗り換える</h2>
make_blobsメソッドに乗り換えて行きます。これはscikit-learnのdatasetsモジュールに含まれているみたいなので、こいつをインポートして行きます。
<pre><code class="hljs language-python">from sklearn.datasets import make_blobs # これでインポート完了
</code></pre>
インポートがうまくいったら次はメソッドを呼び出します。
<pre><code class="hljs language-python">X, y = make_blobs()
</code></pre>
これでデータがうまく生成されたようです。無事Warningも出てきません!!!
念のため、Xの型をみて行きます。
<pre><code class="hljs language-python">print("X.shape: {}".format(X.shape))

# -> X.shape: (100, 2)
</code></pre>
詰まるところ、2つの特徴量を持つデータが100個生成されました。100*2の行列ですね。
make_forge()のときは2つの特徴量のデータが26個を期待していたようなので、データ量が増えたみたいですね。
<h2>まとめ</h2>
mglearn.datasets.make_forge()でWarningを回避する方法のまとめがこちらです。
<pre><code class="hljs language-python">from sklearn.datasets import make_blobs # インポート
X, y = make_blobs() # make_blobsメソッドの実行

"""
確認のおまけ
"""
print("X.shape: {}".format(X.shape))

#-> X.shape: (100, 2) # 特徴量を2つ持つ100個のデータ
</code></pre>
scikit-learn周りは、アップデートが早いので少し古い技術書なだけでも、Future Warningが出たり、Errorが出たりすることが多々あります。
気をつけながら学習をする必要がありそうですね。では、今回はここまで！

自然言語処理という機械学習のタスクにおいて「コーパス」という言葉が出てきます。そのコーパスについてお話をしていきます。

自然言語処理(NLP)のコーパスって何なん？

<h2>コーパスとは</h2>
**コーパス(corpus)**とは、集めた文書のことをいいます。
もともとの原義としては、ある主題とかある作者に関する文書を集めたものがコーパスと呼ばれていたそうです。
現在はもう少し広義で捉えられ、文書や音声を集めたデータそのもの、あるいはデータに情報を付与して加工したものを総称してコーパスというそうです。
最近の自然言語処理のタスクの進展は、このコーパスに活用による部分が多いです。
<h2>生コーパス(raw corpus)</h2>
前のセクションで話したように、コーパスには加工を加えたものと、そのまま生データのものと二通り考えられました。
そこで、生データのままの文章や音声を「生コーパス(raw corpus)」と呼ぶことができます。
<h2>翻訳に関するコーパスの分類</h2>
生コーパスの中でも、その種はいくつか存在します。
このトピックでは機械翻訳で扱われるようなコーパスの分類についてお話します。
<h2>#対訳コーパス／パラレルコーパス</h2>
まずは、「対訳コーパス(bilingual corpus)」または「パラレルコーパス(parallel corpus)」です。
この対訳コーパスとは、翻訳関係にある2言語の文書対を収集した生コーパスになります。このコーパスは、非常に貴重ではありますが、なかなか入手しにくい希少なデータです。しかし、この対訳コーパスは機械翻訳においてとても重要な知識源となっていることは確かです。
<h2>#コンパラブルコーパス</h2>
対訳コーパスでは、希少なコーパスであったのに対して、 「コンパラブルコーパス(comparable corpus)」は、しっかりとした対訳関係にないにしても、同じトピックに関して2言語の文書対のコーパスです。
コンパラブルコーパスは、対訳コーパスほどきっちりとした対訳が制約されないので、このような文書は大量に存在します。これらの文書を収集したものがコンパラブルコーパスです。
例としてわかりやすいのは、Wikipedeaでしょう。 Wikipediaでは言語リンクでつながった複数の言語でのページが存在します。これらの文書対ではきっちりとした対訳は保証されませんが、大量のデータを入手することができ、これも極めて重要な知識源となります。
<h2>まとめ</h2>
以上がコーパスに関する簡単な説明でした。他にも均衡コーパス(balanced corpus)や注釈コーパス(annotated corpus)といった分類もあります。
ここで抑えるべき重要なことは、コーパスとは広義で文書や音声を集めたデータそのもの、あるいはデータに情報を付与して加工したものということでしょう。
今回は主にコーパスの説明とともに生コーパスについての説明をしていきました。実際に加工を加えたコーパスに関しては、また別の記事にしたいと思います!