.reboot

底辺エンジニアがDeepLearningを学びながら、何かを作るブログです

kaggleに参加してDeepLearningの勉強

ちょっと寄り道してKaggleを調べていました。

Deeplearningを学ぶ上で一番困るのはデータかもしれない。

大体は、最初にMINSTで学習する写経をするのだが、それ以降の学習でデータを用意するのが大変なのでまぁこんなものかとなってしまう。
顔認証を作るにしたって、相当なデータ量が必要になる。

そんな事もあり自然言語処理をテーマに学習する事にしたのだが、転移学習の学ぶ上でKaggleものを知って色々とみています。


Kaggle

Kaggle: Your Home for Data Science

Kaggleはデータサイエンスの為のサイトで、名前から察するとおりに運営会社はGoogleとなる。
別にDeepLearningの為に用意されているのではなく、いかにデータを解析かを勝負(コンペティション)をしているサイトとなっています。

f:id:limit6577:20181106070037p:plain

コンペには賞金が付いていて、10万ドル(1300万円)もの高額なものまで存在します。

説明はこちらのサイトで詳しくしているので、そちらをご参考に。。。


www.codexa.net

Kaggleのデータセットをダウンロードするまでの5ステップ。

1.まずは、モジュールをダウンロードします。

pip install kaggle

2. ユーザー名とキーが入っている。kaggle.jsonをダウンロードしてくる

My ProfileにあるCreate New API Tokenでダウンロードできます。
f:id:limit6577:20181106072523p:plain

これを、/Users/ {ユーザー名}/に.kaggleというフォルダを用意して入れます。

3.権限を変更

所有者の読み書き可の権限を付与します。

chmod 600 /Users/ {ユーザー名}/.kaggle/kaggle.json


4.ダウンロードしたいコンペに参加する

f:id:limit6577:20181108071046p:plain

この後確認ダイアログが出てくるので、そちらをクリック



5.コマンドを実行

kaggle competitions download -c digit-recognizer

これで、.kaggleにダウンロダウンロードされます。



コンペに参加するのを知らなくて、403 Forbidden が出てしばらく悩んでいました。