ちょっと寄り道してKaggleを調べていました。
Deeplearningを学ぶ上で一番困るのはデータかもしれない。
大体は、最初にMINSTで学習する写経をするのだが、それ以降の学習でデータを用意するのが大変なのでまぁこんなものかとなってしまう。
顔認証を作るにしたって、相当なデータ量が必要になる。
そんな事もあり自然言語処理をテーマに学習する事にしたのだが、転移学習の学ぶ上でKaggleものを知って色々とみています。
Kaggle
Kaggle: Your Home for Data Science
Kaggleはデータサイエンスの為のサイトで、名前から察するとおりに運営会社はGoogleとなる。
別にDeepLearningの為に用意されているのではなく、いかにデータを解析かを勝負（コンペティション）をしているサイトとなっています。
コンペには賞金が付いていて、１０万ドル（１３００万円）もの高額なものまで存在します。
説明はこちらのサイトで詳しくしているので、そちらをご参考に。。。
Kaggleのデータセットをダウンロードするまでの５ステップ。
1.まずは、モジュールをダウンロードします。
pip install kaggle
2. ユーザー名とキーが入っている。kaggle.jsonをダウンロードしてくる
My ProfileにあるCreate New API Tokenでダウンロードできます。
これを、/Users/ {ユーザー名}/に.kaggleというフォルダを用意して入れます。
3.権限を変更
所有者の読み書き可の権限を付与します。
chmod 600 /Users/ {ユーザー名}/.kaggle/kaggle.json
4.ダウンロードしたいコンペに参加する
この後確認ダイアログが出てくるので、そちらをクリック
5.コマンドを実行
kaggle competitions download -c digit-recognizer
これで、.kaggleにダウンロダウンロードされます。
コンペに参加するのを知らなくて、403 Forbidden が出てしばらく悩んでいました。