.reboot

底辺エンジニアがDeepLearningを学びながら、何かを作るブログです

kaggleに参加してDeepLearningの勉強

ちょっと寄り道してKaggleを調べていました。

Deeplearningを学ぶ上で一番困るのはデータかもしれない。

大体は、最初にMINSTで学習する写経をするのだが、それ以降の学習でデータを用意するのが大変なのでまぁこんなものかとなってしまう。
顔認証を作るにしたって、相当なデータ量が必要になる。

そんな事もあり自然言語処理をテーマに学習する事にしたのだが、転移学習の学ぶ上でKaggleものを知って色々とみています。

続きを読む

【DeepLearning】DeepLearningで川柳を - その4

f:id:limit6577:20181002070311j:plain 転移学習について勉強する必要がある様です。

日本語サイトでは、Qiitaに記事が有るのでそちらを参考に川柳を作るプロセスとして検討してみるとします

そういえば、年の初めに今年のトレンドキーワードに学習済みモデルというのが挙げられていました。その時は「ほ〜ん」としか思っていなかったのですが、転移学習を知ってその意味がわかりました。

続きを読む

【DeepLearning】DeepLearningで川柳を - その3

やっぱりできない気がする

今考えているのは、キーワードを入れるとそれを使用した川柳を生み出すわけだがその他の単語をどの様に選定するのかが全くイメージできていません。

f:id:limit6577:20181002070311j:plain

続きを読む

【DeepLearning】DeepLearningで川柳を - その2

昨日の作ったプログラムを実行したらエラーが出ました。

エラーの内容はと言うと、キーワードが見つからないってエラーでした。 エラーハンドリングもさる事ながらコーパスの信頼性にも疑問が残ります。

多分、Word2Vecを導入する際にお試しで作ったmodelっぽいので何が入っているのか覚えていない。 と言うかどうやって作ったかすら覚えていません。

f:id:limit6577:20181002070311j:plain

続きを読む

【News】ニュースあれこれ

自然言語系のニュースをいくつか。。。

仕事でチャットボットのプロトタイプを作っているので、最近は自然言語系のニュースがよく目に入ります。 チャットボットは機械学習なので、どこまで教え込んでおくかは、そこのノウハウになりますよね。 早くから蓄積している会社はSEO同様に需要が出てくるのではないかと思います。

f:id:limit6577:20180922073018j:plain

続きを読む

ニュースサイトからデータを取ってきてコーパスを成長させよう その4

先日、取ってきたニュースをわかち書きにするプログラムを作成してみました。

f:id:limit6577:20180910072443j:plain

使用したライブラリはMecabで20行未満の簡単なプログラムになります。

続きを読む