.reboot

底辺エンジニアがDeepLearningを学びながら、何かを作るブログです

【DeepLearning】DeepLearningで川柳を - その3

やっぱりできない気がする

今考えているのは、キーワードを入れるとそれを使用した川柳を生み出すわけだがその他の単語をどの様に選定するのかが全くイメージできていません。

f:id:limit6577:20181002070311j:plain

続きを読む

【DeepLearning】DeepLearningで川柳を - その2

昨日の作ったプログラムを実行したらエラーが出ました。

エラーの内容はと言うと、キーワードが見つからないってエラーでした。 エラーハンドリングもさる事ながらコーパスの信頼性にも疑問が残ります。

多分、Word2Vecを導入する際にお試しで作ったmodelっぽいので何が入っているのか覚えていない。 と言うかどうやって作ったかすら覚えていません。

f:id:limit6577:20181002070311j:plain

続きを読む

【News】ニュースあれこれ

自然言語系のニュースをいくつか。。。

仕事でチャットボットのプロトタイプを作っているので、最近は自然言語系のニュースがよく目に入ります。 チャットボットは機械学習なので、どこまで教え込んでおくかは、そこのノウハウになりますよね。 早くから蓄積している会社はSEO同様に需要が出てくるのではないかと思います。

f:id:limit6577:20180922073018j:plain

続きを読む

ニュースサイトからデータを取ってきてコーパスを成長させよう その4

先日、取ってきたニュースをわかち書きにするプログラムを作成してみました。

f:id:limit6577:20180910072443j:plain

使用したライブラリはMecabで20行未満の簡単なプログラムになります。

続きを読む

【統計学】ベイズの定理

f:id:limit6577:20180911234016j:plain

DeepLearningは端的に統計を使っています。

過去の実績を基に予測する。統計結果に基づいて予測するのが根本的な考え方なので、統計の知識をきちんと把握する事も重要なので勉強をしようと思います。

私は訳あって大学には進んでいませんが、高校では理系の大学を目指していたので高校までの数学の基礎知識は頑張れば思い出せるとは思います。

逆に高校までの数学知識でも理解出来る様にアウトプットしていこうと思います。

続きを読む

ニュースサイトからデータを取ってきてコーパスを成長させよう その3

ニュースサイトのスクレイピングの第2弾です。

今回は産経新聞のサイトからニュースを取得する事にして見ました。

f:id:limit6577:20180910072443j:plain

今回のポイントはページングですね。

続きを読む