.reboot

底辺エンジニアがDeepLearningを学びながら、何かを作るブログです

【統計学】ベイズの定理

f:id:limit6577:20180911234016j:plain

DeepLearningは端的に統計を使っています。

過去の実績を基に予測する。統計結果に基づいて予測するのが根本的な考え方なので、統計の知識をきちんと把握する事も重要なので勉強をしようと思います。

私は訳あって大学には進んでいませんが、高校では理系の大学を目指していたので高校までの数学の基礎知識は頑張れば思い出せるとは思います。

逆に高校までの数学知識でも理解出来る様にアウトプットしていこうと思います。

ベイズの定理Ⅰ

P(A|B)= \frac{P(B|A)P(A)}{P(B)}

これが乗法の定理になります。 数学の基礎を一つ一つ確認しながら、理解を進めて行こうと思います。

積集合

\capは共通部分とか積集合と言います。 図の交わった部分。 f:id:limit6577:20180908081536p:plain

条件つきの確率

P(A|B)のこの | ←これはBの条件がある場合のAの確率という意味になります。

例えば、男性の喫煙率のような場合を表現します。

  • 男である事をMで48%
  • 女である事をFで52%
  • 喫煙者である事象をS 男30% 女10%とします。

  • P(M) =0.48

  • P(F) =0.52
  • P(S|M) =0.30
  • P(S|F) =0.10

と表現します。

乗法定理

P(A\cap B)=P(A)(B|A) 喫煙者の例ではAに喫煙者、Bに男性を設定すると、男性という条件が付いた喫煙者となります 乗法の定理から

P(M\cap S)=P(M)(S|M)=0.48 x 0.30 = 0.144

仮に1000人の人がいた時に、男性は480人になります 480人の30%が喫煙者であることから,144人が喫煙者となります。

証明

乗法定理から、2つの事象A,Bについて以下の式がなりたちます。

  • P(A\cap B)=P(A)(A|B)
  • P(B\cap A)=P(B)(B|B)

喫煙者の中の男性の確率も男性の中の喫煙者の確率も同じですから以下も成立します

P(A\cap B)  = P(B\cap A)

つまり、P(A)(A|B)  = P(B)(B|A)となりますので、P(A|B)= \frac{P(B|A)P(A)}{P(B)}となります。

ベイズの定理の解釈

P(A|B)= \frac{P(B|A)P(A)}{P(B)}

ベイズの定理は原因から結果を導き出す事と結果から原因を探る事を結びつける事です。

先ほどの喫煙を例にすると、喫煙者の男性P(A|B)の比率を導き出すとした時以下のようになります。

  • 男性:P(A) = 0.48
  • 喫煙者:P(B) = 0.196
  • 男性の喫煙者P(B|A) = 0.3 P(A|B)= \frac{0.3 \times 0.48}{0.196} = \frac{0.144}{0.196}

逆に、男性の比率を知りたい時は以下のようになります  \frac{0.144}{0.196} = \frac{0.3 \times P(A)}{0.196} = 0.144 = 0.3 \times P(A)
0.144 \div 0.3 = 0.48 = P(A)

ベイズの定理だとそれぞれを以下の様に呼びます。 事後確率= \frac{尤度\times事前確率}{周辺尤度}

尤度は「ゆうど」と読み「もっとも」と言いもっともらしい数値を言います。
事前確率、事後確率は言葉の通りで、上の例では喫煙者という条件を加味する事前と事後の確率です。
先ほどは、比率としましたが確率でも同じです。「無作為に1人を選択した時に」とすれば確率なります。

DeepLearningとして

DeepLearningが学習は、あるデータが投入された結果からパラメータを最適化する事を示します。

そのために、双方向にI/Fを持つのですがベイツの定理に近いですね。