ナイーブベイズでネガポジ判定をする．

30 Oct 2012

[ナイーブ] [ネガ] [ベイズ] [ポジ] [判定]

２週間前ぶりの更新です．ナイーブベイズについて，メモっておきます．ナイーブベイズ分類器は，教師付きの学習をさせ，ベイズの定理を使って文章などを分類するものです．多変数ベルヌーイモデルと，多項モデルの２つがありますが，テキスト分類では多項モデルのほうが精度がいいみたいなので，多項モデルを使うことにします．ここでは，８つのツイートを学習の元にして，あるツイートがネガティブなものかどうかを判定するサンプルを書いておきます．始めに学習用として，適当なツイートを取ってきて，自力でネガポジの判定をしておきます．

ポジ:twitterは良いものです．
ポジ:twitter最高やん．
ポジ:facebookも悪くはない．
ポジ:facebookは最高に良い．

ネガ:twitterは最高ではない．
ネガ:twitterは悪いのだ．
ネガ:facebookは良くない．
ネガ:facebookはもうダメだ．

そして，形態素解析をして，整理します．

ポジ:twitter　良い
ポジ:twitter　最高
ポジ:facebook　悪い　ない
ポジ:facebook　最高　良い

ネガ:twitter　最高　ない
ネガ:twitter　悪い
ネガ:facebook　良い　ない
ネガ:facebook　ダメ

次にポジティブなツイート数(N_p)，ネガティブなツイート数(N_n)を数えます．また，ポジティブの中に含まれる単語の数(N_word,p)を全単語について数えます．ネガティブも同様に数えます．

N_p= 4                   N_n = 4
N_twitter,p = 2          N_twitter,n = 2
N_facebook,p= 2          N_facebook,n= 2
N_最高,p    = 2          N_最高,n    = 1
N_良い,p    = 2          N_良い,n    = 1
N_悪い,p    = 1          N_悪い,n    = 1
N_ない,p    = 1          N_ない,n    = 2
N_ダメ,p    = 0          N_ダメ,n    = 1

そして，ポジティブな確率(P_p),ネガティブな確率(P_n),ポジティブという条件のもとでwordを含む確率(q_word,p),ネガティブという条件のもとでwordを含む確率(q_word,n)を求めます．(ホントはもっと複雑です．)

P_p = N_p / (N_p + N_n) = 4/(4+4) = 0.50
P_n = N_n / (N_p + N_n) = 4/(4+4) = 0.50
q_twitter,p 
= N_twitter,p / (N_twitter,p + N_facebook,p + N_最高,p +N_良い,p + N_悪い,p + N_ない,p + N_ダメ,p )
= 2/10 = 0.20
q_twitter,n 
= N_twitter,n / (N_twitter,n + N_facebook,n + N_最高,n +N_良い,n + N_悪い,n + N_ない,n + N_ダメ,n )
= 2/10 = 0.20

おんなじように，全単語について求めます．

q_facebook,p= 0.20        q_facebook,n = 0.20
q_最高,p    = 0.20         q_最高,n     = 0.10
q_良い,p    = 0.20         q_良い,n     = 0.10
q_悪い,p    = 0.10         q_悪い,n     = 0.10
q_ない,p    = 0.10         q_ない,n     = 0.20
q_ダメ,p    = 0.00         q_ダメ,n     = 0.10

これで学習段階は終了です．ここでは例えば以下のようなツイートがネガティブなツイートかポジティブなツイートか判定してみます．

facebookもtwitterも悪くない．最高に良い．

P_p * P_d|p 
∝ q_p * q_twitter,p * q_facebook,p * q_悪い,p * q_ない,p * q_最高,p * q_良い,p 
= 0.50 * 0.20 * 0.20 * 0.10 * 0.10 * 0.20 * 0.20
= 8.0 × 10^-6

P_n * P_d|n 
∝ q_n * q_twitter,n * q_facebook,n * q_悪い,n * q_ない,n * q_最高,n * q_良い,n 
= 0.50 * 0.20 * 0.20 * 0.10 * 0.20 * 0.10 * 0.10
= 4.0 × 10^-6

この結果から

facebookもtwitterも悪くない．最高に良い．

というツイートはポジティブなツイートであることがわかります．ただ，変なこと書いているかも知れません．間違ってれば，教えてくれると嬉しいです．参考 : 言語処理のための機械学習入門 (自然言語処理シリーズ) [単行本]