p値（有意確率）の復習

そもそも（頻度論的統計における）p値って何よ？

例：架空のクラス A・B を対象に、Aには新しい教育法を、Bには従来の教育法をそれぞれ実施し、成績に違いが出るかを検証する。

このとき伝統的な統計では、以下の2つの仮説を立てる。

• 帰無仮説 (H0)：AとBの成績に差はない (A = B である)
• 対立仮説 (H1)：Aの成績はBよりも高い (A > B である)
  • 結果の方向性がはっきりしている場合は「片側検定」
    • 「A > B である」または「A < B」である
  • 結果の方向性が不明な場合は、「両側検定」
    • 「A ≠ Bである」

伝統的な統計学で求めるp値とはすなわち：

• 帰無仮説H0を仮定した時に、手元のデータ (Y) が得られる確率
  • 「A = B である」という仮定の上で「A > B」というデータが得られる確率

仮に、分析の結果 p = .04 という結果が出た場合、その解釈は「A = B という仮定の下で、A > B というデータが得られる確率は 4% である」ということになる。

この 4% は十分小さい＝偶然に起こる確率が非常に小さいので、AとBの成績には差がないとする帰無仮説 (H0) を棄却し、Aの成績はBよりも高いとする対立仮説 (H1) を採択する（仮説が支持された！）

• 「Aの成績がBよりも高い確率」ではない
  • 「この教育法を使った場合、従来よりも高い成績を納める確率は4%であることが分かった」なんてレポートに書いたら大目玉を食らう

ベイズ統計ではどうなのよ？

ベイズの売りは、こうしたトリッキーな言い方をせずに「Aの成績がBよりも高い確率は x% である」と言えること。

ベイズ統計：手元のデータ (Y) から未知のパラメータ (θ) を推定

P(Y|θ) = P(θ|Y)P(Y)/P(θ)

※ データ (Y) が与えられた時のパラメータ (θ) の同時確率 (事後分布)

パラメータθの事後分布から、A > B となる確率を計算できる。
ベイズは全てのパラメータを確率変数として扱うので、出てくる値は「確率」になる。
ということは...

• Aの成績がBよりも高い確率は4%と言える（直感的）。
• 事後分布がわかっているので「Aの点数がBよりも10高い確率」なども計算可能。

ということで、いわゆるt検定やらANOVAに出てくる p値は「AとBに差がないという仮定が妥当である確率」。

ベイズの方が差がある確率を出せるという点で非常に直感的。
ただ別に伝統的な頻度論的統計が悪いというわけではなくて「介入することで何かが変わるのかどうか」を見るという点では別に頻度論的な方でもいい気はするなあ。
でもビッグデータみたいに変数がたくさんある場合だとか母数を推定したい場合はベイズの方がいいのかな。

いずれにせよまだベイズを使うレベルには至っていないのできっと変なことをたくさん言っている気がする。

まあいいや、次は信頼区間を復習するぞー(ﾟДﾟ)