検定力（検出力）の求め方
今回は，当たり前に思っていたことが実はそんなことなかったという話です。
検定力とは何か？
私達が，観察したデータについて，そのデータを取得した大元の集団について考えたいときがあります。そのようなときには統計的仮説検定の手続きにのっとって，推論を行います。統計的仮説検定では，自らが主張したい内容を対立仮説として設定し，それの逆の内容を帰無仮説とします。計算過程では，あえて帰無仮説が正しいと想定した上で，手持ちのデータが帰無仮説の内容に合致するかどうかを確率的に判断します。この確率的に判断するところが，大事であり，難しいところです。典型的には５％が基準になっており，得られたデータが帰無仮説を基準に観察される確率がこの基準未満ならば「あり得ないことがおきた」と考え，ありえないのはなぜかというと帰無仮説に無理があったからだと判断します。５％というのは，１００回同じような検定をすれば，その１００回の中に帰無仮説を否定できるような真実が一切なかったとしても，５回位は誤って，帰無仮説を否定する危険性があります。これを第一種の誤りと呼ぶことがあります。これと全く逆の話として，実際には帰無仮説を棄却することが正しいにもかかわらず，それをしないという判断になることもあります。いわゆる効果や差異の見落としです。先程の第一種の誤りと対比されて，第二種の誤りと呼ばれます。研究をしていれば，できるだけ，真実に近いことを明らかにしていきたいわけですが，確率を基準に判断している以上，実際には帰無仮説が正しいのに，否定してしまったり，帰無仮説を否定すべきなのに見落とすことがあるわけです。ここまでを表にまとめると次のようになります。
| 帰無仮説が正しい | 帰無仮説は誤り | |
| 帰無仮説を否定しない | 正しい判断 | 見落とし（第二種の誤り） |
| 帰無仮説を否定する | 誤った否定（第一種の誤り） | 正しい判断 |
正しい判断というのが２つあります。このうち，右下の場合になる確率が，検定力です。
どのように検定力を求めるのか？
検定力は，帰無仮説を棄却すべきときに，正しく棄却している確率です。つまり，帰無仮説を棄却するということを前提に話を進める必要があります。帰無仮説を棄却するには，検定統計量の帰無分布や棄却域を考えます。サンプルをもとに推定した帰無分布の標準偏差を考えると信頼上限や信頼下限を計算可能で，それよりも検定統計量が大きくなると帰無仮説が棄却されるわけです。以下の図は，帰無仮説が正しい場合の検定統計量の分布で，ピンクの領域が棄却域になる確率（つまり有意水準）になっています。
つぎに，サンプルから推定した検定統計量もとに検定統計量の分布を構成してみます。そして，帰無分布上の信頼区間の限界との関係を見てみましょう。すると，検定統計量は，それ以上低くなると，その分布が正しいにもかかわらず，帰無仮説を棄却できない状態が
表現できます。
以下の図の右側の分布が，サンプルから推定した検定統計量の分布です。その分布の左側の水色部分が帰無仮説を棄却できない確率を示しています。
この裏を返せば，その検討統計量よりも高い値がある場合には，その分布が正しく，帰無仮説を正しく棄却した場合になります。よってこれが検定力といえます。
以下の図の右側の分布の緑色の部分が検定力に相当します。
ここで大事なのは，検定力を求めるために，帰無仮説の棄却という過程を経ていることです。棄却には当然，有意水準が関わります。そしてそれは，第一種の誤りの確率を示しています。つまり，第二種の誤りとその裏返しとしての検定力を考える際に，第一種の誤りを切離して考えることはできないのです。統計学の教科書に，第一種の誤りと第二種の誤りはトレードオフ（つまりどちらかを低くしようとすると，他方が高くなる）ので，両者を同時に低くすることはできないと説明されていることがありますが，その理由がここにあります。
実は真逆の表現がある
今回，この記事を書くにあたって，いくつかの統計学やデータ分析に関する書籍をあたってみています。その中で発見した驚きを報告します。それは，検定力を１−とβと表現する本βと表現する本の二種類があることです。さらにいろいろな人に話を聞く中でわかってきたのは，どうも数理統計学の領域では検定力をβと表現することがあるようです。この場合，第二種の誤りが１−βとなります。先程の統計的帰無仮説をベースにする説明では，２種類の誤りについて考えましたが，検定力をベータとするのは，有意差有りと判断した上で，それが誤りの場合と正しい場合という方針で考えられています。ここで大事なのは，どちらが正しい・適切かを考えるのではなく，人によっては真逆の表現をとっている可能性があるということです。学問領域をまたいだ共同研究を行うときには，この点を慎重に確認した上で議論すると良いと思います。
