レスポンス率が出たら、有意差検定フォーマットを使ってみよう！
あなたが実施したA/Bテストの結果のとらえ方が間違っていたとしたら？・・・。
そこで頼りになるのがNT-METHOD受講者特典 - 有意差検定フォーマット！
1. 背景
ある会社がA/Bテストを行い、レスポンス率が得られたので、見た目で、以下のような判定をしました。
（ケース１）Aが2%、Bが３％あったので、明らかに差がありそうだったのでBが勝った！と判定。
（ケース２）Aが2%、Bが2.5%でそれほど差がなさそうだから、両者には差がない、と判定した。
しかし、統計学的な手法を使って調べてみたら、
ケース１は両者には「有意差がない＝差があるのか無いのか分からない、判定不可能⇒両者には差が無い」、
ケース2では両者には「有意差があった＝差があったのか無かったのかの判定が可能⇒両者には差がある」
と判定されてしまいました。
つまり、見た目の判定が間違っていたことが分かったわけです。
ケース１ではＡとＢは１％の差があります。
しかし、ケース２ではＡとＢの差は0.5％しかありません。
それなのに、何故？
---------------------------------------------------------------------------------------
DRMでは、A/Bテストは正しくは、「テスト＆ロールアウトプログラム」と言います。
つまり、テストを行ったらその後はロールアウト（本番）があると言う意味です。
もし、テストの判定を間違えたら、本来やるべきではないプロモーションを本番で行ってしまう、ということになります。
---------------------------------------------------------------------------------------
この判定を間違えないよう、統計学を使って計算によって行うのが有意差検定、というものです。
しかしこの有意差検定、計算が超めんどくさいので、
NT-METHODでは、一発で簡単に判定できるものが用意されているわけです。
2. 有意差検定が必要となる背景
---------------------------------------------------------------------------------------
A/Bテストがうまくいかない。この理由はいろいろとありますが、そのうちのひとつとして、判定そのものが間違っていた、というのがあります。
---------------------------------------------------------------------------------------
有意差検定が出来るサイトがありますが、この有意差検定を行うには、予め実施数、誤差範囲、想定レスポンス率と、3つの数値を設定しておくことが必要で、NT-METHODのフォーマットはこれも出来るわけです。
くれぐれも、これは、統計学的な説明ではありません。
有意差検定が必要な背景を簡単に説明するためのものです。
レスポンス率には誤差（ぶれ幅）というものがあります。
この誤差とは一般に、
実施数が少ないとこの誤差が多くなり、
大きいと少なくなります。
これを考慮しないと、Aが良かったのか、Bが良かったのかは判断出来ないのです。
概念的には、ケース１、ケース２のように、誤差範囲が重なる場合と少ししか重ならない場合があります。重なっていると、AとB両者の間のレスポンスの価値は同じ、つまり、差がない。少ししか重ならない、あるいは完全に重ならないとき、同じではない。つまり、両者には差がある。と判断できます。
くれぐれも、有意差検定を統計学的に説明したものではありません。
レスポンスの価値を誤差範囲を使って説明したものです。
さらに！
統計学的な分析をする場合には、信頼度がどれくらいなのか？と言うのを加味してAとBに差があると言えるのか言えないのか？を判定する方法があるわけです。
それが有意差検定です。
3. 重要なこと
プロモーション設計する際には、実施数、誤差範囲、レスポンス率をしっかりと想定しておきましょう。
有意差検定は、その仮説を検証するためにあります。