banner_blog1_1.5x-100.jpg

お立ち寄りNT-METHOD#3 有意差検定フォーマット 考え方編

更新日:2月22日

レスポンス率が出たら、有意差検定フォーマットを使ってみよう!

 

あなたが実施したA/Bテストの結果のとらえ方が間違っていたとしたら?・・・。


そこで頼りになるのがNT-METHOD受講者特典 - 有意差検定フォーマット!

 


1. 背景

 ある会社がA/Bテストを行い、レスポンス率が得られたので、見た目で、以下のような判定をしました。

 

(ケース1)Aが2%、Bが3%あったので、明らかに差がありそうだったのでBが勝った!と判定。

(ケース2)Aが2%、Bが2.5%でそれほど差がなさそうだから、両者には差がない、と判定した。


 

しかし、統計学的な手法を使って調べてみたら、

  • ケース1は両者には「有意差がない=差があるのか無いのか分からない、判定不可能⇒両者には差が無い」、

  • ケース2では両者には「有意差があった=差があったのか無かったのかの判定が可能⇒両者には差がある」

と判定されてしまいました。


つまり、見た目の判定が間違っていたことが分かったわけです。


ケース1ではAとBは1%の差があります。

しかし、ケース2ではAとBの差は0.5%しかありません。

それなのに、何故?


---------------------------------------------------------------------------------------

DRMでは、A/Bテストは正しくは、「テスト&ロールアウトプログラム」と言います。


つまり、テストを行ったらその後はロールアウト(本番)があると言う意味です。


もし、テストの判定を間違えたら、本来やるべきではないプロモーションを本番で行ってしまう、ということになります。

---------------------------------------------------------------------------------------


この判定を間違えないよう、統計学を使って計算によって行うのが有意差検定、というものです。

しかしこの有意差検定、計算が超めんどくさいので、



NT-METHODでは、一発で簡単に判定できるものが用意されているわけです。



2. 有意差検定が必要となる背景

---------------------------------------------------------------------------------------

A/Bテストがうまくいかない。この理由はいろいろとありますが、そのうちのひとつとして、判定そのものが間違っていた、というのがあります。

---------------------------------------------------------------------------------------


有意差検定が出来るサイトがありますが、この有意差検定を行うには、予め実施数、誤差範囲、想定レスポンス率と、3つの数値を設定しておくことが必要で、NT-METHODのフォーマットはこれも出来るわけです。



くれぐれも、これは、統計学的な説明ではありません。
有意差検定が必要な背景を簡単に説明するためのものです。


レスポンス率には誤差(ぶれ幅)というものがあります。

この誤差とは一般に、


実施数が少ないとこの誤差が多くなり、

大きいと少なくなります。


これを考慮しないと、Aが良かったのか、Bが良かったのかは判断出来ないのです。


概念的には、ケース1、ケース2のように、誤差範囲が重なる場合と少ししか重ならない場合があります。重なっていると、AとB両者の間のレスポンスの価値は同じ、つまり、差がない少ししか重ならない、あるいは完全に重ならないとき、同じではない。つまり、両者には差がある。と判断できます。


くれぐれも、有意差検定を統計学的に説明したものではありません。

レスポンスの価値を誤差範囲を使って説明したものです。


さらに!

統計学的な分析をする場合には、信頼度がどれくらいなのか?と言うのを加味してAとBに差があると言えるのか言えないのか?を判定する方法があるわけです。


それが有意差検定です。



3. 重要なこと

プロモーション設計する際には、実施数誤差範囲レスポンス率をしっかりと想定しておきましょう。

有意差検定は、その仮説を検証するためにあります。

閲覧数:21回0件のコメント

最新記事

すべて表示