データを調べる時に細かい数字の違いはどこまで当てになるのか

A/Bテスト（A/Bスプリット）という広告などの評価方法があります。

A/Bテストは、たとえば「Ａという広告とＢという広告のどちらが
お客様の反応率が高いか？」などをテストするのに使います。

何らかの方法で広告Ａと広告Ｂを同じ人数に見てもらって、
ＡとＢのどちらがより多くの申込に結び付くかをテストします。

キモは「同じ期間に」「同じ属性の人に」「同じ人数に」２つの
テスト対象を見てもらって比較するという点です。

これが広告Ａはお盆に、広告Ｂは年末に、では時期による違いが
大きく影響します。広告Ａは女の方に、広告Ｂは男の方に、でも
結果が大きく変わります。

A/Bテストをやって「広告Ａでの申込数は広告Ｂの2割増しだった」
などと広告の出来不出来を判断するのですが…。

これは恐ろしい！全く同じ画面でA/Bテストを実施したら…
というブログ記事で紹介されているのが「全く同じ申込画面」で
「全く同じ期間」「同じ人数」でA/Bテストを行なったら、それぞれの
申込率がどうなったか、という恐ろしい結果です。

多少の誤差はあっても、ほとんど同じ結果が出そうなものなのに、

・画面１の申込率は7.1％（350件）
・画面２の申込率は5.8％（285件）

全く同じ申込画面のはずが【画面１の方が２割増し】という結果に。

…誤差、ですかね。

アクセス数やら成約率やらの細かい数字がはじき出せるのがネットの
良いところなのです。欠点にもなり得ますが。

それが、こんなに豪快なぶれ（としか言い様がない）が出るのでは
「どんぶり勘定」せざるを得ないではないか。

困るなー、これは。
　
　
　
　
　
　
◆シンプルすぎる要約◆

あんまり細かい数字には拘らない方が良いのでしょうか？　ううむ。

.
.

地元密着なびメールマガジン