アクセスが少ないサイトでも、A/Bテストはできますか

サイコロを6回振って、1が3回出たとします。このサイコロは1が出やすい、とは言えません。600回振って300回出たなら、言えます。

A案で問い合わせが5件、B案で8件。これは、6回振ったサイコロです。B案が良いのか、たまたまなのか、この数では分かりません。

直す前の4週間と、直したあとの4週間を比べます。変えるのは1か所だけ。途中で展示会や広告の増減があったら、書き留めておきます。

厳密な実験ではありません。それでも、「何を変えて、何が起きたか」の記録が残ります。勘で直し続けるより、次の判断がしやすくなります。