研究テーマ:成果の確かめ方
数え方を変えた月は、前の月と比べてはいけない
フォームを足した、電話を数えはじめた、道具を入れ替えた。数え方は静かに変わり、グラフの線は何ごともなかったようにつながります。変えた月に縦の線を引く、という習慣。
- 記事の性質
- 観察の場面は、複数の事例を組み合わせた架空の例です。特定の実在企業を観察したものではありません。
- 想定読者
- 月次の報告を作る人と、それを読んで判断する人
- 著者・確認
- 株式会社スパークル(研究員が確認のうえ公開)
観察
月次の報告に、こういうグラフが出ることがあります。
問い合わせの数が、6月まで月30件前後。7月から月55件前後。報告の題は「7月の改修で、問い合わせが1.8倍に」。
7月に起きたことを順に並べると、改修のほかにもう一つありました。資料請求のフォームを新しく作り、その送信も「問い合わせ」に数えはじめていたのです。
増えた25件のうち、何件が改修の成果で、何件が数え方の変更なのか。グラフからは分かりません。
仕組み
数え方は、静かに変わります。
フォームを1つ足した。電話の問い合わせを、記録に入れることにした。解析の道具を入れ替えた。営業からの売り込みを、除くことにした。どれも、まっとうな理由のある変更です。
困るのは、変更がグラフのどこにも書かれないことです。線は、何ごともなかったようにつながります。半年たつと、変えた本人も覚えていません。
あとからグラフを見た人は、7月に何か良いことが起きたと読みます。
- 6月まで問い合わせフォームだけを数える
- 7月資料請求も数えはじめるここから先は、別の数字
- 記録が残らない
- 半年後「7月から1.8倍」と読まれる
- 同じ手をもう一度打つ
よくある誤解
誤解1:数え方は、変えないほうがいい。
変えていいのです。事業が変われば、数えるものも変わります。
やってはいけないのは、変えた月をまたいで、前とあとを1本の線で比べることです。
誤解2:道具が自動で数えているから、数え方は変わらない。
道具の設定を変えるのは人です。何を「進んだ人」として数えるかは、だれかが画面で決めています。担当が替わるときに、その決め方が引き継がれないことがあります。
確認方法
- 月次の報告に出している数字を3つ選びます
- それぞれについて、過去1年のうちに数え方が変わった月がないかを、前の担当や営業に聞きます
- 変わった月が見つかったら、グラフのその月に縦の線を引き、何を変えたかを一言書き込みます
聞いて回るのに半日かかるなら、それが、記録が無いことの費用です。
小さな実験
数え方を変えるときは、1か月だけ、古い数え方と新しい数え方の両方で数えます。
7月を、古い数え方で32件、新しい数え方で55件と両方出しておく。そうすれば、「増えた23件は、数え方の差」と言えます。残りが、改修の成果かもしれない分です。
あわせて、報告の最後に「数え方の変更」という欄を作ります。変更が無い月は、「なし」と書きます。「なし」と書いてある月どうしは、安心して比べられます。
持ち帰れる確認項目
- 報告している数字の数え方が、過去1年で変わっていないかを確かめたか
- 変えた月に、グラフ上の印と一言の説明があるか
- 変えるときに、1か月だけ新旧の両方で数えたか
適用できない条件
- 数え方の変更を、すでに報告書に記録している会社
関連する研究ノート
同じ小テーマのページ
3-2 数字の定義(成果の確かめ方)
- 研究ノート
- 用語
- コンバージョン進んだ人/進んだ数
- CPA(顧客獲得単価)1人進んでもらうのにかかったお金
- CPC(クリック単価)1回押してもらうのにかかったお金
- CVR(コンバージョン率)進んだ人の割合
- 直帰率1ページだけ見て帰った人の割合
- 確認シート
このテーマの観察は、SPARKLE MARKETING LIBRARY Vol.1 として書籍にまとめています。
書籍『広告を見た人は、どこへ行ったのか。』(Amazon) ↗