なぜ統計学を学ぶべきなのか

データドリブンな意思決定

データの重要性がますます高まり、データドリブンという単語もよく見かけるようになりました。Google Analytics などで Web やアプリのログを収集することも簡単になりましたし、データ基盤を管理する専門の組織を擁する企業もあります。ではデータを収集し集計しさえすればデータドリブンな意思決定が行えるかというと、そうではありません。

データの重要性が叫ばれる前の時代では、KKD (勘と経験と度胸) に頼った決断が下されることも少なくなかったでしょう。これの何が悪いのかといえば、もちろん鶴の一声に振り回されるのが嫌だというのもあるでしょうが、何より客観的根拠に欠けることが一番のデメリットです。その決断によるリスクとリターンが客観的に評価できていないため、結果として間違った判断となる可能性が増大します。

これを回避するために、データドリブンな考え方が採用されているのです。しかしもう一歩踏み込んで、統計的観点を取り入れなければ、判断を間違うリスクを減らすことはできません。統計学を通して不確実性を定量化することではじめて、リスクとリターンを天秤にかけた上で意思決定を行うことができます。

よくある A/B テストの評価

データを使った意思決定の例として A/B テストを取り上げましょう。Web サイトのデザイン改修を考えているとして、現行デザイン (オリジナルパターン) と新デザイン (テストパターン) のパフォーマンスを、コンバージョンを通して計測します。2 週間のテスト期間で 20000 アクセスが集まり、以下のようなデータが得られたとします。

この結果を踏まえ、以下のような試算が考えられます。

さてこの試算はどれほど信憑性の高いものなのでしょうか。

コインの例

本サイトではよくコインの例を引き合いに出していますが、ここでもまずはシンプルなコインの例を考えてみます。

手元に精巧なコインがあるとします。「精巧な」というのは、表の出る確率も裏の出る確率もそれぞれ 1/2 だということです。この精巧なコインを 100 回投げて、表の回数が 40 回以下または 60 回以上に偏る確率はいくらでしょうか？

答えは 5.7% ほどです。

表の回数が 40 回というのは、データから計算される表の出る割合が 40% ということです。たとえ真の表の出る確率が 50% だとしても、データは確率的にばらつくため、得られたデータの上では表の割合が 40% 以下や 60% 以上になることもありうるということです。

A/B テストの例

では先の A/B テストの例に戻ります。オリジナルパターンとテストパターンの間に差が全く無かった場合に、データ上の CVR の差が 0.4% 以上になる確率はいくらでしょう。

実はこれは 34.1% もあります。

年間 2000 万円の売上増加というオアシスを指差して、この施策を採用しましょうとステークホルダーに力説するも、実は蜃気楼だったというのはあまりに悲劇ですね。

統計学は誤差を定量的に扱うことができる

統計学はデータの不確実性を扱う学問です。0.4% の CVR の差が偶然の誤差なのか、それとも意味のある差なのかを、定量的に捉えることができます。もし偶然の差ということであれば、2000 万円の売上増加の試算も眉唾ものということになりますし、偶然とは言えない差ということであれば、施策の採用に踏み切るための十分なエビデンスが得られたことになります。

もちろん偶然の差なのか、意味のある差なのかははっきりと識別できるわけではなく、両者の間にはグラデーションが存在します。しかし、これらを区別せずに、単に 9.6% と 10% の大小比較だけで意思決定を行うのは、誤った判断を下すリスクを軽視していることになります。

このような意味で、統計学は意思決定上の安全保障を担っているといえるでしょう。単純集計と大小比較だけに甘んじることなく、統計的観点を取り入れることで、意思決定の精度を高めていきましょう。