効果検証入門 １章読んだ
効果検証入門 第１章について
ビジネスのKPIに与えた影響を効果とする 施作のことを因果推論の文脈では介入・処置と呼ぶ
ただ、効果を測定することはとても難しい なぜなら、瀬作の要因は、別の要因からの影響を受けるからである
そのことを考慮しないで、効果を測定し、意思決定に使用したら、 間違った解釈で意思決定を行ってしまう
そのため、他からの影響を取り除く必要がある
とあるマーケティング施作があるとする
何も施作をせずに、ユーザーが使用した金額のことを
潜在的な購買量とする
マーケティング施作をし、購買行動を観測したあとに、
この効果の分析をするとしたら、
施作を受けた人間、受けてない人間の売り上げを検証することになるが、
このような単純な比較では問題がある
なにも考えずにマーケティング施作をした場合、
その施作を受ける人間はどのような人間が選定されるだろうか？？
購買見込みが高いユーザーに集中するのではないだろうか
・最近購入したユーザー
・頻繁にサイトに訪問するユーザー
・似たようなコンテンツを見ている
つまり潜在的な購買量が高いと言える
一方、施作を受けなかったユーザーはど のようなユーザーかと言えば、
・購入をしないユーザー
・サイトを全く訪問しない
・全く似ていないコンテンツを見ている
潜在的な購買量が低いと言える
この２つにマーケティング施作をし、結果を比較しようとしても、
潜在的な購買量に大きな差がありため、適切な比較ではない
そうなるとその施作が絶大な効果があると判断してしまう
このように、データから得られた結果と、本当の効果の解離をバイアスと呼ぶ
そして、比較しているグループの潜在的な傾向が違うことによって、発生するバイアスを
セレクションバイアスと呼ぶ
このセレクションバイアスに対して、なにかしらの処置を施さないと正確な分析はできない
では、理想的な検証法とはどんなものなのだろうか
それは「まったく同じサンプルで比較する」である
これは同じサンプルにおいて、介入が行われた場合と行われなかった場合の、
２つの結果を比較するということである
ただ、これは実現性を考慮しない
なぜなら、同じサンプルにおいてなど観測することができないからである
ただ、机の引き出しから青色のネコ型ロボットが現れたなら観測ができることになる
同じサンプルであるなら、潜在的な購買量は同一であるため、
施作を受けた際と、受けなかった際を分析すれば、変化を確認すれば、
介入による効果を、いとも簡単に観測することができる
サンプルが介入を受けている状態か受けていない状態のどちらかしか観測できない状態は、
因果推論の根本問題と呼ばれている
実際に実行可能であり、信頼のおきえる効果の介入方法は、
介入を無作為化することである
介入を実施する対象をランダムに選択し、その結果の平均を比較する方法である
介入の有無をランダムに選択してしまえば、全ての要因も平均的に同一になることが期待できる
この結果は、ほかの要因による影響を受けないということになる
介入の割当をランダムにすることは、両方の値を明らかにはできないが、
介入を受けたグループと受けなかったグループの比較を可能にする
この分析方法を
RCT(Random Controlled Trial、 無作為化比較試験)
この方法はA/Bテストと呼ばれる
（個人的には、世間でA/Bテストの話をする際は、
ここまで理解している人は多くないので、A/Bテストをしようとなった際に
しっかり設定できていないとおもう）
ここまでで、わかったこととして、
施作以外の要因が同一となったような状況での比較によって、
初めて知り得るということがわかった
そして、効果を実際のデータから測る方法として、
RCTを行うことが理想的な方法である
介入が行われた場合の結果と、行われた場合の結果の差に
介入の本当の効果があると考えることを
ポテンシャルアウトカムフレームワークと呼ぶ
この時の、観測されない側の結果をポテンシャルアウトカムと呼ぶ
介入の結果の平均に着目したいので、
介入を受けた場合の結果と、受けなかった場合の結果の
平均の差を分析すれば、効果がわかる
この効果を平均処置効果（Average Treatment Effect: ATE）と呼ぶ
次に、セレクションバイアスはどのような時に起きるのかを考えてみる
施作の対象となるサンプルと、対象にならないサンプルの
施作の対象にならなかった時の、結果の値の違いとなる
施作の対象を決定する方法が、潜在的な購買傾向を考慮するような方法でないと、
セレクションバイアスを０にすることができない
しかし、完全なRCTを現実で行うことは難しい
なぜなら、RCTは、効果を検証するために、介入がランダムに行われる状況を作る必要がある
分析者が対象となる事象の理解、セレクションバイアスの理解から分析を理解する必要がある
セレクションバイアスは謎な事象ではなく、介入を選択できる人やシステムが利得を高めようと
選択した結果として現れるため、これらの行動について理解できれば、誰のどのような意思決定が
セレクションバイアスを生むかをある程度、想定することができる
