単回帰分析
単回帰分析(simple regression):説明変数が1つのみの線形回帰分析
-
\(Y\)を\(D\)に回帰する(regress \(Y\) on \(D\))
\[
\begin{eqnarray}
Y_i & = & \mathbb{E}[Y_i|D_i] + \varepsilon_i & = & \alpha + \tau D_i + \varepsilon_i \\
\widehat{Y}_i & = & \mathbb{E}[Y_i|D_i] & = & \widehat{\alpha} + \widehat{\tau} D_i
\end{eqnarray}
\]
- 推定対象:\(\widehat{\alpha}\)、\(\widehat{\tau}\)
- 推定方法:最小二乗法(ordinary least squares; OLS)
最小二乗法
-
残差の二乗和を最小とする\(\widehat{\alpha}\)と\(\widehat{\tau}\)を推定
- 残差(residuals):\(u_i = Y_i - \widehat{Y}_i = Y_i - \widehat{\alpha} - \widehat{\tau} D_i\)
-
\(u_i\)は\(\varepsilon_i\)の推定値(\(\widehat{\varepsilon}\))
- 残差自乗和の平方根は「RMSE」(root mean square error)とも呼ばれる
\[
(\widehat{\alpha}, \widehat{\tau}) = \mathop{\arg \min}_{\alpha, \tau} \sum_{i}^{n}(Y_i - \alpha - \tau D_i)^2
\]
最小二乗法の例
- 残差の二乗和は141.13(左)、58.82(中)、66.55(右)
![]()
単回帰分析と因果推論
処置変数が外生変数、かつ二値変数なら\(D_i\)の係数の推定値はATEの推定値
- 処置変数\(D\)が二値変数の場合、\(\widehat{\tau}\)は二群間の平均値の差分
-
\(\widehat{\tau}\) = ATT + セレクションバイアス
\[
\small
\begin{align}
\widehat{\tau} & = \mathbb{E}[Y_i(1)|D_i = 1] - \mathbb{E}[Y_i(0)|D_i = 0] \\
& = \underbrace{\mathbb{E}[Y_i(1)|D_i = 1] - \mathbb{E}[Y_i(0)|D_i = 1]}_{\textsf{ATT}} + \underbrace{\mathbb{E}[Y_i(0)|D_i = 1] - \mathbb{E}[Y_i(0)|D_i = 0]}_{\textsf{selection bias}}
\end{align}
\]
- 処置変数が外生変数(=交換可能性/平均独立が成立)なら…12
\[
\widehat{\tau} = \mathbb{E}[Y_i(1)] - \mathbb{E}[Y_i(0)] = \textsf{ATE}
\]
誤差に関する仮定
- 回帰分析における誤差の仮定
- 誤差の期待値は0(\(\mathbb{E}[\varepsilon_i]\) = 0)
-
誤差と説明変数は独立(\(\textsf{Cov}(D, \varepsilon)\) = \(\mathbb{E}[D \times \varepsilon]\) = 0)
![]()
処置変数が内生変数の場合
- 誤差と説明変数は独立しない場合、\(\widehat{\tau}\)はバイアス付きのATT
-
\(\textsf{Cov}(D, \varepsilon) \neq\) 0
-
\(\mathbb{E}[D \times \varepsilon] \neq\) 0
![]()
交絡要因が既知の場合
- 観察済みの変数\(X\)が唯一の交絡要因ある場合
- 単回帰分析では\(X\)は\(\varepsilon\)の一部だったが、\(X\)が観察済みなら\(\varepsilon \rightarrow X\)のパスを消せる
- そのためには、内生性の原因である\(X\)を考慮したモデリングが必要
![]()
重回帰分析
統制変数\(X\)を追加した回帰モデル
\[
\begin{align}
Y_i & = \mathbb{E}[Y_i|D_i, X_i] + \varepsilon_i \\
& = \alpha + \tau D_i + \beta X_i + \varepsilon_i
\end{align}
\]
-
残差の二乗和を最小とする\(\widehat{\alpha}\)と\(\widehat{\tau}\)、\(\widehat{\beta}\)を推定
- 残差(residuals):\(Y_i - \alpha - \tau D_i - \beta X_i\)
\[
(\widehat{\alpha}, \widehat{\tau}, \widehat{\beta}) = \mathop{\arg \min}_{\alpha, \tau, \beta} \sum_{i}^{n}(Y_i - \alpha - \tau D_i - \beta X_i)^2
\]
統制変数の役割
\(X_i = x\)における傾き(\(\tau\))の推定
- ただし、\(X_i = x\)における傾きと\(X_i = x^{\prime}\)における傾きは同じと仮定1(\(x \neq x^{\prime}\))
統制変数とブロッキング
重回帰分析における係数は通常、「他の変数が一定であれば…」と解釈される。
-
\(\Rightarrow\) 重回帰分析の推定値 = ブロック内処置効果の加重平均
手順
- ブロックごとに処置効果(A)を推定する
- (A)の加重平均を計算する。各ブロックの重みは、
-
\(Pr(X_i = x)\)(ATEを推定する場合)
-
\(Pr(X_i = x, D_i = 1)\)(ATTを推定する場合)
-
\(Pr(X_i = x, D_i = 0)\)(ATCを推定する場合)
-
\(\Rightarrow\) 統制変数をうまく使えば因果推論ができそう
- どうすれば回帰分析で信頼できる処置効果が推定できるか
-
\(\Rightarrow\) ブロック内で処置群と統制群が交換可能(or 平均独立)であれば…?
条件付き独立の仮定
条件付き独立の仮定(conditional independence assumption; CIA)
- 統制変数(X)で条件づけた場合、処置変数(D)と結果変数(Y)の潜在的結果は独立する
- 条件付き独立 = 条件付き交換可能性 = 条件付き無視可能性
\[
\{Y(0), Y(1)\} \mathop{\perp\!\!\!\!\perp} D | X
\]
- 全体では交換可能性が成立しないものの、統制変数Xで条件づけた下位グループ内では交換可能性が成立
- 観察データを用いた回帰分析で因果推論を行うための仮定
条件付き平均独立性
CIAが成立すると条件付き平均独立性が成り立つ
\[
\mathbb{E}[Y_i(1)|D_i = 1, X_i = x] = \mathbb{E}[Y_i(1)|D_i = 0, X_i = x] = \mathbb{E}[Y_i(1)|X_i = x]
\]
かつ
\[
\mathbb{E}[Y_i(0)|D_i = 1, X_i = x] = \mathbb{E}[Y_i(0)|D_i = 0, X_i = x] = \mathbb{E}[Y_i(0)|X_i = x]
\]
条件付き平均独立の例
| ID |
D |
X |
Y |
Y(0) |
Y(1) |
| 1 |
0 |
0 |
0 |
0 |
2 |
| 2 |
0 |
0 |
-1 |
-1 |
1 |
| 3 |
0 |
0 |
1 |
1 |
3 |
| 4 |
1 |
0 |
4 |
2 |
4 |
| 5 |
1 |
0 |
5 |
3 |
5 |
| 6 |
1 |
0 |
-1 |
-3 |
-1 |
| 7 |
1 |
0 |
0 |
-2 |
0 |
| 8 |
1 |
0 |
1 |
-1 |
1 |
| 9 |
1 |
0 |
2 |
0 |
2 |
| 10 |
1 |
0 |
3 |
1 |
3 |
| 11 |
0 |
1 |
4 |
4 |
6 |
| 12 |
0 |
1 |
5 |
5 |
7 |
| 13 |
0 |
1 |
1 |
1 |
3 |
| 14 |
0 |
1 |
0 |
0 |
2 |
| 15 |
0 |
1 |
2 |
2 |
4 |
| 16 |
0 |
1 |
3 |
3 |
5 |
| 17 |
0 |
1 |
6 |
6 |
8 |
| 18 |
1 |
1 |
4 |
2 |
4 |
| 19 |
1 |
1 |
5 |
3 |
5 |
| 20 |
1 |
1 |
6 |
4 |
6 |
真のATE
\[
\underbrace{\mathbb{E}[Y_i(1)]}_{\textsf{3.5}} - \underbrace{\mathbb{E}[Y_i(0)]}_{\textsf{1.5}} = 2
\]
ATEの推定値
Difference-in-means(DiM)推定量
\[
\underbrace{\mathbb{E}[Y_i|D_i = 1]}_{\textsf{2.9}} - \underbrace{\mathbb{E}[Y_i|D_i = 0]}_{\textsf{2.1}} = 0.8
\]
平均独立性は成立するか
| ID |
D |
X |
Y |
Y(0) |
Y(1) |
| 1 |
0 |
0 |
0 |
0 |
2 |
| 2 |
0 |
0 |
-1 |
-1 |
1 |
| 3 |
0 |
0 |
1 |
1 |
3 |
| 4 |
1 |
0 |
4 |
2 |
4 |
| 5 |
1 |
0 |
5 |
3 |
5 |
| 6 |
1 |
0 |
-1 |
-3 |
-1 |
| 7 |
1 |
0 |
0 |
-2 |
0 |
| 8 |
1 |
0 |
1 |
-1 |
1 |
| 9 |
1 |
0 |
2 |
0 |
2 |
| 10 |
1 |
0 |
3 |
1 |
3 |
| 11 |
0 |
1 |
4 |
4 |
6 |
| 12 |
0 |
1 |
5 |
5 |
7 |
| 13 |
0 |
1 |
1 |
1 |
3 |
| 14 |
0 |
1 |
0 |
0 |
2 |
| 15 |
0 |
1 |
2 |
2 |
4 |
| 16 |
0 |
1 |
3 |
3 |
5 |
| 17 |
0 |
1 |
6 |
6 |
8 |
| 18 |
1 |
1 |
4 |
2 |
4 |
| 19 |
1 |
1 |
5 |
3 |
5 |
| 20 |
1 |
1 |
6 |
4 |
6 |
| \(D_i = 0\) |
2.1 |
4.1 |
| \(D_i = 1\) |
0.9 |
2.9 |
平均独立性\(\times\)
- もし、現在の処置群が統制群になったら…(反事実)
-
\(\mathbb{E}[Y_i(0)|D_i = 1]\) = 0.9
- もし、現在の統制群が統制群になったら…(事実)
-
\(\mathbb{E}[Y_i(0)|D_i = 0]\) = 2.1
平均独立性\(\times\)
- もし、現在の処置群が処置群になったら…(事実)
-
\(\mathbb{E}[Y_i(1)|D_i = 1]\) = 2.9
- もし、現在の統制群が処置群になったら…(反事実)
-
\(\mathbb{E}[Y_i(1)|D_i = 0]\) = 4.1
\(X_i = 0\)の場合
| ID |
D |
X |
Y |
Y(0) |
Y(1) |
| 1 |
0 |
0 |
0 |
0 |
2 |
| 2 |
0 |
0 |
-1 |
-1 |
1 |
| 3 |
0 |
0 |
1 |
1 |
3 |
| 4 |
1 |
0 |
4 |
2 |
4 |
| 5 |
1 |
0 |
5 |
3 |
5 |
| 6 |
1 |
0 |
-1 |
-3 |
-1 |
| 7 |
1 |
0 |
0 |
-2 |
0 |
| 8 |
1 |
0 |
1 |
-1 |
1 |
| 9 |
1 |
0 |
2 |
0 |
2 |
| 10 |
1 |
0 |
3 |
1 |
3 |
| \(D_i = 0\) |
0.0 |
2.0 |
| \(D_i = 1\) |
0.0 |
2.0 |
平均独立性\(\bigcirc\)
- もし、現在の処置群が統制群になったら…(反事実)
-
\(\mathbb{E}[Y_i(0)|D_i = 1]\) = 0
- もし、現在の統制群が統制群になったら…(事実)
-
\(\mathbb{E}[Y_i(0)|D_i = 0]\) = 0
平均独立性\(\bigcirc\)
- もし、現在の処置群が処置群になったら…(事実)
-
\(\mathbb{E}[Y_i(1)|D_i = 1]\) = 2
- もし、現在の統制群が処置群になったら…(反事実)
-
\(\mathbb{E}[Y_i(1)|D_i = 0]\) = 2
\(X_i = 1\)の場合
| ID |
D |
X |
Y |
Y(0) |
Y(1) |
| 11 |
0 |
1 |
4 |
4 |
6 |
| 12 |
0 |
1 |
5 |
5 |
7 |
| 13 |
0 |
1 |
1 |
1 |
3 |
| 14 |
0 |
1 |
0 |
0 |
2 |
| 15 |
0 |
1 |
2 |
2 |
4 |
| 16 |
0 |
1 |
3 |
3 |
5 |
| 17 |
0 |
1 |
6 |
6 |
8 |
| 18 |
1 |
1 |
4 |
2 |
4 |
| 19 |
1 |
1 |
5 |
3 |
5 |
| 20 |
1 |
1 |
6 |
4 |
6 |
| \(D_i = 0\) |
3.0 |
5.0 |
| \(D_i = 1\) |
3.0 |
5.0 |
平均独立性\(\bigcirc\)
- もし、現在の処置群が統制群になったら…(反事実)
-
\(\mathbb{E}[Y_i(0)|D_i = 1]\) = 3
- もし、現在の統制群が統制群になったら…(事実)
-
\(\mathbb{E}[Y_i(0)|D_i = 0]\) = 3
平均独立性\(\bigcirc\)
- もし、現在の処置群が処置群になったら…(事実)
-
\(\mathbb{E}[Y_i(1)|D_i = 1]\) = 5
- もし、現在の統制群が処置群になったら…(反事実)
-
\(\mathbb{E}[Y_i(1)|D_i = 0]\) = 5
条件付き平均独立と回帰分析
条件付き平均独立が成立する場合、重回帰分析でバイアスのないATEが推定可能
| |
統制変数なし |
統制変数あり |
| 注:カッコ内はHC2頑健標準誤差 |
| 切片 |
2.100 (0.737) |
-0.000 (0.560) |
| D |
0.800 (1.042) |
2.000 (0.683) |
| X |
|
3.000 (0.683) |
| Num.Obs. |
20 |
20 |
| R2 |
0.032 |
0.406 |
- 統制変数なし(単回帰分析)のATEの推定値:0.8
- 処置群と統制群を交換する場合、ATEの推定値は3.2
- 統制変数あり(重回帰分析)のATEの推定値:2.0
-
\(X_i = x\)で処置群と統制群を交換してもATEの推定値は2
CIA/条件付き平均独立性は確認可能か
条件付き平均独立性
\[
\mathbb{E}[Y_i(1)|D_i = 1, X_i = x] = \mathbb{E}[Y_i(1)|D_i = 0, X_i = x] = \mathbb{E}[Y_i(1)|X_i = x]
\]
かつ
\[
\mathbb{E}[Y_i(0)|D_i = 1, X_i = x] = \mathbb{E}[Y_i(0)|D_i = 0, X_i = x] = \mathbb{E}[Y_i(0)|X_i = x]
\]
-
\(\mathbb{E}[Y_i(1)|D_i = 0, X_i = x]\)、\(\mathbb{E}[Y_i(0)|D_i = 1, X_i = x]\)は観察不可
-
\(\Rightarrow\) 平均独立性が成り立っているかどうかは確認できない
- 「\(X\)で条件付ければ平均独立性が成り立つだろう」と仮定するしかない
-
非実験データであれば、変数選択&モデリングを慎重に行う必要がある
- もし、間違った条件付けをしてしまったら…?