社会科学における因果推論

8/ 自然実験(ドラフト作成中)

宋財泫(関西大学)

1 なぜ自然実験が必要か

これまでの内容

  1. 因果関係と因果推論(潜在的結果枠組み)
  2. 内生性(セレクションバイアス)
  3. ランダム化比較試験(RCT)
  4. 回帰分析
  5. 傾向スコア(層化・重み付け)

今回の内容

「実際のデータでどうやって”ランダム化”に近い状況を見つけるか」

これから学ぶ手法(DID・RDD・IV・合成統制法)は、すべて自然実験の「発見」から始まる

復習:因果推論の王道としてのRCT

  • 処置(介入)無作為割り当て \(\leadsto\) 観察されない交絡因子も含めて処置群と統制群が同質に
  • 内生性(セレクションバイアス)に対する(理論上)根本的な解決策

しかし現実には…

  • 倫理的に実行できない(例:喫煙をランダムに割り当てる)
  • 費用・時間がかかりすぎる
  • すでに実施された政策の評価には不向き(介入前に戻れない)

研究者が介入せず、観察のみから得られたデータ(観察データ)を使った因果推論が必要

復習:観察データの限界

共変量調整(回帰分析や傾向スコア法)は「観察可能な変数」を統制することで内生性に対処

  • 比較可能な状態にするために、条件を揃えたり、重みを調整

しかし…

  • 特定・観察されなかった交絡因子(本人の能力、意欲、地域特性など)が存在する可能性
  • RCTができない状況で、それでも「ランダム化に近い」処置を見つけることはできないか
    • \(\Rightarrow\) 自然実験(natural experiment)の考え方

2 因果推論の本質

因果推論の本質:比較可能な集団の比較

  • 因果効果とは本来、同じ対象が「処置を受けた場合」と「受けなかった場合」の結果の差
    • 因果効果 = 同一個体における潜在的結果の差
  • しかし同一個体について両方を同時に観察することはできない(因果推論の根本問題)
    • 集団レベルでも同じ:集団の全員が処置を受けると、その集団が処置を受けなかった場合の潜在的結果は観察不可能
  • \(\Rightarrow\) 処置(統制)群と比較可能な「別の」集団を用意し、その差を処置効果の代わりに使う

これまで学んだ/これから学ぶ手法は、すべてどうやって比較可能な集団を用意するかという一つの問いに対する、異なるアプローチ

比較可能性をどう実現するか:3つのアプローチ

アプローチ 比較可能性の作り方 代表的手法
人為的に作る ランダム化によって処置群・統制群を無作為に分割 RCT
観察範囲内で揃える 観察された共変量の値を揃える・統制 回帰分析、傾向スコア
既に存在する状況を見つける 外生的な出来事による as-if random な処置を利用 自然実験・準実験
  • 「作る」「揃える」「見つける」は比較可能性を得るための3つの戦略であり、優劣ではなく 実行可能性とのトレードオフ

3 自然実験の基礎概念

自然実験とは何か

研究者が意図的に処置を割り当てるのではなく、法律の変更・制度の違い・自然災害・偶然の出来事などによって、あたかもランダムに割り当てられたかのような処置が生じている状況

キーワード:“as-if random”(あたかもランダムであるかのような)処置

  • 処置を受けるかどうかが、個人の意思や能力とは無関係な外生的要因で決まる
  • 研究者は介入を通じて実験を「作る」のではなく、社会の中にすでに存在する実験を「発見

自然実験の基本アイデア

社会や自然そのものがコインを投げてくれている状況

  • RCT
    • 研究者がコインを投げ、宋さんの授業を強制的に履修するグループと強制的に履修させないグループを分け、比較
    • R = コイン投げの結果
  • 自然実験
    • 履修登録(対面)日に公共交通機関の遅延等により履修できなかった人と履修できた人を比較1 2
    • R = 公共交通機関の遅延有無

内生性への対処法

手法 内生性への対処 観察されない交絡因子
RCT 研究者が処置をランダムに割り当て 均質
共変量調整 観察された共変量を統制 未観測の交絡は残る
自然実験 社会に既に存在する外生的ショックを利用 処置がas-if randomなら平均的に均衡
  • 回帰分析や傾向スコア法は観察可能な/観察済み変数の調整にとどまる
  • 自然実験は観察できない交絡因子も含めてバイアスを除去できる可能性
    • 適切なケースであれば、RCTに近い

識別の根拠と仮定

手法 識別の根拠
RCT 研究者による無作為割り当てで独立性(交換可能性・無視可能性)が達成
共変量調整 「観察された変数を統制すれば処置群と統制群は比較可能」という仮定(条件付き独立)
自然実験 「外生的な出来事による割り当ては、あたかもランダムas-if randomである」という仮定
  • 共変量調整は「観察された変数さえ揃えれば大丈夫」という非常に強い・検証できない仮定に依存
  • 自然実験の “as-if random” も仮定であり自明ではない
    • \(\Rightarrow\) プラセボ検定・バランスチェック等を用いた間接的な検証が必要

実行可能性とトレードオフ

手法 実行可能性 長所 短所
RCT 低い
(コスト・倫理・時間の制約)
高い内的妥当性 実施できる場面が限られる
共変量調整 高い
(データがあればすぐ実行可)
データの入手・実行が容易 未観測の交絡に脆弱
非常に強い仮定
自然実験 中程度
(適切な出来事を見つける必要)
未観測交絡にも対応でき、実データで検証可能 都合の良い自然実験が常に存在するとは限らない
外的妥当性が限定的なことも1
  • 自然実験:RCTの「内的妥当性の高さ」 + 共変量調整の「実データで実行できる現実性
    • 適切な状況さえ見つかれば実験に準ずる強力な因果推論の手法

自然実験の主な発生源

発生源
制度・政策の変更 最低賃金改定、税制改革、法改正
地理的・行政的境界 県境、学区境界での制度の違い
くじ・抽選 徴兵くじ、学校選択の抽選
恣意性の低いルール 誕生日、試験の閾値点
自然災害・突発的事象 地震、移民の急激な流入
制度導入のタイミングのズレ 一部地域が先行して政策導入

準実験と自然実験

ほぼ同義に使われることも多いが、準実験 > 自然実験

  • 準実験(quasi-experiment):研究者が処置を割り当てないが、何らかの構造(ルール・閾値・タイミングのズレなど)によって処置群・統制群が識別できる研究デザイン全般を指す広い概念
  • 自然実験(natural experiment):研究者が全く関与しない、自然や社会に元々存在する外生的な出来事(災害、抽選、政策変更のタイミングなど)を処置として使用

4 事例

例:史上初の自然実験

  • Lambeth社の取水口移転によるコレラ死亡率の減少(1.107% \(\rightarrow\) 0.253%)
  • 家庭がどちらの会社と契約するかは、コレラへの感染リスクとは無関係as-if random
    • 水道会社の違いという「制度的な偶然」が、あたかもランダム割り当てのように機能
    • Lambeth社契約世帯とS&V社契約世帯は比較可能
  • Lambeth社とS&V社の違いは? \(\Rightarrow\) 取水口の位置(上流 vs. 下流)
    • \(\leadsto\) コレラの原因は空気(miasma)じゃなくて水?! (Snow 1855)
水道事業者
コレラによる死亡率(%)
増減(pp)
1949 1954
Lambeth 1.107 0.253 −0.854
Southwark and Vauxhall 0.786 1.117 0.331
両方 1.221 0.998 −0.223

Snow(1855)の研究

出典:John Snow Archive and Research Companion

例2:ベトナム戦争の徴兵くじ(Angrist, 1990)

RQ:軍役経験は、その後の生涯賃金にどう影響するか

  • 米国は1970年代、誕生日に基づく抽選(くじ)で徴兵順位を決定
  • 誕生日は本人の能力や将来の所得とは無関係 \(\rightarrow\) as-if random
    • \(\rightarrow\) くじの番号を操作変数(instrumental variable; IV)として利用

例2:マリエル難民事件

Card (1990)

RQ:移民の急増は、既存住民の賃金・雇用にどう影響するか

  • 1980年、キューバのマリエル港からの出国が突然自由化
  • 数か月でマイアミの労働力人口が 約7%急増(移民の大量流入)
  • 移民の流入は米国側の労働市場の状況とは無関係な、キューバ国内の政治的事情による突発的事象
    • \(\rightarrow\) マイアミを「処置群」、類似都市を「統制群」として比較

例4:教育年数の賃金

Angrist and Krueger (1991)

RQ:教育年数は将来の賃金にどう影響するか?

  • 米国の就学制度:多くの州で「その年の特定の月までに満6歳」であれば入学
  • 一方、義務教育は「16歳になるまで」で退学可能
    • \(\rightarrow\) 早生まれの子ほど、法律上は短い年数で義務教育を終えられる
  • 出生月(= 誕生日)は本人の能力とは無関係 \(\rightarrow\) as-if random な教育年数
    • \(\rightarrow\) 出生月を教育年数の操作変数として利用

例5:ニュージャージー州の最低賃金(Card & Krueger, 1994)

  • 1992年、NJ州のみが最低賃金を引き上げ、隣接するPA州は据え置き
  • 地理的に隣接し経済状況が似た2州のうち、制度変更のタイミングが偶然ズレた
  • NJ=処置群、PA=統制群として、引き上げ前後のファストフード店の雇用者数を比較
  • 最低賃金引き上げ後もNJの雇用は減少せず、通説(雇用への負の影響)に反する結果に

5 自然実験の評価と注意点

「良い自然実験」の条件

  1. 外生性(Exogeneity):処置の割り当てが、結果に影響しうる他の要因と無関係であること
  2. 無視できる操作可能性:個人が処置の有無を自らの意思で選べない、または選びにくいこと
  3. 十分なばらつき:処置群・統制群の両方に十分な観測数があること
  4. 関連する結果への明確な経路:処置が結果に影響するメカニズムが説明できること(IVの場合は「除外制約」)

\(\rightarrow\) これらが崩れると、せっかくの自然実験も再びバイアスの問題に逆戻りする

自然実験の落とし穴・注意点

  • 見せかけの外生性:実は処置群になった人々が何らかの形で「選ばれている」ケースがある(例:制度変更前から異なるトレンドがあった)
  • 並行トレンドの仮定:処置がなければ処置群と統制群は同じ経路を辿っていたはずという仮定(DIDで重要)
  • SUTVA違反:処置群の変化が統制群に波及する(一般均衡効果、スピルオーバー)
  • 外的妥当性の限界:特定の集団・時期・状況でのみ成り立つ結果かもしれない(LATE の解釈問題、IVの回で詳述)

自然実験は「発見したら終わり」ではなく、妥当性の検証(プラセボテスト、事前トレンドの確認など)が不可欠

6 次回以降について

自然実験からどう分析するか?

自然実験で得られる「処置のタイプ」によって、使うべき分析手法が変わる

処置のタイプ 分析手法
処置群・統制群 + 前後比較 NJ vs PA 最低賃金 差分の差分法
単一・少数の処置群と多数の統制群候補 特定地域のみの政策導入 合成統制法
閾値による割り当て 試験の合格点、年齢制限 回帰不連続デザイン
処置に影響するが結果に直接影響しない外生変数 徴兵くじ、出生月 操作変数法

差分の差分法

差分の差分法(difference in differences; DID/DD/Diff-in-Diff

  • 処置群と統制群の処置前後の変化量を比較する
  • 並行トレンドの仮定がカギ
  • 応用として合成統制法(synthetic control method)、CausalImapct
  • 例)マリエル難民事件(Card 1990)、NJ vs. PAの最低賃金

回帰不連続デザイン

回帰不連続デザイン(regression discontinuity design; RDD

  • 何らかの閾値によって処置の有無が決まる状況を利用
    • カットオフ付近の個体as-if random に処置の有無が決まるため、ほぼ同質
    • 通常、現職は新人より政治家としての高い能力・質を持つが、前回の選挙で接戦だった現職と新人は政治家としての能力・質がほぼ同じ
  • 例)現職効果(Lee 2008)、法定年齢制限(Carpenter and Dobkin 2009)

操作変数法

操作変数法(instrumental variable; IV

  • 操作変数:処置に影響を与えるが、結果には直接影響しない外生
    • 除外制約」の妥当性が操作変数法の重要論点
  • 主に2段階回帰(Two-Stage Least Squares; 2SLSを利用して処置効果を推定
  • 例)教育年数と賃金(Angrist and Krueger 1991)、メディア接触と民主主義への評価(Kern and Hainmueller 2017)

参考文献

Angrist, Joshua D., and Alan B. Krueger. 1991. “Does Compulsory School Attendance Affect Schooling and Earnings?” The Quarterly Journal of Economics 106: 979–1014. doi:10.2307/2937954.
Card, David. 1990. “The Impact of the Mariel Boatlift on the Miami Labor Market.” Industrial and Labor Relations Review 43: 245–57. doi:10.1177/001979399004300205.
Carpenter, Christopher, and Carlos Dobkin. 2009. “The Effect of Alcohol Consumption on Mortality: Regression Discontinuity Evidence from the Minimum Drinking Age.” American Economic Journal: Applied Economics 1: 164–82. doi:10.1257/app.1.1.164.
Kern, Holger Lutz, and Jens Hainmueller. 2017. “Opium for the Masses: How Foreign Media Can Stabilize Authoritarian Regimes.” Political Analysis 17: 377–99. doi:10.1093/pan/mpp017.
Lee, David S. 2008. “Randomized Experiments from Non-Random Selection in u.s. House Elections.” Journal of Econometrics 142: 675–97. doi:10.1016/j.jeconom.2007.05.004.
Snow, John. 1855. On the Mode of Communication of Cholera. Second. John Churchill.