推定法

線形確率モデル

  • 最も簡単な方法。つまり普通のOLSを用いる。もし独立変数Xが1の時、Yの予測値が0.2ならPr(Y=1|X=1)が0.2、つまり20%という事になる。
  • しかし致命的な短所としては、やはり0以下、1以上の値が取り得るため直感的とは言えない。

プロビットモデル

  • 独立変数Xがある場合、Pr(Y=1|X) = Phi( beta_0 +beta_1 {X} ) になるのがプロビットモデル。
  • ここで Phi 標準正規分布の累積関数である。
  • つまり、 beta_0 + beta_1 {X} = -0.8 の場合、正規分布の表を参照して Pr(Z=<-0.8)=0.212 、つまりYが1を取る確率が21.2%という意味になる。

ロジットモデル

  • プロビットモデルとほぼ同じではあるが、異なる点は標準正規分布の累積関数ではなく標準ロジスティク分布の累積関数を用いること。
  • その関数式は {Pr(}Y=1 | X {)} = frac{1}{1 -exp(-X beta)}
  • しかしプロビットとロジットは大きな違いはないが、ロジスティク関数の方が計算しやすいため、頻繁に使われてきたという。しかし現在はパソコンの発展によって大きな意味はない。(Stock and Watosn 2010 p.435)
  • でも、やはり使い分けないこともない。例えば分布において裾が厚い場合はロジットの方が適していると言われている。
  • プロビットも同様であるが、最尤推定法のためにはOLSに比べて多くのケースが望ましい。AldrichとNelson(1984)によるとN-Kが100以上の方が良い。
    (Acockは100以上、Longは100以上(Long, 1997 pp. 53-54)とも)

It is risky to use ML with samples smaller than 100, while samples over 500 seem adequate.

A rule of at least 10 observations per parameter seems reasonable for the models in this book. This rule does not imply that a minimum of 100 is not needed if you have only two parameters.

J.Scott Long. 1997. Regression Models for Categorical and Limited Dependent Variables. p.54

  • 順序ロジットはより多くのケースを要する(Allison 1995 p.80)。
  • もし従属変数である二項変数の平均値が0.5だと線形回帰分析とロジスティク回帰分析の結果はそこまで変わらないらしい。
  • Stataのコマンドであるlogitlogisticの違いは
    • logitはlogit scoreを返還
    • logisticはodds ratioを返還
  • 結果の統計量であるカイ二乗値が有意である事は「少なくとも一つ以上の有意な説明変数がある」事を意味する。
  • Wald testの統計量はz値の二乗値

 ロジットvs.プロビット

多項プロビット vs. 多項ロジット

  • 普通ならロジットとプロビットのうち、どっちを使うかは迷わなくていい。しかし多項プロビット・ロジットは話が違う。
  • 多項ロジットの前提条件は「無関係な選択肢からの独立(IIA)」である。たとえば
    • 通勤手段としてバスとマイカーがある。これらの選択確率は1/2ずつ
    • しかし、新しいバス会社ができたとしよう。例えば、既存のバスが青バスで、新しいバスが赤バス。
    • この場合、マイカー、青バス、赤バスの選択確率が1/3ずつになるなら多項ロジットが使える。
    • しかし、やはりおかしい。乗り手にとって青バスも赤バスも全く一緒だろう。つまり、選択確率はマイカーが1/2に青バスは1/4、赤バスは1/4になる。この場合、他の選択肢から独立が保たれるとは言えず、多項プロビットを使うべき。

順序ロジット&プロビット

  • 普通のロジットやプロビットより多くのサンプルを要するが、管見のところ、どれくらいが良いかは明らかではない。
  • 重要な仮定があるが、それは「平行生の仮定」。つまりj→j+1とj+1→j+2などにおいて独立変数が同じ影響力を持つことを意味する。ただし、現実的にはそれが違反され、研究者もそれを無視する傾向がある。(よく分からんが、別に大きな問題ではないのでは?)
  • 平行性の検定方法はBrant testがある。Stataだとbrantパッケージを使えばいい。
  • 検証結果、有意が出たらその独立変数はカテゴリによって異なる影響力を持つことになる。
  • もし、平行性が保たれていないと、どうすれば?→ Partial proportional odds model. (Stata: gologit2)

 最尤推定法による推定が収束しない!

  • これが全てではないけど、一般的な例だと・・・(Long 1997 pp.59-60)
    • Incorrect variables:記述統計を確認してみよう
    • Number of observations:ケースを増やそう
    • Scaling of variables:標準偏差が最も大きい変数と最も小さい変数の差が大きいと収束しない時がある。たとえば所得はかなり標準偏差が大きい。これはドルを千ドルに変えるだけで収束する時もある。
    • Distribution of the outcome:例えばTobitの場合、0が多すぎるとか、他のロジットでもある変数に頻度が少なすぎると収束しにくい。

 Wald test? Likelihood Ratio(LR) test?

  • 2つの検定は漸近的に近い結果を示すが、サンプルの数が少ない時には異なる有意確率を示す場合もある。
  • Rothenberg(1984)はどっちでも良いよーって言ってるわけだが、Hauck and Donner(1977)はWaldの検定力はLRよりやや低いと述べている。
  • 結局はどっちの方がいいかはわからない。
  • ただ、使いやすいのはやはりWald testだろう。LR testは2つ以上のモデルをストックして比較するわけだから…
  • また、LR testをするときに注意すべきことは「欠損値」のこと。つまり、いくつかの変数を排除することによってサンプルの数が変わりうる。 LR testをするときには、欠損値補正(imputation)をするか、もしくはサンプルの数をfullモデルに合わせておこう。

 適合度の指標

ROC(Receiver Operating Characteristic)曲線

  • 日本語では「受信者操作特性」と訳す。韓国語でもそのまま「수신자 조작 특성」。
  • 簡単な読み方としては曲線の下方の面積が広いほど、良いモデルということ。その面積はAUCとも呼ばれる。