ダミー変数と多重共線性

重回帰分析の2つの補足論点

このレクチャーでは、 重回帰分析について 2つの補足的な論点を見ていきます。

質的変数はそのままでは重回帰式に入れにくい

これまでの重回帰分析では、 部屋の広さや駅徒歩のような 量的変数 を説明変数として使ってきました。

しかし、 実際のデータには、 数値そのものでは表しにくい 質的変数 もあります。

この「南・東・西・北」という文字のままでは、 通常の重回帰式の説明変数として そのまま扱うことはできません。

そこで、 0と1の数値に置き換える工夫をします。

質的変数を複数のダミー変数に分解する

質的変数を重回帰分析で扱うときは、 まず1つの質的変数を、 複数の0・1変数に分解する と考えるとわかりやすいです。

それぞれのダミー変数について、 そのカテゴリに該当すれば1、 該当しなければ0を入れます。

このように、 質的変数を0と1で表現した変数を ダミー変数 と呼びます。

ダミー変数はカテゴリ数より1つ少なく作る

ここで重要なのが、 元のカテゴリは

あるのに、 ダミー変数は

しか作っていないことです。

つまり、 北というダミー変数まで作ると、 すでに他の3変数からわかる情報を 重複して持たせることになります。

作らなかったカテゴリが「基準」になる

今回は、 南・東・西のダミー変数を作り、 北のダミー変数を作りませんでした。

このとき、 北が 基準カテゴリ になります。

北向きの場合には、 3つのダミー変数がすべて0になります。

したがって、 北向きの場合の予測値は、

となります。

ダミー変数の偏回帰係数は「基準との差」を表す

では、 ダミー変数にかかる偏回帰係数の意味を確認しましょう。

たとえば、 南向きダミーにかかる偏回帰係数を

とします。

基準カテゴリである北向きの場合には、 すべてのダミー変数が0なので、

です。

一方、 南向きの場合には、

となるので、

となります。

したがって、 南向きと北向きの予測値の差をとると、

となります。

次に、多重共線性を考える

ここからは、 重回帰分析でもう1つ重要な論点である 多重共線性 を見ていきます。

たとえば、 家賃を説明する変数として

があるとします。

この2つに非常に強い関係があると、 「家賃への効果がどちらの変数によるものなのか」 を切り分けにくくなります。

説明変数どうしがほぼ同じ情報を持つと困る

多重共線性の本質は、 複数の説明変数が ほとんど同じ情報を持ってしまう ことです。

たとえば、

という非常に強い関係があったとします。

その結果、偏回帰係数の推定が不安定になる

重回帰式では、 各説明変数の効果を 偏回帰係数として分けて表します。

しかし、 \(x_1\) と \(x_2\) がほとんど同じ情報を持っていると、

そのため、 標本が少し変わっただけでも、 偏回帰係数の値が大きく変動することがあります。

係数が大きく変わっても、似た予測を作れてしまう

多重共線性によって 偏回帰係数が不安定になるイメージを、 数式で確認してみましょう。

たとえば、 重回帰式が

と推定されていたとします。

さらに、 2つの説明変数に

という非常に強い関係があるとします。

このとき、 元の式の説明変数部分は、

ですが、 \(x_2\approx2x_1\) を使えば、

とみなすことができます。

係数を見れば、

と大きく変わっています。

それでも、 \(x_1\) と \(x_2\) がほぼ同じ情報を持っているため、 予測値はほとんど同じ になってしまいます。

これが、 多重共線性によって 偏回帰係数の推定が不安定になるイメージです。

説明変数どうしの強い関係に注意する

多重共線性を疑う典型的な状況は、 説明変数どうしに 非常に強い相関 がある場合です。

したがって、 説明変数間の相関係数が非常に大きい場合には、 多重共線性を疑う必要があります。