重回帰式

単回帰から重回帰へ

ここからは、 線形モデル について見ていきます。

まず学ぶのが 重回帰式 です。

単回帰では、 1つの説明変数 \(x\) と 被説明変数 \(y\) の関係を

のような回帰直線で表しました。

重回帰では、 説明変数を複数に増やして、

と表します。

説明変数が2つになると、 図では3次元以上の空間を考える必要があります。

そこで今回は、 無理に立体図を描くのではなく、 表と式を使って整理 していきます。

家賃・広さ・駅徒歩のデータを考える

例として、 ある地域にある4部屋の賃貸住宅について、 次のデータが得られたとします。

今回は、

として、 広さと駅徒歩から家賃を説明する 重回帰式を考えます。

重回帰式の3つの係数を確認する

説明変数が2つの場合、 重回帰式は

と表せます。

これらの係数を、 手元のデータから推定していきます。

「偏回帰係数」の「偏」とは何か

重回帰では、 \(\beta_1,\beta_2\) を 偏回帰係数 と呼びます。

この 「偏」 が重要です。

英語では partial で、 「部分的な」というニュアンスがあります。

説明変数どうしには、 相関がある場合があります。

そのため、 \(x_1\) が変わるときに \(x_2\) まで一緒に変わってしまえば、 \(y\) の変化を \(x_1\) だけの影響とは言えません。

各部屋について予測値 \(\hat y_i\) を考える

では、 重回帰式

を使って、 4部屋それぞれについて 予測家賃を考えます。

実際の家賃 \(y_i\) と 重回帰式による予測値 \(\hat y_i\) の差が 残差 です。

最小二乗法で係数を推定する

回帰直線のときと同じように、 重回帰でも 最小二乗法 を使います。

まず、 各データについて残差を二乗します。

それをすべて足し合わせたものが 残差平方和 です。

今回のデータから得られる重回帰式

4部屋のデータについて、 最小二乗法で係数を推定すると、 次の重回帰式が得られます。

さまざまな係数の組み合わせの中で、 この値を使ったときに 残差平方和が最小 になります。

偏回帰係数をどう解釈する？

たとえば、 広さにかかる偏回帰係数は

でした。

これは、

という意味です。

同様に、 駅徒歩の偏回帰係数

は、

重回帰式も「重心を通る」

今回のデータについて、 3つの変数の平均を計算すると、

です。

今回の重回帰式は、 平均からの差を使って

と書き直せます。

ここで、

とすると、 かっこの中はすべて0になり、

となります。

重心を通る性質を一般式で確認する

定数項を含む通常の最小二乗法で推定した重回帰式は、 一般に

と表せます。

すべての説明変数を それぞれの平均値にすると、

なので、

となります。

これは、 単回帰で学んだ 「回帰直線は重心を通る」 という性質の重回帰版です。

説明変数を増やすと残差平方和はどうなる？

最後に、 次のレクチャーにつながる重要な性質を確認しておきます。

たとえば、 もともと

というモデルがあったところに、 新しく \(x_2\) を加えて

としたとします。

もし \(x_2\) を追加しても役に立たないなら、

とすれば、 元のモデルと同じ状態に戻せます。

すると、 「残差平方和を小さくしたいだけなら、 説明変数をどんどん増やせばよいのでは？」 という疑問が生まれます。

この問題を考えるうえで登場するのが、 次のレクチャーで学ぶ 自由度調整済み決定係数 です。