回帰直線

相関と回帰の違いを知る

回帰直線も相関係数と同じように、 2つの量的変数の関係を表します。

ただし、2つの変数の扱い方には大きな違いがあります。

回帰では、説明する側の \(x\) を説明変数、 説明される側の \(y\) を被説明変数と呼びます。

このレクチャーでは、 部屋の広さ \(x\) から家賃 \(y\) を説明する という具体例を使って考えていきます。

具体的なデータから回帰直線を見る

ここでは、ある地域の賃貸住宅について、 部屋の広さと家賃の関係を考えます。

回帰直線は、4つのデータ点によく当てはまるように引かれた直線です。

この直線を使えば、 「部屋の広さがこれくらいなら、家賃はこれくらいだろう」 と、\(x\) の値から \(y\) の値を推定できるようになります。

回帰直線の式を読む

回帰直線は「直線」なので、 次の式で表します。

記号の上にある「^」のような印を ハットと呼びます。

ハットは、 その値がデータから推定された値であることを表します。

残差を理解する

問題は、 \(\hat{\alpha}\) と \(\hat{\beta}\) を どのように決めるかです。

そこで重要になるのが残差です。

\(\hat{y}_i=\hat{\alpha}+\hat{\beta}x_i\) なので、

最小二乗法で直線を決める

1つの点だけでなく、 すべてのデータ点について残差があります。

そこで、残差を二乗してすべて足し合わせます。

このように、 残差平方和が最も小さくなるように \(\hat{\alpha}\) と \(\hat{\beta}\) を決める方法を 最小二乗法と呼びます。

ここではまず、 「データ点と直線のズレを二乗し、 その合計が最も小さくなる直線を選ぶ」 と理解しておきましょう。

回帰係数 \( \hat{\beta} \) を理解する

最小二乗法によって求められる回帰係数は、 次の式になります。

また、相関係数を使うと、 次の形でも表せます。

\(r_{xy}\) は、 xとyのばらつき方の関係を表します。

ただし回帰では、 xからyへ変換する必要があります。

そこで、 \[ \frac{s_y}{s_x} \] によって、 xのばらつきの大きさをyのばらつきの大きさへ変換します。

定数項と実際の回帰式を読む

回帰係数 \(\hat{\beta}\) が決まると、 定数項 \(\hat{\alpha}\) は次の式で求められます。

今回の4部屋のデータでは、

最小二乗法によって、 回帰係数は

と求められます。

したがって定数項は、

よって、今回の回帰直線は、

このように、 回帰係数は単なる式の係数ではなく、 説明変数が1増えたとき、 被説明変数がどれくらい変化するかを表します。

回帰直線は重心を通る

最後に、最小二乗法で求めた回帰直線の 重要な性質を確認します。

定数項の式

を回帰直線 \(\hat{y}=\hat{\alpha}+\hat{\beta}x\) に代入すると、

ここで \(x=\bar{x}\) とすると、

つまり、回帰直線は必ず \((\bar{x},\bar{y})\) を通ります。

前に平均を 「データの重心」 と考えました。

そのため、 \((\bar{x},\bar{y})\) は xとyのデータの重心と考えることができます。