決定係数

決定係数とは何か

前のレクチャーでは、 最小二乗法を使って回帰直線を求めました。

では、その回帰直線は 実際のデータにどれくらいうまく当てはまっているのでしょうか。

その「あてはまりのよさ」を表す代表的な指標が 決定係数です。

決定係数は、 寄与率や 分散説明率 と呼ばれることもあります。

式では、次のように表します。

この式を理解するために、 まずは \(S_y\)、\(S_e\)、\(S_R\) が それぞれ何を表しているのかを順番に見ていきましょう。

yの「もともとの変動」を見る

最初に、 回帰直線を考える前の yそのものの変動を見ます。

yの変動は、 各データが平均 \(\bar{y}\) から どれくらい離れているかで捉えます。

このグレーの棒の長さを二乗し、 すべて足したものが \(S_y\) です。

説明できずに残った変動を見る

次に、 回帰直線を引いても 説明できずに残った部分を考えます。

これは前のレクチャーで見た 残差です。

最小二乗法では、 この残差の二乗の合計 \(S_e\) が できるだけ小さくなるように回帰直線を求めました。

回帰直線が説明した変動を見る

次に、 回帰直線によって 説明できた変動を考えます。

それが \(S_R\) です。

回帰直線がデータの変化をうまく捉えていれば、 回帰直線上の \(\hat{y}\) もそれに応じて変化します。

その変動の大きさを表しているのが \(S_R\) です。

3つの平方和の関係を整理する

ここまで見てきた3つの変動を整理しましょう。

最小二乗法で求めた回帰直線では、 次の平方和の分解が成立します。

回帰直線がうまくデータに当てはまれば、 説明できた変動 \(S_R\) は大きくなり、 説明できず残った変動 \(S_e\) は小さくなります。

決定係数の意味を理解する

ここまでくると、 決定係数の式の意味が見えてきます。

分母の \(S_y\) は もともとの全体の変動です。

分子の \(S_R\) は、 そのうち 回帰直線によって説明できた変動です。

つまり決定係数は、

今回の「部屋の広さ」と「家賃」のデータでは、 決定係数は

一方で、 たとえば「アパート名の文字数」のように 家賃とほとんど関係のなさそうな変数を説明変数にすると、 回帰直線はほぼ水平になると考えられます。

その場合、回帰直線上の \(\hat{y}\) はあまり変化しないため、 \(S_R\) は小さくなり、 決定係数 \(R^2\) も小さくなります。

決定係数が 分散説明率 とも呼ばれるのは、 このように 「yの変動をどれだけ説明できたか」 を表しているからです。