分散共分散行列の二次形式を計算する（準1級解説補足①）

00. この記事のゴール

　\(\mathbf{x}^{\top}\Sigma\mathbf{x}\) を実際に手計算できるようになることを目指しましょう。ついでに「なにを意味しているか」も直感でつかみましょう。

01. 登場人物の確認

分散共分散行列 \(\Sigma\)（3行×3列）

　3つの確率変数 \(X_{1},X_{2},X_{3}\) についての分散共分散行列を以下のように表記します。なお、 \(\sigma_{ij}\) は確率変数 \(X_{i}\) と \(X_{j}\) の共分散を意味し、例えば、\(\sigma_{12}\) は \(X_{1}\) と \(X_{2}\) の共分散を意味します。また、\(\sigma_{11}\) は \(X_{1}\) と \(X_{1}\) の共分散、すなわち、\(X_{1}\) の分散を意味します。

\[
\Sigma=
\begin{pmatrix}
\sigma_{11} & \sigma_{12} & \sigma_{13}\\
\sigma_{21} & \sigma_{22} & \sigma_{23}\\
\sigma_{31} & \sigma_{32} & \sigma_{33}
\end{pmatrix}
\]

　対角（左上→右下）に位置する各成分 \(\sigma_{11}\)、\(\sigma_{22}\)、\(\sigma_{33}\) が各変数の分散を表します。それ以外（対角以外）の各成分は共分散を表します。通常、 \(\sigma_{ij}=\sigma_{ji}\) が成り立つため、分散共分散行列は左右対称の行列となります。

\[
\Sigma=
\begin{pmatrix}
\colorbox{lightgray}{$\sigma_{11}$} & \colorbox{mistyrose}{$\sigma_{12}$} & \colorbox{mistyrose}{$\sigma_{13}$}\\
\colorbox{lightblue}{$\sigma_{21}$} & \colorbox{lightgray}{$\sigma_{22}$} & \colorbox{mistyrose}{$\sigma_{23}$}\\
\colorbox{lightblue}{$\sigma_{31}$} & \colorbox{lightblue}{$\sigma_{32}$} & \colorbox{lightgray}{$\sigma_{33}$}
\end{pmatrix}
\]

ベクトル \(\mathbf{x}\) （3行×1列）

　任意の3行1列の成分で構成される行列（ベクトル）を以下のように表記します。

\[
\mathbf{x}=
\begin{pmatrix}
x_1\\
x_2\\
x_3
\end{pmatrix}
\]

　なお、行列の「サイズ」は「行数×列数」で表しますが、行数と列数のどちらか一方が「1」の行列をベクトルと呼びます。また、列数が1の行列は「列ベクトル」、行数が1の行列は「行ベクトル」と呼びます。上記の \(\mathbf{x}\) は列数が1ですので列ベクトルとなります。

ベクトル \(\mathbf{x}^{\top}\) （1行×3列）

　上記の「3行×1列」の列ベクトル \(\mathbf{x}\) を「転置」すると、行と列が入れ替わり、「1行×3列」の行ベクトルになります。転置は、行列やベクトルの右肩に \(\top\) 記号を付して表記します。

\[
\mathbf{x}^{\top}=
\begin{pmatrix}
x_1 & x_2 & x_3
\end{pmatrix}
\]

二次形式 \(\mathbf{x}^{\top}\Sigma\mathbf{x}\) （1行×1列）

　今回のテーマでもある分散共分散行列の二次形式を以下のように表記します。

\[
\mathbf{x}^{\top}\Sigma\mathbf{x}
\]

　結論から言うと、この分散共分散行列の二次形式は「ベクトル \(\mathbf{x}\) で作った線形結合の分散」に等しくなり、その性質から必ず0以上の値になります。この二次形式の計算を以下で具体的に見ていきましょう。

02. 行列計算のルール

　二次形式 \(\mathbf{x}^{\top}\Sigma\mathbf{x}\) は3つの行列（ \(\mathbf{x}^{\top}\)、\(\Sigma\)、\(\mathbf{x}\) ）の掛け算の式です。以下では、行列の掛け算（積）に関するルールを確認しながら、実際に二次形式の計算を進めていきましょう。

ルール①：行数と列数

　行列の積の計算においては、行数と列数に関する以下のルールがあります。

	左の行列	右の行列	積の行列
行数×列数	\(n\) 行× \(m\) 列	\(m\) 行× \(l\) 列	\(n\) 行× \(l\) 列
例①	2行×3列	3行×4列	2行×4列
例②	1行×4列	4行×2列	1行×2列

　ポイントが2つあります。1つ目のポイントは、左の行列の「列数」と右の行列の「行数」が一致している必要があるという点です。例えば、左の行列が「3列」ある場合、右の行列は「3行」である必要があります。

　2つ目のポイントは、行列の積の計算した後の行数と列数です。計算後の行数は左の行列の行数と一致し、計算後の列数は右の行列の列数と一致します。例えば、左の行列が「2行×3列」で、右の行列が「3行×4列」であれば、その積の計算後の行列は「2行×4列」となります。

ルール②：計算の基本

　行列の積は、左の行列の「行」を、右の行列の「列」に掛けて合計して計算します。例えば、「1行×2列の行列 \(\mathbf{A}\) 」と「2行×2列の行列 \(\mathbf{B}\) 」を以下のように定義します。なお、各成分の1つ目の添え字は行数を、2つ目の添え字は列数を表しています。

\[
\mathbf{A}=
\begin{pmatrix}
a_{11} & a_{12}
\end{pmatrix},\quad
\mathbf{B}=
\begin{pmatrix}
b_{11} & b_{12}\\
b_{21} & b_{22}
\end{pmatrix}
\]

　左の行列 \(\mathbf{A}\) の列数「2」と、右の行列 \(\mathbf{B}\) の行数「2」が一致していますので、行列の積を計算することができます。左の行列の「行」を右の行列の「列」に掛けて合計することで、以下のように計算を行います。

\[\begin{align*}
\mathbf{A}\mathbf{B}
&=
\begin{pmatrix}
\colorbox{lightyellow}{$a_{11}$} & \colorbox{lightyellow}{$a_{12}$}
\end{pmatrix}
\begin{pmatrix}
\colorbox{lightblue}{$b_{11}$} & \colorbox{mistyrose}{$b_{12}$}\\
\colorbox{lightblue}{$b_{21}$} & \colorbox{mistyrose}{$b_{22}$}
\end{pmatrix}\\[6pt]
&=
\begin{pmatrix}
\colorbox{lightyellow}{$a_{11}$}\colorbox{lightblue}{$b_{11}$}+\colorbox{lightyellow}{$a_{12}$}\colorbox{lightblue}{$b_{21}$} \;&\;
\colorbox{lightyellow}{$a_{11}$}\colorbox{mistyrose}{$b_{12}$}+\colorbox{lightyellow}{$a_{12}$}\colorbox{mistyrose}{$b_{22}$}
\end{pmatrix}
\end{align*}
\]

　結果として、1行×2列の行列として整理されています。

ルール③：結合法則

　最後に結合法則についても確認しておきましょう。結合法則とは、行列 \(\mathbf{A}\)、 \(\mathbf{B}\)、 \(\mathbf{C}\) について以下の関係が成り立つことを言います。

\[
(\mathbf{A}\mathbf{B})\mathbf{C}=\mathbf{A}(\mathbf{B}\mathbf{C})
\]

　したがって、\(\mathbf{A}\mathbf{B}\mathbf{C}\) を計算するとき、先に \(\mathbf{B}\mathbf{C}\) を求めてから \(\mathbf{A}\) を（左から）掛けても、先に \(\mathbf{A}\mathbf{B}\) を求めてから \(\mathbf{C}\) を（右から）掛けても同じ結果になります。

　なお、左右を入れ替えてもよいわけではありません。つまり「可換」ではありません（一般に \(\mathbf{A}\mathbf{B}\neq \mathbf{B}\mathbf{A}\) です）。ここで言っているのは括り方（計算順序）の自由であって、掛ける順番の入れ替えではないことに注意しましょう。

03. 二次形式の計算

　それでは上記の3つのルールを用いて、分散共分散行列の二次形式を実際に計算してみましょう。

\[
\mathbf{x}^{\top}\Sigma\mathbf{x}
\]

　ここでは、「ルール③　結合法則」を踏まえ、後ろの \(\Sigma\mathbf{x}\) を先に計算することにします（前から計算しても結論は同じです）。

\[\begin{align*}
\Sigma\mathbf{x}
&= \begin{pmatrix} \colorbox{khaki}{$\sigma_{11}$} & \colorbox{khaki}{$\sigma_{12}$} & \colorbox{khaki}{$\sigma_{13}$}\\
\colorbox{lightblue}{$\sigma_{21}$} & \colorbox{lightblue}{$\sigma_{22}$} & \colorbox{lightblue}{$\sigma_{23}$}\\
\colorbox{mistyrose}{$\sigma_{31}$} & \colorbox{mistyrose}{$\sigma_{32}$} & \colorbox{mistyrose}{$\sigma_{33}$}
\end{pmatrix}
\begin{pmatrix}
\colorbox{lightgray}{$x_1$}\\
\colorbox{lightgray}{$x_2$}\\
\colorbox{lightgray}{$x_3$}
\end{pmatrix}\\[10pt]
&= \begin{pmatrix}
\colorbox{khaki}{$\sigma_{11}$}\colorbox{lightgray}{$x_1$}+\colorbox{khaki}{$\sigma_{12}$}\colorbox{lightgray}{$x_2$}+\colorbox{khaki}{$\sigma_{13}$}\colorbox{lightgray}{$x_3$}\\
\colorbox{lightblue}{$\sigma_{21}$}\colorbox{lightgray}{$x_1$}+\colorbox{lightblue}{$\sigma_{22}$}\colorbox{lightgray}{$x_2$}+\colorbox{lightblue}{$\sigma_{23}$}\colorbox{lightgray}{$x_3$}\\
\colorbox{mistyrose}{$\sigma_{31}$}\colorbox{lightgray}{$x_1$}+\colorbox{mistyrose}{$\sigma_{32}$}\colorbox{lightgray}{$x_2$}+\colorbox{mistyrose}{$\sigma_{33}$}\colorbox{lightgray}{$x_3$}
\end{pmatrix}
\end{align*}\]

　左の行列の「行」と右の行列の「列」を掛けて合計するという「ルール②　計算の基本」に準じて計算しています。次に、残っている \(\mathbf{x}^{\top}\) を左から掛けます。

\[\begin{align*}
\mathbf{x}^{\top}(\Sigma\mathbf{x})
&= \begin{pmatrix}x_1 & x_2 & x_3\end{pmatrix}
\begin{pmatrix} \sigma_{11}x_1+\sigma_{12}x_2+\sigma_{13}x_3\\ \sigma_{21}x_1+\sigma_{22}x_2+\sigma_{23}x_3\\
\sigma_{31}x_1+\sigma_{32}x_2+\sigma_{33}x_3
\end{pmatrix}\\[10pt]
&= x_1(\sigma_{11}x_1+\sigma_{12}x_2+\sigma_{13}x_3)\\ &\;+x_2(\sigma_{21}x_1+\sigma_{22}x_2+\sigma_{23}x_3)\\ &\;+x_3(\sigma_{31}x_1+\sigma_{32}x_2+\sigma_{33}x_3)\\[10pt]
&= \sigma_{11}x_1^2+\sigma_{22}x_2^2+\sigma_{33}x_3^2\\
&\;+(\sigma_{12}+\sigma_{21})x_1x_2\\
&\;+(\sigma_{13}+\sigma_{31})x_1x_3\\
&\;+(\sigma_{23}+\sigma_{32})x_2x_3
\end{align*}\]

　以上のように二次形式を計算することができました。「1行3列」×「3行3列」×「3行1列」の掛け算ですので、最初の行数と最後の列数が残り、最終的には「1行1列」、つまり、「1つの値」として導かれることになります。

　ここで、最後に導かれた数式は、以下の式で得られる確率変数（線形結合）の分散を意味します。

\[
x_{1}X_{1}+x_{2}X_{2}+x_{3}X_{3}
\]

　これは確率変数 \(X_{1}\)、 \(X_{2}\)、 \(X_{3}\) のそれぞれに、ベクトル \(\mathbf{x}=(x_1,x_2,x_3)\) の各成分を係数として重みづけた確率変数（線形結合）を意味しています。先ほどの二次形式の最後に得られた式は、まさにこの確率変数の分散を意味しています。

　わかりやすい例として、確率変数 \(X_{1}\)、 \(X_{2}\)、 \(X_{3}\) が互いに独立、つまり、それぞれの共分散 \(\sigma_{12}\)、\(\sigma_{13}\)、\(\sigma_{23}\) が \(0\) である場合を考えると、上記の二次形式は以下のように整理されます。

\[\begin{align*}
\mathbf{x}^{\top}\Sigma\mathbf{x}
&= \sigma_{11}x_1^2+\sigma_{22}x_2^2+\sigma_{33}x_3^2\\
&\;+(\sigma_{12}+\sigma_{21})x_1x_2\\
&\;+(\sigma_{13}+\sigma_{31})x_1x_3\\
&\;+(\sigma_{23}+\sigma_{32})x_2x_3\\[8pt]
&=\sigma_{11}x_1^2+\sigma_{22}x_2^2+\sigma_{33}x_3^2
\end{align*}\]

　確率変数 \(X_{1}\)、 \(X_{2}\)、 \(X_{3}\) が互いに独立ですので、その線形結合の分散は上記の通り各々の分散をそれぞれ[係数の2乗]倍して足し合わせたものとなります。

04. 例題で確認

　二次形式に関して例題を解いてみましょう。

例題

　確率変数 \(X_{1},X_{2}\) についての分散共分散行列を以下のように定義します。

\[
\Sigma=
\begin{pmatrix}
\sigma_{11} & \sigma_{12}\\
\sigma_{21} & \sigma_{22}\\
\end{pmatrix}
\]

　このとき、\(X_{1},X_{2}\)の線形結合である \(2X_{1}+5X_{2}\) の分散を、分散共分散行列の二次形式によって導いてください。

解答

　線形結合 \(2X_{1}+5X_{2}\) の係数に着目して、任意の列ベクトル \(\mathbf{x}\) を以下のように定義します。

\[
\mathbf{x}=(2,5)
\]

　このベクトル \(\mathbf{x}\) で分散共分散行列を挟んだ二次形式を用意します。

\[
\mathbf{x}^{\top}\Sigma\mathbf{x}
=\begin{pmatrix}2 & 5\end{pmatrix}
\begin{pmatrix}
\sigma_{11} & \sigma_{12}\\
\sigma_{21} & \sigma_{22}\\
\end{pmatrix}
\begin{pmatrix}
2\\
5\\
\end{pmatrix}
\]

　今回は前から計算していきましょう。まずは、\(\mathbf{x}^{\top}\Sigma\) の部分を計算します。

\[\begin{align*}
\mathbf{x}^{\top}\Sigma
&=\begin{pmatrix}2 & 5\end{pmatrix}
\begin{pmatrix}
\sigma_{11} & \sigma_{12}\\
\sigma_{21} & \sigma_{22}\\
\end{pmatrix}\\[8pt]
&=\begin{pmatrix}2\sigma_{11}+5\sigma_{21} & 2\sigma_{12}+5\sigma_{22} \end{pmatrix}
\end{align*}\]

　「1行×2列」と「2行×2列」の掛け算なので、得られる行列は「1行×2列」となっています。次に、右から残りの \(\mathbf{x}\) を掛けます。

\[\begin{align*}
\mathbf{x}^{\top}\Sigma\mathbf{x}
&=\begin{pmatrix}2\sigma_{11}+5\sigma_{21} & 2\sigma_{12}+5\sigma_{22} \end{pmatrix}
\begin{pmatrix}
2\\
5\\
\end{pmatrix}\\[8pt]
&=(2\sigma_{11}+5\sigma_{21})\times 2+(2\sigma_{12}+5\sigma_{22})\times 5\\[6pt]
&=2^{2}\sigma_{11}+2\times5\sigma_{21}+5\times2\sigma_{12}+5^{2}\sigma_{22}\\[6pt]
&=2^{2}\sigma_{11}+5^{2}\sigma_{22}+2\times2\times5\sigma_{12}
\end{align*}\]

　以上の通り、線形結合 \(2X_{1}+5X_{2}\) の分散を導くことができました。2変数であればわざわざ二次形式で求めるまでもなく、以下の分散の公式で導くこともできます。

\[\begin{align*}
\mathrm{V}[2X_{1}+5X_{2}]&=\mathrm{V}[2X_{1}]+\mathrm{V}[5X_{2}]\\[6pt]
&\;\;+2\mathrm{Cov}[2X_{1},5X_{2}]\\[8pt]
&=2^{2}\mathrm{V}[X_{1}]+5^{2}\mathrm{V}[X_{2}]\\[6pt]
&\;\;+2\times2\times5\mathrm{Cov}[X_{1},X_{2}]
\end{align*}\]

　上記の公式で得られる式と、先ほどの二次形式で得られる式が一致していることからも、分散共分散行列の二次形式が線形結合の分散であることを確かめられます。