Table of Contents

モチベーション

線形独立と線形従属

線形独立と線形従属 is 何？

列ベクトル $\boldsymbol{e}_k (k=1,2,\dots,n)$を$\forall l_j \in \mathbb {R} (j=1,2,\dots,m)$ を用いて以下のようにおいてみる．つまり， $\boldsymbol{e}_k \in \mathbb {R}^m$ ．

$$ \boldsymbol{e}_k= \begin{pmatrix} l_{1k}\\ l_{2k}\\ \vdots\\ l_{mk} \end{pmatrix} $$

次に，列ベクトル集合 $\lbrace \boldsymbol{e_1}, \boldsymbol{e_2}, \dots, \boldsymbol{e_n} \rbrace$と$\forall a_k \in \mathbb {R} (k=1,2,\dots,n)$ を用いて，以下のような線形和をつくる．

$$ a_1\boldsymbol{e_1}+a_2\boldsymbol{e_2}+\dots+a_n\boldsymbol{e_n}　\tag{1} $$

(1)式を0にできるような， $a_k$ が複数あるなら， $\lbrace \boldsymbol{e_1}, \boldsymbol{e_2}, \dots, \boldsymbol{e_n} \rbrace$ は線形従属であると言う．ベクトルをうまく組み合わせれば，一つの輪をつくることができるイメージ．

一方，(1)式を0にするには $a_k=0 (k=1,2,\dots,n)$ が必要である場合， $\lbrace \boldsymbol{e_1}, \boldsymbol{e_2}, \dots, \boldsymbol{e_n} \rbrace$ は線形独立であると言う．つまり，ベクトルを組み合わせても輪がつくれないイメージ．

線形独立と線形独立を判別する方法

(1)式=0とおくと，(1)式から $a_1l_{j1}+a_2l_{j2}+\dots+a_nl_{jn}=0$ という式がm本できる．つまり，n(=m)次の連立方程式となる．

列ベクトル集合 $\lbrace {e_1}, {e_2}, \dots, {e_n} \rbrace$ を合体させてm x nの正方行列とすると，(2)式のように整理できる．

$$ \begin{eqnarray} \begin{array}{cccc} l_{ 11 } & l_{ 12 } & \ldots & l_{ 1n } \\ l_{ 21 } & l_{ 22 } & \ldots & l_{ 2n } \\ \vdots & \vdots & \ddots & \vdots \\ l_{ m1 } & l_{ m2 } & \ldots & l_{ mn } \end{array} \begin{pmatrix} a_{1}\\ a_{2}\\ \vdots\\ a_{n} \end{pmatrix} = \boldsymbol {0} \end{eqnarray} \tag{2} $$

ここで，正方行列の行列式が0以外なら（＝正則行列であるなら），逆行列を持てるので， $a_k=0 (k=1,2,\dots,n)$ が唯一の解になる．つまり，列ベクトル $\lbrace \boldsymbol{e_1}, \boldsymbol{e_2}, \dots, \boldsymbol{e_n} \rbrace$ はそれぞれ線形独立であると判断できる．

一方，正方行列の行列式が0なら，逆行列が存在しないので， $a_k=0 (k=1,2,\dots,n)$ 以外にも解があることになる．つまり，列ベクトル $\lbrace \boldsymbol{e_1}, \boldsymbol{e_2}, \dots, \boldsymbol{e_n} \rbrace$ はそれぞれ線形従属であると判断できる．

基底と座標変換

$e_1$ と $e_2$ を以下のようにおいてみる．

$$ e_1=\begin{pmatrix} 1\\ 0\end{pmatrix} , e_2=\begin{pmatrix} 0\\ 1\end{pmatrix} $$

これらが線形独立であることは自明だろう．

この線形独立な $e_1,e_2$ （基底という）を組み合わせると，あるベクトル空間をつくることができる．今回は $e_1,e_2 \in \mathbb{R^2}$ としたので，２次元のベクトル空間ができることになる．

例えば， $a_1,a_2\in \mathbb{R}$ を用いると，以下のような２次元ベクトルを表現できる．

$$ a_1 \begin{pmatrix} 1\\ 0 \end{pmatrix} + a_2 \begin{pmatrix} 0\\ 1 \end{pmatrix} =\begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} \begin{pmatrix} a_1\\ a_2 \end{pmatrix} \tag{3} $$

特に，今回用意した $e_1,e_2$ は，それぞれ直交（内積が０）しており，かつ，それぞれの大きさが１なので，正規直交基底と呼ばれる．これは， $e_1$ をx軸の単位ベクトル， $e_2$ をy軸の単位ベクトルとしたデカルト座標系と見立てることができる．

ここで，(3)式のベクトルに，以下の正方行列 $\boldsymbol{A}$ を左から掛けてみる．

$$ \boldsymbol {A} = \begin{pmatrix} b_1 & c_1 \\ b_2 & c_2 \end{pmatrix} $$

すると，(3)式は，以下になる．

$$ a_1 \boldsymbol{A} \begin{pmatrix} 1\\ 0 \end{pmatrix} + a_2 \boldsymbol{A} \begin{pmatrix} 0\\ 1 \end{pmatrix} = a_1 \begin{pmatrix} b_1\\ b_2 \end{pmatrix} + a_2 \begin{pmatrix} c_1\\ c_2 \end{pmatrix} \tag{4} $$

$\boldsymbol{A}$ の各列ベクトルで基底を乗っ取ることができた． 仮に， $b_1=0, b_2=1, c_1=-1, c_2=0$ とすると，

$$ a_1 \begin{pmatrix} 0\\ 1 \end{pmatrix} + a_2 \begin{pmatrix} -1\\ 0 \end{pmatrix} =\begin{pmatrix} -a_2\\ a_1 \end{pmatrix} = -a_2 \begin{pmatrix} 1\\ 0 \end{pmatrix} + a_1 \begin{pmatrix} 0\\ 1 \end{pmatrix} $$

と整理でき， $a_1$ が $e_2$ に移り， $a_2$ が $-e_1$ に移ったことから，行列Aによって(3)式のベクトルが反時計回りに90度回転したと解釈できる．

これは，基底ベクトルを以下の $e_3$ と $e_4$ のようにおいたことと同等である．

$$ e_3= \begin{pmatrix} 0\\ 1 \end{pmatrix} ,e_4= \begin{pmatrix} -1\\ 0 \end{pmatrix} $$

この基底によりつくられる２次元ベクトルは，(3)式の $e_2$ 方向を $e_3$ 軸とし， $-e_1$ 方向を $e_4$ 軸とした座標系上の２次元ベクトルと見立てることができる．

…

反時計回りに $\theta$ の回転といえば以下の式．基底を三角関数で乗っ取っていることになる．

$$ \boldsymbol {A} = \begin{pmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{pmatrix} $$

$x$ 要素だけ取り出したい場合は，以下の行列を使うと良い． $e_1$ 軸への正射影を実現していることになる．

$$ \boldsymbol {A} = \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix} $$

固有値問題

固有値の求め方

$M \times M$ の正方行列 $\boldsymbol{A}$ について，固有値問題は i=1,2,…,Mを用いて以下のように定義される．

$$ \boldsymbol{A} \boldsymbol{u_i} = \lambda_i \boldsymbol{u_i} $$

ここで， $\boldsymbol{u_i}$ は固有ベクトル， $\lambda_i$ は固有値である．上式はM次の単位行列 $\boldsymbol{I}$ を用いて，以下のように整理することができる．

$$ (\boldsymbol{A} - \lambda_i \boldsymbol{I}) \boldsymbol{u_i} = 0 $$

固有値問題では，自明解 $\boldsymbol{u_i} = 0$ 以外の解を求めたいというモチベーションなので， $\boldsymbol{A} - \lambda_i \boldsymbol{I}$ が逆行列を持たないようにする必要がある．行列式を0にすれば逆行列を持たないので，以下の固有方程式を解くことで，固有値を求めることができる．

$$ \mathrm{det}(\boldsymbol{A} - \lambda_i \boldsymbol{I}) = 0 $$

固有ベクトルの求め方

以下を解くことで，各固有値ごとの固有ベクトルを求めることができる．

$$ (\boldsymbol{A} - \lambda_i \boldsymbol{I}) \boldsymbol{u_i} = 0 $$

M次の正方行列Aの固有方程式は，複素数の範囲において必ず，M個の固有値・固有ベクトルを持つ．

固有方程式が重解をもつ場合

$$ \boldsymbol{A} = \begin{pmatrix} 0 & 1 & 2 \\ 1 & 0 & 2 \\ 2 & 2 & 3 \end{pmatrix} $$

行列Aの固有方程式により，固有値 $\lambda_1=-1$ (重解)と $\lambda_2=5$ が得られる．

固有値 $\lambda_1$ の固有ベクトルを $\boldsymbol{u_1}^{T} = (u_{11}, u_{12}, u_{13})$ とすると，固有ベクトル $\boldsymbol{u_1}$ は以下を満たす必要がある．

$$ u_{11} + u_{12} + 2 u_{13} = 0 $$

ここで， $u_{12}=s, u_{13}=t$ とおくと， $u_{11}=-s-2t$ なので，固有ベクトル $\boldsymbol{u_1}$ は以下となる．

$$ \boldsymbol{u_1} = \begin{pmatrix} u_{11} \\ u_{12} \\ u_{13} \end{pmatrix} = s \begin{pmatrix} -1 \\ 1 \\ 0 \end{pmatrix} + t \begin{pmatrix} -2 \\ 0 \\ 1 \end{pmatrix} $$

$s$ と $t$ は自由に選んでも良いので，固有値 $\lambda_1=-1$ (重解)の固有ベクトル $\boldsymbol{u_1}$ は以下の２つとなる．

$$ \boldsymbol{u_1} = \begin{pmatrix} -1 \\ 1 \\ 0 \end{pmatrix} , \begin{pmatrix} -2 \\ 0 \\ 1 \end{pmatrix} $$

実対称行列

行列Aが実対称行列の場合には，その固有値は必ず実数となり，固有ベクトルも実数の範囲で存在する．

実対称行列の固有ベクトル $\boldsymbol{u_i}$ は，以下のような，正規直交(=正規化済みの異なる固有ベクトル同士の内積が0)を満たす．

$$ \boldsymbol{u_i}^{T} \boldsymbol{u_j} = \boldsymbol{I_{ij}} $$

正規直交基底

正規直交基底とは，以下の3点を満たす列ベクトル集合のことである．

  1. 各ベクトルの長さが1に正規化されている．
  2. 互いに直交する．
  3. ベクトルを並べた行列が正則である．

例えば，以下は正規直交基底である．

$$ e_1=\begin{pmatrix} 1\\ 0\end{pmatrix} , e_2=\begin{pmatrix} 0\\ 1\end{pmatrix} $$

グラム・シュミットの直交化により，直交していない複数の線形独立なベクトルから，正規直交基底を求めることができる．これにより，例えば，斜行ベクトルを正規直交基底によって表現することができる．

グラム・シュミットの直交化の手続きは，n個の線形独立なベクトル$\boldsymbol{u_k}$を用いて，

  1. $\boldsymbol{u_1}$ を正規化したものが１つ目の正規直交基底 $\boldsymbol{v_1}$ になる．
  2. $\boldsymbol{v} = \boldsymbol{u_2} - (\boldsymbol{u_2} \cdot \boldsymbol{v_1}) \boldsymbol{v_1}$ を計算．
  3. $\boldsymbol{v}$ を正規化したものが２つ目の正規直交基底 $\boldsymbol{v_2}$ となる．
  4. 次数ぶんだけ繰り返して正規直交基底を求めていく．

直交行列による対角化

正規直交基底を並べた行列を直交行列と呼ぶ．

実対称行列Aについて固有ベクトルを求め，各固有ベクトルから正規直交基底を求め，正規直交基底を並べた直交行列をPとすると，以下により，対角成分以外が0な対角行列 $\boldsymbol{\Lambda}$ を導くことができる．これを対角化という．

$$ \boldsymbol{P}^{-1} \boldsymbol{A} \boldsymbol{P} = \boldsymbol{\Lambda} $$

結局，対角行列$\boldsymbol{\Lambda}$の対角成分は，実対称行列Aの固有値を並べたものである．

正定値と負定値

行列$A$がすべての非零ベクトル $\boldsymbol{w}$ に対して， $\boldsymbol{w}^{T} A \boldsymbol{w} > 0$ を満たすとき， $A$ は正定値行列と呼ばれ， $A \succ 0$ と表す．

$A$ がn次の実対称行列であるとすると，直交行列Pが存在するので， $P^T A P = \Lambda$ と対角化できる．ここで， $\boldsymbol{u}=P^T \boldsymbol{w}$ で変換すると， $P^T=P^{-1}$ に注意して，以下のように整理することができる．これは二次形式の標準化（主軸変換）の例であり，対角化による恩恵である．

$$ \boldsymbol{w}^{T} A \boldsymbol{w} = (P \boldsymbol{u})^T A (P \boldsymbol{u}) = \boldsymbol{u}^T (P^T A P) \boldsymbol{u} = \boldsymbol{u}^T \Lambda \boldsymbol{u}　= \lambda_1 u_1^2 + ... \lambda_n u_n^2 $$

これより，実対称行列Aのすべての固有値が正であれば，対角行列 $\Lambda$ の対角成分が正になり， $\boldsymbol{u}^T \Lambda \boldsymbol{u}$ が常に正になるので，行列Aは正定値行列である．

また，行列 $A$ がすべての非零ベクトル $\boldsymbol{w}$ に対して， $\boldsymbol{w}^{T} A \boldsymbol{w} \geq 0$ を満たすとき， $A$ は半正定値行列と呼ばれ， $A \succeq 0$ と表す．行列 $A$ のすべての固有値が0以上であれば，行列 $A$ は半正定値である．

更に，負定値・半不定値も定義することができ，固有値が負か0以下であることがそれぞれの条件である．

対角化と座標変換

つづくかも