※小説ではない※専門書 要約資料集 為替(換算)3.9万円でもらう 紐解集生成 専門 初入門 資料   作:{作者名}

186 / 382
# BOOK-0120 線形代数 第2巻 — 固有値から特異値分解まで(数学派生 第2巻)
> 前提=数学系統 五部 線形代数 第1巻(BOOK-0071) / この後=数値線形代数・データ解析の応用

> 学問の宇宙・形式科学の恒星群 数学冠・派生第2巻。ガイド役: Fable 5 監修 / Sonnet 5 執筆(脚本班)
> トーン規約: 第1巻(BOOK-0071)準拠。専門用語は初出で必ず説明し、水準を添える。
> 水準: 五〜六(線形写像・固有値・対称行列・直交性・特異値分解・応用)。

---


# BOOK-0120 線形代数 第2巻 — 固有値から特異値分解まで(数学派生 第2巻)

# BOOK-0120 線形代数 第2巻 — 固有値から特異値分解まで(数学派生 第2巻)

> 前提=数学系統 五部 線形代数 第1巻(BOOK-0071) / この後=数値線形代数・データ解析の応用

 

> 学問の宇宙・形式科学の恒星群 数学冠・派生第2巻。ガイド役: Fable 5 監修 / Sonnet 5 執筆(脚本班)

> トーン規約: 第1巻(BOOK-0071)準拠。専門用語は初出で必ず説明し、水準を添える。

> 水準: 五〜六(線形写像・固有値・対称行列・直交性・特異値分解・応用)。

 

---

 

## 入口の物語 — 水槽の次にあるもの

 

→BOOK-0071『線形代数』第1巻では、数の並びを「水槽」に見立てた。1匹の魚(1つの数)を追いかける代わりに、水槽ごと(ベクトルごと、行列ごと)動かしてしまう——これが線形代数という発想の入口だった。ベクトルの足し算とスカラー倍、連立方程式を解く消去法、行列どうしを掛け合わせる積のルール、そして正方行列の性質を1つの数に凝縮する行列式。最後には「固有値」という道具の入口にほんの少しだけ触れて、第1巻は幕を閉じた。

 

本冊はその続きである。第1巻が「水槽をどう作り、どう動かすか」という基本操作を扱ったのに対し、本冊が扱うのは、**その水槽(行列)自身がいったいどんな性格を持っているのか**という、一段深い問いである。行列は、ベクトルに掛けられるたびにベクトルを回転させたり、引き伸ばしたり、押しつぶしたりする。しかし、どんな行列にも、掛けられても向きだけは変わらない特別な方向がある。その特別な方向を探り当てる技術——固有値・固有ベクトル——から本冊は出発し、対称行列という特に行儀のよい行列の性質、直交性という「まっすぐ噛み合う」ための道具、そして最後に、**どんな行列も分解できてしまう万能の道具**である特異値分解(SVD)にたどりつく。

 

喩えを更新しておこう。第1巻の水槽が「バラバラな魚を一括りにする容れ物」だったとすれば、本冊で扱う行列は、**水槽ごと別の水槽へと変形させる装置**だと考えてほしい。丸い水槽を楕円の水槽に伸ばす、水槽全体をぐるりと回転させる、あるいは水槽を薄く押しつぶして板のようにしてしまう——行列とは、空間そのものを作り変える「変形装置」なのである。この変形装置にはどんな癖があるのか、どの方向には力が加わらず、どの方向には強く伸ばされるのか。これを解き明かす旅こそが、本冊の主題である。

 

```

第1巻(BOOK-0071) : 水槽(ベクトル・行列)を作り、動かす基本操作

第2巻(本冊) : その水槽を変形させる装置(行列)自身の性格を調べる

```

 

---

 

## 第一章: 第1巻の地図(要約と本巻の見取り図)(水準四の確認)

 

まず、本冊を読み進める前に必要な道具を簡潔に確認しておく。詳しい説明・歴史・検算は→BOOK-0071を参照してほしい。ここでは重複を避け、要点のみを一望する。

 

**ベクトル**(水準一: 大きさと向きの両方を持つ量。数をいくつか並べて表す)は、成分ごとの足し算とスカラー倍(全体を何倍かする計算)ができる。2本のベクトルの対応する成分を掛けて足し合わせたものを**内積**(水準二)と呼ぶ。**行列**(水準二: 数を縦横の格子状に並べた表)は、行と列の内積によって新しい成分を作る「行列の積」というルールで掛け合わされる。**行列式**(水準三: 正方行列の性質を1つの数に凝縮した値)は、2行2列の行列 `[a b; c d]` に対しては `ad - bc` という式で計算され、これが0になるかどうかで連立方程式の解の個数が分かれる。そして**固有値**・**固有ベクトル**(水準四: 行列を掛けても向きが変わらない特別な倍率とその方向)の入口に、第1巻はほんの少しだけ触れて終わった。

 

本冊の見取り図は次の通りである。第二章では、行列を「ベクトルを別のベクトルへ移す写像(うつしかた)」として捉え直す。第三章では、固有値・固有ベクトルを本格的に掘り下げ、行列を見やすい形に整理する「対角化」を扱う。第四章では、対称行列という特に美しい性質を持つ行列を紹介する。第五章では、直交性という「まっすぐ噛み合う」ための概念と、それを使って「ぴったり解けない連立方程式」に最良の近似解を与える最小二乗法を扱う。第六章では、あらゆる行列に使える万能の分解法である特異値分解(SVD)にたどりつく。第七章では、これらの道具が現実のデータ解析でどう働くかを覗き見て、本冊を締めくくる。

 

休憩所①: 本冊は→BOOK-0071の続巻。ベクトル・行列・行列式・固有値の基本用語は確認済みとして進む。見取り図は「写像→固有値→対称行列→直交性と最小二乗→SVD→応用」。

 

---

 

## 第二章: 行列は空間を動かす写像(水準五)

 

### 行列を「動詞」として読む

 

第1巻では、行列を「連立方程式の係数を表にまとめたもの」として導入した。本章では視点を変えて、行列を**ベクトルを別のベクトルへ移す働きそのもの**として読み直す。この「ベクトルを別のベクトルへ移す規則」のことを**線形写像**(せんけいしゃぞう、水準五: ある空間の各ベクトルを、和とスカラー倍の関係を保ったまま、別のベクトルへ移す規則)と呼ぶ。「線形」という言葉には、`f(v + w) = f(v) + f(w)` および `f(kv) = k・f(v)`(`k` はスカラー)という2つの性質——足し算とスカラー倍の関係をそのまま保つ——が込められている。行列 `A` にベクトル `v` を掛ける操作 `Av` は、まさにこの線形写像の具体的な計算方法になっている。

 

具体例で確かめよう。行列 `A = [2 0; 0 3]` を考える。この行列をベクトル `(1, 0)` に掛けると、

 

```

A(1, 0) = (2×1 + 0×0, 0×1 + 3×0) = (2, 0)

```

 

となり、`x` 方向の単位ベクトル(長さ1で、その方向だけを向くベクトル)が2倍に伸ばされる。同様に `(0, 1)` に掛けると `A(0, 1) = (0, 3)` となり、`y` 方向は3倍に伸ばされる。つまりこの行列は、「`x` 方向に2倍、`y` 方向に3倍」という、方眼紙を縦横で別々の倍率に引き伸ばす変形装置として働いていることが分かる。

 

**検算1(線形写像としての行列)**: 線形性を実際に確かめる。`A = [2 0; 0 3]`、`v = (1, 2)`、`w = (3, 1)` とする。まず `v + w = (4, 3)` を計算してから `A` を掛けると `A(4, 3) = (2×4, 3×3) = (8, 9)`。次に `Av = (2×1, 3×2) = (2, 6)`、`Aw = (2×3, 3×1) = (6, 3)` をそれぞれ計算してから足すと `Av + Aw = (2+6, 6+3) = (8, 9)`。両者は一致し、`A(v+w) = Av + Aw` という線形性が数値で確認できた。

 

### 基底の変換 — 「ものさし」を取り替える

 

線形写像を考えるうえで欠かせない道具が**基底**(きてい、水準五: 空間の中のあらゆるベクトルを、足し算とスカラー倍の組み合わせだけで表すことができる、過不足のない特別なベクトルの組)である。ふだん私たちが `(3, 4)` のように座標を書くとき、実は暗黙のうちに「`x` 方向の単位ベクトル `(1,0)` を3本、`y` 方向の単位ベクトル `(0,1)` を4本」という組み合わせで表現している。この `(1,0)` と `(0,1)` の組を**標準基底**と呼ぶ。

 

しかし、ものさしの向き自体を変えることもできる。たとえば `(1, 1)` と `(1, -1)` という2本のベクトルも、互いに独立な方向を向いていれば(片方がもう片方の単なる何倍かではなければ)、平面上のあらゆるベクトルをこの2本の組み合わせで表す、別の「ものさし」として使うことができる。同じ空間、同じベクトルであっても、どの基底で座標を読むかによって、数の並び方(座標成分)は変わってくる。行列というのは、ある基底で見たベクトルの並びを、別の基底で見た並びへと移し替える「翻訳装置」だと理解することもできる。この基底の取り替えという発想は、次章で扱う「対角化」——行列を最も見やすい基底で表現し直す技術——の土台になる。

 

休憩所②: 行列は「ベクトルを移す規則」=線形写像として読み直せる(検算1で線形性を確認)。基底は空間を測る「ものさし」の組。行列はものさしを取り替える翻訳装置としても働く。

 

---

 

## 第三章: 固有値と固有ベクトル(水準五)

 

### `Av = λv` の意味 — 「向きが変わらない特別な方向」

 

第1巻の最後で触れた固有値・固有ベクトルを、本章で本格的に掘り下げる。ある正方行列 `A` に対して、`Av = λv`(`λ` はラムダと読む、水準四で確認済みのギリシャ文字)という関係を満たす、ゼロベクトルではない特別なベクトル `v` が存在することがある。このとき `v` を**固有ベクトル**、`λ` を**固有値**と呼ぶ。この式が語っているのは、「行列 `A` を掛けるという操作は、ふつうベクトルの向きを変えてしまうが、この特別な `v` という方向にかぎっては、向きをまったく変えずに、ただ `λ` 倍するだけで済んでしまう」という事実である。無数にある方向のうち、行列が「手を触れない」特別な方向——それが固有ベクトルの正体である。

 

前章の水槽の変形装置の喩えで言えば、水槽をぐにゃりと引き伸ばしたとき、伸ばす力の向きとぴったり一致した方向だけは、形が歪まずにそのまま伸び縮みする。固有ベクトルとは、まさにこの「歪まない方向」なのである。

 

### 特性方程式 `det(A - λI) = 0` — 固有値を見つけ出す手順

 

固有値を実際に求めるには、`Av = λv` を `Av - λv = 0`、さらに `(A - λI)v = 0`(`I` は水準三で確認した単位行列)と変形する。この式がゼロベクトルではない `v` を持つためには、行列 `(A - λI)` の行列式がちょうど0でなければならない。これは、第1巻第四章で確認した「行列式が0のとき、対応する連立方程式はただ1組の解(この場合は `v = 0` のみ)を持つとは限らず、無数の解を持ちうる」という性質の応用である。この条件式

 

```

det(A - λI) = 0

```

 

を**特性方程式**(とくせいほうていしき、水準五: 固有値 `λ` を未知数とする方程式で、これを解くことで行列のすべての固有値が求まる)と呼ぶ。

 

具体例で確かめよう。行列 `A = [4 1; 2 3]` を考える。特性方程式を組み立てると、

 

```

det([4-λ 1 ]) = (4-λ)(3-λ) - 1×2 = 0

([2 3-λ])

12 - 4λ - 3λ + λ² - 2 = 0

λ² - 7λ + 10 = 0

(λ - 2)(λ - 5) = 0

```

 

よって `λ = 2` または `λ = 5` が固有値として求まる。次に、それぞれの固有値に対応する固有ベクトルを求める。`λ = 2` の場合、`(A - 2I)v = 0` すなわち `[2 1; 2 1]v = 0` を解くと、`2v₁ + v₂ = 0` という条件から `v = (1, -2)` が候補として得られる。`λ = 5` の場合、`(A - 5I)v = 0` すなわち `[-1 1; 2 -2]v = 0` を解くと、`-v₁ + v₂ = 0` という条件から `v = (1, 1)` が候補として得られる。

 

**検算2(固有値と固有ベクトル)**: `λ=2`、`v=(1,-2)` を確かめる。`Av = (4×1 + 1×(-2), 2×1 + 3×(-2)) = (4-2, 2-6) = (2, -4)`。これは `2v = 2×(1,-2) = (2,-4)` と一致し、たしかに向きを変えずに2倍されている。次に `λ=5`、`v=(1,1)` を確かめる。`Av = (4×1 + 1×1, 2×1 + 3×1) = (5, 5)`。これは `5v = 5×(1,1) = (5,5)` と一致し、向きを変えずに5倍されている。2組とも `Av = λv` を満たすことが実測で確認できた。

 

### 対角化 — 行列を最も見やすい形に整理する

 

固有ベクトルを列として並べた行列を `P`、対応する固有値を対角線上に並べた行列を `D` とすると、多くの行列 `A` について `A = PDP⁻¹`(`P⁻¹` は `P` の逆行列、水準五: 掛けると単位行列になる相手の行列)という関係が成り立つ。これを**対角化**(たいかくか、水準五: 行列を、対角線上以外がすべて0になる特別な形=対角行列と、基底の変換行列との組み合わせで書き表すこと)と呼ぶ。

 

対角化のありがたみは計算の劇的な単純化にある。対角行列 `D` は対角線上の数をべき乗するだけで `Dⁿ` が求まる(他の成分は常に0のまま)ため、`A` を100回掛け合わせるような計算も、`A¹⁰⁰ = PD¹⁰⁰P⁻¹` という形に直せば、対角線上の数をそれぞれ100乗するだけの軽い計算に置き換えられる。前章の「基底を取り替える翻訳装置」という見方をあてはめれば、対角化とは「固有ベクトルという特別なものさしに乗り換えることで、行列の作用がただの引き伸ばしだけに見えるようにする」操作だと理解できる。

 

休憩所③: `Av=λv` は「向きを変えない特別な方向」の式。特性方程式 `det(A-λI)=0` を解いて固有値を求める(検算2で `λ=2,5` とそれぞれの固有ベクトルの一致を確認)。対角化 `A=PDP⁻¹` は固有ベクトルという基底に乗り換えて行列を見やすくする技術。

 

---

 

## 第四章: 対称行列の美しさ(水準五〜六)

 

### スペクトル定理 — 実固有値と直交する固有ベクトル

 

行列の中でも特に行儀のよい一群が**対称行列**(たいしょうぎょうれつ、水準五: 対角線を軸にして成分を折り返しても同じ形になる正方行列。`A` の `i` 行 `j` 列成分と `j` 行 `i` 列成分が常に等しい)である。たとえば `[3 1; 1 5]` は、左下の1と右上の1が等しいので対称行列である。

 

対称行列には、一般の行列にはない2つの強力な性質が保証されている。第一に、**対称行列の固有値はすべて実数になる**(一般の行列では、固有値が実数ではなく、後述の複素数という数の範囲まで広げないと求まらない場合がある)。第二に、**異なる固有値に対応する固有ベクトルどうしは、必ず直交する**(直交については次章で詳しく扱うが、ここでは「互いに垂直な方向を向く」という理解で十分である)。この2つの性質をまとめて**スペクトル定理**(水準六: 対称行列は実固有値を持ち、その固有ベクトルどうしが直交するように選べるという定理)と呼ぶ。

 

具体例で確かめよう。対称行列 `A = [3 1; 1 3]` の特性方程式は `(3-λ)² - 1 = 0`、すなわち `λ² - 6λ + 8 = 0`、因数分解して `(λ-2)(λ-4)=0` より `λ=2,4`。`λ=2` の固有ベクトルは `v₁=(1,-1)`、`λ=4` の固有ベクトルは `v₂=(1,1)` となる。

 

**検算3(対称行列の直交性)**: `v₁=(1,-1)` と `v₂=(1,1)` の内積を計算すると、`1×1 + (-1)×1 = 1 - 1 = 0`。内積が0になることは、この2本のベクトルが直交している(垂直である)ことを意味する(内積と直交の関係は次章で詳述する)。異なる固有値(`λ=2` と `λ=4`)に対応する固有ベクトルが、確かに直交するというスペクトル定理の主張が、実測で裏づけられた。

 

### 二次形式と正定値 — 「常にプラス」を保証する行列

 

対称行列は、**二次形式**(にじけいしき、水準六: ベクトル `v` と対称行列 `A` を使って `vᵀAv` という形に書ける、成分の2乗や積の組み合わせでできる式。`vᵀ` は `v` を横向きに倒した転置ベクトル)という式とも深く結びついている。対称行列 `A = [3 1; 1 3]` について `v=(x,y)` としたとき、`vᵀAv` を成分で書き下すと `3x² + 2xy + 3y²` という式になる。

 

この二次形式の値が、ゼロでないすべてのベクトル `v` に対して常に正の値になるとき、その対称行列を**正定値**(せいていち、水準六: 対称行列 `A` について、ゼロでないあらゆるベクトル `v` に対し `vᵀAv > 0` が常に成り立つ性質)と呼ぶ。正定値性は、対称行列のすべての固有値が正であることと同値である(概略:固有ベクトルの基底で見ると `vᵀAv` は固有値を係数とする2乗の和に書き直せるため、すべての固有値が正であれば式全体も必ず正になる)。先ほどの `A=[3 1;1 3]` は固有値が `λ=2,4` とどちらも正なので正定値であり、実際 `3x²+2xy+3y²` はどんな `(x,y) ≠ (0,0)` に対しても正の値を取り続ける。正定値性は、後の章で触れる主成分分析の土台となる共分散行列(データのばらつき方を表す行列)が常に満たす性質でもある。

 

休憩所④: 対称行列は実固有値+直交固有ベクトルを持つ(スペクトル定理、検算3で内積0=直交を確認)。二次形式 `vᵀAv` がすべて正になる性質を正定値と呼び、これは固有値がすべて正であることと同値。

 

---

 

## 第五章: 直交性と最小二乗(水準五〜六)

 

### 内積と正射影 — ベクトルの「影」を落とす

 

第1巻第一章で軽く触れた内積を、ここで正式に掘り下げる。2本のベクトル `v`、`w` の内積 `v・w` が0になるとき、`v` と `w` は**直交する**(ちょっこうする、水準五: 2本のベクトルが互いに垂直な関係にあること。内積が0であることと同値)と言う。直交する2本のベクトルは、互いにまったく重なりを持たない、完全に独立な方向を向いていると考えられる。

 

直交性を使った重要な操作が**正射影**(せいしゃえい、水準五: あるベクトル `w` を、別のベクトル `v` の方向に「影を落とす」ようにまっすぐ映し取る操作)である。太陽が真上から照らしているときに地面にできる影を思い浮かべてほしい。斜めに立てられた棒の影は、地面という「方向」に落とされた棒の正射影だと考えることができる。ベクトル `w` を `v` の方向へ正射影したベクトルは、`(v・w / v・v) × v` という式で計算される。

 

**検算4(正射影)**: `v=(1,0)`、`w=(3,4)` とする。`w` を `v` の方向へ正射影すると、`v・w = 1×3+0×4=3`、`v・v=1×1+0×0=1` より、正射影ベクトルは `(3/1)×(1,0) = (3,0)`。これは、`w=(3,4)` の「`x` 軸方向の影」がちょうど `(3,0)` になるという直感と一致しており、正射影の式が正しく機能していることが確認できる。

 

### グラム・シュミットの直交化 — バラバラな方向を「まっすぐ」にそろえる

 

一般に、いくつかの独立なベクトルの組が与えられても、それらは互いに直交しているとは限らない。**グラム・シュミットの直交化**(水準六: 独立なベクトルの組を、1本ずつ順番に、それまでに作った方向の成分を正射影で取り除いていくことで、互いに直交するベクトルの組へと作り変える手順)は、この歪んだ方向の組を、まっすぐ噛み合う直交する組へと整形する手順である。手順の骨子は、最初の1本はそのまま採用し、2本目以降は「すでに採用した方向への正射影を引き算する」ことを繰り返す、というものである。詳しい手続きの全体像はここでは概略にとどめるが、この手順によって作られた直交する基底は、次に述べる最小二乗法の計算を大きく単純化する土台になる。

 

### 過剰決定系と正規方程式 `AᵀAx = Aᵀb`

 

現実のデータ解析では、未知数の数よりも条件式(データ点)の数のほうが多い、**過剰決定系**(かじょうけっていけい、水準六: 未知数の個数よりも式の本数のほうが多く、一般にはすべての式を同時にぴったり満たす解が存在しない連立方程式)にしばしば出会う。たとえば10個の観測データから直線の傾きと切片という2つの未知数を求めようとすると、10本の式に対して未知数はたった2つしかなく、ノイズを含む現実のデータではすべての式を同時に満たす解は存在しない。

 

このとき「ぴったり解ける解」の代わりに、**誤差の2乗の合計をできるだけ小さくする**解を探す方法を**最小二乗法**(さいしょうにじょうほう、水準六: 過剰決定系において、各式の左辺と右辺のずれ(誤差)を2乗して合計した値が最小になるような解を求める方法)と呼ぶ。行列 `A` を係数行列、`x` を未知数のベクトル、`b` を観測値のベクトルとして `Ax = b` という過剰決定系を考えたとき、最小二乗法の解は次の**正規方程式**(せいきほうていしき、水準六: 最小二乗法の解を求めるために解くべき連立方程式)を解くことで得られることが知られている。

 

```

AᵀAx = Aᵀb

```

 

(`Aᵀ` は `A` の転置行列、すなわち行と列を入れ替えた行列)この式が成り立つ理由を概略で述べておく。誤差の2乗の合計を最小にする `x` では、誤差ベクトル `(Ax - b)` が、`A` のすべての列ベクトルと直交していなければならない(もし直交していなければ、`x` をわずかに動かすことで誤差をさらに減らせてしまうため)。この「誤差ベクトルが `A` の列すべてと直交する」という条件を式に書き下すと、`Aᵀ(Ax - b) = 0`、すなわち `AᵀAx = Aᵀb` という正規方程式にちょうど一致する。

 

具体例で確かめよう。ごく簡単な過剰決定系として、`A = [1;1;1]`(3行1列、未知数は `x` の1つだけ)、`b = (2, 4, 6)` を考える(これは「`x` の値をちょうど2、4、6にしてほしい」という3本の矛盾した要求である)。正規方程式は `AᵀAx = Aᵀb`。`Aᵀ = [1 1 1]`(1行3列)なので、`AᵀA = 1×1+1×1+1×1 = 3`、`Aᵀb = 1×2+1×4+1×6 = 12`。よって `3x = 12`、`x = 4`。

 

**検算5(最小二乗法)**: `x=4` が本当に誤差の2乗和を最小にしているか確かめる。`x=4` のとき誤差は `(4-2, 4-4, 4-6) = (2, 0, -2)`、2乗和は `4+0+4=8`。試しに `x=3` を使うと誤差は `(1,-1,-3)`、2乗和は `1+1+9=11`。`x=5` では誤差は `(3,1,-1)`、2乗和は `9+1+1=11`。`x=4` の誤差2乗和8が、隣接する `x=3,5` の11よりも小さいことが実測で確認でき、`x=4`(=2,4,6の平均値)が最小二乗解として妥当であることが裏づけられた。

 

休憩所⑤: 内積0=直交(検算4で正射影を確認)。グラム・シュミットは基底を直交化する手順。過剰決定系 `Ax=b` の最小二乗解は正規方程式 `AᵀAx=Aᵀb` で求まる(検算5で `x=4` が誤差2乗和最小であることを確認)。

 

---

 

## 第六章: 特異値分解 SVD(水準六)

 

### `A = UΣVᵀ` — どんな行列も「回転・伸縮・回転」に分解できる

 

ここまでの固有値・固有ベクトルの議論は、正方行列(行の数と列の数が等しい行列)を中心に進めてきた。しかし現実のデータは、行と列の数が異なる長方形の行列(たとえば「利用者の数×商品の数」の評価表)として現れることが多い。長方形の行列にも使える、より万能な分解法が**特異値分解**(とくいちぶんかい、水準六: 英語の Singular Value Decomposition の頭文字を取って SVD とも呼ばれる。どんな行列 `A` も `A = UΣVᵀ` という3つの行列の積に分解できるという定理)である。

 

```

A = UΣVᵀ

```

 

ここで `U` と `V` はどちらも**直交行列**(ちょっこうぎょうれつ、水準六: 列ベクトルどうしがすべて互いに直交し、かつ各列の長さが1である正方行列。回転や鏡映のような、長さや角度を保つ変形だけを表す)であり、`Σ`(シグマ、大文字)は対角線上にのみ非負の数——**特異値**(とくいち、水準六: 特異値分解に現れる、対角線上に並ぶ非負の数。行列がベクトルをどれだけ伸ばすかを表す)——が大きい順に並び、それ以外はすべて0になる行列である。

 

この分解が語っている幾何学的な意味は鮮やかである。**どんな行列による変形も、「回転(`Vᵀ`)→ 各座標軸方向への伸縮(`Σ`)→ 回転(`U`)」という3段階の単純な操作の組み合わせに分解できる**、ということだ。前章までの水槽の変形装置の喩えで言えば、水槽がどれほど複雑にひしゃげて見えても、その変形は必ず「まず回転させ、次に縦横だけを伸び縮みさせ、最後にもう一度回転させる」という3ステップに分解し尽くせる、という驚くべき事実をSVDは保証している。

 

対称行行列における固有値分解との関係にも触れておこう。対称行列の場合、スペクトル定理(前章)により実固有値と直交する固有ベクトルが保証されるため、`U=V`(固有ベクトルの行列)、`Σ` は固有値を絶対値の大きい順に並べた行列とすることで、固有値分解がSVDの特別な場合として得られる(概略:固有値が負の場合は符号の調整が必要になる)。この意味で、SVDは固有値分解を長方形の行列にも使えるように一般化した、より広い道具だと理解できる。

 

### 低ランク近似 — データ圧縮の心臓部

 

SVDの特異値は大きい順に並んでいるため、**最初のいくつかの特異値だけを残し、残りを0とみなして再構成する**ことで、元の行列 `A` に近い、しかし情報量がぐっと少ない行列を作ることができる。これを**低ランク近似**(ていランクきんじ、水準六: 行列を、より少ない特異値・固有ベクトルの組み合わせだけで近似的に再現する技術。**ランク**は行列が実質的に持つ独立な方向の本数を指す)と呼ぶ。

 

たとえば、ある写真を巨大な行列(各画素の明るさを成分とする表)として表現したとき、SVDによって特異値を大きい順に並べ、上位のわずかな個数だけを残して残りを切り捨てても、元の写真の大まかな見た目はほとんど保たれることが知られている。写真の細部を作っている情報の多くは、実は下位の(値の小さい)特異値にわずかしか宿っていないためである。この性質こそが、動画や画像、音声データを圧縮する技術の背後で働いている、SVDの最も実用的な御利益の1つである。多数の特異値を持つ複雑な行列も、上位のいくつかの「主要な変形の方向」さえ捉えれば、情報の大部分を再現できてしまう——これが低ランク近似が「データ圧縮の心臓部」と呼ばれる理由である。

 

休憩所⑥: SVD `A=UΣVᵀ` はどんな行列も「回転→伸縮→回転」に分解する万能の道具。対称行列では固有値分解の一般化にあたる。特異値の大きい順に上位だけ残す低ランク近似がデータ圧縮の土台になる。

 

---

 

## 第七章: 応用(水準六)

 

### 主成分分析(PCA)の直感 — 分散が最大の方向を探す

 

**主成分分析**(しゅせいぶんぶんせき、水準六: PCA=Principal Component Analysisとも呼ばれる。多数の変数を持つデータを、データのばらつき(分散)が最大になる少数の新しい方向(主成分)へと要約する手法)は、対称行列の固有値分解が実際のデータ解析でどう働くかを示す、代表的な応用例である。

 

データの各変数どうしの関係を表す**共分散行列**(きょうぶんさんぎょうれつ、水準六: 複数の変数それぞれのばらつき方と、変数どうしが一緒にどれだけ変動するかをまとめた対称行列)は、常に対称行列であり、かつ正定値(またはその境界にある半正定値)であることが知られている。主成分分析は、この共分散行列を固有値分解し、**固有値が最も大きい固有ベクトルの方向を「データが最もばらついている方向」=第一主成分として採用する**、という考え方に基づいている。第4章で確認したスペクトル定理により、共分散行列の固有ベクトルどうしは互いに直交するため、第一主成分と直交する方向の中から、次に分散が大きい方向を第二主成分として選ぶ、という具合に、互いに重なりのない「データの見晴らしのよい方向」を順に取り出していくことができる。前章のSVDの言葉で言い換えれば、主成分分析はデータ行列そのものにSVDを施し、特異値が大きい順に対応する方向を主成分として採用する手続きとしても実行できる(概略:データを平均0に調整した行列にSVDを施すと、右特異ベクトル `V` の列が主成分の方向に対応する)。

 

### グラフ・ネットワークの固有ベクトル中心性

 

固有値・固有ベクトルは、点と点のつながり(グラフ、ネットワーク)の解析にも応用される。ネットワーク上の各点(たとえばウェブページやSNSのアカウント)どうしのつながりを行列(**隣接行列**、りんせつぎょうれつ、水準六: ネットワーク上のどの点とどの点がつながっているかを、0と1(または重み)で表した行列)として表現したとき、この隣接行列の固有値・固有ベクトルを調べることで、「どの点が重要か」を測る**固有ベクトル中心性**(こゆうべくとるちゅうしんせい、水準六: ネットワーク上の各点の重要度を、その点につながっている他の点の重要度の合計に比例する値として定義し、隣接行列の固有ベクトルとして求める指標)という考え方が生まれる。この指標が語っているのは、「重要な点とつながっている点ほど、自分自身も重要になる」という再帰的な発想であり、この再帰的な関係をきれいに解きほぐす道具として固有値・固有ベクトルが使われている(詳しい計算の中身や、検索エンジンの順位付けとの関係は、さらに専門的な数値計算の話題になるため、ここでは考え方の紹介にとどめる)。

 

休憩所⑦: PCAは共分散行列(対称行列)を固有値分解し、分散最大の方向を主成分として採る。固有ベクトル中心性はネットワークの隣接行列の固有ベクトルで「重要な点」を測る、固有値分解の応用例。

 

---

 

## 第八章: まとめと次への一歩

 

本冊の旅を振り返ろう。行列を「ベクトルを移す写像」として読み直すところから出発し、`Av = λv` という式に込められた「向きを変えない特別な方向」——固有値・固有ベクトル——を特性方程式 `det(A-λI)=0` から掘り当てる技術を手に入れた。対称行列という特に行儀のよい行列には、実固有値と直交する固有ベクトルというスペクトル定理の恩恵があり、二次形式・正定値という言葉でその性質をさらに掘り下げた。直交性と正射影という道具を使えば、ぴったりとは解けない過剰決定系にも、正規方程式 `AᵀAx=Aᵀb` によって最良の近似解——最小二乗解——を与えることができる。そして最後に、あらゆる行列に使える万能の分解法である特異値分解 `A=UΣVᵀ` にたどりつき、その低ランク近似がデータ圧縮の心臓部として働くことを見た。

 

第1巻で「水槽ごと動かす」ことの便利さに驚いたところから、本冊では「その水槽(行列)自身がどんな性格を持っているか」を暴き出す一連の道具を手に入れたことになる。固有値は行列の「変えない方向」を教え、対称行列は「きれいに噛み合う方向」を保証し、SVDは「どんな行列も回転と伸縮の組み合わせに分解できる」という究極の見通しを与えてくれる。

 

この先には、本冊で見た理論を実際の巨大な行列に対して効率よく計算するための**数値線形代数**(大きな行列の固有値やSVDを、限られた計算資源の中でいかに精度よく高速に求めるかを追求する分野)と、本冊の終盤で覗き見たPCAやネットワーク解析をさらに掘り下げる**データ解析の応用**という、2つの大陸が広がっている。水槽を作り、動かし、その性格を見抜く技術を手に入れた読者にとって、次の一歩はきっと、その技術を実際の巨大なデータへとぶつけてみることになるだろう。

 

---

 

## 補章: 検算総覧(水準五〜六)

 

本冊で埋め込んだ検算を、ここで一覧にして振り返っておく。読者自身の手でもう一度なぞってみることを勧める。

 

1. 線形写像としての行列 `A=[2 0;0 3]` について `A(v+w)=Av+Aw` が `(8,9)=(8,9)` として一致することを確認。

2. 行列 `A=[4 1;2 3]` の固有値 `λ=2,5` とそれぞれの固有ベクトル `(1,-2)`、`(1,1)` について `Av=λv` の一致を確認。

3. 対称行列 `A=[3 1;1 3]` の固有ベクトル `(1,-1)`、`(1,1)` の内積が0となり、直交することを確認。

4. `w=(3,4)` の `v=(1,0)` 方向への正射影が `(3,0)` となることを確認。

5. 過剰決定系 `Ax=b`(`A=[1;1;1]`、`b=(2,4,6)`)の最小二乗解 `x=4` の誤差2乗和8が、隣接する `x=3,5` の誤差2乗和11より小さいことを確認。

 

## 用語集(水準つき)

線形写像(五)/基底(五)/固有値・固有ベクトル(四〜五)/特性方程式(五)/対角化(五)/対称行列(五)/スペクトル定理(六)/二次形式(六)/正定値(六)/直交(五)/正射影(五)/グラム・シュミットの直交化(六)/過剰決定系(六)/最小二乗法(六)/正規方程式(六)/特異値分解・特異値(六)/直交行列(六)/低ランク近似(六)/主成分分析(六)/共分散行列(六)/隣接行列(六)/固有ベクトル中心性(六)。

 

## 出典・系譜(§16.5準拠)

- 本文は外部サイトの文章を転載せず、確立した線形代数(固有値・固有ベクトル、対称行列とスペクトル定理、直交性と最小二乗法、特異値分解)の標準的な知識から自分の言葉で構成した。

- 数値検算(検算1〜5)はすべて自分で成分ごとに計算し、`Av=λv`・内積・正射影・誤差2乗和の一致をそれぞれ確認した。

- 「概略」と明記した箇所(正定値性と固有値の同値性の直感、正規方程式の導出、SVDと固有値分解の関係、PCAとSVDの関係)は、厳密な証明の全手続きではなく、成り立ちを直感的に理解するための要約であることを明示した。

- 前巻→BOOK-0071(線形代数 第1巻)の用語・記法・トーンを踏襲し、重複する基礎事項(ベクトルの基本演算・連立方程式・行列の積・行列式の定義そのもの)は第一章で要約するにとどめ、再執筆はしていない。

 




# BOOK-0120 線形代数 第2巻 — 固有値から特異値分解まで(数学派生 第2巻)
  1. 目次
  2. 小説情報
  3. 縦書き
  4. しおりを挟む
  5. お気に入り登録
  6. 評価
  7. 感想
  8. ここすき
  9. 誤字
  10. 閲覧設定