本学期选修了学校自动化学院的张绍武教授《模式识别》课程。此为期末总结时候的复习总结。此篇主要包含了一些数学常识与基础。

Chapter 0 数学基础

0.1 行列式与线性方程组

解行列式:

按行 (列) 展开计算
化为三角行列式计算

det (A)

解线性方程组:

$\left\{\begin {array}{c}{a_{11} x_{1}+a_{12} x_{2}+\cdots+a_{1 n} x_{n}=b_{1}} \\ {a_{21} x_{1}+a_{22} x_{2}+\cdots+a_{2 n} x_{n}=b_{2}} \\ {\ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots} \\ {a_{n 1} x_{1}+a_{n 2} x_{2}+\cdots+a_{n n} x_{n}=b_{n}}\end {array}\right.$

若系数行列式 $\mathrm {D}=\left|a_{i j}\right| \neq 0$ , 则方程组存在唯一解

$x_{1}=\frac {D_{1}}{D}, x_{2}=\frac {D_{2}}{D}, \cdots, x_{n}=\frac {D_{n}}{D}$
若为齐次方程组 ( $b=0$ ), 有非零解的充要条件是 $\mathrm {D}=\left|a_{i j}\right|=0$

0.2 矩阵

$A_{m \times n}=\left [a_{i j}\right]_{m} \times_{\mathrm {n}}$

方阵:

$m=n$

对角阵:

$\wedge=\operatorname {diag}\left (a_{11}, a_{22}, \ldots, a_{n n}\right)$

1	`diag (A)`

单位阵:

$E=\operatorname {diag}(1,1, \dots, 1)$

eye (n)
```上三角与下三角阵: (TODO)```matlab
triu (A)
tril (A)

0.3 矩阵运算

矩阵乘法 C=AB:

$c_{i j}=\sum_{k} a_{i k} b_{k j}$

矩阵的转置:

$\mathrm {A}=\left (\mathrm {a}_{i j}\right), \mathrm {A}^{\prime}=\mathrm {A}^{\mathrm {T}}=\left (\mathrm {a}_{j i}\right)$

对称方阵:

$\mathrm {A}^{\prime}=\mathrm {A}, 即 \mathrm {a}_{i j}=\mathrm {a}_{j i}$

方阵的行列式性质:

如果 $|\mathrm {A}| \neq 0$ , $A$ 称为非奇异阵，否则为奇异阵.
$\left|A^{\prime}\right|=|A|, \quad|A B|=|A||B|$

逆矩阵:

如果 $AB = BA = E$ , 则称 $A$ 可逆， $B$ 为 $A$ 的逆.

方阵 $A$ 可逆的充要条件为

$|\mathrm {A}| \neq 0$

1	`B = inv (A)`

0.4 分块矩阵及其运算

用横线和竖线把矩阵分成若干小块，每个小块为一个矩阵，它可以作为一个元素参加运算。

$\left [\begin {array}{ccccc}{1} & {0} & {\vdots} & {1} & {0} \\ {0} & {1} & {\vdots} & {0} & {1} \\ {\cdots} & {\cdots} & {\vdots} & {\cdots} & {\cdots} \\ {0} & {0} & {\vdots} & {1} & {2} \\ {0} & {0} & {\vdots} & {2} & {1}\end {array}\right] = \left [\begin {array}{ll}{E_{2}} & {E_{2}} \\ {O} & {B_{22}}\end {array}\right]$

分块对角阵 (TODO):

$|\mathrm {A}|=\left|\mathrm {A}_{11}\right|\left|\mathrm {A}_{22}\right| \ldots\left|\mathrm {A}_{\mathrm {rr}}\right|$

1 2	`A = blkdiag (A11, A22, ..., Arr) A11 = A (1:m, 1:n)`

0.5 向量

n 维向量:

$\mathbf {x}=\left (x_{1}, x_{2}, \ldots, x_{n}\right)^{\mathrm {T}}$

线性相关与线性无关:

设有 n 维向量组: $\mathbf {x}_{1}, \mathbf {x}_{2}, \dots, \mathbf {x}_{\mathrm {m}}$ , 如果只有当 $k_{1}=k_{2}=\ldots=k_{\mathrm {m}}=0$ 时，才能使得下式成立，则称该向量组线性无关，否则则称线性相关.

$k_{1} \mathbf {x}_{1}+k_{2} \mathbf {x}_{2}+\cdots+k_{m} \mathbf {x}_{m}=0$

m 个 n 维的向量的矩阵表示:

$\mathrm {A}=\left (\mathbf {a}_{1}, \mathbf {a}_{2}, \ldots, \mathbf {a}_{\mathrm {m}}\right)$

n 个 n 维向量: $\boldsymbol {a}_{i}=\left (\mathbf {a}_{\mathbf {i} 1}, \mathbf {a}_{\mathbf {i} 2}, \ldots, \mathbf {a}_{\mathbf {i n}}\right)^{\mathrm {T}}$ 线性无关的充要条件是

$| \mathrm {A}\mathrm | \neq 0$

0.6 向量 (二)

若满足下式，则称 A 可以由向量组 B 线性表示:

$A=\left (a_{1}, a_{2}, \dots, a_{m}\right)=\left (b_{1}, b_{2}, \dots, b_{m}\right) C= BC$

向量组的秩：(TODO)

$\operatorname {rank}(\mathrm {A})=\mathrm {nor}(A 的最大线性无关组)$

向量组 $\alpha_1, \alpha_2 ... \alpha_s$ 线性无关等价于 $\operatorname {rank}(\mathrm {\alpha_1, \alpha_2 ... \alpha_s}) = s$
等价的向量组具有相同的秩
任意 n+1 个 n 维向量线性相关

向量的内积:

$(\mathbf {x}, \mathbf {y})=\sum_{i=1}^{n} x_{i} y_{i}=\mathbf {x}^{T} \mathbf {y}$

向量的模 (范数 / 长度):

$|\mathbf {x}|=\sqrt {\mathbf {x}^{T} \mathbf {x}}$

两点的距离:

$d\left (\mathbf {x}_{1}, \mathbf {x}_{2}\right)=\left|\mathbf {x}_{2}-\mathbf {x}_{1}\right|=\sqrt {\left (\mathbf {x}_{2}-\mathbf {x}_{1}\right)^{T}\left (\mathbf {x}_{2}-\mathbf {x}_{1}\right)}$

两个向量的夹角:

$\theta=<\mathbf {x}_{1}, \mathbf {x}_{2}>=\arccos \frac {\mathbf {x}_{1}^{T} \mathbf {x}_{2}}{\left|\mathbf {x}_{1}\right|\left|\mathbf {x}_{2}\right|}$

0.7 向量 (三)

两个向量正交:

$(\mathbf {x}, \mathbf {y})=0, \cos (\theta)=0$

若非零的 n 维向量 $\mathbf {x}_{1}, \mathbf {x}_{2}, \dots, \mathbf {x}_{\mathrm {m}}$ 两两正交，则称为 正交向量组. 正交向量组队的性质:

正交向量组线性无关
若 n 维向量 y 可以由正交向量组 $\mathbf {x}_{1}, \mathbf {x}_{2}, \dots, \mathbf {x}_{\mathrm {m}}$ 线性表示，则

$\mathbf {y}=\frac {\mathbf {y}^{T} \mathbf {x}_{1}}{\mathbf {x}_{1}^{T} \mathbf {x}_{1}} \mathbf {x}_{1}+\frac {\mathbf {y}^{T} \mathbf {x}_{2}}{\mathbf {x}_{2}^{T} \mathbf {x}_{2}} \mathbf {x}_{2}+\cdots+\frac {\mathbf {y}^{T} \mathbf {X}_{m}}{\mathbf {x}_{m}^{T} \mathbf {x}_{m}} \mathbf {x}_{m}$

0.8 向量 (四)

向量空间:

对加法和乘法运算均封闭的非空向量集合称为一个向量空间.

向量空间 $V$ 的基：向量空间的任一向量都可以由线性无关的向量组 $a_{1}, a_{2}, \dots, a_{r}$ 线性表示，则称向量组 $a_{1}, a_{2}, \dots, a_{r}$ 为 $V$ 的基， $\operatorname {dim} \mathrm {V}=\mathrm {r}$

向量空间 $V$ 中的任意一个向量 $z$ 可由它的基唯一线性表示，有序组 $\left (x_{1}, x_{2}, \ldots, x_{r}\right)$ 称为向量 $z$ 在该基下的坐标.

$z=x_{1} \mathbf {a}_{1}+x_{2} \mathbf {a}_{2}+\ldots+x_{r} \mathbf {a}_{r}$

基变换与坐标变换:

$\left (\beta_{1} \beta_{2} \ldots \beta_{r}\right)=\left (\alpha_{1} \alpha_{2} \ldots a_{r}\right) C$

0.9 矩阵的特征值与特征向量

方阵 A 的特征值 $\lambda$ 与特征向量 $\alpha$ :

$\mathrm {A}{\alpha}=\lambda {\alpha}$

设 α 是方阵 A 的属于特征值 λ 的特征向量，则 $kα$ 也是 A 的属于特征值 λ 的特征向量.
方阵 A 的两个不同特征值所对应的特征向量是线性无关的

方阵 $A$ 的特征矩阵 $A-λE$ 和特征多项式 $|A-λE|$ 和特征多项式 $|A-λE|$ .

仿真 $A$ 的特征方程:

$|A-\lambda E|=0$

特征方程 $|A-\lambda E|=0$ 的解 $\lambda$ 为方阵 $A$ 的特征值，方程 $(\mathrm {A}-\lambda \mathrm {E}) \mathrm {x}=0$ 的非零解向量就是方阵 $A$ 的属于特征值 $\lambda$ 的特征向量.

0.10 相似矩阵

如果存在可逆方阵 $P$ , 使 $P^{-1} A P=B$ , 则称 A 与 B 相似，记作 $A \sim B$

相似关系具有反身，对称，传递性.
相似矩阵有相同的行列式，即 $|\mathrm {A}|=|\mathrm {B}|$
相似矩阵有相同的特征多项式及特征值

n 阶方阵 $A$ 与对角矩阵 $\wedge$ 相似的充要条件是 $A$ 有 n 个线性无关的特征向量.

如果 $\mathrm {A} \sim \wedge$ , 即有

$\mathrm {P}^{-1} \mathrm {AP}=\wedge=\operatorname {diag}\left (\mathrm {d}_{1}, \mathrm {d}_{2}, \ldots, \mathrm {d}_{\mathrm {n}}\right)$

, 则 $\mathrm {d}_{1}, \mathrm {d}_{2}, \ldots, \mathrm {d}_{\mathrm {n}}$ 是 $A$ 的 $n$ 个特征值.

实对称矩阵:(TODO)

如果有 n 阶矩阵 A, 其矩阵的元素都为实数，且矩阵 A 的转置等于其本身 ( $a_{ij} = a_{ji}$ )(i,j 为元素的脚标), 则称 A 为实对称矩阵

特征值为实数，特征向量为实向量
两个相异的特征值对应的特征向量正交
n 阶实对称方阵 $A$ 有 n 个线性无关的特征向量
n 阶实对称方阵 $A$ 与对角矩阵相似，即 n 阶实对称矩阵 A 必可对角化，且相似对角阵上的元素即为矩阵本身特征值

0.11 正交矩阵

正交矩阵 $A$ , 有 $A A^{\prime}=E$ , 即 $A^{-1}=A^{\prime}$

正交矩阵 $A, B$ 的乘积 $AB$ 仍为正交矩阵
正交矩阵 $A$ 的行列式 $|\mathrm {A}|=1$

正交矩阵 $A$ 的行 (列) 向量组为正交单位向量组，即:

$\left (\begin {array}{c}{\boldsymbol {a}_{1}} \\ {\boldsymbol {a}_{2}} \\ {\vdots} \\ {\boldsymbol {a}_{n}}\end {array}\right)\left (\boldsymbol {a}_{1}^{\prime}, \boldsymbol {a}_{2}^{\prime}, \cdots, \boldsymbol {a}_{n}^{\prime}\right)=E$

$\boldsymbol {a}_{i} \boldsymbol {a}_{j}^{T}=\delta_{i j}$

若 $A$ 为实对称矩阵，则一定存在 正交矩阵 $P$ , 使得 $P^{-1} A P=\wedge$ , $\wedge$ 是以 $A$ 的特征值为对角元素的对角矩阵.

0.12 二次型

二次齐次函数：

$f\left (x_{1}, x_{2}, \cdots, x_{n}\right)=\sum_{i=1}^{n} a_{i j} x_{i} x_{j}, a_{i j}=a_{j i}$

记 $\mathbf {x}=\left (x_{1}, x_{2}, \ldots x_{n}\right)^{\top}$ , $A=\left (a_{i j}\right)_{n^{*} n}$ , 则有

$f\left (x_{1}, x_{2}, \cdots, x_{n}\right)=\mathbf {x}^{\prime} A \mathbf {x}$

二次型 $f$ 与对称矩阵 $A$ 存在一一对应: $A$ 为二次型 $f$ 的矩阵， $f$ 为矩阵 $A$ 的二次型.

$A=\wedge$ 时为标准二次型 (只含平方项)

对于任何二次型，总可以找到正交变换将 $f$ 化为标准型

$f\left (x_{1}, x_{2}, \cdots, x_{n}\right)=\mathbf {x}^{\prime} \mathbf {A} \mathbf {x}$

$\mathbf {x}=C \mathbf {y}$

$\wedge=C^{\prime} A C$

$f=\mathbf {y}^{\prime} \wedge \mathbf {y}=\lambda_{1} y_{1}^{2}+\lambda_{2} y_{2}^{2}+\cdots \lambda_{n} y_{n}^{2}$

0.13 正定二次型和正定矩阵

二次型 $f\left (\mathrm {x}_{1}, \mathrm {x}_{2}, \dots, \mathrm {x}_{n}\right)$ , 如果对于任何 $\mathrm {x}_{1}^{2}+\mathrm {x}_{2}^{2}+\ldots+\mathrm {x}_{n}^{2} \neq 0$ , 都有 $f>0$ , 则称 $f$ 为正定二次型。其矩阵 $A$ 为正定矩阵 ( $A>0$ ).

n 阶方阵 $A$ 正定的充要条件是: A 的 n 个特征值全为正数.

n 阶方阵 $A$ , 若存在可逆矩阵 $B$ , 使得 $A=B^{\prime} B$ , 则 $A$ 为正定矩阵.

意义 (TODO)

0.14 多元随机变量的统计特征

ｎ维随机变量:

$\mathbf {x}=\left [x_{1}, x_{2}, \ldots, x_{n}\right]^{\mathrm {T}}$

n 维随机变量的 (总体) 均值:

$\boldsymbol {\mu}=\mathrm {E}(\mathbf {x})=\int_{\mathbf {x}} \mathbf {x} p (\mathbf {x}) d \mathbf {x}$

n 维随机变量的 (样本) 均值:

$\hat {\boldsymbol {\mu}}=\frac {1}{N} \sum_{i=1}^{N} \mathbf {x}_{i}$

n 维随机变量的 (总体) 相关函数矩阵：(TODO)

$\mathrm {R}(\mathbf {x})=\left [r_{i j}\right]=\left [\mathrm {E}\left\{x_{i} x_{j}\right\}\right]=\mathrm {E}\left\{\mathbf {x} \mathbf {x}^{T}\right\}$

n 维随机变量的 (样本) 相关函数矩阵:

$\hat {\mathrm {R}}(\mathbf {x})=\frac {1}{N} \sum_{i=1}^{N} \mathbf {x}_{i} \mathbf {x}_{i}^{T}$

n 维随机变量的 (总体) 协方差矩阵:

$\mathrm {C}(\mathbf {x})=\left [c_{i j}\right]=\left [\mathrm {E}\left\{\left (x_{i}-\mu_{i}\right)\left (x_{j}-\mu_{j}\right)\right\}\right]=\mathrm {E}\left\{(\mathbf {x}-\boldsymbol {\mu})(\mathbf {x}-\boldsymbol {\mu})^{T}\right\}$

n 维随机变量的 (样本) 协方差矩阵:

$\hat {\mathrm {C}}(\mathbf {x})=\frac {1}{N} \sum_{i=1}^{N}\left (\mathbf {x}_{i}-\boldsymbol {\mu}_{i}\right)\left (\mathbf {x}_{i}-\boldsymbol {\mu}_{i}\right)^{T}$

0.15 n 维随机变量协方差矩阵的性质

ｎ维随机变量的协方差矩阵 $C$ 是实对称矩阵

协方差矩阵 $C$ 的特征值为实数
$C$ 有 $n$ 个线性无关的特征向量
存在正交矩阵 $U$ , 使得 $\mathrm {U}^{-1} \mathrm {CU}=\mathrm {U}^{\mathrm {T}} \mathrm {CU}=\wedge$ , $\wedge$ 是以 $C$ 的特征值为对角元素的对角矩阵，$$
\mathrm {U}=\left [\mathbf {u}{1}, \mathbf {u}{2}, \ldots, \mathbf {u}{\mathrm {n}}\right], \quad \mathrm {C} \mathbf {u}{\mathrm {i}}=\lambda_{\mathrm {i}} \mathbf {u}_{\mathrm {i}}

准则函数: $J (\mathbf {a})$

最优化问题: $\mathbf {a}^{*}=\underset {\mathbf {a}}{\operatorname {argmin}} J (\mathbf {a})$

求解方法: $\mathbf {a}^{*}$ 应满足方程:

$\nabla J (\mathbf {a})=\left [\begin {array}{cc}{\frac {\partial J}{\partial a_{1}}} & {\frac {\partial J}{\partial a_{2}}} & {\cdots} & {\frac {\partial J}{\partial a_{n}}}\end {array}\right]^{T}=0$

沿梯度的负方向改变 $\mathbf {a}$ , 函数会很快达到极小点，梯度趋于 0. 故迭代算法为:

$\mathbf {a}_{k+1}=\mathbf {a}_{k}-\eta \nabla J (\mathbf {a})$

流程图:

graph TB;
A ("选择初始点 a_0, 给定容许误差 ε, 设定学习率 η. 设 k=0")-->B ["计算梯度▽J (a_k)"];
B-->C ["修改 a_k: a_k+1 = a_k - η▽J (a_k)"];
C-->D {"计算 J (a_k+1), 并检验 | J (a_k+1)-J (a_k)|<ε"};
D--No-->E>"k=k+1"];
E-->B;
D--Yes-->F ["输出结果"]
F-->G ("结束")

Reference: 西北工业大学自动化学院张绍武教授《模式识别》课程 PPT

模式识别

Pattern-Recognition Math

本博客所有文章除特别声明外，均采用 CC BY-SA 4.0 协议，转载请注明出处！联系作者。

模式识别入门（一） - 模式识别概论 Previous

使用 Autoware 进行双目相机与激光雷达的联合标定 Next

模式识别入门（零） - 线性代数与概率论数学基础