多元回归分析MSA的第一节,介绍其所用到的基本的矩阵知识。如果读者熟悉相关结论的话可以跳过

对于方阵,其迹定义为对角线的元素和,即

其有如下性质

其中第五条性质是第四条的直接推论。而第六条则给出了一个求矩阵所有元素平方和的一个方法。

谱分解

对于的对称阵,其谱分解为

其中的第个特征值,为对应的归一化后的特征向量

为方便记,我们记。不难证明有,且

1
2
3
4
5
A <- matrix(c(13,-4,2,-4,13,-2,2,-2,10), nrow=3)
Lambda <- diag(eigen(A)$values)
P <- eigen(A)$vectors
B <- P %*% Lambda %*% t(P)
max(abs(A-B)) # 3.552714e-15

正定

如果的对称阵对于一切的向量均有,则称矩阵为半正定的。如果等号成立当且仅当,则称其为正定的。

利用谱分解很容易证明,如果所有的是半正定的,而所有的是正定的。

矩阵的平方根

如果的对称正定阵,我们记其平方根矩阵为,其中

不难验证也为对称正定阵,且

事实上,上述做法对于其他次幂也是成立的。一个特殊的情况就是次幂——也就是矩阵的逆,读者可以自行验证。

1
2
3
4
A.root <- P %*% sqrt(Lambda) %*% t(P)
max(abs(A-A.root %*% A.root)) # 3.552714e-15
A.inv <- P %*% diag(1/eigen(A)$values) %*% t(P)
max(abs(solve(A) - A.inv)) # 8.326673e-17

奇异值分解

对于的实矩阵,存在一个的正交阵和一个的正交阵,使得。在的矩阵中,仅“对角线”元素,其余均为0,。通常我们将其从大到小排列。

奇异值分解也可写作对一个秩为的实矩阵的分解。此时存在个正数正交向量正交向量,使得。其中,

事实上,有特征值-特征向量对,且这些特征值中只有个大于0,其余皆等于0。
同样的,有特征值-特征向量对,且这些特征值中只有个大于0,其余皆等于0。
“共用”一个特征值的有关系

如何记忆?由,立得即可知有如上关系。

例子

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
M <- matrix(c(3,-1,1,3,1,1), nrow=2)
eigen(M %*% t(M))$values # 12 10
round(eigen(t(M) %*% M)$values) # 12 10 0
U <- eigen(M %*% t(M))$vectors
V <- -eigen(t(M) %*% M)$vectors
Lambda <- matrix(c(sqrt(12),0,0,sqrt(10),0,0),nrow=2)
M.1 <- U %*% Lambda %*% t(V)
U.2 <- U
V.2 <- V[1:3,1:2]
Lambda.2 <- diag(c(sqrt(12), sqrt(10)))
M.2 <- U.2 %*% Lambda.2 %*% t(V.2)
max(abs(M - M.1)) # 7.771561e-16
max(abs(M - M.2)) # 7.771561e-16
max(abs(t(M) %*% U[,1] - sqrt(12) * V[,1])) # 4.440892e-16

奇异值分解的一大应用就是使用一个低秩矩阵尽可能好地逼近原矩阵。而在最小二乘的意义上(对应元素相减后求平方和),SVD是最优的。即

阶实矩阵(),有奇异值分解。记的秩,对于任意,在所有的秩小于等于矩阵中,逼近的平方误差最小,为

显然,当,否则时上式最小。也就是说

时最小,也就是

随机向量

当向量/矩阵的元素为随机变量时,我们称其为随机向量/矩阵。随机向量/矩阵的期望即为对向量/矩阵的各元素求期望后得到的向量/矩阵。

的随机向量,其均值向量为

协方差阵为

做变换得到相关矩阵

并记标准差矩阵为。容易证明有如下关系

1
2
3
Sigma=A
V.root = diag(sqrt(diag(Sigma)))
rho = solve(V.root) %*% Sigma %*% solve(V.root)

现在我们考虑随机向量的线性组合。考虑个随机变量个线性组合

或记为

可以证明


矩阵不等式和极大化

Cauchy-Schwarz不等式

读者对柯西不等式应该并不陌生。中学数学里最广为人知的形式就是。修过微积分的读者应该也知道积分形式的柯西不等式。而这里我们用到的则是矩阵形式的柯西不等式。感兴趣的读者可以深入思考几种形式间的内在关联。

内容

对于任意两个向量,有

证明

的情形是平凡的。此外,考察向量,其中为任意标量。由于长度非负,有

凑完全平方,有

由于为任意标量,取即证得原不等式。且等号成立当且仅当

广义Cauchy-Schwarz不等式

对上式做了一个微小的推广使其更加有用

内容

对于任意两个向量对称正定阵,有

证明

注意到

然后套用柯西不等式即得证。

极大化引理

有了广义Cauchy-Schwarz不等式,立得极大化引理

内容

对于给定的对称正定阵向量p\times 1\boldsymbol{x}$有

且当是取得该上界

证明

注意到是一个正标量。在广义Cauchy-Schwarz不等式的基础上同时除以这个正标量即得。

单位球面上的点的二次型的极大化

这提供了特征值的一个解释

内容

的半正定矩阵,其特征值,对应的特征向量为。则

且上式的取等条件均为对应的特征向量。

证明

我们首先将归一化,因为其不改变我们考察的的值。

先令。则

将分子的均放缩为即证得前两式。以第一式为例,等号成立当且仅当。注意到。故

现在考察式三。注意。由于,这意味着对于,有

因此我们的极大化目标变为

显然此时最大值为,取等条件为