2.1　矩陣代數(shù)的相關(guān)知識(shí)

2.1.1　特征值與特征向量

令，，若標(biāo)量λ和非零向量e滿足方程

則稱λ是矩陣A的特征值，e是與λ對(duì)應(yīng)的特征向量。特征值與特征向量總是成對(duì)出現(xiàn)，稱(λ,e)為矩陣A的特征對(duì)，特征值可能為零，但是特征向量一定非零。

2.1.2　廣義特征值與廣義特征向量

令，，若標(biāo)量λ和非零向量e滿足方程

則稱λ是矩陣A相對(duì)于矩陣B的廣義特征值，e是與λ對(duì)應(yīng)的廣義特征向量。如果矩陣B非滿秩，那么λ可以是任意值（包括零）。當(dāng)矩陣B為單位陣時(shí)，式（2-2）就稱為普通的特征值問(wèn)題，因此式（2-2）可以看成對(duì)普通特征值問(wèn)題的推廣。

2.1.3　矩陣的奇異值分解

對(duì)于復(fù)矩陣，稱的n個(gè)特征根的算術(shù)根（i=1,2,…,n）為A的奇異值。若記，其中是A的全部非零奇異值，則稱m×n矩陣為A的奇異值矩陣。

奇異值分解定理：對(duì)于m×m維矩陣A，則分別存在一個(gè)m×n維酉矩陣U和一個(gè)n×n維酉矩陣V，使得

其中，上標(biāo)H表示矩陣的共軛轉(zhuǎn)置。

2.1.4　Toeplitz矩陣

定義：具有2n-1個(gè)元素的n階矩陣

稱為Toeplitz矩陣，簡(jiǎn)稱T矩陣。

T矩陣也可簡(jiǎn)記為

式中，記號(hào)中的“1”和“n”表示矩陣A元素的下標(biāo)，i,j=1,2,…,n。T矩陣完全由第1行和第1列的2n-1個(gè)元素確定。可見(jiàn)，Toeplitz矩陣中位于任意一條平行于主對(duì)角線的元素全都是相等的，且關(guān)于副對(duì)角線對(duì)稱。

2.1.5　Hankel矩陣

定義：具有以下形式的n+1階矩陣

稱為Hankel矩陣或正交對(duì)稱矩陣（Orthosymmetric Matrix）。

可見(jiàn)，Hankel矩陣完全由其第1行和第n列的2n+1個(gè)元素確定。其中，所有垂直于主對(duì)角線的直線上有相同的元素。

2.1.6　Vandermonde矩陣

定義：具有以下形式的m×n階矩陣

稱為Vandermonde矩陣。如果ai≠aj，那么V(a1,a2,…,an)是非奇異的。

2.1.7　Hermitian矩陣

如果矩陣An×n滿足

則A稱為Hermitian矩陣。Hermitian矩陣有以下主要性質(zhì)：

（1）所有特征值都是實(shí)數(shù)。

（2）對(duì)應(yīng)于不同特征值的特征向量相互正交。

（3）Hermitian矩陣可分解為的形式，這一分解稱為譜定理，也就是矩陣A的特征值分解定理，其中，是由特征向量構(gòu)成的酉矩陣[1]。

2.1.8　Kronecker乘積

定義：p×q矩陣A和m×n矩陣B的Kronecker乘積記作A?B，它是一個(gè)pm×qn矩陣，定義為

Kronecker乘積有一個(gè)重要的性質(zhì)，即：，，，以下等式成立：

其中，vec(·)為向量化算子，，且vec(A)具有如下形式：

Kronecker乘積具有如下性質(zhì)：

2.1.9　Khatri-Rao乘積

考慮兩個(gè)矩陣A（I×F）和B（J×F），它們的Khatri-Rao乘積A⊙B為一個(gè)IJ×F維矩陣，其定義為

其中，aF為A的第f列，bF為B的第f列，即Khatri-Rao乘積是列向量的Kronecker乘積。

Khatri-Rao乘積具有如下性質(zhì)：

令，Khatri-Rao乘積具有如下性質(zhì)：

其中，unvec(·)是矩陣化算子，它是vec(·)的逆運(yùn)算，具有以下形式：

而diag(x)表示一個(gè)對(duì)角矩陣，其元素為向量x中的元素。

2.1.10　Hadamard乘積

矩陣和的Hadamard乘積定義為

2.1.11　向量化

通常，張量和矩陣用向量來(lái)表示比較方便，定義矩陣的向量化為[1,2]

式中，vec算子用于將矩陣Y的所有列堆積成一個(gè)向量；重塑（reshape）是向量化的逆函數(shù)，它將一個(gè)向量轉(zhuǎn)化成一個(gè)矩陣。例如，可定義為（使用MATLAB表示法并類似于MATLAB中的reshape函數(shù)）：

類似地，定義張量的向量化為相應(yīng)的模展開(kāi)矩陣。例如，三階張量的向量化可寫成如下形式：

vec算子的基本性質(zhì)包括：