第一節 線性代數基礎

一、向量和矩陣

（一）標量

標量（Scalar）是一個單獨的數，它通常使用小寫的斜體變量進行表示。標量有明確的類型，例如實數標量x∈R和自然數標量n∈N。

（二）向量

向量（Vector）是一列有序排列的數，它通常使用小寫的黑斜體變量進行表示。通過向量次序中的索引可以確定每個單獨的數，例如x1表示向量x中的第一個元素，第二個元素可以表示為x2。向量中的元素需要有明確的類型，例如由n個實數組成的向量可以表示為x=(x1,x2,…,xn)T，且x∈Rn。當向量x中的n個元素滿足時，該向量稱為“單位向量”（Unit Vector）。若長度相同的兩個向量x和y的點積為0，即x·y=x1y1+x2y2+…+xnyn=0，則稱x和y正交（Orthogonal）。

（三）矩陣

矩陣（Matrix）是一個二維數組，它通常使用大寫的粗體變量進行表示。一個高為m、寬為n的實數矩陣記為A∈Rm×n，Ai,:表示矩陣A的第i個行向量，A:,j表示矩陣A的第j個列向量，ai,j表示矩陣A的第i行和第j列相交的元素。一個兩行兩列的矩陣可以表示為

當矩陣的長和寬相等時，該矩陣為方陣（Square Matrix）。除主對角線以外的元素均為0的矩陣稱為對角矩陣（Diagonal Matrix）。主對角線上的元素均為1的對角矩陣稱為單位矩陣（Identity Matrix），通常用I或E來表示。若一個矩陣中的元素以主對角線為軸能夠對稱，即滿足ai,j=aj,i，該矩陣稱為對稱矩陣（Symmetric Matrix）。當矩陣的行向量和列向量均為正交的單位向量時，該矩陣稱為正交矩陣（Orthogonal Matrix）。

（四）張量

張量（Tensor）是坐標超過兩維的數組。例如，一個三維張量中坐標為(i,j,k)的元素可以表示為ai,j,k。

（五）范數

范數（Norm）在機器學習中有重要的作用，它能夠衡量向量或矩陣的大小，并滿足非負性、齊次性和三角不等式。向量x的Lp范數可以表示為

式中，p∈R，且p≥1。此外，單位向量是L2范數為1的向量，也稱該向量具有單位范數（Unit Norm）。

矩陣A的Frobenius范數可以表示為

二、向量和矩陣運算

（一）矩陣的轉置、行列式、逆運算與跡運算

1.轉置

轉置（Transpose）是將矩陣以主對角線為軸進行翻轉。矩陣A的轉置矩陣記為AT，假設A和AT中元素分別為ai,j和bi,j，則有ai,j=bj,i。

2.行列式

行列式（Determinant）是將方陣A映射到實數的函數，記為det（A）。行列式能夠描述線性變換對矩陣空間大小的影響。方陣A的行列式可通過以下方式計算：

式中，Mij為方陣A的代數余子式。

3.逆運算

方陣A的逆（Inverse）記作A-1，且滿足AA-1=I。當A可逆時，有：

式中，A?為矩陣A的伴隨矩陣，由A中各元素的代數余子式構成。

若A為正交矩陣，即ATA=AAT=I，則有A-1=AT。

4.跡運算

跡（Trace）是矩陣主對角線上的元素之和，記為。矩陣的跡運算有以下性質：

（二）矩陣和向量相乘

若矩陣A的形狀為m×n，矩陣B的形狀為n×p，則矩陣A和B相乘能夠得到形狀為m×p的矩陣C，即C=A×B。矩陣乘法操作可定義為

兩個相同長度的向量x和y的點積可以看作矩陣相乘xyT。矩陣乘法有以下性質：

（三）矩陣和向量求導

矩陣和向量的導數有以下常用的運算規則：

矩陣的跡運算的導數有以下常用運算規則：

三、矩陣分解

（一）特征分解

特征分解（Eigendecomposition）能夠將矩陣分解為一組特征向量（Eigenvector）和特征值（Eigenvalue），是使用最廣的矩陣分解之一。對非零向量u進行線性變換（與A相乘）后，u只發生放縮變換，則稱u為A的特征向量，即

其中λ為該特征向量對應的特征值。

假設方陣A有n個線性無關且正交的特征向量{u1,u2,…,un}，其對應的特征值為{λ1,λ2,…,λn}。令正交矩陣U=（u1,u2,…,un），對角矩陣Λ=diag(λ1,λ2,…,λn)，方陣A的特征分解可以表示為

若A為實對稱矩陣，有

方陣A的所有特征值均為正數時稱為正定，所有特征值均為負數時稱為負定，所有特征值均為非負數時稱為半正定。

（二）奇異值分解

當矩陣A為奇異矩陣時，需要使用奇異值分解（Singular Value Decomposition，SVD）進行矩陣分解。每個實數矩陣都可以進行奇異值分解，但不一定能夠進行特征分解，因此奇異值分解的應用更加廣泛。與特征分解類似，奇異值分解能夠將形狀為m×n的矩陣A分解為三個矩陣的乘積：

式中，U是一個形狀為m×m的正交矩陣，其列向量稱為左奇異向量（Left Singular Vector），它能夠通過求解實對陣矩陣AAT=UΣVTVΣTUT=UΣΣTUT的特征向量得到。類似地，V是一個形狀為n×n的正交矩陣，其列向量稱為右奇異向量（Right Singular Vector），它能夠通過求解實對陣矩陣ATA=VΣTUTUΣVT=VΣTΣVT的特征向量得到。Σ是一個形狀為m×n的對角矩陣，其對角線上的非零元素稱為矩陣A的奇異值（Singular Value），同時也是AAT和ATA特征值的平方根。