3.4.1　基本模型

從一般意義上考慮，當存在一組觀測數據Y=［y₁，y₂，…，y_n，…，y_N］，其中y_n∈?D是一個觀測向量，X=［x₁，x₂，…，x_n，…，x_N］表示Y對應的一組隱變量，其中x_n∈?q（q≤D）是與y_n∈?D對應的隱變量時，可以利用概率框架為兩者建立一種從隱變量空間到觀測空間的映射，表示為[6]：

y_n=g（x_n；W）+η_n，y

（3-20）

其中，W是映射函數g的一組參數，η_n，y∈?D代表噪聲，并假設其服從均值為零的高斯分布，，β-1為噪聲方差。這種模型稱為一般意義上的隱變量模型。

由于q≤D，隱變量的維度小于觀測向量，因此可以利用隱變量模型進行數據降維。它能夠過濾樣本間誤差及個體差異，被廣泛應用于模式識別、機器學習等領域[4]。

在具體應用時，為便于計算，可以考慮利用一組基函數的線性組合來表示函數g：

其中，?_i為一組基函數，W=［w₁，w₂，…］是基函數的投影矩陣，w_i∈?D。

對于式（3-21），假設W的每一個行向量都服從高斯分布，，即從所有的隱變量到觀測變量的每一維建立映射時，給每個映射都賦予一個高斯過程先驗，則觀測數據Y第d行向量Y_d，:的似然函數可以表示為[7]

其中，K_Y為核矩陣，Θ是與K_Y相關的參數集，K_Y中的元素由核函數（K_Y）_i，j=k（x_i，x_j）定義，其計算公式為

其中，δ_x，x′為Kronecker δ函數，即x=x′時，δ的值為1，x≠x′時，δ的值為0。

從式（3-23）可以看出，基函數的選擇與核函數形式密切相關，例如，當基函數選擇為線性時，即?_i（x）=x，核函數的形式變為

k（x，x′）=xTx′+β-1δ_x，x′

（3-24）

還可以通過選擇合適的基函數，使核函數變為徑向基函數（Radial Basis Function，RBF）形式：

其中，θ₁，θ₂，β₁和β₂是RBF中的參數。

隱變量模型有一個很重要的性質是條件獨立，即在給定隱變量的時候，觀測變量的各維之間是獨立的，因此觀測數據的似然概率可以表示為各維似然概率的乘積[7]：

以上建立的隱變量模型由于從低維的隱空間到高維的觀測空間的映射是一個高斯過程，因此稱為高斯過程隱變量模型（GPLVM）[8]。GPLVM的一個顯著特征就是利用核函數可以把線性降維拓展到非線性，因此模型精度更高，而且可以處理小樣本的高維數據。