高維數(shù)據(jù)非負(fù)矩陣分解方法
本書從算法框架入手，建立系列非負(fù)矩陣分解模型的抽象數(shù)學(xué)模型，即非負(fù)塊配準(zhǔn)模型，從統(tǒng)一的角度分析現(xiàn)有的非負(fù)矩陣分解模型，并用以開發(fā)新的非負(fù)矩陣分解模型。根據(jù)非負(fù)塊配準(zhǔn)模型的分析，本書提出非負(fù)判別局部塊配準(zhǔn)模型，克服了經(jīng)典非負(fù)矩陣分解模型的缺點(diǎn)，提高了非負(fù)矩陣分解模型的分類性能。為了克服經(jīng)典非負(fù)矩陣分解的優(yōu)化算法收斂速度慢的缺點(diǎn)，本書提出在線搜索中利用牛頓法快速搜索步長(zhǎng)，提出非負(fù)塊配準(zhǔn)的快速梯度下降算法。為了克服經(jīng)典非負(fù)最小二乘問(wèn)題的求解算法的缺點(diǎn)，本書利用最優(yōu)梯度法在無(wú)需線搜索的情況下以二階收斂速度求解非負(fù)最小二乘問(wèn)題，提出非負(fù)矩陣分解的高效求解算法。在此基礎(chǔ)上提出非負(fù)矩陣分解的高效求解算法，并開發(fā)非負(fù)塊配準(zhǔn)的最優(yōu)梯度法。為了克服經(jīng)典優(yōu)化算法應(yīng)用于流數(shù)據(jù)處理時(shí)計(jì)算開銷過(guò)大的缺點(diǎn)，本書提出非負(fù)矩陣分解在線優(yōu)化算法，利用魯棒隨機(jī)近似算法更新基矩陣，提出在線算法，提高在線優(yōu)化算法的魯棒性。本書結(jié)合非負(fù)矩陣分解的低秩表示特性和殘差矩陣的稀疏特性，指出曼哈頓非負(fù)矩陣分解模型可以有效地抑制數(shù)據(jù)中的噪音和野值，并指出其與低秩和稀疏矩陣分解模型的等價(jià)關(guān)系。本書提出高效優(yōu)化算法求解模型，即秩一殘差迭代算法和加速梯度下降算法，前者將模型求解問(wèn)題分解成若干加權(quán)中值問(wèn)題并用快速算法求解，后者將模型求解問(wèn)題分解成若干非負(fù)最小一乘問(wèn)題并用平滑技術(shù)將其目標(biāo)函數(shù)近似為可微函數(shù)，然后利用最優(yōu)梯度法進(jìn)行求解。
·11萬(wàn)字
