大數(shù)據(jù)文摘作品

作者：小魚、土豆

《深度學(xué)習(xí)》(花書)作者Ian Goodfellow今早連發(fā)了10條推特，細(xì)數(shù)了他最喜歡的兩個機(jī)器學(xué)習(xí)“黑魔法”。他在著名的GAN論文中使用這兩個小竅門推導(dǎo)了公式。

最后，他還不忘操心大家的學(xué)習(xí)，推薦了一本關(guān)于凸優(yōu)化的書。當(dāng)然，更詳盡的操作還是要去看Goodfellow本人的《深度學(xué)習(xí)》。文摘菌給大家搭配了斯坦福的一門MOOC，一起學(xué)習(xí)風(fēng)味更佳~拉至文末查看喔~

Goodfellow稱，這是關(guān)于機(jī)器學(xué)習(xí)，他最喜歡的兩個快速理解理論推導(dǎo)的“黑魔法”。

感興趣的同學(xué)在大數(shù)據(jù)文摘后臺回復(fù)“goodfellow”可獲取GAN論文和《凸優(yōu)化》。

以下是Ian Goodfellow推特內(nèi)容：

很多時候，我們用代數(shù)或微積分來分析神經(jīng)網(wǎng)絡(luò)的最優(yōu)行為。想實現(xiàn)一些函數(shù)的權(quán)重衰減或許可以用代數(shù)方法實現(xiàn)，但想要用代數(shù)方法解決神經(jīng)網(wǎng)絡(luò)中大多數(shù)函數(shù)的參數(shù)優(yōu)化問題就有些過于復(fù)雜。

為了得到一個不太復(fù)雜的模型，常見的方法就是使用線性模型，因為線性模型能很好的解決凸優(yōu)化問題。但線性模型又過于簡單，其模型效果遠(yuǎn)不及神經(jīng)網(wǎng)絡(luò)。

黑魔法1：將神經(jīng)網(wǎng)絡(luò)視為一個任意函數(shù)，因此可以在同一空間優(yōu)化所有的函數(shù)f，而不是特定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)theta。與使用參數(shù)和特定結(jié)構(gòu)模型相比，這種方法非常簡潔。

將神經(jīng)網(wǎng)絡(luò)視為一個函數(shù)，保留了線性模型的諸多優(yōu)點：多種凸函數(shù)問題。例如，分類器的交叉熵?fù)p失在函數(shù)空間中就是一個凸優(yōu)化問題。

這個假設(shè)并不準(zhǔn)確，特別是與線性模型相比。但是根據(jù)通用逼近定理，神經(jīng)網(wǎng)絡(luò)可以較好地近似任意函數(shù)。

黑魔法2：如果你在同一空間優(yōu)化所有函數(shù)時遇到困難，可以將函數(shù)想象成一個高維向量的分量。此時，關(guān)于R^n中x的評估函數(shù)f(x)，就變成了在一個向量中查找f_x，其中x是對分量的索引。