另一方面，正是在連接主義學(xué)習(xí)技術(shù)的局限性凸顯之后，人們才把目光轉(zhuǎn)向了以統(tǒng)計(jì)學(xué)習(xí)理論為直接支撐的統(tǒng)計(jì)學(xué)習(xí)技術(shù)，事實(shí)上，統(tǒng)計(jì)學(xué)習(xí)與連接主義學(xué)習(xí)有密切的聯(lián)系，在支持向量機(jī)被普遍接受后，核技巧(kernel trick)被人們用到了機(jī)器學(xué)習(xí)的幾乎每一個角落，核方法也逐漸成為機(jī)器學(xué)習(xí)的基本內(nèi)容之一．有趣的是，二十一世紀(jì)初，連接主義學(xué)習(xí)又卷土重來，掀起了以“深度學(xué)習(xí)”為名的熱潮．所謂深度學(xué)習(xí)，狹義地說就是“很多層”的神經(jīng)網(wǎng)絡(luò)，在若干測試和競賽上，，尤其是涉及語音、圖像等復(fù)雜對象的應(yīng)用中，深度學(xué)習(xí)技術(shù)取得了優(yōu)越性能．以往機(jī)器學(xué)習(xí)技術(shù)在應(yīng)用中要取得好性能，對使用者的要求較高；而深度學(xué)習(xí)技術(shù)涉及的模型復(fù)雜度非常高，以至于只要下工夫“調(diào)參”，把參數(shù)調(diào)節(jié)好，性能往往就好，因此，深度學(xué)習(xí)雖缺乏嚴(yán)格的理論基礎(chǔ)，但它顯著降低了機(jī)器學(xué)習(xí)應(yīng)用者的門檻，為機(jī)器學(xué)習(xí)技術(shù)走向工程實(shí)踐帶來了便利．那么，它為什么此時才熱起來呢？有兩個基本原因：數(shù)據(jù)大了、計(jì)算能力強(qiáng)了，深度學(xué)習(xí)模型擁有大量參數(shù)，若數(shù)據(jù)樣本少，則很容易“過擬合”；如此復(fù)雜的模型、如此大的數(shù)據(jù)樣本，若缺乏強(qiáng)力計(jì)算設(shè)備，根本無法求解．恰由于人類進(jìn)入了“大數(shù)據(jù)時代”，數(shù)據(jù)儲量與計(jì)算設(shè)備都有了大發(fā)展，才使得連接主義學(xué)習(xí)技術(shù)煥發(fā)又一春．有趣的是，神經(jīng)網(wǎng)絡(luò)在二十世紀(jì)八十年代中期走紅，與當(dāng)時Intel x86系列微處理器與內(nèi)存條技術(shù)的廣泛應(yīng)用所造成的計(jì)算能力、數(shù)據(jù)訪存效率比七十年代有顯著提高不無關(guān)聯(lián)，深度學(xué)習(xí)此時的狀況，與彼時的神經(jīng)網(wǎng)絡(luò)何其相似，需說明的是，機(jī)器學(xué)習(xí)現(xiàn)在已經(jīng)發(fā)展成為一個相當(dāng)大的學(xué)科領(lǐng)域，本節(jié)僅是管中窺豹，很多重要技術(shù)都沒有談及，耐心的讀者在讀完本書后會有更全面的了解．?