深度學(xué)習(xí)要另起爐灶，徹底拋棄反向傳播？
在深度學(xué)習(xí)才開(kāi)始流行但是沒(méi)有像如今這么成熟的時(shí)候（2011年），Hinton等人就已經(jīng)開(kāi)始思考一個(gè)問(wèn)題：深度學(xué)習(xí)依賴的反向傳播算法（back-prop）在生物學(xué)上是很難成立的，很難相信神經(jīng)系統(tǒng)能夠自動(dòng)形成與正向傳播對(duì)應(yīng)的反向傳播結(jié)構(gòu)（這需要精準(zhǔn)地求導(dǎo)數(shù)，對(duì)矩陣轉(zhuǎn)置，利用鏈?zhǔn)椒▌t，并且解剖學(xué)上從來(lái)也沒(méi)有發(fā)現(xiàn)這樣的系統(tǒng)存在的證據(jù)）。
另外一點(diǎn)是，神經(jīng)系統(tǒng)是有分層的（比如視覺(jué)系統(tǒng)有V1,V2等等分層），但是層數(shù)不可能像現(xiàn)在的大型神經(jīng)網(wǎng)絡(luò)一樣動(dòng)不動(dòng)就成百上千層（而且生物學(xué)上也不支持如此，神經(jīng)傳導(dǎo)速度很慢，不像用GPU計(jì)算神經(jīng)網(wǎng)絡(luò)一層可能在微秒量級(jí)，生物系統(tǒng)傳導(dǎo)一次一般在ms量級(jí)，這么多層數(shù)不可能支持我們現(xiàn)在這樣的反應(yīng)速度，并且同步也存在問(wèn)題）。
但是有趣的是，目前大多數(shù)研究指出，大腦皮層中普遍存在一種稱為Corticalminicolumn的柱狀結(jié)構(gòu)，庫(kù)卡機(jī)器人驅(qū)動(dòng)器維修，其內(nèi)部含有上百個(gè)神經(jīng)元，并存在分層。這意味著人腦中的一層并不是類似現(xiàn)在神經(jīng)網(wǎng)絡(luò)的一層，而是有復(fù)雜的內(nèi)部結(jié)構(gòu)。
不過(guò)Hinton也沒(méi)有料到后來(lái)CNN發(fā)展的如此火，他當(dāng)時(shí)的這篇論文沒(méi)有怎么受到關(guān)注。這幾年他也沒(méi)有繼續(xù)關(guān)注這個(gè)問(wèn)題，因?yàn)镃NN，LSTM,NTM等等問(wèn)題太多太有趣。
不過(guò)到現(xiàn)在，CNN的發(fā)展似乎到了一個(gè)瓶頸：特別大，特別深的網(wǎng)絡(luò)；容易被對(duì)抗樣本欺騙；仍然需要大量訓(xùn)練數(shù)據(jù)；無(wú)監(jiān)督學(xué)習(xí)方面進(jìn)展很少。
Hinton在題主給的視頻中重新分析了一下目前CNN的問(wèn)題，主要集中在Pooling方面（我認(rèn)為可以推廣到下采樣，因?yàn)楝F(xiàn)在很多CNN用卷積下采樣代替Pooling層）。Hinton認(rèn)為，過(guò)去人們對(duì)Pooling的看法是能夠帶來(lái)invariance的效果，也就是當(dāng)內(nèi)容發(fā)生很小的變化的時(shí)候（以及一些平移旋轉(zhuǎn)），CNN仍然能夠穩(wěn)定識(shí)別對(duì)應(yīng)內(nèi)容。
Hinton覺(jué)得這是一個(gè)錯(cuò)誤的方向。他給出了一個(gè)心理學(xué)實(shí)驗(yàn)的例子，這個(gè)例子要求判斷兩個(gè)R是否是一樣的，僅僅因?yàn)樾D(zhuǎn)導(dǎo)致不同：
（幾乎所有）人的做法是下意識(shí)的旋轉(zhuǎn)左側(cè)的R，看它們是否重合。
但是按照CNN的invariance的想法完全不是這么做。如果你對(duì)訓(xùn)練神經(jīng)網(wǎng)絡(luò)有經(jīng)驗(yàn)，你可能會(huì)想到我們?cè)谧鰣D像預(yù)處理和數(shù)據(jù)拓增的時(shí)候，會(huì)把某些圖片旋轉(zhuǎn)一些角度，作為新的樣本，給神經(jīng)網(wǎng)絡(luò)識(shí)別。這樣CNN能夠做到對(duì)旋轉(zhuǎn)的invarience，并且是直覺(jué)上的invariance，根本不需要像人那樣去旋轉(zhuǎn)圖片，它直接就忽視了旋轉(zhuǎn)，因?yàn)槲覀兿Ｍ鼘?duì)旋轉(zhuǎn)invariance。
CNN同樣強(qiáng)調(diào)對(duì)空間的invariance，也就是對(duì)物體的平移之類的不敏感（物體不同的位置不影響它的識(shí)別）。這當(dāng)然極大地提高了識(shí)別正確率，但是對(duì)于移動(dòng)的數(shù)據(jù)（比如視頻），或者我們需要檢測(cè)物體具體的位置的時(shí)候，CNN本身很難做，機(jī)器人維修，需要一些滑動(dòng)窗口，或者R-CNN之類的方法，這些方法很反常（幾乎肯定在生物學(xué)中不存在對(duì)應(yīng)結(jié)構(gòu)），而且極難解釋為什么大腦在識(shí)別靜態(tài)圖像和觀察運(yùn)動(dòng)場(chǎng)景等差異很大的視覺(jué)功能時(shí)，幾乎使用同一套視覺(jué)系統(tǒng)。
因此Hinton認(rèn)為，人腦做到的是equivariance，也就是能夠檢測(cè)到平移、選轉(zhuǎn)等等各種差異，但是能夠認(rèn)識(shí)到他們?cè)谀承┮曈X(jué)問(wèn)題場(chǎng)景下是相同的，某些場(chǎng)景下應(yīng)該有所區(qū)別，而不是像CNN一樣為了追求單一的識(shí)別率，用invariance掩蓋這些差異。
于是Hinton重新開(kāi)始關(guān)注Capsules的問(wèn)題，希望從中有所突破，解決之前深度學(xué)習(xí)中的很多問(wèn)題。如果確實(shí)能夠解決這些問(wèn)題，Hinton有勇氣完全拋棄之前的體系結(jié)構(gòu)，從0開(kāi)始。
這是Hinton最近被NIPS接受的關(guān)于Capsules論文DynamicRoutingbetweenCapsules（未發(fā)表）。其在MNIST上非常成功，識(shí)別率達(dá)到了新高，同時(shí)解決了CNN難以識(shí)別重疊圖像等問(wèn)題。
注：上文中equivalence改為了equivariance，這是更準(zhǔn)確的說(shuō)法
一些分析
雖然現(xiàn)在只有論文摘要，以及Hinton最近的視頻，我們還是可以分析一下Hinton的想法和追求：
可解釋性。
按照Hinton的說(shuō)法，Capsule是一組神經(jīng)元，這組神經(jīng)元的激發(fā)向量可以代表對(duì)應(yīng)于一類實(shí)體（比如一個(gè)物體，或者一個(gè)物體的部件）的實(shí)例參數(shù)（instantiationparameters）。這個(gè)說(shuō)法非常像Hinton曾經(jīng)提的專家積（ProductsofExperts）[1]的概念，他用這個(gè)概念解釋著名的對(duì)比散度（contrastivedivergence）算法[2]。更為人熟知的是AndrewY.Ng的關(guān)于自動(dòng)從視頻中識(shí)別貓臉的實(shí)驗(yàn)[3]，這些實(shí)驗(yàn)都暗示了某個(gè)神經(jīng)元可以代表代表某些物體實(shí)例（祖母細(xì)胞假說(shuō)）。但是我們知道，某個(gè)神經(jīng)元自身是個(gè)簡(jiǎn)單的數(shù)學(xué)變換，其自身不能起到?jīng)Q定性的作用。CNN等能夠自動(dòng)抽取圖像特征等等性質(zhì)已經(jīng)為人熟知，但是到底是哪些神經(jīng)元或者哪些結(jié)構(gòu)起了作用？這個(gè)很難回答。現(xiàn)代大多數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是相對(duì)整體且比較粗糙的，很難解釋其內(nèi)部的具體作用機(jī)制，因此我們常常把神經(jīng)網(wǎng)絡(luò)稱為黑盒模型。現(xiàn)在有了Capsule后，我們或許可以以Capsule為單位分析得出每個(gè)Capsule具體的作用，這樣可解釋性要強(qiáng)很多。
注：從視頻中看Hinton所說(shuō)的instantiationparameters應(yīng)該是指表征以下內(nèi)容的參數(shù)：
1.某類物體出現(xiàn)的概率
2.物體的一般姿態(tài)（generalizedpose），包括位置，方向，尺寸，速度，庫(kù)卡機(jī)器人何服電機(jī)維修，顏色等等
因果性。
這是Hinton在視頻中重點(diǎn)提到的，也是很多機(jī)器學(xué)習(xí)專家關(guān)心的東西。現(xiàn)在的神經(jīng)網(wǎng)絡(luò)缺乏某種推斷的機(jī)制，更多是目標(biāo)函數(shù)最大化下的函數(shù)擬合。我們知道網(wǎng)絡(luò)能夠正確分類某個(gè)圖片，但是為什么？圖片中什么部分或者條件才導(dǎo)致網(wǎng)絡(luò)得出這個(gè)結(jié)論？如果分類出錯(cuò)了，又是什么具體的部分或者條件誤導(dǎo)了它？這些我們都不是非常清楚，大部分時(shí)候僅僅靠調(diào)參提高結(jié)果。而論文中DynamicRouting，就是希望能夠形成一種機(jī)制，讓網(wǎng)絡(luò)能夠?qū)⑦m合Capsule_A處理的內(nèi)容，路由到Capsule_A讓其處理。這樣就形成了某種推斷鏈。找到最好的（處理）路徑等價(jià)于（正確）處理了圖像，Hinton這樣解釋。
Hinton指出，原先的Pooling，類似于靜態(tài)的routing，僅僅把上面的結(jié)果原地交給下面一層的神經(jīng)元。（下面圖片中DynamicRouting僅供示意，具體實(shí)現(xiàn)要看發(fā)表出來(lái)的論文）
無(wú)監(jiān)督學(xué)習(xí)。
這點(diǎn)也是Hinton強(qiáng)調(diào)的（原話似乎是Ahumandoesnotknowsomuchlabels）。Hinton估計(jì)有在Capsule基礎(chǔ)上做無(wú)監(jiān)督研究的意向，在之前的[4]中Hinton已經(jīng)用Capsule實(shí)現(xiàn)了自編碼器。
如何看待Hinton重新提出的Capsule?
首先這個(gè)工作成功或者不成功都是很正常的，就算Capsule真的會(huì)成為以后的趨勢(shì)，Hinton也未必這么快找到正確的訓(xùn)練算法；就算Hinton找到了正確的訓(xùn)練算法，也沒(méi)有人能夠保證，Capsules的數(shù)量不到人腦中mini-columns數(shù)量的時(shí)候，能夠起達(dá)到人類的識(shí)別率（何況現(xiàn)在CNN雖然問(wèn)題很多，但是識(shí)別率很多已經(jīng)超過(guò)人類了）。