IC693MDL645LT 第一個(gè)深度神經(jīng)網(wǎng)絡(luò)，其主要特點(diǎn)包括：
使用ReLU作為激活函數(shù)；
提出在全連接層使用Dropout避免過擬合。注：當(dāng)BN提出后，Dropout就被BN替代了；
由于GPU顯存太小，使用了兩個(gè)GPU，做法是在通道上分組；。
使用局部響應(yīng)歸一化(Local Response Normalization --LRN)，在生物中存在側(cè)抑制現(xiàn)象，即被激活的神經(jīng)元會抑制周圍的神經(jīng)元。在這里的目的是讓局部響應(yīng)值大的變得相對更大，并抑制其它響應(yīng)值相對比較小的卷積核。例如，某特征在這一個(gè)卷積核中響應(yīng)值比較大，則在其它相鄰卷積核中響應(yīng)值會被抑制，這樣一來卷積核之間的相關(guān)性會變小。LRN結(jié)合ReLU，使得模型提高了一點(diǎn)多個(gè)百分點(diǎn)；
IC693MDL645LT
IC693MDL645LT
豫公網(wǎng)安備41010502000017號 
