免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

機(jī)器學(xué)習(xí)，特別是它的子領(lǐng)域深度學(xué)習(xí)，近年來(lái)取得了很多驚人的進(jìn)展，其中一些重要的研究論文可能會(huì)達(dá)成讓數(shù)十億人使用的技術(shù)突破。這個(gè)領(lǐng)域的研究發(fā)展很快，為了幫助讀者了解這些最新、最重要的進(jìn)展，本文列舉了自2014年以來(lái)發(fā)表的機(jī)器學(xué)習(xí)領(lǐng)域的重要論文。

本文選擇的 Top 20 論文的標(biāo)準(zhǔn)來(lái)自三個(gè)學(xué)術(shù)來(lái)源的引用數(shù)據(jù)：scholar.google.com; academic.microsoft.com; 和 semanticscholar.org。由于各個(gè)來(lái)源的被引次數(shù)不一，我們采用的是略低于其余兩者的 academic.microsoft.com 的數(shù)字。

對(duì)每一篇論文，我們也給出了論文的發(fā)表年份，來(lái)自 semanticscholar.org 的 HIC（Highly Influential Citation）數(shù)值和 CV （引用速度）數(shù)值。HIC 通過(guò)檢查有意義的引用，體現(xiàn)了論文基于哪些文獻(xiàn)以及引用文獻(xiàn)之間的關(guān)聯(lián)性。CV是過(guò)去3年每年的加權(quán)平均引用次數(shù)。其中有些引用的 CV 為 0，表示該論文的引用是空白的，或者沒(méi)有顯示在 semanticscholar.org 網(wǎng)站上。

這20篇論文中的大部分，包括 top 8 的主題都是深度學(xué)習(xí)。不過(guò)，它們也具有很強(qiáng)的多樣性：只有一位作者（Yoshua Bengio）有2篇論文入選，而且這些論文發(fā)表的場(chǎng)合不一：CoRR (3), ECCV (3), IEEE CVPR (3), NIPS (2), ACM Comp Surveys, ICML, IEEE PAMI, IEEE TKDE, Information Fusion, Int. J. on Computers & EE, JMLR, KDD, 以及 Neural Networks。前兩篇論文的被引數(shù)遠(yuǎn)遠(yuǎn)高于其他論文。需要注意的是，第2篇論文是去年才發(fā)表的。閱讀（或回顧）它們有助于了解這些領(lǐng)域最新的進(jìn)展。

1. Dropout：一種防止神經(jīng)網(wǎng)絡(luò)模型過(guò)擬合的簡(jiǎn)單方法（Dropout: a simple way to prevent neural networks from overfitting）

作者：Hinton, G.E., Krizhevsky, A., Srivastava, N., Sutskever, I., & Salakhutdinov, R. (2014)

發(fā)表于：Journal of Machine Learning Research, 15, 1929-1958. 

被引：2084次， HIC: 142 , CV: 536

摘要：帶有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。但是，過(guò)擬合是這類網(wǎng)絡(luò)的一個(gè)嚴(yán)重問(wèn)題。大型網(wǎng)絡(luò)的采用速度慢，因此，難以通過(guò)在測(cè)試時(shí)結(jié)合各種不同大型神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)來(lái)處理過(guò)擬合問(wèn)題。Dropout 是解決這個(gè)問(wèn)題的一個(gè)方法。Dropout 的關(guān)鍵思想是，在訓(xùn)練期間隨機(jī)地從神經(jīng)網(wǎng)絡(luò)中放棄一些單元（連同它們的連接）。這樣可以防止單元過(guò)度適應(yīng)（co-adapting）。在訓(xùn)練期間，從指數(shù)數(shù)量不同的“變瘦”（thinned）網(wǎng)絡(luò)中刪除樣本。在測(cè)試時(shí)，通過(guò)使用具有較小權(quán)重的單個(gè)未連接網(wǎng)絡(luò)，可以很容易地近似平均所有這些變瘦網(wǎng)絡(luò)的預(yù)測(cè)效果。這顯著減輕了過(guò)擬合，并且為其他的正則化方法帶來(lái)重要改進(jìn)。我們的研究也表明，Dropout 方法提高了神經(jīng)網(wǎng)絡(luò)在視覺(jué)，語(yǔ)音識(shí)別，文檔分類和計(jì)算生物學(xué)等監(jiān)督學(xué)習(xí)任務(wù)上的性能，在許多基準(zhǔn)數(shù)據(jù)集上獲得了 state-of-the-art 的結(jié)果。

2. 圖像識(shí)別中的深度殘差學(xué)習(xí)（Deep Residual Learning for Image Recognition）

作者：He, K., Ren, S., Sun, J., & Zhang, X. (2016)

發(fā)表于：CoRR

被引：1436次， HIC: 137 , CV: 582

摘要：更深的神經(jīng)網(wǎng)絡(luò)非常難以訓(xùn)練。我們提出了一種殘差學(xué)習(xí)框架，讓訓(xùn)練比以往更深的網(wǎng)絡(luò)更為簡(jiǎn)單。我們明確地將層（layers）表示為與輸入層相關(guān)的學(xué)習(xí)殘差函數(shù)（learning residual functions），而不是學(xué)習(xí)未參照的函數(shù)。在大量的實(shí)驗(yàn)仿真基礎(chǔ)上，我們證實(shí)這張殘差網(wǎng)絡(luò)更易于優(yōu)化，并能通過(guò)增加層數(shù)獲得更高的準(zhǔn)確度。這種方法可用于圖像識(shí)別的各個(gè)方面（圖像分類，物體識(shí)別等）。

3 . Batch Normalization：通過(guò)減少內(nèi)部協(xié)變量轉(zhuǎn)變加速深度網(wǎng)絡(luò)訓(xùn)練 

作者：Sergey Ioffe, Christian Szegedy (2015)

發(fā)表于： ICML

被引： 946 次, HIC: 56 , CV: 0

摘要：訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性在于，由于前一層的參數(shù)變化，每層輸入的分布在訓(xùn)練過(guò)程中都會(huì)變化。這種現(xiàn)象被稱為內(nèi)部協(xié)變量的轉(zhuǎn)變（internal covariate shift），我們通過(guò)歸一化層的輸入（normalizing layer inputs）來(lái)解決這個(gè)問(wèn)題。應(yīng)用于最先進(jìn)的圖像分類模型，批量歸一化在減少了14倍的訓(xùn)練步驟的情況下實(shí)現(xiàn)了相同的精度，并且以顯著的余量擊敗原始模型。

4 . 用卷積神經(jīng)網(wǎng)絡(luò)做大規(guī)模視頻分類 

作者：Fei-Fei, L., Karpathy, A., Leung, T., Shetty, S., Sukthankar, R., & Toderici, G. (2014)

發(fā)表于： IEEE Conference on Computer Vision and Pattern Recognition

被引：865 次, HIC: 24 , CV: 239

摘要：卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像識(shí)別問(wèn)題中是相當(dāng)強(qiáng)大的模型。受這些結(jié)果的影響，我們使用一個(gè)包含487個(gè)類別100萬(wàn)YouTube視頻的新數(shù)據(jù)集，在大規(guī)模視頻分類任務(wù)上對(duì) CNN 進(jìn)行了廣泛的實(shí)證評(píng)估。

5.  Microsoft COCO：上下文中的通用對(duì)象

作者： Belongie, S.J., Dollár, P., Hays, J., Lin, T., Maire, M., Perona, P., Ramanan, D., & Zitnick, C.L. (2014)

發(fā)表于： ECCV

被引：830 次, HIC: 78 , CV: 279

摘要：我們提出一個(gè)新的數(shù)據(jù)集，其目標(biāo)是通過(guò)將對(duì)象識(shí)別的問(wèn)題放在更廣泛的場(chǎng)景理解問(wèn)題的上下文中來(lái)推進(jìn)物體識(shí)別的最先進(jìn)結(jié)果。我們的數(shù)據(jù)集包含91個(gè)對(duì)象類別的照片，這些類別一名4歲小孩也能夠輕松識(shí)別。最后，我們使用一個(gè)可變形部件模型（Deformable Parts Model）為邊界框檢測(cè)和分割檢測(cè)結(jié)果提供基線性能分析。

6. 使用Place數(shù)據(jù)集為場(chǎng)景識(shí)別學(xué)習(xí)深度特性

作者：Lapedriza, à., Oliva, A., Torralba, A., Xiao, J., & Zhou, B. (2014)

發(fā)表于：NIPS

被引：共引用644次，HIC：65，CV：0

摘要：我們推出了一個(gè)新的以場(chǎng)景為中心的數(shù)據(jù)庫(kù)，稱為“Place”，其帶有超過(guò)700萬(wàn)個(gè)標(biāo)注的場(chǎng)景圖片。 我們提出了比較圖像數(shù)據(jù)集的密度和多樣性的新方法，并表明“Place”的密度與其他場(chǎng)景數(shù)據(jù)集一樣，且具有更好的多樣性。

7. 生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Nets）

作者：Bengio, Y., Courville, A.C., Goodfellow, I.J., Mirza, M., Ozair, S., Pouget-Abadie, J., Warde-Farley, D., & Xu, B. (2014)

發(fā)表于： NIPS.

被引：共引用463次，HIC：55，CV：0

摘要：我們提出了一個(gè)通過(guò)對(duì)抗過(guò)程評(píng)估生成模型的新框架，其中我們同時(shí)訓(xùn)練兩個(gè)模型：捕獲數(shù)據(jù)分布的生成模型 G 和評(píng)估來(lái)自訓(xùn)練數(shù)據(jù)而非模型 G 的樣本概率的判別模型 D。

8.  內(nèi)核相關(guān)過(guò)濾器的高速跟蹤

作者：Batista, J., Caseiro, R., Henriques, J.F., & Martins, P. (2015).

發(fā)表于：CoRR, abs/1404.7584. 

被引：共引用439次，HIC：43，CV：0

摘要：在大多數(shù)現(xiàn)代追蹤器中，為了應(yīng)對(duì)自然圖像變化，分類器通常用翻譯和縮放的樣本補(bǔ)丁進(jìn)行訓(xùn)練。我們?yōu)閿?shù)千個(gè)翻譯補(bǔ)丁的數(shù)據(jù)集提出了一個(gè)分析模型。 通過(guò)顯示結(jié)果數(shù)據(jù)矩陣是循環(huán)的，我們可以用離散傅里葉變換將其 diagonalize，將存儲(chǔ)和計(jì)算減少幾個(gè)數(shù)量級(jí)。

9. 多標(biāo)簽學(xué)習(xí)算法綜述 

作者：Zhang, M., & Zhou, Z. (2014).

發(fā)表于： IEEE TKDE

被引：共引用436次，HIC：7，CV：91

摘要：本文旨在為多標(biāo)簽學(xué)習(xí)研究的問(wèn)題提供一個(gè)及時(shí)的綜述，其中每個(gè)樣本由單個(gè)實(shí)例表示，同時(shí)與一組標(biāo)簽相關(guān)聯(lián)。

10. 深度神經(jīng)網(wǎng)絡(luò)中，可轉(zhuǎn)移性如何被建構(gòu)特征

作者： Bengio, Y., Clune, J., Lipson, H., & Yosinski, J. (2014)

發(fā)表于：CoRR, abs/1411.1792. 

被引：402 次, HIC: 14 , CV: 0

摘要：許多在自然圖像上進(jìn)行訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)都展現(xiàn)出了一種奇怪的現(xiàn)象：在第一層，它們學(xué)習(xí)類似于Gabor濾鏡和彩色斑點(diǎn)的特征。

這樣的第一層特征顯然不是針對(duì)特定數(shù)據(jù)集或任務(wù)的，而是一般性的，因?yàn)樗鼈冞m用于許多數(shù)據(jù)集和任務(wù)。特征最終必須從網(wǎng)絡(luò)的最后一層由一般性轉(zhuǎn)變?yōu)閷Ｓ眯缘?，但這種轉(zhuǎn)變尚未得到深入研究。

我們對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的每一層中神經(jīng)元的一般性與特殊性實(shí)驗(yàn)性地進(jìn)行量化，并得到了一些令人意外的結(jié)果。兩大獨(dú)特的要素會(huì)削弱可遷移性：1）以犧牲目標(biāo)任務(wù)的性能為代價(jià)，將較高層神經(jīng)元與其原始任務(wù)進(jìn)行特殊化，這是預(yù)期的;（2）相互適應(yīng)的神經(jīng)元之間的分配網(wǎng)絡(luò)（splitting networks）存在優(yōu)化困難，這是沒(méi)有預(yù)料到的。

在一個(gè)基于ImageNet訓(xùn)練的網(wǎng)絡(luò)中，我們證明，是通用性在起作用和是專用性在起作用，取決于功能是從網(wǎng)絡(luò)的底部，中間或頂部傳輸。

我們還記錄了特征的可轉(zhuǎn)移性隨著基本任務(wù)和目標(biāo)任務(wù)之間的距離增加而減小，但即使從遠(yuǎn)程任務(wù)轉(zhuǎn)移過(guò)來(lái)的特征也可以比使用隨機(jī)特征更好。最終令人驚訝的結(jié)果是，啟動(dòng)一個(gè)從不管多少層的神經(jīng)網(wǎng)絡(luò)中遷移過(guò)來(lái)的特征的網(wǎng)絡(luò)，能夠獲得一個(gè)穩(wěn)定的基礎(chǔ)，來(lái)生成這種延續(xù)性，即便是根據(jù)目標(biāo)數(shù)據(jù)集進(jìn)行調(diào)參后依然如此。

11. 我們需要數(shù)百個(gè)分類器來(lái)解決現(xiàn)實(shí)世界的分類難題嗎？

作者： Amorim, D.G., Barro, S., Cernadas, E., & Delgado, M.F. (2014).  

發(fā)表于：Journal of Machine Learning Research 

被引：387 次, （HIC: 3 , CV: 0)

摘要：我們?cè)u(píng)估了17個(gè)派系的179個(gè)分類器，涉及判別分析，貝葉斯，神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)，決策樹(shù)，基于規(guī)則的分類器，boosting，bagging，堆疊，隨機(jī)森林和其他全體，廣義線性模型，最近鄰，部分最小二乘和主成分回歸，邏輯和多項(xiàng)回歸，多重自適應(yīng)回歸樣條等方法。我們使用來(lái)自UCI數(shù)據(jù)庫(kù)的121個(gè)數(shù)據(jù)集來(lái)研究分類器的作用，而不依賴于數(shù)據(jù)集集合。勝出的是R中實(shí)現(xiàn)的隨機(jī)森林（RF）版本，以及在C語(yǔ)言中使用LibSVM 的實(shí)現(xiàn)的帶高斯核的支持向量機(jī)。

12. 知識(shí)塔（knowledge Vault,）：實(shí)現(xiàn)概率知識(shí)融合的網(wǎng)頁(yè)擴(kuò)展方式  

作者：Dong, X., Gabrilovich, E., Heitz, G., Horn, W., Lao, N., Murphy, K., ... & Zhang, W. (2014, August).

發(fā)表于：ACM SIGKDDD

被引：334次，HIC: 7 , CV: 107

摘要：論文介紹了knowledge Vault, 這是一個(gè)基于網(wǎng)頁(yè)擴(kuò)展的概率知識(shí)庫(kù)，結(jié)合了從網(wǎng)頁(yè)上提取的內(nèi)容（通過(guò)文本分析、表格數(shù)據(jù)，頁(yè)面結(jié)構(gòu)和人工注釋獲得）以及已有知識(shí)庫(kù)中存在的既有知識(shí)。我們采用監(jiān)督機(jī)器學(xué)習(xí)方法來(lái)融合不同的信息源。Knowledge Vault i比任何先前發(fā)布的結(jié)構(gòu)化知識(shí)庫(kù)大得多，并且具有計(jì)算事實(shí)正確性校準(zhǔn)概率的概率推理系統(tǒng)。

13.  面向高維數(shù)據(jù)的可擴(kuò)展最近鄰算法

作者：Lowe, D.G., & Muja, M. (2014)

發(fā)表于：IEEE Trans. Pattern Anal. Mach. Intell.,

被引 324次，HIC: 11 , CV: 69

摘要：我們提出了用于近似最近鄰匹配的新算法，并將其與以前的算法進(jìn)行比較。為了擴(kuò)展到非常大的數(shù)據(jù)集，防止它們不適合單個(gè)機(jī)器的存儲(chǔ)器，我們提出了可以與本文中描述的任何算法一起使用的分布式最近鄰匹配框架。

14. 極限學(xué)習(xí)機(jī)趨勢(shì)：綜述

作者：黃廣斌，G., Song, S., & You, K. (2015).  

發(fā)表于：Neural Networks,

被引 323 次, HIC: 0 , CV: 0

摘要：我們的目標(biāo)是對(duì)極限學(xué)習(xí)機(jī)（ELM）當(dāng)下的理論研究和實(shí)踐進(jìn)展?fàn)顟B(tài)進(jìn)行報(bào)告。除了分類和回歸之外，ELM最近已經(jīng)擴(kuò)展到集群，功能選擇，代表性學(xué)習(xí)和許多其他學(xué)習(xí)任務(wù)。由于其卓越的效率，簡(jiǎn)單性和令人印象深刻的泛化性能，ELM已被應(yīng)用于各種領(lǐng)域，如生物醫(yī)學(xué)工程，計(jì)算機(jī)視覺(jué)，系統(tǒng)識(shí)別，控制和機(jī)器人。

15.  關(guān)于概念漂移適應(yīng)的調(diào)查

作者： Bifet, A., Bouchachia, A., Gama, J., Pechenizkiy, M., & Zliobaite, I.  ACM Comput. Surv., 2014

被引： 314 times, （HIC: 4 , CV: 23)

摘要：本研究目的在于對(duì)概念漂移適應(yīng)提供一個(gè)全面的介紹，涉及 當(dāng)輸入數(shù)據(jù)和目標(biāo)變量不斷改變時(shí)，監(jiān)督式學(xué)習(xí)的景象會(huì)發(fā)生什么變化。

16. 深度卷積激活特性的 Multi-scale Orderless Pooling

作者：Gong, Y., Guo, R., Lazebnik, S., & Wang, L. (2014).

發(fā)表于：ECCV

被引：293次， HIC: 23 , CV: 95

摘要：為了改善 CNN 激活的不變性而不降低其鑒別力，本文提出了一種簡(jiǎn)單但有效的方案，稱為multi-scale orderless pooling（MOP-CNN）。

17. 同時(shí)檢測(cè)和分類（Simultaneous Detection and Segmentation）

作者：Arbeláez, P.A., Girshick, R.B., Hariharan, B., & Malik, J. (2014)

發(fā)表于：ECCV

被引：共286次，HIC: 23 , CV: 94

摘要：我們的目標(biāo)是檢測(cè)圖像中類別的所有實(shí)例，并為每個(gè)實(shí)例標(biāo)記屬于它的像素。 我們稱這個(gè)任務(wù)為 Simultaneous Detection and Segmentation（SDS）。

18. 特征選擇方法研究

作者：Chandrashekar, G., & Sahin, F.  Int. J.

發(fā)表于：Computers & Electrical Engineering

被引：共279次，HIC: 1 , CV: 58

摘要：文中許多特征選擇方法是可用的，因?yàn)榫哂袛?shù)百個(gè)變量的數(shù)據(jù)的可用性導(dǎo)致數(shù)據(jù)具有非常高的維度。

19. 使用遞歸樹(shù)集合實(shí)現(xiàn)一毫秒內(nèi)的面部對(duì)齊

作者：Kazemi, Vahid, and Josephine Sullivan

發(fā)表于：Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2014

被引：共277次，HIC: 15 , CV: 0

摘要：本文解決了單個(gè)圖像的面部對(duì)齊（Face Alignment）問(wèn)題。 我們展示了如何使用遞歸樹(shù)的集合來(lái)直接從像素強(qiáng)度的稀疏子集估計(jì)面部的標(biāo)志性位置，通過(guò)高質(zhì)量的預(yù)測(cè)實(shí)現(xiàn)超實(shí)時(shí)性能。

20. 多分類器系統(tǒng)作為混合系統(tǒng)研究 

作者：Corchado, E., Gra?a, M., & Wozniak, M. (2014). 

發(fā)表于：Information Fusion, 16, 3-17. 

被引 269 次, HIC: 1 , CV: 22

摘要：目前模式分類研究的重點(diǎn)是將幾種分類器系統(tǒng)（classifier systems）組合，這樣的組合可以在相同或不同模型和/或數(shù)據(jù)集構(gòu)建方法之上建立。這些系統(tǒng)在不同的級(jí)別執(zhí)行分類決策的信息融合（ information fusion ），克服了基于單一分類器的傳統(tǒng)方法的局限性。本論文從混合智能系統(tǒng)（Hybrid Intelligent Systems）的角度，對(duì)多分類器系統(tǒng)（MCS）進(jìn)行了調(diào)查。本文討論了多樣性和決策融合方法等主要問(wèn)題，并提供了對(duì)目前正在開(kāi)發(fā)的應(yīng)用的看法。

論文下載地址

1. http://jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf

2.http://www.cvfoundation.org/openaccess/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf

3.http://jmlr.org/proceedings/papers/v37/ioffe15.pdf

4.http://www.cvfoundation.org/openaccess/content_cvpr_2014/papers/Karpathy_Large-scale_Video_Classification_2014_CVPR_paper.pdf

5.https://arxiv.org/pdf/1405.0312.pdf

6.http://places.csail.mit.edu/places_NIPS14.pdf

7.http://datascienceassn.org/sites/default/files/Generative%20Adversarial%20Nets.pdf

8.https://arxiv.org/pdf/1404.7584

9.http://doi.ieeecomputersociety.org/10.1109/TKDE.2013.39

10.http://papers.nips.cc/paper/5347-how-transferable-are-features-in-deep-neural-networks.pdf

11.http://jmlr.org/papers/volume15/delgado14a/delgado14a.pdf

12.http://www.cs.cmu.edu/~nlao/publication/2014.kdd.pdf

13.http://ieeexplore.ieee.org/document/6809191/

14.http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Suvey-Huang-Gao.pdf

15.http://www.win.tue.nl/~mpechen/publications/pubs/Gama_ACMCS_AdaptationCD_accepted.pdf

16.http://slazebni.cs.illinois.edu/publications/yunchao_eccv14_mopcnn.pdf

17.https://arxiv.org/pdf/1407.1808

18.http://www.serc.org.in/admin/pdffiles/2-vol3ijceit.pdf

19.http://www.cvfoundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf

20.http://romisatriawahono.net/lecture/dm/survey/Wozniak%20%20Multiple%20Classifier%20Systems%20-%202014.pdf

3月27日，新智元開(kāi)源·生態(tài)AI技術(shù)峰會(huì)暨新智元2017創(chuàng)業(yè)大賽頒獎(jiǎng)盛典隆重召開(kāi)，包括“BAT”在內(nèi)的中國(guó)主流 AI 公司、600多名行業(yè)精英齊聚，共同為2017中國(guó)人工智能的發(fā)展畫(huà)上了濃墨重彩的一筆。