【好書(shū)推薦】Don’t use deep learning your data isn’t that big?正反雙方撕起來(lái)了

yejia80550708

獲獎(jiǎng)公布：

本次獲得獎(jiǎng)勵(lì)的童鞋有：tree_fox   william_djj   lbseraph  nail78  fenyun689

請(qǐng)以上5位的童鞋在11月30日前將姓名、電話、郵箱、公司、職務(wù)、快遞地址站短給  yejia80550708

會(huì)盡快寄技術(shù)圖書(shū)《深度學(xué)習(xí)優(yōu)化與識(shí)別》(焦李成) 給大家







爭(zhēng)論，隨時(shí)可能爆發(fā)。

比方當(dāng)你看到一篇名為（Don’t use deep learning your data isn’t that big）的博客時(shí)。

作者Jeff Leek在這篇博客中指出，深度學(xué)習(xí)已經(jīng)進(jìn)入一定程度的狂熱狀態(tài)，人們正試圖用這個(gè)技術(shù)解決每一個(gè)問(wèn)題。但真正的挑戰(zhàn)在于：“只有極少數(shù)情況下有足夠的數(shù)據(jù)進(jìn)行深度學(xué)習(xí)”，不是每家都有科技巨頭的數(shù)據(jù)。

深度學(xué)習(xí)與更簡(jiǎn)單的模型相比，優(yōu)點(diǎn)在于有足夠的數(shù)據(jù)來(lái)調(diào)整大量的參數(shù)，博主建議當(dāng)數(shù)據(jù)集不是那么大的時(shí)候，應(yīng)該采用一些更簡(jiǎn)單、更可解釋的辦法，而且不用擔(dān)心過(guò)擬合等問(wèn)題。

Leek這篇文章火了不到一周，哈佛大學(xué)藥學(xué)院的生物醫(yī)藥信息學(xué)專業(yè)博士后Andrew Beam寫(xiě)了篇文章來(lái)反駁：《就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)》。

Beam開(kāi)篇就說(shuō)，之前Jeff Leek那篇文章看得他有點(diǎn)不爽。核心論點(diǎn)他大致同意，他也不覺(jué)得深度學(xué)習(xí)是萬(wàn)能良藥。但是，你確定深度學(xué)習(xí)在數(shù)據(jù)量不足100的時(shí)候效果不好是因?yàn)檫^(guò)擬合？怎么看都是因?yàn)槟Ｐ蜎](méi)調(diào)好啊……

有人舉例說(shuō)明，有人現(xiàn)身說(shuō)法。討論甚至從數(shù)據(jù)大小，一直延伸到各種深度學(xué)習(xí)方法的比較，乃至應(yīng)用領(lǐng)域等。

傳送門：Jeff Leak的文章：

https://simplystatistics.org/2017/05/31/deeplearning-vs-leekasso/

Andrew Beam的文章：

http://beamandrew.github.io/deeplearning/2017/06/04/deep_learning_works.html

Andrew Beam的代碼：

https://github.com/beamandrew/deep_learning_works

     

    話題背景：

     隨著研究的不斷深入，后深度學(xué)習(xí)時(shí)代已經(jīng)超越了目前機(jī)器學(xué)習(xí)模型的神經(jīng)科學(xué)觀點(diǎn)，學(xué)習(xí)多層次、多通道組合的這一設(shè)計(jì)原則更加具有吸引力。深度學(xué)習(xí)是人工智能領(lǐng)域最能體現(xiàn)智能的一個(gè)分支，在未來(lái)，它將會(huì)不斷出現(xiàn)激動(dòng)人心的理論進(jìn)展和應(yīng)用實(shí)踐，深刻影響我們生活的方方面面。

    話題討論：

1．?dāng)?shù)據(jù)不夠大，別玩深度學(xué)習(xí)？還是就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)。

2．深度學(xué)習(xí)中，訓(xùn)練模型需要多少數(shù)據(jù)？應(yīng)該如何發(fā)掘這些數(shù)據(jù)？

3．深度學(xué)習(xí)對(duì)無(wú)監(jiān)督數(shù)據(jù)的學(xué)習(xí)能力嚴(yán)重不足，那么要解決的是有監(jiān)督學(xué)習(xí)問(wèn)題，還是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題？如果是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題，如何獲取無(wú)監(jiān)督學(xué)習(xí)能力？

4． 腦神經(jīng)科學(xué)的進(jìn)步為深度模型的發(fā)展提供更多的可能性，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化問(wèn)題的困難性是阻礙它們成為主流的一個(gè)重要因素，優(yōu)化神經(jīng)網(wǎng)絡(luò)的“困難性”在哪里？

   活動(dòng)時(shí)間：9月13日—10月13日

   活動(dòng)獎(jiǎng)勵(lì)：我們將會(huì)選取5個(gè)精彩回復(fù)，各送技術(shù)圖書(shū)《深度學(xué)習(xí)優(yōu)化與識(shí)別》(焦李成) 一本

作者：焦李成

出版社： 清華大學(xué)出版社

ISBN：9787302473671

出版時(shí)間：2017-07-01

開(kāi)本：16開(kāi)

版次：1

分類：計(jì)算機(jī)與互聯(lián)網(wǎng) > 人工智能 > 深度學(xué)習(xí)

購(gòu)書(shū)入口：https://item.jd.com/12088783.htm ... 33_.0&ADPUBNO=26719

樣章試讀：file:///C:/Users/aaa/Documents/tencent%20files/2504593583/filerecv/第3章.pdf

                file:///C:/Users/aaa/Documents/tencent%20files/2504593583/filerecv/樣章-第十五章.pdf

SACC 2017 來(lái)啦~

2017中國(guó)系統(tǒng)架構(gòu)師大會(huì)（SACC2017）將于10月19-21日在北京新云南皇冠假日酒店震撼來(lái)襲！

今年，大會(huì)以“云智未來(lái)”為主題，云集國(guó)內(nèi)外頂級(jí)專家，圍繞云計(jì)算、人工智能、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)、產(chǎn)業(yè)應(yīng)用等熱點(diǎn)領(lǐng)域展開(kāi)技術(shù)探討與交流。本屆大會(huì)共設(shè)置2大主會(huì)場(chǎng)，18個(gè)技術(shù)專場(chǎng)；邀請(qǐng)來(lái)自互聯(lián)網(wǎng)、金融、制造業(yè)、電商等多個(gè)領(lǐng)域，100余位技術(shù)專家及行業(yè)領(lǐng)袖來(lái)分享他們的經(jīng)驗(yàn)；并將吸引4000+人次的系統(tǒng)運(yùn)維、架構(gòu)師及IT決策人士參會(huì)，為他們提供最具價(jià)值的交流平臺(tái)。

官網(wǎng)鏈接：http://sacc.it168.com/index.html#top

購(gòu)票鏈接：http://sacc.it168.com/goupiao.html

歡迎掃碼 關(guān)注SACC官方微信 ，獲取最新信息

-------------------------------------------------------------------------------

歡迎大家發(fā)帖討論，分享是美德，也希望CU這個(gè)平臺(tái)帶給大家進(jìn)步和成長(zhǎng)，有任何問(wèn)題，請(qǐng)站短聯(lián)系！

技術(shù)討論，請(qǐng)加QQ群：203848540

ChinaUnix公眾微信：

tree_fox

深度學(xué)習(xí)對(duì)無(wú)監(jiān)督數(shù)據(jù)的學(xué)習(xí)能力嚴(yán)重不足，那么要解決的是有監(jiān)督學(xué)習(xí)問(wèn)題，還是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題？如果是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題，如何獲取無(wú)監(jiān)督學(xué)習(xí)能力？  討論一下這個(gè)話題�。。�


首先，深度學(xué)習(xí)的實(shí)質(zhì)，是通過(guò)構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來(lái)學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)；2）明確突出了特征學(xué)習(xí)的重要性，也就是說(shuō)，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來(lái)學(xué)習(xí)特征，更能夠刻畫(huà)數(shù)據(jù)的豐富內(nèi)在信息。
深度學(xué)習(xí)在訓(xùn)練上的難度，可以通過(guò)“逐層初始化”（layer-wise pre-training）來(lái)有效克服，逐層初始化是通過(guò)無(wú)監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。所以要解決的是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題。

那么如何獲取呢，我覺(jué)得應(yīng)該通過(guò)如下訓(xùn)練過(guò)程：


1）使用自下上升非監(jiān)督學(xué)習(xí)（就是從底層開(kāi)始，一層一層的往頂層訓(xùn)練）：

       采用無(wú)標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)，這一步可以看作是一個(gè)無(wú)監(jiān)督訓(xùn)練過(guò)程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分（這個(gè)過(guò)程可以看作是feature learning過(guò)程）：

       具體的，先用無(wú)標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時(shí)先學(xué)習(xí)第一層的參數(shù)（這一層可以看作是得到一個(gè)使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；在學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)；

2）自頂向下的監(jiān)督學(xué)習(xí)（就是通過(guò)帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)）：

       基于第一步得到的各層參數(shù)進(jìn)一步fine-tune整個(gè)多層模型的參數(shù)，這一步是一個(gè)有監(jiān)督訓(xùn)練過(guò)程；第一步類似神經(jīng)網(wǎng)絡(luò)的隨機(jī)初始化初值過(guò)程，由于DL的第一步不是隨機(jī)初始化，而是通過(guò)學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功于第一步的feature learning過(guò)程。

nail78

1．?dāng)?shù)據(jù)不夠大，別玩深度學(xué)習(xí)？還是就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)。
從技術(shù)層面上來(lái)說(shuō)，數(shù)據(jù)不夠大，也是能玩深度學(xué)習(xí)的，通過(guò)dropout或卷積神經(jīng)網(wǎng)絡(luò)，是能夠把少量數(shù)據(jù)的擴(kuò)大的，從而避免訓(xùn)練模型因數(shù)據(jù)少而不能收斂。關(guān)鍵是訓(xùn)練模型的數(shù)據(jù)集的分布是否就能代表整個(gè)數(shù)據(jù)集的分布，不然訓(xùn)練出來(lái)的模型會(huì)過(guò)擬合的，而不適合整個(gè)數(shù)據(jù)集。

heguangwu

這是一個(gè)很高深的話題，我只能仰望

yejia80550708

回復(fù) 4# heguangwu

隨意談?wù)撟约宏P(guān)于深度學(xué)習(xí)的一些想法也可以，或者對(duì)該領(lǐng)域有任何疑問(wèn)也可以在此提出（也有禮物可以拿~）
其他人也可以回答討論關(guān)于你提出的問(wèn)題呢（討論出彩都有禮物拿的呢）

fenyun689

1．?dāng)?shù)據(jù)不夠大，別玩深度學(xué)習(xí)？還是就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)。
數(shù)據(jù)不夠大，別玩深度學(xué)習(xí).深度學(xué)習(xí)要數(shù)據(jù)達(dá)到一定的基礎(chǔ)。太少的數(shù)據(jù)很難有用的價(jià)值。

william_djj

回復(fù) 1# yejia80550708
A：請(qǐng)說(shuō)出蘿莉的特征
B：蘿莉的特征是萌！
A：萌的特征是？
B：哥特裙 + 小花傘 + 嬌小身 + 公主臉 + 白絲襪 + 內(nèi)八站 + 。。。
A：你毫無(wú)深度可言。。。
B：那你說(shuō)是啥！
A：深度卷積 + 海量蘿莉?qū)懻婕?br /> B：##￥%&#@#￥*��！

這就很好的說(shuō)出了深度學(xué)習(xí)的特質(zhì)，就是海量數(shù)據(jù)加復(fù)雜的網(wǎng)絡(luò)。如果沒(méi)有海量數(shù)據(jù)支撐，如何驗(yàn)證結(jié)果預(yù)判的正確性，通俗點(diǎn)說(shuō)，如果沒(méi)有大量的御姐，淑女，小清新女對(duì)比，又怎么凸顯蘿莉的特征。而近來(lái)的模型也是構(gòu)建復(fù)雜層次的網(wǎng)絡(luò)，通過(guò)大量的數(shù)據(jù)訓(xùn)練出來(lái)，結(jié)構(gòu)決定的要有大量數(shù)據(jù)驗(yàn)證。所以俺認(rèn)為沒(méi)了海量的數(shù)據(jù)，確實(shí)沒(méi)有深度學(xué)習(xí)可言了。

lbseraph

1．?dāng)?shù)據(jù)不夠大，別玩深度學(xué)習(xí)？還是就算數(shù)據(jù)不夠大，也能玩深度學(xué)習(xí)。
   個(gè)人覺(jué)得數(shù)據(jù)大不大和能不能玩深度學(xué)習(xí)之間不是絕對(duì)的因果關(guān)系，否則很多學(xué)校里面教深度學(xué)習(xí)都沒(méi)用，因?yàn)榇蟛糠侄紱](méi)有足夠大的數(shù)據(jù)量。用少量的數(shù)據(jù)來(lái)學(xué)習(xí)深度學(xué)習(xí)的算法、框架不是不可以，但如果真正需要訓(xùn)練出一個(gè)好的DL模型，數(shù)據(jù)不夠的缺點(diǎn)就會(huì)凸顯了。

2．深度學(xué)習(xí)中，訓(xùn)練模型需要多少數(shù)據(jù)？應(yīng)該如何發(fā)掘這些數(shù)據(jù)？
   深度學(xué)習(xí)里面，看你的訓(xùn)練模型復(fù)雜程度，如果是簡(jiǎn)單的模型可能要求的數(shù)據(jù)量不多，不過(guò)數(shù)量不多的時(shí)候很可能造成過(guò)擬合；就我的理解來(lái)說(shuō)，這種情況也就是供你學(xué)習(xí)深度學(xué)習(xí)的一個(gè)途徑。很多時(shí)候，深度學(xué)習(xí)適合處理高維空間的學(xué)習(xí)，但在維度增加的時(shí)候所需要的樣本數(shù)是呈指數(shù)級(jí)增長(zhǎng)的，比如Lipschitz連續(xù)的函數(shù)，其error rate在高維度比低維度函數(shù)需要的樣本數(shù)多太多了。

3．深度學(xué)習(xí)對(duì)無(wú)監(jiān)督數(shù)據(jù)的學(xué)習(xí)能力嚴(yán)重不足，那么要解決的是有監(jiān)督學(xué)習(xí)問(wèn)題，還是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題？如果是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題，如何獲取無(wú)監(jiān)督學(xué)習(xí)能力？
   個(gè)人覺(jué)得長(zhǎng)遠(yuǎn)來(lái)說(shuō)，還是無(wú)監(jiān)督數(shù)據(jù)的學(xué)習(xí)更重要，因?yàn)檫@可以讓AI去發(fā)現(xiàn)新領(lǐng)域和獲取新知識(shí)（人類目前沒(méi)有接觸的領(lǐng)域和知識(shí)）。而有監(jiān)督學(xué)習(xí)在有足夠的人提供和訓(xùn)練數(shù)據(jù)（比如數(shù)據(jù)公司開(kāi)放數(shù)據(jù)后，網(wǎng)絡(luò)上的人都可以訓(xùn)練），能得到很高的準(zhǔn)確率，但其實(shí)這個(gè)更多是人為的。無(wú)監(jiān)督數(shù)據(jù)的學(xué)習(xí)在短期內(nèi)估計(jì)還是比不上無(wú)監(jiān)督數(shù)據(jù)的學(xué)習(xí)，個(gè)人覺(jué)得可能是機(jī)器的AI水平還比較低，如果機(jī)器的AI到一定程度后，無(wú)監(jiān)督數(shù)據(jù)的學(xué)習(xí)就不是問(wèn)題了。

4． 腦神經(jīng)科學(xué)的進(jìn)步為深度模型的發(fā)展提供更多的可能性，深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化問(wèn)題的困難性是阻礙它們成為主流的一個(gè)重要因素，優(yōu)化神經(jīng)網(wǎng)絡(luò)的“困難性”在哪里？
    網(wǎng)絡(luò)越深，優(yōu)化問(wèn)題就越來(lái)越難。另外優(yōu)化的方法、運(yùn)算的機(jī)器和硬件等等都會(huì)影響神經(jīng)網(wǎng)絡(luò)的優(yōu)化過(guò)程，也許，如果量子計(jì)算機(jī)普及后，甚至出現(xiàn)50比特位的量子計(jì)算機(jī)后，這些都不是問(wèn)題了。