在回去的路上,，夏薇涼全程姨母笑地看著蘇飛,。

　　“大神,，你還蠻厲害的嘛?！?p>　　“你是指什么方面？”

　　“之前就聽說您和姜大?；P(guān)系不清不楚的,，在圖書館又和那個英文系的小學(xué)妹鄰座，今天又勾搭上一個新妹子,?！?p>　　“……事情可能和你想象的完全不是一個樣子?！?p>　　毒舌女王姜傾雪,，笑里藏刀林依曼，現(xiàn)在又來個摸不清路數(shù)的顧亦如，如果不是要完成任務(wù)獲取學(xué)力,，蘇飛是真的不想和這些妹子極限拉扯,。

　　“所以，大神你更喜歡誰??？”

　　問得好。

　　“她們都是我的翅膀,?！?p>　　……

　　吃飽喝足后，下午自然是要去圖書館的,。

　　蘇飛先回了趟寢室,，把他那小破筆記本提了過去。

　　讓他有些意外的是,，林依曼居然一直把他占著座,。

　　“謝謝?！碧K飛輕聲道,。

　　“學(xué)長，你太客氣了啦……”林依曼咦了一聲,，輕輕嗅了嗅,，道：“學(xué)長，你是去吃烤魚了嗎,？”

　　這也能聞得出來么,？

　　蘇飛自己輕輕聞了聞，還真有股麻辣鮮香,。

　　林依曼又認真地聞了聞,，道：“還是和女生一起吃的？”

　　臥槽,，真的假的,，這也能聞出來？

　　林依曼看著一臉不可置信的蘇飛,，莞爾一笑,，道：“其實我是猜的啦，學(xué)長這種直男,，平常都三點一線的,，突然要去吃大餐，肯定是和女生有約吧,?！?p>　　她微笑道：“想不到猜對咯。”

　　‘叮,！林依曼好感度-1,，目前好感度43?！?p>　　這女人也太狡猾吧,。

　　蘇飛打開筆記本，他此刻只想遁入學(xué)習(xí)的世界,。

　　在通讀完《認知神經(jīng)科學(xué)》后,，蘇飛有了一個新的論文想法，他思考了一會兒,，在word文檔上打下了一個題目,。

　　【基于注意力機制的全新模型結(jié)構(gòu)】。

　　隨后,，他開始對這個想法進行一個大致的闡述,，他想用注意力機制構(gòu)建一個新的模型單元。

　　模型單元是最基礎(chǔ)的模型結(jié)構(gòu),，任何復(fù)雜的模型結(jié)構(gòu)其實都是由模型單元堆疊而成,，近年深度學(xué)習(xí)大火，每年新的模型結(jié)構(gòu)層出不窮,，但是模型單元用來用去還是那么幾個,。如現(xiàn)在最常用的長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）甚至是1994年的產(chǎn)物，而如今比較普遍使用的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）也是實際很多年前的論文成果,。

　　為什么這么久都沒有新的模型單元誕生,，究其原因，一個是技術(shù)上太難突破了,，第二個原因就是劣幣驅(qū)逐良幣,。

　　即便是在學(xué)術(shù)領(lǐng)域，劣幣驅(qū)逐良幣也是一個很常見的事情,，簡單來說就是，大家都發(fā)現(xiàn)構(gòu)造一個模型單元太難了,，但是用現(xiàn)有的模型單元去堆疊出一個新的模型結(jié)構(gòu)就簡單很多,，那既然如此，為何要死磕前者呢,。

　　例如一個商城只有蘋果,、香蕉、桃子三種水果,，現(xiàn)在要販賣水果拼盤,，最具有經(jīng)濟效益，也就是販賣的最好的拼盤是3蘋果2香蕉1桃子，這種組合就是一個模型結(jié)構(gòu),，然后過了一年,，有位大佬發(fā)現(xiàn)，1蘋果1香蕉1桃子能產(chǎn)出更高的經(jīng)濟效益,，于是,，這個模型大受歡迎，這位大佬便榮登頂會,。

　　當(dāng)然,，這只是一個很簡單的例子，真正的模型構(gòu)造必定比販賣水果拼盤要難很多,，需要大量數(shù)學(xué)理論來佐證,，但本質(zhì)上其實與水果拼盤沒什么不同。

　　蘇飛此前的ELMo模型所做的工作本質(zhì)上也是水果拼盤,，只不過他的拼盤領(lǐng)先了一個時代,，能超越目前最好的模型10個性能百分點，大大提高了準確率還減少了算力消耗,。

　　但是,，如今整個學(xué)術(shù)界漸漸的，都開始拼水果拼盤,，所有人都在現(xiàn)有的蘋果,、香蕉、桃子里選擇,，開始自由組合,，對不同的任務(wù)和實驗拼出解決這個問題的最優(yōu)模型。

　　而很少有人會去往這個拼盤里創(chuàng)造一個新的水果,，畢竟吃力不討好,。

　　但既然選擇了做學(xué)術(shù)界的清流，蘇飛就想要成為創(chuàng)造新水果的人,，他想要往這個水果拼盤里引入菠蘿,，至于為什么稱之為菠蘿，嗯……因為他最愛吃菠蘿,。

　　而他與大多數(shù)人寫論文的方式相反,，對蘇飛來說，再難的技術(shù)問題都不是問題,，他懷疑只要有足夠的靈感激發(fā)卡,，他甚至可以突破號稱永遠的三十年的“核聚變”技術(shù)。

　　于他而言,，最重要的就是idea或者說一個正確的思路,。

　　注意力機制毫無疑問就是一個很好的idea,。近年無論圖領(lǐng)域還是自然語言處理領(lǐng)域，對注意力機制這塊動刀子的人可不少,，但至今為止,，注意力機制更像是在其他的模型單元上起到一個基礎(chǔ)運算，或者說錦上添花的作用,。

　　蘇飛不認為注意力機制的作用僅限于此,，不止蘇飛不這么認為，世界上幾乎所有相關(guān)領(lǐng)域?qū)W者都不認為注意力機制僅限于此,，然而令人遺憾的是,，還沒有人能真正發(fā)揮注意力機制的作用。

　　蘇飛在學(xué)習(xí)《認知神經(jīng)科學(xué)》后,，認為這是一個很好的機會,。

　　于是，他把近年的注意力機制相關(guān)的論文全部羅列了出來,。

　　【基于注意力機制的端到端機器翻譯算法】,。

　　【基于注意力機制的新自適應(yīng)權(quán)重算法】。

　　【以注意力權(quán)重再分配改善注意力機制】,。

　　【目標檢測上的注意力機制新型應(yīng)用】,。

　　…

　　…

　　蘇飛就這么看了整整一個下午的注意力機制文獻，然而,，他只想說,，還是小看了深度學(xué)習(xí)領(lǐng)域人們灌水的能力。

　　他在過目不忘和知識快解的加持下,，一下午看了上百篇,，其中百分之九十五都沒有任何價值，其中有好幾篇說是學(xué)術(shù)垃圾都算抬舉他們了,。最過分的一些論文是通篇講解這個模型結(jié)構(gòu)多牛逼多牛逼,，最后一看，連個代碼庫都不上傳,。

　　這種做法無疑是此地?zé)o銀三百兩,，就是明著告訴別人，我不敢傳代碼給你復(fù)現(xiàn),，怎么滴,！

　　即便是華科院一區(qū)和CCF-A類的部分頂刊頂會論文，灌水者也是不少,。

　　對于這種情況，蘇飛也是無可奈何,，學(xué)者也是人,，也是有所謂的關(guān)系戶和各種潛規(guī)則的,，即便是頂會頂刊也沒法保證每一篇都有相應(yīng)的含金量，一些阿貓阿狗也還真的能上,。

　　看了一個下午的蘇飛只得到了七八篇比較有價值的論文,。

　　“算了，急不得,，慢慢來吧,。”

　　蘇飛深吸了一口氣,，他現(xiàn)在只想好好洗洗眼,，某些論文實在辣他眼睛。