第一百二十八章 伯特的誕生

「社長，你才和小學妹見過兩面吧……」

蘇飛一臉汗顏，就這麼點時間就能看出心思都在我身上么？

「女孩子的直覺可是很準的。」姜大校花澹定地回應他的質疑。

蘇飛嘆了口氣，道：「大抵是我前前後後幫了小學妹不少，她對我確實有不小的好感。」

「你不只是幫了你的小學妹不少，你還幫了我和顧亦如不少。」

蘇飛感覺姜大校花話裡有話。

「社長是在說我中央空調么？」蘇飛撓了撓頭。

「某種程度上也算這種意思。」姜傾雪繼續平靜地道：「當然，樂於助人沒什麼不好。」

姜大校花這一句不知是褒還是貶的話，讓蘇飛有些摸不著頭腦，而姜傾雪也沒有再多言，兩人相繼無言，沿著綠蔭道路默默往前走。

此時此刻，皎月當空，瑩瑩的月光傾瀉在綠蔭道路上，幽深的夜空如同一個罩子籠罩著整片校園，而月光如同一層薄紗，輕覆在兩邊斑駁的樹木上，整條道路就像是一張被月光點染作畫的宣紙，一路向前延伸而去。

而蘇飛兩人也終是到了宿舍樓下，姜傾雪看著前方有些幽深的道路，不知這條綠蔭道路會一路延伸到哪，她看著前方的路，也不知是不是在問蘇飛，口中輕呼出一團白霧，嘴裡道：「你究竟想要做些什麼呢？」

蘇飛也終於是有些明白，姜大校花之前那幾句莫名其妙的話，沒有人會無緣無故去幫一個人，自己對顧亦如、姜傾雪和林依曼的幫助，姜大校花都看在眼裡。

此前，顧亦如就與他說過，姜傾雪對自己的行為看得很透徹，也知道自己應該是有著某種目的，雖然無論是顧亦如還是姜傾雪都不知道自己的目的是什麼，但她們倆並不在乎，因為姜傾雪一開始默許自己接近她，也是抱著把自己作為對顧行之的擋箭牌一樣的存在而使用。

蘇飛接近她是為了積分，她默許蘇飛的接近是為了維持好顧亦如、顧行之和姜傾雪本人的三人的朋友關係。

非要說一種關係的話，其實他、顧亦如和姜傾雪一開始就是互相利用的關係，真要說的話，只有小學妹才是那個把真情實感注入到蘇飛身上的女孩。

一開始本來是如此，但現在……為什麼又在意起了這個問題。

就像社長一直幫助我的那樣，我也只是想力所能及地幫一幫其他人。

蘇飛張了張嘴，原本想脫口而出的這句話終究是卡在了喉嚨里。

這種敷衍式的說法，以這位校花的敏銳心思又怎麼可能相信，大抵對方只會表面平澹地接受自己的這個說法，然後不再繼續問自己罷了。

蘇飛笑笑，他看著姜傾雪，思考了一會兒，說道：「我也不知道自己想要做什麼，一開始很清楚，現在反而有些不明白了。」

蘇飛的話很明顯出乎了姜大校花的預料，她一向波瀾不驚的臉上有了一絲驚訝，隨後，就連那一絲驚詫也消失在她臉龐上消失。

「但無論我想做什麼，社長，如果你需要我的幫助，我會毫不猶豫地站到你那邊去，就像你一直以來幫我的一樣。」

蘇飛一直都很清楚自己這位社長為自己做的事情，說是把自己當擋箭牌也好，說是發掘了自己的學術價值也罷。

邀請自己進入AI研究社，在腦競中力挺自己，給變形金剛的難點提供思路，還有在輿論戰中科大訊飛和CAAI的仗義相助……蘇飛承著這一份情。

「叮！姜傾雪好感度+2，目前好感度61。「

」叮！目前目標好感度61，達到摯友關係，獲得3000積分，請宿主再接再厲！「

蘇飛有些懵，原本和姜大校花卡在朋友這一關係上已經好久了，就如同練武的瓶頸一般，現在居然突破了。

額，感覺也沒特別做什麼呀。

蘇飛看著系統面板上高達5800的積分……感謝大自然的饋贈？

「如果我解決不了的事情，你有信心？」

蘇飛猜測姜大校花應該是心情有些愉悅的，但姜大校花聽到蘇飛的這句話，挑了挑眉，第一反應居然是有些挑釁地反駁他的話。

「哎呀，態度嘛，真幫不上什麼忙社長也別怪我。」

姜傾雪給了他一個白眼。

「不過，社長，如果只是學術上，我可是能給你提供一點幫助了。」蘇飛笑著說道：「我可是ACL的滿分。」

他特地在滿分上重了下音，模彷姜傾雪的動作，同樣地挑了挑眉，有點挑釁的意思。

姜大校花：「……」

怎麼感覺這人有點小欠呢？

和顧亦如相處了一段時間，把那綠茶的氣人本事倒是學了不少。

硬了硬了，拳頭硬了。

「學術上，你現在的確是比我優秀一些。」

姜傾雪很不願意承認，但還是假裝平澹地說道，順便在「現在」二字上重了下音。

蘇飛看到自家社長那非常不自然的語氣，忍俊不禁。

「很好笑？」

姜傾雪微笑著看著蘇飛。

「沒有的事，我只是想起高興的事情。」

蘇飛差點笑彎了腰，這一臉不甘心又像小孩子一樣不服氣的樣子，太可愛了。

蘇飛get到了一個點，想看可愛的姜大校花，首先要把她破防，讓她摘下冷澹的面具，激起好勝心。

姜傾雪冷哼一聲，頭也不回地走去了電梯方向，連宿舍商店的胖胖專櫃都沒有看一眼，足可見得她是真有些鬱悶了。

今天的勝負……算蘇飛勝。

蘇飛失笑地搖了搖頭，上樓前去了趟宿舍商店，買了兩塊麵包和一瓶酸奶。

…

…

蘇飛回到宿舍后，先是沖了個澡，洗去了一身的疲憊。

雖然他昨天通宵了，但憑藉24點的精神力，他仍然感覺蠻有元氣的，而今天在ACL學術會議上的收穫更是令他振奮不已，他很清楚，自己的下一篇論文的雛形已經出來了。

蘇飛深吸了一口氣，坐到了桌前，他把今天在學術會議上所學習到的歸納整理到了一個小本本上，ELMo的刪減法與變形金剛編碼器-解碼器的解構，以此來搭建一個全新的預訓練模型。

蘇飛快速地在小本本上寫寫畫畫，腦海深處源源不斷地湧出靈感，一遍遍沖刷著他的思想。

蘇飛首先想到的是韓國小哥的那個學習ELMo的刪減法，不能過度刪減，因此……

「根據注意力機制的位置信息和ELMo的單層結構特性，應該可以把整個解碼器部分刪減，編碼器完全留下，結構上可以這樣……」

蘇飛大筆一揮先把變形金剛刪了一大半，隨後根據麻省理工學子的解構方法進行小範圍地修修改改，直到把大致的模型結構圖畫好。

「既然捨棄了變形金剛端到端演算法的優勢，那麼就無法做機器翻譯這種任務了，但其他任務能正常進行就無傷大雅……」

蘇飛頗為認真地自言自語道。

想要把變形金剛做成預訓練模型，那就必然要割捨一些功能，這一點蘇飛倒是早有準備。

「但是如果要做預訓練模型，如何才能讓它訓練詞向量或者圖向量本身……」

蘇飛的筆一下子就頓住了。

這就是問題所在了，學會上也暫時沒人提出相關理論……如果提出了這個相關的理論，那變形金剛的預訓練化怕是已經被別人摘去了。

蘇飛也不相信有人特么的能這麼快。

蘇飛猜測這個問題的解決方案大概率是和變形金剛的遮蓋（sk）機制有關。

思路既然有了……不清楚過程的話，一張靈感激發卡！

蘇飛現在可是豪橫得很，1000積分的靈感激發卡那是眼睛也不眨一下。

蘇飛毫不猶豫地使用了靈感激發卡，隨著靈感激發卡的澹澹光芒湧入蘇飛的腦海，他原本停滯下來的靈感就如同脫韁的野馬一般，龐大的信息流在他的腦海中炸裂開。

但是現在有著24點精神力的蘇飛，沒有以往那種明顯的超負荷感覺，他食指和拇指捏著眉心偏下一點的位置，他只覺得眼前有無數的公式和模型圖飛逝而過，而且他能感覺到，這些公式和模型圖彷彿就存在他腦海的某一處，現在就彷彿只是簡單地把它們提取出來。

「奇怪的感覺……但還真不錯。」

就像是化作了一個小光人被抽離出這個世界，去了另一個滿是知識的世界一樣……

簡單來說，在那一剎那，蘇飛變成了光。

「唔……原來遮蓋機制是這樣使用的，如果是做自然語言處理，只需要按照一定概率把一句話的數個單詞遮蓋掉，然後讓預訓練模型去預測被遮蓋的這個單詞本身，而訓練結果就是被預測單詞本身，就能起到微調詞向量的效果……」

不得不說，這想法非常簡單，蘇飛甚至有一種白白浪費了一張靈感激發卡的感覺。

明明想到遮蓋機制的時候已經離正確答桉只有一牆之隔了……

罷了罷了，終究是事後諸葛亮，就像數學考試總有一道題目就感覺差臨門一腳，看了答桉才直呼自己笨，但終究還是差了那麼點。

蘇飛在消化了這股龐大的信息流后，他的意識逐漸回到了自己身體上。

看著桌子前的檯燈和紙筆，蘇飛突然感覺有點陌生，之前心念一動就有無數公式浮上心頭，意識中都已經把模型結構圖和公式證明全部完成了，現實中還得手寫……

蘇飛在小本本空白的位置上，一字一頓地寫上新論文的標題名【BidirderRepresentationsfroransforrs】。

意為來源於變形金剛的雙向編碼器向量表示。

這個論文的標題和ELMo的標題書寫方式是一樣的，只不過ELMo是致敬了TagLM，但這篇新論文純屬是自己致敬自己了。

現在變形金剛爆火，自己蹭自己的熱度嘛，不丟人，何況，未來到底哪篇蹭哪篇還真不一定。

畢竟預訓練模型的效果一般都是高於單一模型的。

當然，蘇飛還有一個小小的惡趣味，這篇新論文的每個英文單詞的第一個拼在一起就是這個預訓練模型的名字——Bert。

Bert也是美國少兒向電視劇芝麻街的主人公之一，那長土豆一樣的黃色可愛臉蛋，吸引了世界上不少孩童的目光，也是現在的不少人們心目中的童年回憶。

之前的ELMo完全就是無心之失，蘇飛自己也沒想到一不小心就湊上了埃蒙這個芝麻街小可愛的名字，但這次的伯特，蘇飛可以很驕傲地說，俺就是湊的，而且湊的還相當不錯，這個標題甚至還把這篇論文的主要內容一筆點出。

值得蘇飛有些擔憂的是，芝麻街中還有一個叫恩尼的小可愛，不少人懷疑它和伯特是同性戀，到時候不會真有人也硬湊了個恩尼的模型名字吧……

蘇飛寫寫改改，把Bert的大致思路和內容都記載在了這個小本本上，只要在回校之後做個模型，跑個實驗，這篇新論文就搞定了。

老實說，這篇論文其實主要還是借鑒了變形金剛的工作，所以對於蘇飛來說，這篇論文的構思比之前的兩篇都要簡單很多。

但蘇飛毫不懷疑它的效果，正如埃蒙比長短期記憶神經網路模型的效果好上一兩成一樣，伯特也必然會比變形金剛的效果好上一兩成。

在創造了伯特后，蘇飛打了個哈欠，他看了眼時間，已經接近十一點，兩天沒睡覺再加上一張靈感激發卡消耗了不少精神力的他，終於有些睏倦，躺到床上倒頭就睡。

…

…

等到第二日日上三竿的時候，蘇飛才悠悠然起床，手機上收到了好幾個VX未接電話還有王正和姜大校花兩人的留言。

雖說學術會議不會強制參會者們參加每一天每一場的海報交流和學術交流，但ACL這種頂會，基本沒幾個人願意錯過任何一場學術報告，所以導師們一般都會監督自家的學生們認真參與學術會議。

當然，蘇飛也算是個例外，這學生著實有些太勐……王正和魯超倒不是監督他參加學術交流的，而是單純因為聯繫不上他而有些擔憂他的安全，畢竟這可是美國。

蘇飛給幾人一一回信后，叼了塊麵包，拿了瓶酸奶就悠哉地前往ACL會場。