第4章 What the fxxk!這怎么可能?
- 我建成了世界一流大學
- 是覺皇不是教皇
- 2421字
- 2022-06-11 00:01:00
“又是審稿邀請?讓我看看這次是什么論文,嗯,《一種解決異或問題的感知機模型》?”
大洋彼岸,寬敞的教授辦公室內。
羅伯特·懷特教授剛剛悠閑地泡好一杯咖啡,正準備看兩篇論文來度過一個輕松的下午茶時間,就看到郵箱收來一封NIPS的審稿邀請。
NIPS是 Neural Information Processing Systems的縮寫,即神經信息處理系統大會,是目前世界上最頂級的機器學習領域會議之一。
身為領域內的優秀學者,又曾在這個會議上投中過幾次論文,收到審稿邀請對于懷特教授早就司空見慣,他習以為常的打開郵件。
看到題目的那一刻就忍不住冷哼了一聲,解決異或問題的感知機?異或問題提出到現在已經幾十年了,你告訴我只用一篇論文就能輕易解決,當我是傻子么?
懷特的不屑是有原因的,他當然不會認為這種幾十年來的難題不可能解決,否則科學的發展是怎么產生的?
但解決流程應該是某位大牛定下方向,然后麾下幾位小牛圍繞這個方向發表幾篇甚至十幾篇論文,在圈內引發一輪又一輪熱議。
然后在某一天,大牛小牛們在arxiv上聯名掛出一篇合作論文,再經過一兩個月的發酵之后,才會送到他們審稿人的桌上!
而不是像現在這樣,由一個不知名作者拿出一個玩具模型,配上土到極致的題目發給自己!
隨便掃了兩眼正文內容后,懷特更加確信自己的判斷,論文通篇樸素的思路和簡單的模型讓人感覺就像一個本科學生、甚至是民間科學家的自娛自樂,而后面好到浮夸的結果更像是作者吹牛吹過了頭,讓人一眼便心生反感。
這種論文懷特每年都能審到幾十上百篇,甚至還有某些民間科學家拿著兩頁寫滿初等數學公式的草紙聲稱自己證明了四色定理,找他幫助發表,因此他對于這種學術垃圾多搭理一點的想法都欠奉。
只在審稿意見里刻薄的寫下一句“希望作者減少一點crank(民科)式的囈語”,就干脆利落地把文章丟進了垃圾箱。
一天的好心情蕩然無存,懷特不禁罵罵咧咧道:“What the fxxk!”
………………
“What the fxxk!”
看著眼前的論文,戴·瓊森的感嘆與前一位審稿人驚人的一致:“天吶!這個作者是個瘋子嗎?”
但話語中的含義卻與前者完全不同!
兩個小時前,
瓊森眉頭緊鎖著看完了整篇論文,卻驚奇的發現自己沒能找出任何理論或者邏輯上的錯誤。
雖然與懷特一樣,下意識認為這篇簡單的文章一定在哪里出了問題,但作為一個頗有責任感的審稿人,瓊森還是希望找到駁回發表的充足依據。
“看來這個作者還是有一定水平的,至少他能夠合理地隱藏自己的謬誤……對了,他的代碼!”
他迅速翻到最后,從附錄的URL中找到了作者提供的匿名代碼,當然,他并不準備直接運行它。
作為學術圈的老油條,瓊森深知這些論文代碼里面的貓膩。
一些學者為了讓自己的成果顯得更好,往往會選擇在某一個任務的數據集上使用幾百上千組不同的參數測試自己的方法。
然后選擇表現最好的參數組合放在論文上,對其它失敗的組合閉口不談,從而聲稱自己達到了SOTA(state-of-the-art,當前最先進的)的效果。
而實際上,只要稍微變動一下其中的某個數值,或者甚至保留數值不變,原樣用在另一個任務上,這些方法的表現就會瞬間暴跌!
這些論文同樣都是毫無價值的垃圾,瓊森認為這篇《感知機》的作者也使用了相同的技巧。
瓊森打算參考著作者的代碼自己重新寫一遍——當然,是用自己設置的結構和數值——反正只要按照論文里的思路來進行,如果最后結果很差,就可以說明這是一篇不折不扣的“煉丹文”,剛好作為反駁的依據。
但運行出來的結果卻讓他始料未及!
這兩個小時里,他按照作者的思路,使用了不同的參數和結構,但最終結果卻與文中相差無幾,遠超現有的SVM方法!
不敢置信的他換了一組又一組數據,甚至使用了不同的任務來做測試,但越做結果就越讓他心驚,因為其中幾組參數下的多層感知機的表現,甚至比論文里的樣例都要好!
作者甚至都沒調參!
做完實驗后再回頭看論文,瓊森的心態發生了翻天覆地的變化。
這個作者仿佛只是理所應當地在說,我們在感知機上的研究遇到了一點小問題,我看了看,大概問題在這里,所以我改了改,果然一下就改好了。
至于剩下的調參之類的苦力活,實在是太麻煩了所以懶得做,就留給你們吧!
似乎絲毫沒有意識到,這個“小問題”,已經困擾了計算機領域三十年!
瓊森茫然的盯著屏幕,突然想要給自己一巴掌,好讓自己發現原來這是在做夢。
但這股沖動存在了一瞬便即消散,他還是激動而忠實地寫下評審意見:
“完美的邏輯推論和無懈可擊的理論過程!作者在論文中提出了一種簡單卻有效的多層感知機(MLP)方法,解決了困擾學界多年的異或問題,……”
“本人按照文中的思路進行復現,得出了相近的實驗結果,實際上,我發現在XX和XX等參數設置下,MLP的表現可以進一步地提升,這一發現有力地支撐了本文的可行性……”
寫罷,瓊森仍舊感到恍如夢中,不敢相信可能是今年領域內最有突破性的成果,就這么輕易地出現在自己面前。
最終還是癱靠在座椅上,無力地呻吟出聲:
“WTF!這怎么可能……”
…………………………
“這怎么可能?!”
王浩中雙手撐桌,看著自己電腦屏幕上顯示的結果,不可置信地失聲喊道。
雖然十分質疑徐毅在課上講的內容,但王浩中還是遵從父親“實踐出真知”的家訓,回家之后按照老師的課件復現了課上講的模型。
結果,他隨便搭建的MLP模型,在手寫數字分類的數據集MNIST上,居然達到了98%的準確率!
當前在機器學習領域內最通用的SVM模型,在這個數據集上的準確率只有不到95%,別看兩者差距好像不是很大,但是換一個角度,這代表著MLP的錯誤率比前者低了一半以上。
雖然SVM方向上有很多改良的算法,也可以達到接近甚至超越98%的數據,但別忘了,這只是他隨手搭出來的框架,同樣還有很大的進步空間!
為了保險起見,他甚至把這些內容找父親做了確認,對待學術一向吹毛求疵的父親在看到結果后都是一言不發,最后只留給他一句“好好聽老師的課”,轉身就走,
——這個成果絕對、完全、百分百地沒有問題!
MLP的出現,絕對是世界級的突破!
但這樣一個可以改變世界的發現,怎么會出現在面前的小講師的手里,還被他輕飄飄地直接在一節小學期的選修課上這么隨意的提出來?
如此重要的突破卻誕生在如此不嚴肅的場合,王浩中感到一陣濃濃的荒謬感向自己傳來,整個世界都不好了。