PTT數位生活區 / DataScience

[討論] ICLR審稿爭議

看板DataScience作者 (第一中鋒)時間5年前 (2019/12/17 17:21), 編輯推噓6(6推 0噓 21→)
留言27則, 6人參與, 5年前最新討論串1/1
前陣子在ICLR 2020的投稿中， 有一篇名為 Recurrent Hierarchical Topic-Guided Neural Language Models 的論文， 提出一種新的language model， 結合了stochastic-gradient MCMC 跟recurrent autoencoding variational Bayes， 宣稱他們的架構可以捕捉到句內跟句間的依賴性。 前三個reviewer都給了他8分的高分， 看起來是一篇要被ICLR 2020錄取的論文了， 這時area chair提出了一個問題， 他說現在state of the art的language model， 幾乎都是基於transformer的架構， 認為這個架構應該要跟transformer-XL比較。 面對這個問題， 作者表示提供了若干原因解釋了為什麼這兩個架構不具有可比性， 包括Model size、Model construction、 Interpretability 跟 Larger-context language model， 之後Area Chair表示感謝您的回答， 但我仍認為這model需要跟transformer-XL比較。 而接著第四跟第五個reviewer都給了這篇1分的評價。 po到這個板上是想跟大家討論一下， 大家對於這個爭議事件的看法。 先不論兩個model具不具有可比性， 三個reviewer給8分，兩個reviewer給1分， 本身就是滿有爭議的了。 若大家對於評分爭議或model可比性有什麼看法， 歡迎在底下分享討論。 open review 網址 : https://openreview.net/forum?id=Byl1W1rtvH 知乎 量子位 網址 : https://zhuanlan.zhihu.com/p/96629083 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.43.145 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1576574480.A.F7E.html
推
12/17 20:42, 5年前 , 1F
省稿的爭議原本就很多 有時候只能希望遇到好的reviewers
12/17 20:42, 1F
推
12/17 21:59, 5年前 , 2F
基本上就審稿評審真的很大，現代的Journal 雖然都是隨
12/17 21:59, 2F
→
12/17 21:59, 5年前 , 3F
機審稿委員，但是審稿委員有一些偏見的話，就會給比較低
12/17 21:59, 3F
→
12/17 21:59, 5年前 , 4F
的分數
12/17 21:59, 4F
推
12/17 22:03, 5年前 , 5F
我自己碩士的時候投Journal 也是這樣，審稿來來回回11
12/17 22:03, 5F
→
12/17 22:03, 5年前 , 6F
個月的都有，尤其是大刊。現在的DNN就Attention 架構的
12/17 22:03, 6F
→
12/17 22:03, 5年前 , 7F
模型當道，你不用Attention Based Model就要證明你的東
12/17 22:03, 7F
→
12/17 22:03, 5年前 , 8F
西是超越Attention 的不然都會被打低分
12/17 22:03, 8F
推
12/17 22:18, 5年前 , 9F
不然就是你要提出比較當今流行模型，否則也是低分。我
12/17 22:18, 9F
→
12/17 22:18, 5年前 , 10F
其實覺得用一大堆巨量資料去'蒸餾'的方法根本是病態的，
12/17 22:18, 10F
→
12/17 22:18, 5年前 , 11F
人類的元學習能力根本不是這樣去蒸餾訊息。Bert你現在要
12/17 22:18, 11F
→
12/17 22:18, 5年前 , 12F
更好，我們就來用更質量更高的資料吧，於是Roberta就出
12/17 22:18, 12F
→
12/17 22:18, 5年前 , 13F
來了。XLNet的概念很好，回歸了語言模型的問題，但是Rob
12/17 22:18, 13F
→
12/17 22:18, 5年前 , 14F
erta又把整個NLP領域帶入數據深淵，我覺得這是當前的困
12/17 22:18, 14F
→
12/17 22:18, 5年前 , 15F
境
12/17 22:18, 15F
→
12/18 00:42, 5年前 , 16F
沒看過被拒後 審稿人把你的東西改一下自己發的例子嗎?
12/18 00:42, 16F
推
12/18 12:32, 5年前 , 17F
推樓樓上
12/18 12:32, 17F
→
12/18 14:20, 5年前 , 18F
樓樓上的困境應該是學術界根本贏不了大公司XD
12/18 14:20, 18F
→
12/18 14:20, 5年前 , 19F
樓樓樓上才對
12/18 14:20, 19F
→
12/18 14:23, 5年前 , 20F
然後大公司根本不需要投稿也有人會看你論文 他們就釋出s
12/18 14:23, 20F
→
12/18 14:23, 5年前 , 21F
ource code放GLUE之類的排行榜就好 硬體跟人力跟data都
12/18 14:23, 21F
→
12/18 14:23, 5年前 , 22F
玩不贏大公司啦
12/18 14:23, 22F
→
12/18 14:39, 5年前 , 23F
講白了這篇就算真的上期刊了 大概也沒多少人去看
12/18 14:39, 23F
→
12/18 14:41, 5年前 , 24F
就跟sxy講得一樣 沒有蒸餾一個pretrained model出來
12/18 14:41, 24F
→
12/18 14:42, 5年前 , 25F
根本沒人鳥你 這投稿就賺學術點數而已
12/18 14:42, 25F
→
12/18 14:44, 5年前 , 26F
然後證明自己會改模型內部 履歷還是有幫助
12/18 14:44, 26F
推
12/18 16:49, 5年前 , 27F
掰陳call改一改就知道哪個贏，然後又可以做ai
12/18 16:49, 27F
‣ 更多 patrick2dot0 的文章
文章代碼(AID): #1T-9uGz- (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 patrick2dot0 的文章
文章代碼(AID): #1T-9uGz- (DataScience)