Re: [問題] kaggle, featured conpetition的可信度

看板DataScience作者ANGUS582 (ANGUS )時間6年前 (2018/05/20 00:29)推噓0(0推 0噓 9→)

留言9則, 1人參與討論串4/6 (看更多)

原文恕刪感謝outrunner與f496328mm兩位回文，以下我會我的疑慮再打的清楚一點久仰outrunner的大名。首先，先說聲抱歉，我對wow完全沒有概念= =，我的年紀還沒有這麼大，但我想我應該抓的到你要表達的意思。回到正題，我一開始的設想是，接觸這行的人，基本上來說都會有聽過kaggle，而發這篇文的用意在於，收集一下從事這行的人的想法，同時也想知道對於一個"面試官"來說，在看到面試者具有良好(top5% 或是in-prize之類的)成績的時候，面試官會認為面試者具有什麼樣的能力/優勢，或是能為他帶來多少程度的加分。(其中特別想知道申請國外ms的狀況，因為這就是我面臨的處境= =) 至於kaggle的問題，除了我提到的，其他較為"結構性"的大概還有發生data leakage 或是比賽課題本身根本就是lottery的狀況，參賽者方面來說的還有像是用public kernel提交、多重帳號提交、硬體差異等等所帶來的影響公信力的問題，上述三個基本狀況每場比賽都有，甚至還有在比賽結束前幾天發一篇超高分的public kernal來摧毀 leaderboard的這種鳥事也有。不難想像如果有人將kaggle成績奉為圭臬，他會受到多少質疑。另外，我了解要做從事這行要學的東西很多是kaggle給不了你的，但我在文中其實沒有提到kaggle不需要自己做data prepocessing，那部份我指的是，官方為了維護比賽本身所要做出的措施，像是防止data leakage之類的，這種鳥事不勝其數，WSDM2018、 talkingData第一次辦的比賽等等，應該不難想像要是比賽因此被摧毀，參賽者會有多賭爛，上次我舉的corporacion favorita，那個還只是小事情而已，畢竟top10裡也有很多人忽略。而基本上比賽提供的資料雖然都還算友善，也的確是不需要過度的處理，但還是有不少的特例，像是: Sberbank的NA地獄(https://goo.gl/8wjRg7) Zillow的一堆欄位也是有不少問題需要你一個一個慢慢弄等等(https://goo.gl/VkfUyv) 而為了因應花時間的問題或因應主辦方的要求，也有kernal-competition的出現，像是Mercari(https://goo.gl/gomuy3)那次，而且近期"frankenstein ensemble"式的優勝解法也很少出現了。而關於收集資料的部份，有時官方也會允許你使用external data 我很認同"建模只是資料科學的一隅"的這觀點，我有聽說過一個說法是kaggle比賽就像是做在車裡遊覽非洲大草原，而真實世界的任務，則像是把你一個人肉身放在大草原上求生存。但其實藉由參與其中，跟著比賽的timeline跑，真的能體會蠻多課堂學不到的事情。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.230.110.77 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1526747366.A.81A.html