[討論] ML是不是有些東西不太教?

看板DataScience作者 (自盡比較快)時間3年前 (2020/11/24 14:28), 編輯推噓9(9021)
留言30則, 11人參與, 4年前最新討論串1/1
最近在自學前決定比較手上有的各種資源, 因為之前念過ISLR跟一部分的ESL, 這次在開始之前我已經有打算要看某兩本書了, 加上本來就不是做這個,所以也看看不同地方開研究所機器學習的課綱跟線上資源。 大部分的課程當然是多數工具都講過, 少部分課程會go through 一些推導, 但是為什麼幾乎沒觸及像是learnable,VC dimension等, 問念CS PhD的朋友也表示課程沒有提及, 這部分老師沒教/學生上課沒學,是有什麼原因可循嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.58.99.239 (美國) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1606199320.A.74C.html

11/24 14:36, 3年前 , 1F
林軒田的我記得有VC Dimension
11/24 14:36, 1F

11/24 14:40, 3年前 , 2F
林軒田的HTML有教
11/24 14:40, 2F

11/24 14:42, 3年前 , 3F
我就是在他的課上有看到,且我自己要讀的書也有,但是很
11/24 14:42, 3F

11/24 14:42, 3年前 , 4F
多課其實是沒有的,不管國內外都是,這件事我比較好奇有
11/24 14:42, 4F

11/24 14:42, 3年前 , 5F
什麼差別
11/24 14:42, 5F

11/24 15:50, 3年前 , 6F
因為不重要 現在的ML是工程導向 解工程問題就是逐個擊破
11/24 15:50, 6F

11/24 15:50, 3年前 , 7F
發現問題(e.g., 梯度消失)後再想解法就好
11/24 15:50, 7F

11/24 18:24, 3年前 , 8F
進階一點的理論ML課就會有啦 對一般使用者真的不重要
11/24 18:24, 8F

11/24 19:19, 3年前 , 9F
learnable跟VC dimension需要一些數學才能理解
11/24 19:19, 9F

11/24 19:35, 3年前 , 10F
以hsunyi提到的概念,是否可以解讀成工程導向就像是直接
11/24 19:35, 10F

11/24 19:35, 3年前 , 11F
解決應用問題,但是不一定是從底部開始處理,可能ad hoc
11/24 19:35, 11F

11/24 19:35, 3年前 , 12F
的用了一些東西處理好也可以,除非遇到很系統性的問題?
11/24 19:35, 12F

11/24 20:42, 3年前 , 13F
我覺得是看從什麼角度來切入耶 我覺得數學系的比較會教
11/24 20:42, 13F

11/24 20:42, 3年前 , 14F
到這些(根據我自己的經驗
11/24 20:42, 14F

11/24 22:34, 3年前 , 15F
系統性問題也可以用工程導向解 解完後用大一統模型解釋就
11/24 22:34, 15F

11/24 22:34, 3年前 , 16F
是理論
11/24 22:34, 16F

11/25 02:08, 3年前 , 17F
VC dimension要花很多時間瞭解,不知道對應用也沒什麼差
11/25 02:08, 17F

11/25 20:35, 3年前 , 18F
因為不知道那些理論,ml使用者也能套工具
11/25 20:35, 18F

11/28 04:51, 3年前 , 19F
通常要理論ml課才會教那些 而且後來發現VC bound滿
11/28 04:51, 19F

11/28 04:51, 3年前 , 20F
多情況不是很tight
11/28 04:51, 20F

11/28 04:58, 3年前 , 21F
現在比較流行考慮data dependent的bound 像是pac-ba
11/28 04:58, 21F

11/28 04:58, 3年前 , 22F
yes或是mutual information 可以從stability的概念
11/28 04:58, 22F

11/28 04:58, 3年前 , 23F
出發來理解
11/28 04:58, 23F

11/28 05:02, 3年前 , 24F
題外話 我覺得communication complexity對VC dimens
11/28 05:02, 24F

11/28 05:02, 3年前 , 25F
ion的定義比較直觀 ml用的是組合學的概念反而在高維
11/28 05:02, 25F

11/28 05:02, 3年前 , 26F
的情況很難想像
11/28 05:02, 26F

11/28 05:04, 3年前 , 27F
不過老實說自學的話 尤其是為了工作 import torch可
11/28 05:04, 27F

11/28 05:04, 3年前 , 28F
能比學這些更有用啦...
11/28 05:04, 28F

01/17 08:58, 4年前 , 29F
VC dimension 不見得能很好解釋 deep learning 的現象吧
01/17 08:58, 29F

01/17 08:59, 4年前 , 30F
很多時候反而 over-parametrization 比較好
01/17 08:59, 30F
文章代碼(AID): #1VlAWOTC (DataScience)
文章代碼(AID): #1VlAWOTC (DataScience)