PTT數位生活區 / DataScience

[討論] ML是不是有些東西不太教？

看板DataScience作者 (自盡比較快)時間4年前 (2020/11/24 14:28), 編輯推噓9(9推 0噓 21→)
留言30則, 11人參與, 4年前最新討論串1/1
最近在自學前決定比較手上有的各種資源， 因為之前念過ISLR跟一部分的ESL， 這次在開始之前我已經有打算要看某兩本書了， 加上本來就不是做這個，所以也看看不同地方開研究所機器學習的課綱跟線上資源。 大部分的課程當然是多數工具都講過， 少部分課程會go through 一些推導， 但是為什麼幾乎沒觸及像是learnable，VC dimension等， 問念CS PhD的朋友也表示課程沒有提及， 這部分老師沒教/學生上課沒學，是有什麼原因可循嗎？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.58.99.239 (美國) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1606199320.A.74C.html
推
11/24 14:36, 4年前 , 1F
林軒田的我記得有VC Dimension
11/24 14:36, 1F
推
11/24 14:40, 4年前 , 2F
林軒田的HTML有教
11/24 14:40, 2F
→
11/24 14:42, 4年前 , 3F
我就是在他的課上有看到，且我自己要讀的書也有，但是很
11/24 14:42, 3F
→
11/24 14:42, 4年前 , 4F
多課其實是沒有的，不管國內外都是，這件事我比較好奇有
11/24 14:42, 4F
→
11/24 14:42, 4年前 , 5F
什麼差別
11/24 14:42, 5F
→
11/24 15:50, 4年前 , 6F
因為不重要 現在的ML是工程導向 解工程問題就是逐個擊破
11/24 15:50, 6F
→
11/24 15:50, 4年前 , 7F
發現問題(e.g., 梯度消失)後再想解法就好
11/24 15:50, 7F
推
11/24 18:24, 4年前 , 8F
進階一點的理論ML課就會有啦 對一般使用者真的不重要
11/24 18:24, 8F
推
11/24 19:19, 4年前 , 9F
learnable跟VC dimension需要一些數學才能理解
11/24 19:19, 9F
→
11/24 19:35, 4年前 , 10F
以hsunyi提到的概念，是否可以解讀成工程導向就像是直接
11/24 19:35, 10F
→
11/24 19:35, 4年前 , 11F
解決應用問題，但是不一定是從底部開始處理，可能ad hoc
11/24 19:35, 11F
→
11/24 19:35, 4年前 , 12F
的用了一些東西處理好也可以，除非遇到很系統性的問題？
11/24 19:35, 12F
推
11/24 20:42, 4年前 , 13F
我覺得是看從什麼角度來切入耶 我覺得數學系的比較會教
11/24 20:42, 13F
→
11/24 20:42, 4年前 , 14F
到這些（根據我自己的經驗
11/24 20:42, 14F
→
11/24 22:34, 4年前 , 15F
系統性問題也可以用工程導向解 解完後用大一統模型解釋就
11/24 22:34, 15F
→
11/24 22:34, 4年前 , 16F
是理論
11/24 22:34, 16F
推
11/25 02:08, 4年前 , 17F
VC dimension要花很多時間瞭解，不知道對應用也沒什麼差
11/25 02:08, 17F
→
11/25 20:35, 4年前 , 18F
因為不知道那些理論，ml使用者也能套工具
11/25 20:35, 18F
推
11/28 04:51, 4年前 , 19F
通常要理論ml課才會教那些 而且後來發現VC bound滿
11/28 04:51, 19F
→
11/28 04:51, 4年前 , 20F
多情況不是很tight
11/28 04:51, 20F
推
11/28 04:58, 4年前 , 21F
現在比較流行考慮data dependent的bound 像是pac-ba
11/28 04:58, 21F
→
11/28 04:58, 4年前 , 22F
yes或是mutual information 可以從stability的概念
11/28 04:58, 22F
→
11/28 04:58, 4年前 , 23F
出發來理解
11/28 04:58, 23F
→
11/28 05:02, 4年前 , 24F
題外話 我覺得communication complexity對VC dimens
11/28 05:02, 24F
→
11/28 05:02, 4年前 , 25F
ion的定義比較直觀 ml用的是組合學的概念反而在高維
11/28 05:02, 25F
→
11/28 05:02, 4年前 , 26F
的情況很難想像
11/28 05:02, 26F
→
11/28 05:04, 4年前 , 27F
不過老實說自學的話 尤其是為了工作 import torch可
11/28 05:04, 27F
→
11/28 05:04, 4年前 , 28F
能比學這些更有用啦...
11/28 05:04, 28F
推
01/17 08:58, 4年前 , 29F
VC dimension 不見得能很好解釋 deep learning 的現象吧
01/17 08:58, 29F
→
01/17 08:59, 4年前 , 30F
很多時候反而 over-parametrization 比較好
01/17 08:59, 30F
‣ 更多 rn940111 的文章
文章代碼(AID): #1VlAWOTC (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 rn940111 的文章
文章代碼(AID): #1VlAWOTC (DataScience)