Re: [討論] cognitive model/causal ML執行的細節

看板DataScience作者fragmentwing (片翼碎夢)時間6月前 (2024/05/15 14:18)推噓4(4推 0噓 9→)

留言13則, 3人參與討論串2/2 (看更多)

本人ML接觸資歷還很菜，以下論述若有錯誤煩請大神幫忙指正同為跨領域望這篇能起到拋磚引玉之效 ※ 引述《Bionut (生物堅果)》之銘言： : 想請問有經驗的朋友。 : 我算是跨領域來做ML正在讀博，目前的課題是把ML應用在半導體製程。 : 不知道是不是跨領域，所以思想跟老闆不太一樣（我自己是製程跟物理背景，老闆是純CS : ) 跟你方向相反，我是在材料底下搞ML和分析不過跨領域溝通上同樣和老闆有代溝，這很正常先提一下我這邊的相處模式，基本上是同事和老闆看到機台數據哪裡有問題然後group meeting或是個人meeting討論時我想想看有沒有解法沒有的話通常先放著，有的話我會和老闆概述一下預估解法能帶來的效果以及怎麼實行生出來後報告時通常原理會直接跳過看處理結果(但是還是要準備原理的論述) : 目前老闆希望我的研究主題是建立模型+資料統整所有半導體製程的知識。也就是未來有 : 新的製程技術，我們的模型對於新製程的參數能給予準確的預測（就不需要工程師去tune : 參數）老闆的目標是讓模型學會製程的因果關係。 : 然後我們目前（我主要負責搜集data ）的資料只有十幾個點，而且沒有搜集不同參數對 : 應的資料。我老闆想做unsupervised model（我自己是傾向supervised ）。總之我怎麼 : 看都不覺得這麼少的資料點可以支持一個非常複雜的模型，其實連普通的NN我都懷疑能訓 : 練起來不會overfit : 我的結論很簡單，要嘛我們做簡單一點的model，要嘛嚕起袖子努力去無塵室老資料（反 : 正做實驗的是我）。但我這樣說就被老闆說他做十年資料科學，我沒經驗誰說少數據做不 : 起來？我恰巧有在弄unsupervised的東西，基本上unsupervised有兩種極端狀況：一個是像Meta推出的Segementation Anything Model或是之前的閩南語翻譯那樣說是無監督，其實更像是標記的方式有了變體，仍然是拿著巨量的人工標記資料去做的 (這種方式精確點好像還有自監督、元監督來描述但單純二分法的話仍然算在無監督的範疇...吧?) 另一種則是目標單純，比如孿生網路的目的只有一個(不討論延伸應用的話) 就是你拿兩張圖片問模型它們有多像至於兩張圖片內是不是同一人可以再依據這個「有多像」來判斷這種模型因為目標單一，對於資料量的要求就不多以孿生網路來說，我在練習時看到的範例約需要400張人臉照片另外最近有看過一個少資料分類學習的論文資料形式是1維(128個數據點構成的曲線)，大小約100~200筆(取決於分類項目) 結果是壓到二分法才能在特定項目上拿出90%的準確率出來從原po的敘述看來這個ML得提供大量製成參數卻只有十幾個點相當不合理想靠增強(Augmentation)去補足也是有極限的人家FFT的訊號採集原理都講了你好歹要有個2倍以上才能把函數整個抓出來...扯遠了總之，既然原po老闆這麼信誓旦旦說可以那能不能請他把他生涯中遇過的少資料做複雜任務模型的案例拿出來分享一下畢竟在這方面他相對於你是專家 : 但具體問model怎麼搭建卻得不到明確的輪廓… : 對於學物理出身的我，我對於model所謂明確的定義是指：你需要搜集什麼feature，然後 : 目標又是什麼？例如搜集薄膜厚度、半導體線寬、粗糙度…、而目標是電性（電阻、電容 : …等）至少要知道模型的輸入和輸出是甚麼，例如前面提到的孿生模型好歹也要知道輸入是兩張圖片，輸出是向量或向量間的相似度 ML再複雜，就數學上來說仍是一個函數，輸入和輸出是基本構成要素 : 而我的理解是，如果要model認知到一些物理特性，問進去的資料要包含各種想學習的參 : 數的變異。例如，如果要知道薄膜厚度帶來的影響，餵進去的資料需要有一定的薄膜厚度 : 變異。（這是我不解的點之一，我無法理解我老闆的cognitive model如何在不提供相對 : 應物理變異時，學習到對應知識，而在這項參數改變時做出預測？）通靈。或是你老闆其實是想走強化學習，但那也只是用一個間接的方式把資料提供給模型而已。而且我記得強化學習要練很久，根本就是ML界的猴子排序法。 : 我的想法很簡單，除非給出某些人為設定的物理背景，如果資料都是在20度時搜集，模式 : 不可能知道實驗改在30度時做要如何反應。這點倒是不能說死我們假設材料的某些性質與溫度相關，比如熱膨脹雖然都蒐集20度仍然不能預測30度的狀況但是假如蒐集了15和20度的話是不是就有機會了? : 這究竟是我的思想還停留在工程師的封閉思維，還是我老闆總在異想天開？ : 同樣的，我想具象化什麼知識要被學習，我老闆也說不出所以然…對於我，我覺得要有明 : 確的研究目標，但我老闆好像是且戰且走，然後覺得這些框架不可能也不應該知道（他常 : 常嗆我，如果你大概知道你要幹嘛，你現在博士就可以畢業了。我OS:我還是要把實驗資 : 料生出來，然後搭model啊） : 我覺得要有模型框架我才能好好制定實驗計畫（不過他好像沒覺得我需要搜集很多資料XD : ) 我居然能在這篇文章中看到既視感，你老闆是不是把你當成他叫你做的模型了? 給的資料少少的就會自己生出來，這就是傳說中的meta learning嗎?(誤) : 想請問有經驗的各位怎麼看？是因為我背景不一樣才覺得他說的目標跟方法不科學嗎？我看你前面對ML的理解基本上都是正確的 : 覺得他的理想很好，但需要更多具體怎麼做模型，還有怎麼搜集能讓模型理解的資料…） : p.s.我們最近在向學校提交報告也被其他教授質疑，但其實我早就質疑這個計畫，卻一直 : 被當作不懂ML。（其他教授不是CS背景，我們是研究機構不是純學術）你們學校只有你老闆是CS背景而且其他系也完全沒有人碰ML嗎? AI大熱門時代有點難想像會這樣。 -- 即使祂每天因人們而墮入滾燙的熱水，麵神也不會製造出地獄來懲罰不信仰祂的人我們崇拜麵神是出於敬佩與感謝，與生前死後諸利益得失皆無任何關係阿麵~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.87.133 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1715753897.A.2F9.html