[討論]representation learning是否在找對稱性?

看板DataScience作者davidwales (cluster)時間4年前 (2020/03/23 16:45)推噓3(3推 0噓 11→)

留言14則, 4人參與討論串1/1

representation learning 是一個我覺得非常有趣的主題我先用我理解的圖像講述一次,再請版友補充或是指證我的感覺, representation learning 是在找一個最適座標系統可以對應系統的對稱性套用數學的例子, 如果今天的系統有球對稱那最好的座標系統當然就是球座標反之如果是柱對稱,那我當然去選一個柱座標會比較適合 representation learning 似乎在找研究系統的資料的結構的某種對稱性? 顯然資料也是從真實的系統收集而來但這些真實系統往往不像幾何物體那樣容易用視覺去理解但這不阻礙其具有某種幾何甚至是拓樸(或其他可度量對稱性的參量)上的對稱性我的直覺是 represention learning 是在找研究系統的一個最適座標系統也就是在這個最適合座標系統下數據的分布會是 1. 沒有維度災難 2.不會有過度擬和 3.會有最小的information loss 如果能夠找到這樣的座標系統那後續的監督學習就會變得非常準確和有效率(因為已經選了一個最棒的座標系統了) 這個概念很像群論 reduible representation => irreducible representation一樣其實監督學習給我感覺很像在找系統的哈密頓量因為數學上哈密頓量依但知道後就可以建構系統的運動方程式自然就能做未來狀態的各種預測但如果座標系統選得不好那你建構出來的哈密頓量就會是一個拼裝車車子怎麼開都走不了太遠回到我想問的問題上有辦法從representation learning的結果知道研究系統可能的對稱性或是不變量為何嗎? 因為板友可能不一定具備數學物理背景知識但如果你覺得我講的東西和你之前碰過的理論似曾相似但可能是用CS的語言或是學科的名詞來描述的也不吝分享討論! 感謝!! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 155.69.170.63 (新加坡) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1584953104.A.301.html