[討論] representation learning幾個問題(batchn

看板DataScience作者 (中立評論員)時間2年前 (2021/07/13 14:51), 編輯推噓1(108)
留言9則, 3人參與, 2年前最新討論串1/1
1. 很多representation learning的論文都有提到 避免使用batch normalization 會有i nformation leaking的問題。但這點我不太了解,有沒有什麼具體的例子? 2. 使用opencv, cv2.imread和cv2.imwrite 兩張圖(原圖和儲存的圖)竟有差別(看起 來一樣、但用我的辨識model預測結果卻不同),這樣是正常的嗎? 3. 使用triplet loss時,我將三張圖片(a, p, n),分別丟到同一model(ResNet18)產出( Ra, Rp, Rn), 以此方法進行訓練發現training loss在下降,但validation loss在上升(類似overfitt ing) 反而用contrastive learning訓練好的model,用triplet loss計算1個epoch(不更新), 得到更低的triplet loss。 表示triplet loss應該還沒收斂(有更好的distribution) 為何會如此呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.13.42 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1626159062.A.2E3.html

07/13 18:14, 2年前 , 1F
1. 因為normalization 會使用到整個dataset的statistics,
07/13 18:14, 1F

07/13 18:14, 2年前 , 2F
超出一個batch內的資訊
07/13 18:14, 2F

07/13 18:16, 2年前 , 3F
2. 讀寫有的時候會standardize, 要看文件細節檢查一下
07/13 18:16, 3F

07/13 18:19, 2年前 , 4F
Training based on triplet loss 通常需要特別的取樣方
07/13 18:19, 4F

07/13 18:19, 2年前 , 5F
式來避免選到trivial solutions
07/13 18:19, 5F

07/14 14:46, 2年前 , 6F
謝謝,可以再解釋一下trivial solutions的部分嗎
07/14 14:46, 6F

07/14 14:46, 2年前 , 7F
07/14 14:46, 7F

07/14 16:18, 2年前 , 8F
類似避免拿到太簡單的 triple,可以搜尋 (semi)hard negati
07/14 16:18, 8F

07/14 16:19, 2年前 , 9F
ve mining
07/14 16:19, 9F
文章代碼(AID): #1WxJVMBZ (DataScience)
文章代碼(AID): #1WxJVMBZ (DataScience)