PTT數位生活區 / DataScience

[問題] 數據少時如何做文章分類

看板DataScience作者 (HANA)時間4年前 (2020/02/18 23:45), 4年前編輯推噓14(14推 0噓 16→)
留言30則, 13人參與, 4年前最新討論串1/1
最近替人研究怎麼做文章分類 手中拿到數據有約100篇文章 分了十幾個類別 不知是數據太少了 參考某篇用nltk+svm的範例 分對機率非常之低 幾乎是亂猜 用sklearn給的news數據測試倒是表現還蠻好的 目前在想有什麼對策 請對方給更多數據嗎 好像短期內也沒辦法 有想說找找few shot learning 方法 不過沒有很清晰的方向 對方有提到或者不分類直接從文章抽取tag當類別 目前有想到用專有名詞抽取的算法去做做看 不知道可不可行 還請高手指點 ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 126.182.12.56 (日本) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1582040756.A.6CA.html ※ 編輯: del680202 (126.182.12.56 日本), 02/18/2020 23:51:06 ※ 編輯: del680202 (126.182.12.56 日本), 02/18/2020 23:53:22
推
02/19 21:10, 4年前 , 1F
BERT
02/19 21:10, 1F
→
02/20 00:52, 4年前 , 2F
可以用PAN dataset
02/20 00:52, 2F
推
02/20 10:01, 4年前 , 3F
bert可以直接拿Bert as service來用
02/20 10:01, 3F
推
02/20 16:01, 4年前 , 4F
few shot learning 其實就是把原本分類的問題變成一個
02/20 16:01, 4F
→
02/20 16:01, 4年前 , 5F
比較的問題，自然就會增加很多可訓練資料。
02/20 16:01, 5F
推
02/20 16:05, 4年前 , 6F
不過我建議是你可以先對他提供的文章做初步的分析，看
02/20 16:05, 6F
→
02/20 16:05, 4年前 , 7F
看feature夠不夠明確，是不是有辦法透過關鍵字增加featu
02/20 16:05, 7F
→
02/20 16:05, 4年前 , 8F
re 來分類。直接拿bert做fine tune 也是可以。
02/20 16:05, 8F
→
02/20 21:39, 4年前 , 9F
感謝各位的意見 我去找找bert相關的資料來切入
02/20 21:39, 9F
推
02/21 18:40, 4年前 , 10F
其實如果你是用python 我推薦你一個叫snorkel的套件，
02/21 18:40, 10F
→
02/21 18:40, 4年前 , 11F
基本上就是一個weak supervised learning 的模塊，可以
02/21 18:40, 11F
→
02/21 18:40, 4年前 , 12F
用一些規則方式幫你做文字分析，在用多種規則聯合推理
02/21 18:40, 12F
→
02/21 18:40, 4年前 , 13F
資料分布，在訓練模型。另外，他還有資料增生的範例，
02/21 18:40, 13F
→
02/21 18:40, 4年前 , 14F
對你一定有幫助
02/21 18:40, 14F
推
02/22 08:25, 4年前 , 15F
掰陳用svr只需要一間房子用電量就可以預測了！
02/22 08:25, 15F
推
02/22 08:56, 4年前 , 16F
試試看call svm
02/22 08:56, 16F
推
02/23 20:24, 4年前 , 17F
直接用文章內容分效果很差 要先parse出一些可以作為參考特徵
02/23 20:24, 17F
→
02/23 20:24, 4年前 , 18F
再去作分類器 效果比較好
02/23 20:24, 18F
推
02/24 08:29, 4年前 , 19F
erre ㄋㄊㄇ亂回文回爽沒
02/24 08:29, 19F
推
02/26 08:43, 4年前 , 20F
該永桶了ㄅ= =
02/26 08:43, 20F
推
02/26 11:49, 4年前 , 21F
有人要蒐集證據向板主檢舉嗎(?
02/26 11:49, 21F
推
02/26 13:04, 4年前 , 22F
他到處多恨交大andrew chen
02/26 13:04, 22F
→
02/26 13:05, 4年前 , 23F
到底
02/26 13:05, 23F
→
02/26 22:58, 4年前 , 24F
居然有人知道他在說誰XDDDD
02/26 22:58, 24F
推
05/05 13:09, 4年前 , 25F
SVM對小量資料比較不友善 support vectors不夠具代表性
05/05 13:09, 25F
→
05/05 13:09, 4年前 , 26F
的話分類準確度不好 少量資料可以靠pretrained 在大量
05/05 13:09, 26F
→
05/05 13:09, 4年前 , 27F
文本上的shallow embedding去些微提升 或者做些基本的da
05/05 13:09, 27F
→
05/05 13:09, 4年前 , 28F
ta augmentation (提升有限）
05/05 13:09, 28F
→
05/05 13:10, 4年前 , 29F
是說資料的語言是？
05/05 13:10, 29F
推
05/17 21:43, 4年前 , 30F
可用SVDD 支援向量資料描述
05/17 21:43, 30F
‣ 更多 del680202 的文章
文章代碼(AID): #1UJ0QqRA (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 del680202 的文章
文章代碼(AID): #1UJ0QqRA (DataScience)