Re: [請益] 有沒有一樣是研究text mining的同好呢

看板CSSE (電腦科學及軟體工程)作者PsMonkey (痞子軍團團長)時間16年前 (2009/02/16 01:30)推噓6(6推 0噓 12→)

留言18則, 5人參與討論串3/5 (看更多)

※ 引述《cansas (cansas)》之銘言： : 其實是這樣的 text mining 可以粗略簡化為三個流程 : 1.特值值截取: 因為電腦讀不懂語意　所以需要使用一些數學方法截取出相對重要的 : 詞，做為該文件的索引字，例如使用　”馬英九”　”慢跑”　這兩個字 : 做為馬英九慢跑這篇新聞的索引字。 : 2.建造分類器：分類器有很多種　可以選擇ＳＶＭ　ＫＮＮ等　都有不同特性 : 3.Pattern Matching: 將需要分類的新文件　與過去使用Training data 所建製的的 : 分類器　做比對的動作　計算相似度　接著決定這分新文件屬於哪 : 個類別 : 以上是三個連貫的流程　也就是說　其中一個環節有錯　就會直接對結果產生影響 : 另外越前端的環節做不好　產生的影響越大　 : 其實我現在的問題是　我有一個benchmark 有相似的類別　也有非常獨立的類別 : 相似的類別使用數學方法　計算權重　截取出來的字非常相似　經常重疊 : 這連帶的影響到後端分類器的建置　分類器無法明顯的區分出這兩個類別 : 就搞得頭好痛　那個benchmark 叫做　20newsgroup 有幾個很難區分的類別分別是 : "atheism" ,"talk.religion.misc","religion.christian" 這幾個類別截取出來的字 : 常常就是　"god","christian" ,"christ"　等　經常談論到神　 : 不知道這樣子有沒有說明白...不好意思　麻煩了有些東西我還是看不太懂，而且錯字一堆（例如 20newsgroup 是啥，裡頭的類別又是啥？）你應該是卡在第一階段，但是跟你後面的敘述又搭不起來大概是我程度太差... 請不用理我，下面也當作我自言自語如果選定一個特徵詞庫（或是所有的 term 都下海... [奸笑]）那責任算在那個詞庫上... （反正也不可能自己建立一個公認有權威性的詞庫）接下來找 TF-IDF 這類的計算方法，看看哪一個可以「迎合」效果（理論上 TF-IDF 就能夠降低「大多數文件都有某個詞」的影響了至少數學是這樣子告訴我們...... ）講難聽一點... 能作的也只有這幾件事情... （吧？）如果幾個八竿子打不著的文章都有相同的特徵詞就好像不同類型的電影裡頭罵的髒話都一樣要拿髒話當特徵詞.... 然後哀號沒辦法分類... 這...... 有錯還請各方高手指正我不是研究這個的，只是幫別人寫論文實作，被迫得了解一些... （而且還是作分群，不是分類 XDXD） ==== 都說請勿來信了，那要求 talk 是怎樣... 這年頭的人都不管禮節，也不在乎別人的要求就是了... -- 侃侃長論鮮窒礙首頁：http://www.psmonkey.idv.tw 眾目睽睽無心顫 Blog：http://ps-think.blogspot.com 煢居少聊常人事殺頭容易告白難歡迎參觀 Java 版（@ptt.cc）精華區 \囧/ -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 61.228.197.217