[問題] 爬蟲相關問題

看板R_Language作者 (Rrr)時間9年前 (2016/08/04 22:27), 9年前編輯推噓0(004)
留言4則, 2人參與, 最新討論串1/1
[問題類型]: 程式諮詢(我想用R 做某件事情,但是我不知道要怎麼用R 寫出來) [軟體熟悉度]: 使用者(已經有用R 做過不少作品) [問題敘述]: 目前想抓取求職天眼通各公司的討論串, 不過碰到問題是進入個別討論串後, (例如 https://disqus.com/home/discussion/clv-bakc-end/_1111_811556/ ), 使用rvest或RSelenium都抓不到討論內容, 不知該怎麼處理。 [程式範例]: library(RSelenium) remDr <- remoteDriver(remoteServerAddr = "localhost" , port = 4444 , browserName ="firefox" ) remDr$open() remDr$navigate("https://disqus.com/home/discussion/clv-bakc-end/_1111_811556/" ) page_source<-remDr$getPageSource() page_source ##page_source沒討論內容,去抓html的nodes也就抓不到了 [關鍵字]: 爬蟲 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.240.238.239 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1470320873.A.5A5.html

08/04 22:42, , 1F
求職天眼通應該google 外掛的吧 不在原本的網頁上
08/04 22:42, 1F
我是爬外掛文章的來源(disqus),不是從人力銀行頁面上的外掛爬

08/05 02:10, , 2F
你要爬這個 iframe#dsq-app2;html裡可以找到它的src。
08/05 02:10, 2F

08/05 02:11, , 3F
這種動態地讀入iframe的情況,還是直接到該iframe的原始
08/05 02:11, 3F

08/05 02:12, , 4F
網頁裡爬資料會比較穩,只是經驗談。
08/05 02:12, 4F
喔喔喔 成功了 好厲害謝謝你! ※ 編輯: GetRobin (223.140.143.167), 08/05/2016 09:08:45
文章代碼(AID): #1Ner3fMb (R_Language)
文章代碼(AID): #1Ner3fMb (R_Language)