[問題] Rselenium網頁爬蟲迴圈問題

看板R_Language作者bearching (Exploring inspirations)時間6年前 (2019/01/29 15:18)推噓1(1推 0噓 11→)

留言12則, 2人參與討論串1/1

[軟體熟悉度]: 入門(寫過其他程式，只是對語法不熟悉) [問題敘述]: === 02/11/2019補上更詳細的問題敘述供參考我目前想做的事情是在一個資料庫上爬資料，資料庫是用網頁呈現的，我的需求是複製搜尋資料庫之後的結果，該搜尋結果一頁只會呈現35筆的資料，所以如果搜尋結果總共20000筆的話我就會手動複製到天荒地老，故打算用爬蟲的方式複製資料，再轉成excel可以讀取的檔案，之後再進行下一步分析 coding卡住的地方是我原本想要一筆資料就設定為一個變數， 35筆資料就有35個變數 locka與celestialgod的建議是，R的概念不是這樣子的(也幸好不是，後來想想這樣子抓資料會很恐怖) 應該是設定一個list函數，再把資料儲存到這個函數裡面我後來使用的是vector函數，然後把資料儲存進去，再輸出為csv檔: a <-vector() #中間複製資料的code略過 at <- matrix(a) write.csv(at, file ="abc.csv") ====== 我想要寫的內容是，宣告jump.page當作網頁的頁碼(從第2頁開始) 每頁有0~34行的內容，我用xpath定位這總共35行， value是paste0(value ="//span[@id='tr_",m,"']")) 然後整個網頁頁面是從第2頁到第10頁一樣是用xpath定位網頁上面的頁碼，value是 paste0(value ="//a[text()='",jump.page,"']")) 我想要問的事情是 1.take_m的這個宣告變數，我想要把m用迴圈的數字代換，但目前就是跳出"take_m" 這個變數而已，這個目的想要的是把複製的文字記錄在同一個變數(或是vector?)裡面，再print來看 2.我使用paste0()做這件事情，目前好像時好時壞，有時候會認不得我寫的東西，有時候又可以，請問有沒有版友跟我發生一樣的事情呢? 感謝 [程式範例]: jump.page <- 2 while(jump.page <= 10){ for(m in 0:34) { take_m <- remDr$findElement(using = "xpath", paste0(value = "//span[@id='tr_",m,"']")) take_m$getElementText() } web.link <- remDr$findElement(using = "xpath", paste0(value = "//a[text()='",jump.page,"']")) web.link$clickElement() jump.page <- jump.page + 1 } [關鍵字]: 爬蟲 Rselenium 迴圈 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.119.121.6 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1548746320.A.8BC.html ※ 編輯: bearching (140.119.121.6), 01/29/2019 16:30:05

推

locka

01/29 17:39, 6年前 , 1^F

01/29 17:39, 1^F

→

locka

01/29 17:39, 6年前 , 2^F

01/29 17:39, 2^F

→

locka

01/29 17:39, 6年前 , 3^F

01/29 17:39, 3^F

→

locka

01/29 17:39, 6年前 , 4^F

01/29 17:39, 4^F

→

locka

01/29 17:39, 6年前 , 5^F

01/29 17:39, 5^F

→

locka

01/29 17:39, 6年前 , 6^F

01/29 17:39, 6^F

→

locka

01/29 17:39, 6年前 , 7^F

01/29 17:39, 7^F

→

locka

01/29 17:39, 6年前 , 8^F

01/29 17:39, 8^F

感謝你~! 我現在的確是用list函數來做，爬了版上文章看到可以用list 來實現我想做的事情。我會找找看apply系列的函數來看的，再次感謝~!! ※ 編輯: bearching (123.204.166.118), 01/30/2019 00:46:56 ※ 編輯: bearching (140.119.121.6), 01/30/2019 11:56:09

→

celestialgod

01/30 16:47, 6年前 , 9^F

01/30 16:47, 9^F

→

celestialgod

01/30 16:47, 6年前 , 10^F

01/30 16:47, 10^F

→

celestialgod

01/30 16:48, 6年前 , 11^F

01/30 16:48, 11^F