PTT數位生活區 / R_Language

[問題] Rvest 網路爬蟲問題

看板R_Language作者 (123)時間4年前 (2019/12/18 01:42), 4年前編輯推噓6(6推 0噓 23→)
留言29則, 3人參與, 4年前最新討論串1/2 (看更多)
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來) [軟體熟悉度]: 新手(沒寫過程式，R 是我的第一次) [問題敘述]: 爬網頁上的產品名稱, 價格, 連結，以及每個產品連結網頁裡面的六個規格種類 然後合併成一個 13x9 的 data frame 但目前我有碰到以下幾個問題，想請前輩幫忙 Q1: 產品價格可以成功爬到，可是價格中間的空格都無法去掉，只留下數字部分。看了一 下網頁原始碼價格有包含 &nbsp這段，想請問要如何單獨提出裡面的數字? Q2: 我用for 迴圈可以爬到13個各別網頁裡面的六個規格，想請問要如何爬出規格然後變 成 13x6 的資料然後跟其他爬到的資料合併成一個 data frame? Q3: 承上，我有嘗試抓 html_table的方式，但跑出來就只有list()。請問我的寫法是哪 邊出了問題? 謝謝各位 [程式範例]: https://ideone.com/QsX80K [環境敘述]: R version 3.6.2 (2019-12-12) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 7 x64 (build 7601) Service Pack 1 [關鍵字]: Rvest, for loop, html_table -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.43.212.12 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1576604534.A.85C.html
推
12/18 03:25, 4年前 , 1F
1.用gsub將空格替換掉
12/18 03:25, 1F
→
12/18 03:26, 4年前 , 2F
2看起來用rbind就做的到？
12/18 03:26, 2F
→
12/18 22:37, 4年前 , 3F
Q1沒辦法直接將空格換掉，看起來是空格但裡面其實還包含
12/18 22:37, 3F
→
12/18 22:37, 4年前 , 4F
其他網頁原始碼 "&nbsp"
12/18 22:37, 4F
→
12/18 22:38, 4年前 , 5F
Q2我有跑出來13個結果，但好像會一個接一個取代，以至於
12/18 22:38, 5F
→
12/18 22:38, 4年前 , 6F
我看長度都只有6個...
12/18 22:38, 6F
→
12/18 22:39, 4年前 , 7F
還是建議把實際的HTML檔拿出來討論。
12/18 22:39, 7F
→
12/18 23:11, 4年前 , 8F
價格部分的原始碼再這裡 https://imgur.com/VwuBXeS
12/18 23:11, 8F
→
12/18 23:12, 4年前 , 9F
網站短連結 https://bit.ly/2EHme4R
12/18 23:12, 9F
→
12/18 23:43, 4年前 , 10F
1.用gsub吧。x <- "123&nbsp;456"; gsub("&nbsp;","",x)
12/18 23:43, 10F
→
12/18 23:51, 4年前 , 11F
更正，gsub("\u00A0", "", x) 就可以了
12/18 23:51, 11F
→
12/18 23:55, 4年前 , 12F
2. for之前先建好data frame，在for loop中把各項資料存
12/18 23:55, 12F
→
12/18 23:55, 4年前 , 13F
入data frame中，而不是每次取值後就沒事了。
12/18 23:55, 13F
→
12/18 23:56, 4年前 , 14F
data frame每列為產品，欄可以是網址、spec等等東西。
12/18 23:56, 14F
→
12/18 23:56, 4年前 , 15F
所以你應該從頭改寫，所有東西都存在一個data frame中而
12/18 23:56, 15F
→
12/18 23:57, 4年前 , 16F
而不是各自獨立的變數，這樣整理起來會方便很多。
12/18 23:57, 16F
→
12/19 00:05, 4年前 , 17F
12/19 00:05, 17F
感謝 Andrew大! 剛剛照著你的code跑了一次，的確就是我想要的結果! 非常感謝! 但是用 \u00A0是 HTML特殊語法的關係嗎? 我看空白處它的寫法是用<U+00A0> 另外 for 迴圈跑出來的幾個變數的值空白處(例如重量, RAM)也是有 <U+00A0> 這樣子也是要等迴圈跑完填入 data frame後，再用gsub取代嗎? 最後一個好奇問題是，你貼上去的分享code連結，為何呈現的網址跟我貼的不一樣? 跑第二次就出現以下問題了 Error in open.connection(x, "rb") : Could not resolve host: w...content-available-to-author-only...t.nu ※ 編輯: iambakr (114.43.208.85 臺灣), 12/19/2019 01:41:18
推
12/19 08:14, 4年前 , 18F
&nbsp是HTML的特殊符號，而R得到後對應Unicode就是你看
12/19 08:14, 18F
→
12/19 08:14, 4年前 , 19F
到的。
12/19 08:14, 19F
推
12/19 08:16, 4年前 , 20F
網址相同不一定內容相同，不同時間去爬的關係把
12/19 08:16, 20F
推
12/19 08:18, 4年前 , 21F
我相信你已經有辦法處理其他內容中的nbsp了。
12/19 08:18, 21F
→
12/20 00:06, 4年前 , 22F
感謝Andrew大!後來有照你的方法成功去除&nbsp了!
12/20 00:06, 22F
→
12/20 00:06, 4年前 , 23F
請問有一段你的代碼是gsub("\u00A0", "", .) 最後一個點
12/20 00:06, 23F
→
12/20 00:08, 4年前 , 24F
代表什麼意思呢? 是正則嗎? 另外如果要爬多網頁，網址
12/20 00:08, 24F
→
12/20 00:10, 4年前 , 25F
規則是結尾=數字倍數方式，這樣邏輯上是爬完第一頁後，再
12/20 00:10, 25F
→
12/20 00:10, 4年前 , 26F
用迴圈跑剩下頁數然後一樣丟進 data frame嗎? 謝謝
12/20 00:10, 26F
推
12/20 10:02, 4年前 , 27F
那個點是pipe後代表先前的回傳值
12/20 10:02, 27F
推
12/20 10:04, 4年前 , 28F
你說的扒多個網頁我不了解意思，可以開新的討論問。
12/20 10:04, 28F
→
12/24 00:45, 4年前 , 29F
感謝Andrew大! 我再研究一下，真的不行再po文請教大家
12/24 00:45, 29F
‣ 更多 iambakr 的文章
文章代碼(AID): #1T-HDsXS (R_Language)
R_Language 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 iambakr 的文章
文章代碼(AID): #1T-HDsXS (R_Language)