PTT數位生活區 / Python

[問題] 爬蟲 XHR也找不到目標資料

看板Python作者 (rodyforeter)時間6年前 (2018/12/28 19:57), 編輯推噓3(3推 0噓 9→)
留言12則, 4人參與, 7年前最新討論串1/1
各位大大安安 我目前在寫一個電商爬蟲 自己做了一些功課 對於動態載入的網頁通常會用調出XHR的request或是使用web driver 現在碰到的一個疑問是 某電商網頁裡面的資料 doc裡面沒有 打開xhr一一掃過也沒有找到對應的資料 所以可能會用網頁驅動去爬取 但很好奇這類型的網頁是如何得到資料的呢? 裡面有一個 jquery xhr 是否是這個東西在搞鬼?? 新手發問 感謝解答 ~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.28.227.56 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1545998272.A.599.html
→
12/29 06:21, 6年前 , 1F
直接給網站唄 可疑的網頁都去點來看 網頁看的到基本都有
12/29 06:21, 1F
推
12/29 16:24, 6年前 , 2F
也有可能是websocket嗎？
12/29 16:24, 2F
→
12/29 17:55, 6年前 , 3F
12/29 17:55, 3F
→
12/29 17:56, 6年前 , 4F
我想要的資料是左邊的各項目錄網址
12/29 17:56, 4F
→
12/29 17:58, 6年前 , 5F
<dl id='MenuContainer' ...下的所有 <li>
12/29 17:58, 5F
推
12/29 20:47, 6年前 , 6F
我google pchome 爬蟲 有影片教學 你參考一下唄
12/29 20:47, 6F
→
12/29 22:38, 6年前 , 7F
謝謝 但是左側的那些目錄 不在xhr裡面@@
12/29 22:38, 7F
→
12/29 22:40, 6年前 , 8F
我再研究看看
12/29 22:40, 8F
→
12/29 22:44, 6年前 , 9F
靈機一動在旁邊的JS裡面找到了!哈哈
12/29 22:44, 9F
→
12/29 22:44, 6年前 , 10F
因為教學都說看XHR 結果一直找不到 謝謝大家
12/29 22:44, 10F
推
12/30 14:51, 6年前 , 11F
哪一個網站?
12/30 14:51, 11F
→
01/03 05:20, 7年前 , 12F
是pchome 現在已經可以了 問題是另一個更難的 momo
01/03 05:20, 12F
‣ 更多 rodyforeter 的文章
文章代碼(AID): #1S9W_0MP (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 rodyforeter 的文章
文章代碼(AID): #1S9W_0MP (Python)