[問題] webdriver無法顯示表格已刪文
大家好,我是python爬蟲新手,對網路架構完全不了解,靠著一些書籍與網路教學已經能
順利的從靜態網頁爬到我需要的資料。
最近想從下方網址爬取表格的資料,一開始使用requests+bs4,發現抓取回來的欄位中數
值都是空的。餵狗查詢有發現可能是表格中的數值是由JavaScript動態產生的,所以需要
用webdriver來取得資料。之後按照著教學使用webdriver,瀏覽器也成功啟動,但是在瀏
覽器中只有看到表格的表頭,資料欄位則完全沒有顯示,當下使用瀏覽器的開發者模式,
有發現在疑似查詢日期的request時,伺服器回了status code 400,使用chrome/Firefox
webdriver都相同。
請問這種情況是什麼環節出了問題?又該如何避免呢?
謝謝。
https://www.wantgoo.com/stock/major-investors/net-buy-sell-rank?market=Listed
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.161.208.252 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1631034391.A.8BB.html
※ 編輯: linsl992 (1.161.208.252 臺灣), 09/08/2021 01:09:40
※ 編輯: linsl992 (122.116.74.30 臺灣), 09/08/2021 01:25:54
→
09/08 17:35,
3年前
, 1F
09/08 17:35, 1F
推
09/08 19:10,
3年前
, 2F
09/08 19:10, 2F
推
09/08 19:48,
3年前
, 3F
09/08 19:48, 3F
→
09/08 19:49,
3年前
, 4F
09/08 19:49, 4F
感謝大大提供關鍵字,已爬文找到方法避過了。
※ 編輯: linsl992 (122.116.74.30 臺灣), 09/08/2021 22:53:53
Python 近期熱門文章
PTT數位生活區 即時熱門文章