[問題] webdriver無法顯示表格已刪文

看板Python作者 (Eason)時間3年前 (2021/09/08 01:06), 3年前編輯推噓2(202)
留言4則, 3人參與, 3年前最新討論串1/1
大家好,我是python爬蟲新手,對網路架構完全不了解,靠著一些書籍與網路教學已經能 順利的從靜態網頁爬到我需要的資料。 最近想從下方網址爬取表格的資料,一開始使用requests+bs4,發現抓取回來的欄位中數 值都是空的。餵狗查詢有發現可能是表格中的數值是由JavaScript動態產生的,所以需要 用webdriver來取得資料。之後按照著教學使用webdriver,瀏覽器也成功啟動,但是在瀏 覽器中只有看到表格的表頭,資料欄位則完全沒有顯示,當下使用瀏覽器的開發者模式, 有發現在疑似查詢日期的request時,伺服器回了status code 400,使用chrome/Firefox webdriver都相同。 請問這種情況是什麼環節出了問題?又該如何避免呢? 謝謝。 https://www.wantgoo.com/stock/major-investors/net-buy-sell-rank?market=Listed -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.161.208.252 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1631034391.A.8BB.html ※ 編輯: linsl992 (1.161.208.252 臺灣), 09/08/2021 01:09:40 ※ 編輯: linsl992 (122.116.74.30 臺灣), 09/08/2021 01:25:54

09/08 17:35, 3年前 , 1F
你先打一次他的request
09/08 17:35, 1F

09/08 19:10, 3年前 , 2F
也可以先等待幾秒再爬
09/08 19:10, 2F

09/08 19:48, 3年前 , 3F
有cloudflare防爬
09/08 19:48, 3F

09/08 19:49, 3年前 , 4F
09/08 19:49, 4F
感謝大大提供關鍵字,已爬文找到方法避過了。 ※ 編輯: linsl992 (122.116.74.30 臺灣), 09/08/2021 22:53:53
文章代碼(AID): #1XDvmNYx (Python)
文章代碼(AID): #1XDvmNYx (Python)