[問題]如何爬取即使產生的資料

看板Python作者 (EEcheng)時間5年前 (2019/11/20 21:11), 5年前編輯推噓1(1020)
留言21則, 6人參與, 5年前最新討論串1/1
各位大大好,目前我在練習拿中央氣象局的各地溫度,但是用requests.get拿到的程式碼 都不含溫度的資料,他們好像會即時產生,程式碼只有表格的雛型,想請問有神麼辦法能 用爬蟲的方式拿到嗎?謝謝。 以下附上網址,表格在123行開始。 https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=64 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.103.162 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1574255518.A.BA7.html ※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:13:33 ※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:18:30 ※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:19:01

11/20 22:01, 5年前 , 1F
資料是叫用api回傳內容 所以你爬這頁看到表格 沒資料
11/20 22:01, 1F

11/20 22:02, 5年前 , 2F
網頁原始碼看的出來 高雄市
11/20 22:02, 2F

11/20 22:02, 5年前 , 3F
www.cwb.gov.tw/Data/js/Observe/County/64.js
11/20 22:02, 3F

11/20 22:04, 5年前 , 4F
如果非靜態網頁 叫api回資料 反而要看懂他怎麼叫
11/20 22:04, 4F

11/20 22:11, 5年前 , 5F
所以這個應該是動態網頁?所以應該沒辦法走找尋selector
11/20 22:11, 5F

11/20 22:11, 5年前 , 6F
取值這條路了吧?那請問有神麼套件或api可以解決這個問
11/20 22:11, 6F

11/20 22:11, 5年前 , 7F
題嗎?
11/20 22:11, 7F

11/20 22:44, 5年前 , 8F
這種就不用爬 直接就給資料了 只要parse就好了
11/20 22:44, 8F

11/21 05:34, 5年前 , 9F
氣象局有資料開放平台,直接用json取值比較快啦
11/21 05:34, 9F

11/21 08:47, 5年前 , 10F
感謝各位的意見,我再試試
11/21 08:47, 10F

11/21 15:59, 5年前 , 11F
不一定要找出api來源 有api的call api比較有效率而已
11/21 15:59, 11F

11/21 16:01, 5年前 , 12F
關鍵字 python webdriver ajax google一下吧
11/21 16:01, 12F

11/21 16:02, 5年前 , 13F
模擬瀏覽 爬資料 與 直接拿到資料的分別而已
11/21 16:02, 13F

11/22 11:50, 5年前 , 14F
你找錯地方了,找中央氣象局 opendata,有api可以串,
11/22 11:50, 14F

11/22 11:50, 5年前 , 15F
很容易
11/22 11:50, 15F

11/22 19:54, 5年前 , 16F
原po表示練習 猜他不是真的要資料而是這類網頁如何
11/22 19:54, 16F

11/22 19:54, 5年前 , 17F
11/22 19:54, 17F

11/24 06:26, 5年前 , 18F
開 selenium 吧。
11/24 06:26, 18F

11/24 06:29, 5年前 , 19F
要資料的話請找opendata,要從網頁抓資料的話請用 selenium
11/24 06:29, 19F

11/26 10:38, 5年前 , 20F
他是動態產生的,之前爬過一次樓上說的ajax那些搞懂就
11/26 10:38, 20F

11/26 10:38, 5年前 , 21F
很好爬了
11/26 10:38, 21F
文章代碼(AID): #1TrJkUkd (Python)
文章代碼(AID): #1TrJkUkd (Python)