PTT數位生活區 / Python

[問題] 新手請教爬蟲爬動態網頁

看板Python作者 (granly)時間8年前 (2017/03/04 02:39), 8年前編輯推噓2(2推 0噓 10→)
留言12則, 4人參與, 最新討論串1/1
各位好，本身沒學過什麼程式， 前陣子對爬蟲起了興趣，利用下班之餘學習如何用PYTHON寫爬蟲， 但遇到爬取動態網頁遇到了瓶頸，爬文之後發現有兩種解法 1.用Selenium模擬瀏覽器後， 操作一些動作後對網頁最後的樣子抓源碼， 在對需要的數據用BeautifulSoup操作抓取 2.分析網頁是如何對JAVASCRIPT等等請求數據(此部分不太確定，如有錯誤再請指導) ，然後再對放數據的js做get、post等等操作，後續如1 秉求著學習就要每種都要學會的態度， 想請版上的神人們給點指導...! 目前 1.是比較有頭緒的，這樣的流程是否理解正確呢? 2.的部分則是完成看不懂監測到的那一堆東西... 像是此網頁:goo.gl/P3 可貸額度試算最後試算出來數字該如何抓取呢? 以上的部分再請各位指出錯誤與指導了謝謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.47.155 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1488566376.A.FF7.html
推
03/04 11:49, , 1F
可以用fiddler觀察封包 模擬一樣的表頭送出
03/04 11:49, 1F
→
03/04 13:41, , 2F
不太懂v大的意思...是否可以站內line請教呢？
03/04 13:41, 2F
→
03/04 18:22, , 3F
你理解沒錯，但最後的例子是你的瀏覽器算出來的 沒傳輸
03/04 18:22, 3F
→
03/04 18:23, , 4F
自然你甚麼東西都抓不到
03/04 18:23, 4F
→
03/04 18:29, , 5F
03/04 18:29, 5F
→
03/04 18:30, , 6F
他說的應該是可貸額度試算那個頁籤
03/04 18:30, 6F
→
03/04 18:55, , 7F
原來如此，表頭的話不是用瀏覽器就看的到了？
03/04 18:55, 7F
→
03/04 19:05, , 8F
對，會輸入兩次個人資料後會有額度資料
03/04 19:05, 8F
→
03/04 19:23, , 9F
目前是用requests,創一個session()，post兩次，但抓到的
03/04 19:23, 9F
→
03/04 19:23, , 10F
源碼還是沒有數字
03/04 19:23, 10F
推
03/04 22:17, , 11F
他寫在 html 裡面用 js inject http://imgur.com/a/3m8XB
03/04 22:17, 11F
→
03/04 22:20, , 12F
r"\.monitor_counter\d?'\)\.html\('(.+)'\);"
03/04 22:20, 12F
※ 編輯: granly (27.246.167.199), 03/06/2017 09:44:06
‣ 更多 granly 的文章
文章代碼(AID): #1OkRXe_t (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 granly 的文章
文章代碼(AID): #1OkRXe_t (Python)