[問題] 如何抓取network XHR ?

看板Python作者 (痛苦)時間4年前 (2021/01/06 01:32), 編輯推噓1(104)
留言5則, 3人參與, 4年前最新討論串1/1
如題: 想透過PYTHON 爬蟲抓包某A網站的數據XHR 換句話說 就是想透過PYTHON攔截下載到瀏覽器前的某的XHR檔案 1.上網查答案 似乎要安裝mitmproxy來當使用者與主機中的中間器去攔截 我並沒有要串改或是過濾訊息,可否有其他方式 例如pythom寫出chrome plus 攔截某的檔案xhr 因為想要去抓取資料在那個某檔名xhr裡面 2.不考慮對該主機URL去post/get 得到資料(xhr) URL有好多前端加密亂數 放棄 3.該網站的network每次會產生許多xhr(加密隨機亂數)檔案 其中我想要的xhr檔案的檔案有個關鍵字可以辨識出來 所以才想這樣土法煉鋼找到指定XHR 先謝謝各位大大XD -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.131.164 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1609867951.A.102.html

01/06 13:02, 4年前 , 1F
F12有個xhr中斷點功能 在那個xhr設中斷點 看stack
01/06 13:02, 1F

01/06 13:02, 4年前 , 2F
找出是哪裡呼叫那個xhr的
01/06 13:02, 2F

01/06 13:02, 4年前 , 3F
其實我看不懂你想問啥
01/06 13:02, 3F

01/06 13:45, 4年前 , 4F
我是想要用python 去抓取network 資料
01/06 13:45, 4F

01/07 09:29, 4年前 , 5F
mitm能濾 能看 能改 又好寫
01/07 09:29, 5F
文章代碼(AID): #1VzAAl42 (Python)
文章代碼(AID): #1VzAAl42 (Python)