[問題] 爬蟲遇到statusCode=302相關問題
最近在爬一些網頁蒐集資料
偶爾會遇到網頁需要重新導向的問題
我用chrome瀏覽器看到的詳細如下
前往網站A得到回應的status code = 302
並且會在response header裡面的location
放入重新導向的目的地網站B的網址
但是實際用爬蟲下去跑會發現
前往網站A取得的回應裡面看不到
response header裡面的location
卻直接得到了最後導向的網站B內容
感覺上好像是程式自己做做了重新導向這件事
有沒有辦法正常讓爬蟲取得那個location呢？
我的環境是nodejs
使用模組是request跟request-promise
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.13.49.98
※ 文章網址: https://www.ptt.cc/bbs/Ajax/M.1536667615.A.E01.html
→
09/11 20:34,
6年前
, 1F
09/11 20:34, 1F
感謝大大的開示
回頭去看request的readme還真的有這個選項，當初真的是眼瞎了XD
※ 編輯: ggbast (175.96.115.207), 09/12/2018 16:51:35
Ajax 近期熱門文章
PTT數位生活區 即時熱門文章
