[問題] 爬蟲部署到Heroku後請求失敗

看板Python作者 (genechen)時間2年前 (2022/08/18 23:10), 2年前編輯推噓0(002)
留言2則, 2人參與, 最新討論串1/2 (看更多)
各位大大好 小弟有一個爬印度證交所(https://www.nseindia.com/) 網站的需求。 在local端寫好執行都沒問題,但部署到heroku之後連單純的requests get都沒辦法。 請求送出之後不是會return失敗的status code,而是會執行非常久都不會結束 之前在local端測試的時候是如果沒有加user-agent會發生這種問題,但部署到heroku上 的程式是有加的 想請教如果要能在heroku上正常運行可以怎麼調整? 不知道會不會是跟國家有關? hero ku上的國家似乎只有US跟EU。會是需要調整user-agent嗎? 請大大們指點迷津了 感謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.240.132.38 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1660835426.A.C44.html ※ 編輯: gene50814 (111.240.132.38 臺灣), 08/18/2022 23:11:22

08/19 10:16, 2年前 , 1F
看起來就是網站把雲端server都擋掉了 似乎無解
08/19 10:16, 1F

08/24 20:16, , 2F
很多網站都會擋 heroku 發出的 request
08/24 20:16, 2F
文章代碼(AID): #1Y_bPYn4 (Python)
文章代碼(AID): #1Y_bPYn4 (Python)