看板 [ Python ]
討論串[問題] 爬蟲部署到Heroku後請求失敗
共 2 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#1
[問題] 爬蟲部署到Heroku後請求失敗
推噓0(0推 0噓 2→)留言2則，0人參與, 最新作者gene50814 (genechen)時間2年前 (2022/08/18 23:10), 2年前編輯資訊
1
0
1
內容預覽:
各位大大好. 小弟有一個爬印度證交所(https://www.nseindia.com/) 網站的需求。. 在local端寫好執行都沒問題，但部署到heroku之後連單純的requests get都沒辦法。. 請求送出之後不是會return失敗的status code，而是會執行非常久都不會結束.
(還有172個字)
#2
Re: [問題] 爬蟲部署到Heroku後請求失敗
推噓0(0推 0噓 1→)留言1則，0人參與, 2年前最新作者atrisk (atrisk)時間2年前 (2022/08/22 10:59), 編輯資訊
0
0
6
內容預覽:
如gene50814所言，requests在local host只要加User-Agent就可以正常執行，. 然而一旦佈署到Heroku上就會失效，等很久都得不到回應。. 我在https://www.scrapingbee.com/註冊一個免費的帳號，將proxies設成該站所. 提供的位址後可以成
(還有854個字)
首頁
上一頁
1
下一頁
尾頁