PTT數位生活區 / Python

[問題] HTTP Error 500???

看板Python作者時間12年前 (2013/05/16 21:01), 編輯推噓0(0推 0噓 7→)
留言7則, 3人參與, 最新討論串1/1
在爬行資料的過程中 三不五時爬到一半的時候 會出現錯誤 HTTPError: HTTP Error 500: Internal Server Error 但在程式碼上也有寫了random.randint(5, 10) 隨機停止暫停後再繼續 為什麼還是有這樣的狀況發生? 是時間還要拉長嗎?! -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.135.114.123
→
05/16 21:05, , 1F
會是爬行資料太多嗎? 還是將爬行資料拆開跑???
05/16 21:05, 1F
→
05/16 22:42, , 2F
理論上500是指server自已出的問題,但也可能是對方故意放的
05/16 22:42, 2F
→
05/16 22:51, , 3F
但都已經有暫停再繼續，還會back http error?
05/16 22:51, 3F
→
05/16 23:53, , 4F
server 錯誤..不代表她已經知道你是爬蟲..
05/16 23:53, 4F
→
05/16 23:56, , 5F
再來就是如果你delay 是在吃到500之後才下XD
05/16 23:56, 5F
→
05/16 23:57, , 6F
通常檔不會只檔幾秒鐘的ˇˇ
05/16 23:57, 6F
→
05/17 11:48, , 7F
知道是爬蟲?←這句話不太懂?!所以要下在500之前嗎?!
05/17 11:48, 7F
‣ 更多 darklimit 的文章
文章代碼(AID): #1HbDYLor (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 darklimit 的文章
文章代碼(AID): #1HbDYLor (Python)