[問題] 抓網頁的一個疑問

看板Python作者 (噢優)時間15年前 (2009/10/19 16:01), 編輯推噓2(203)
留言5則, 4人參與, 最新討論串1/1
python裡比較常用的抓網頁程式應該就是urllib和urllib2了 用了這兩個module抓網頁一段時間後,我發現一個很奇怪的問題 那就是抓google或yahoo的資料被檔後,總是會被鎖上幾個小時~1天的時間 在這段時間裡,程式都不能抓到網頁, 但是直接在網頁輸入query和點擊網頁卻又可以進得去 請問有人知道這是什麼原因嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.116.245.199

10/19 16:04, , 1F
query太頻繁 如果你繼續抓 你ip區段的電腦都會一起被鎖
10/19 16:04, 1F

10/19 22:14, , 2F
還可以使用瀏覽器瀏覽頁面表示 IP 還沒有被檔
10/19 22:14, 2F

10/19 22:15, , 3F
一旦 yahoo 回應 999,你使用任何程式都沒有辦法下載頁面
10/19 22:15, 3F

10/21 12:55, , 4F
sleep 幾秒再抓下一個
10/21 12:55, 4F

10/21 17:12, , 5F
Y!的999不知道有沒有鎖學網的Proxy喔?
10/21 17:12, 5F
文章代碼(AID): #1At1pkRo (Python)
文章代碼(AID): #1At1pkRo (Python)