[請益] Google擋robot?

看板PHP作者 (mewtwo)時間16年前 (2009/08/16 11:14), 編輯推噓2(204)
留言6則, 2人參與, 最新討論串1/2 (看更多)
以下是我寫的一個小程式,主要是重覆地向google要求某些資訊。 但是後來發現,迴圈(i)總是無法超過最多10, (停止的地方每次都不一樣) 先否請問先進們,我到底是那邊做錯了嗎? (這程式真的非常簡單,但是問題一直解決不了,快抓狂了) 在此先謝謝了。 for( $i = 0; $i < $numLine; $i++ ){ for( $j = 0; $j < $numLine; $j++ ){ // $str1 and $str2是一連串的關鍵字,一直在變化。 $url = "http://www.google.com/search?hl=en&q=".$str1."+".$str2; $ch = curl_init(); $timeout = 60; curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout ); curl_setopt($ch, CURLOPT_USERAGENT, "Yahoo Bot" ); //sleep(1); $contents = curl_exec($ch); curl_close($ch); // 在此對 $contents做處理 } // end for $j fputs( $output, "\n" ); echo "<br/>"; } // end for $i -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 128.211.252.99

08/16 16:32, , 1F
你沒說停住的原因
08/16 16:32, 1F

08/16 16:33, , 2F
我自己的SERVER每天都做出上萬個要求,應該是沒有問
08/16 16:33, 2F

08/16 16:34, , 3F
可能是頁面TIMEOUT了
08/16 16:34, 3F

08/16 22:59, , 4F
timeout is 60 seconds,
08/16 22:59, 4F

08/16 23:00, , 5F
and I requested about 60 times in one minute.
08/16 23:00, 5F

08/17 01:59, , 6F
CURL的TIMEOUT跟PHP頁面的TIME不一樣
08/17 01:59, 6F
文章代碼(AID): #1AXtcoR7 (PHP)
討論串 (同標題文章)
文章代碼(AID): #1AXtcoR7 (PHP)