Re: 如何阻擋搜尋網站用 robot 抓取網頁~

看板FreeBSD作者時間21年前 (2005/01/08 17:01), 編輯推噓0(000)
留言0則, 0人參與, 最新討論串3/10 (看更多)
※ 引述《epstudio.bbs@alway.twbbs.org (蛋餅)》之銘言: > 一般來說都是設定 robots.txt 即可~ > 但是要放在哪裡才能真正作用? > Apache 裡的 Document Root 指定的位置就好... > 還是說連 Visual Host 的每個路徑都要? > 而且發現, robots.txt 對大陸的 baidu(百度: http://www.baidu.com/)無效~ > 但是 baidu 抓取的資料量又是最多的(死大陸仔)~ > 有沒有辦法可以阻擋? robots.txt 只是參考用的而已, 人家要是不鳥你那也是沒用 - 直接把 baidu 的 subnet 擋掉吧 ... :p -- e-mail : ijliao@dragon2.net 算圓周率程式 : long a=10000,b,c=2800,d,e,f[2801],g; main(){for(;b-c;)f[b++]=a/5;for(;d=0,g=c*2;c-=14,printf("%.4d",e+d/a),e=d%a) for(b=c;d+=f[b]*a,f[b]=d%--g,d/=g--,--b;d*=b);} -- ※ Origin: 克萊恩大地 <KrynnLand.twbbs.org> ◆ From: freebsd.csie.nctu.edu.tw
文章代碼(AID): #11tw5X00 (FreeBSD)
討論串 (同標題文章)
文章代碼(AID): #11tw5X00 (FreeBSD)