Re: 如何阻擋搜尋網站用 robot 抓取網頁~
※ 引述《epstudio.bbs@alway.twbbs.org (蛋餅)》之銘言:
> 一般來說都是設定 robots.txt 即可~
> 但是要放在哪裡才能真正作用?
> Apache 裡的 Document Root 指定的位置就好...
> 還是說連 Visual Host 的每個路徑都要?
> 而且發現, robots.txt 對大陸的 baidu(百度: http://www.baidu.com/)無效~
> 但是 baidu 抓取的資料量又是最多的(死大陸仔)~
> 有沒有辦法可以阻擋?
robots.txt 只是參考用的而已, 人家要是不鳥你那也是沒用
-
直接把 baidu 的 subnet 擋掉吧 ... :p
--
e-mail : ijliao@dragon2.net
算圓周率程式 :
long a=10000,b,c=2800,d,e,f[2801],g;
main(){for(;b-c;)f[b++]=a/5;for(;d=0,g=c*2;c-=14,printf("%.4d",e+d/a),e=d%a)
for(b=c;d+=f[b]*a,f[b]=d%--g,d/=g--,--b;d*=b);}
--
※ Origin: 克萊恩大地 <KrynnLand.twbbs.org>
◆ From: freebsd.csie.nctu.edu.tw
討論串 (同標題文章)
完整討論串 (本文為第 3 之 10 篇):
FreeBSD 近期熱門文章
PTT數位生活區 即時熱門文章