Re: 如何阻擋搜尋網站用 robot 抓取網頁～
※ 引述《TerryLiaw.bbs@Terry.dragon2.net (㊣早睡早起)》之銘言：
> ※ 引述《epstudio.bbs@alway.twbbs.org (蛋餅)》之銘言：
> > 一般來說都是設定 robots.txt 即可～
> > 但是要放在哪裡才能真正作用？
> > Apache 裡的 Document Root 指定的位置就好...
> > 還是說連 Visual Host 的每個路徑都要？
> > 而且發現， robots.txt 對大陸的 baidu（百度: http://www.baidu.com/）無效～
> > 但是 baidu 抓取的資料量又是最多的（死大陸仔）～
> > 有沒有辦法可以阻擋？
> robots.txt 只是參考用的而已, 人家要是不鳥你那也是沒用
> 直接把 baidu 的 subnet 擋掉吧 ... :p
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ YA , It's a good idea.
--
╭ From: sw169-250-138.adsl.seed.net.tw ◎──────────╮
└──◎ Origin:政大資科˙貓空行館 bbs.cs.nccu.edu.tw ┘
討論串 (同標題文章)
完整討論串 (本文為第 5 之 10 篇)：
FreeBSD 近期熱門文章
PTT數位生活區 即時熱門文章
