Re: 如何阻擋搜尋網站用 robot 抓取網頁~
※ epstudio.bbs@alway.twbbs.org (蛋餅) wrote:
> 一般來說都是設定 robots.txt 即可~
> 但是要放在哪裡才能真正作用?
> Apache 裡的 Document Root 指定的位置就好...
> 還是說連 Visual Host 的每個路徑都要?
> 而且發現, robots.txt 對大陸的 baidu(百度: http://www.baidu.com/)無效~
> 但是 baidu 抓取的資料量又是最多的(死大陸仔)~
> 有沒有辦法可以阻擋?
猛一點直接封IP段阿~~@@ 把百度的IP段全部封死~
--
◣ ███ ███ ☆ Post by Meditator
◢█ ▉▉█ █▇█ ★ From 218-161-70-16.dynamic.hinet.net
◥█◤ ﹉ ﹍ ﹋ 月光海洋BBS 《mobbs.stut.edu.tw》 163.26.220.130
討論串 (同標題文章)
完整討論串 (本文為第 4 之 10 篇):
FreeBSD 近期熱門文章
PTT數位生活區 即時熱門文章