Re: 如何阻擋搜尋網站用 robot 抓取網頁~

看板FreeBSD作者時間21年前 (2005/01/09 12:01), 編輯推噓0(000)
留言0則, 0人參與, 最新討論串7/10 (看更多)
請教, 如何 用 freeBSD 的 firewall (ipfw ? ) 封殺 這些 ip subnet 呢 ? 要寫在哪個檔? & 要啥內容? 我用 fBSD 5.3 謝謝 <: Neuro :> - 我是 fBSD 新手 === "男兒志在四方..." <Meditator.bbs@mobbs.stut.edu.tw> 撰寫於郵件新聞:4G9HjA$p5X@mobbs.stut.edu.tw... >※ Meditator (男兒志在四方...) wrote: >> ※ epstudio.bbs@alway.twbbs.org (蛋餅) wrote: >> > 一般來說都是設定 robots.txt 即可~ >> > 但是要放在哪裡才能真正作用? >> > Apache 裡的 Document Root 指定的位置就好... >> > 還是說連 Visual Host 的每個路徑都要? >> > 而且發現, robots.txt 對大陸的 baidu(百度: http://www.baidu.com/)無效~ >> > >> > 但是 baidu 抓取的資料量又是最多的(死大陸仔)~ >> > 有沒有辦法可以阻擋? >> 猛一點直接封IP段阿~~@@ 把百度的IP段全部封死~ > IP區段: 61.135.0.0 - 61.135.255.255 > 加油~^^
文章代碼(AID): #11uAn-00 (FreeBSD)
討論串 (同標題文章)
文章代碼(AID): #11uAn-00 (FreeBSD)