Re: 如何阻擋搜尋網站用 robot 抓取網頁~

看板FreeBSD作者時間21年前 (2005/01/08 20:32), 編輯推噓0(000)
留言0則, 0人參與, 最新討論串4/10 (看更多)
※ epstudio.bbs@alway.twbbs.org (蛋餅) wrote: > 一般來說都是設定 robots.txt 即可~ > 但是要放在哪裡才能真正作用? > Apache 裡的 Document Root 指定的位置就好... > 還是說連 Visual Host 的每個路徑都要? > 而且發現, robots.txt 對大陸的 baidu(百度: http://www.baidu.com/)無效~ > 但是 baidu 抓取的資料量又是最多的(死大陸仔)~ > 有沒有辦法可以阻擋? 猛一點直接封IP段阿~~@@ 把百度的IP段全部封死~ -- ███ ███ Post by Meditator ◢█ ▉▉█ █▇█ From 218-161-70-16.dynamic.hinet.net ◥█◤ ﹉ ﹍ ﹋ 月光海洋BBS 《mobbs.stut.edu.tw》 163.26.220.130
文章代碼(AID): #11tzBM00 (FreeBSD)
討論串 (同標題文章)
文章代碼(AID): #11tzBM00 (FreeBSD)