討論串(共10篇) - 如何阻擋搜尋網站用 robot 抓取網頁～ - 看板FreeBSD

看板 [ FreeBSD ]

討論串如何阻擋搜尋網站用 robot 抓取網頁～

共 10 篇文章

排序：最新先 | 最舊先 | 留言數 | 推文總分

內容預覽：開啟 | 關閉 | 只限未讀

首頁

尾頁

Re: 如何阻擋搜尋網站用 robot 抓取網頁～

推噓0(0推 )留言0則，0人參與作者shane.時間21年前 (2005/01/08 20:32)資訊

內容預覽:

※ 引述《TerryLiaw.bbs@Terry.dragon2.net (㊣早睡早起)》之銘言：. > ※ 引述《epstudio.bbs@alway.twbbs.org (蛋餅)》之銘言：. > > 一般來說都是設定 robots.txt 即可～. > > 但是要放在哪裡才能真正作用？. > >

(還有280個字)

Re: 如何阻擋搜尋網站用 robot 抓取網頁～

推噓0(0推 )留言0則，0人參與作者Meditator.時間21年前 (2005/01/08 20:32)資訊

內容預覽:

※ epstudio.bbs@alway.twbbs.org (蛋餅) wrote:. > 一般來說都是設定 robots.txt 即可～. > 但是要放在哪裡才能真正作用？. > Apache 裡的 Document Root 指定的位置就好.... > 還是說連 Visual Host 的每個路

(還有199個字)

Re: 如何阻擋搜尋網站用 robot 抓取網頁～

推噓0(0推 )留言0則，0人參與作者TerryLiaw.時間21年前 (2005/01/08 17:01)資訊

內容預覽:

※ 引述《epstudio.bbs@alway.twbbs.org (蛋餅)》之銘言：. > 一般來說都是設定 robots.txt 即可～. > 但是要放在哪裡才能真正作用？. > Apache 裡的 Document Root 指定的位置就好.... > 還是說連 Visual Host 的每個

(還有307個字)

Re: 如何阻擋搜尋網站用 robot 抓取網頁～

推噓0(0推 )留言0則，0人參與作者Mild7.時間21年前 (2005/01/08 09:32)資訊

內容預覽:

==> 在 epstudio.bbs@alway.twbbs.org (蛋餅) 的文章中提到:. > 一般來說都是設定 robots.txt 即可～. > 但是要放在哪裡才能真正作用？. > Apache 裡的 Document Root 指定的位置就好.... > 還是說連 Visual Host

(還有898個字)

如何阻擋搜尋網站用 robot 抓取網頁～

推噓0(0推 )留言0則，0人參與作者epstudio.時間21年前 (2005/01/08 06:01)資訊

內容預覽:

一般來說都是設定 robots.txt 即可～. 但是要放在哪裡才能真正作用？. Apache 裡的 Document Root 指定的位置就好.... 還是說連 Visual Host 的每個路徑都要？. 而且發現， robots.txt 對大陸的 baidu（百度: http://www.bai

首頁

尾頁