[請益] .htaccess 擋搜尋引擎爬蟲

看板PHP作者 (兩棲挖土工人)時間10年前 (2015/08/14 10:03), 編輯推噓3(303)
留言6則, 3人參與, 最新討論串1/1
各位高手, 有個問題想跟大家請教, 目前有個需求我有一個web site 綁了兩組domain, 但是我只有其中一組domain想開放給各大搜尋引擎爬, 請問我是否能夠透過.htacces去做處理? ex. web site: xxx.xxx.xxxap-southeast-1.compute.amazonaws.com a.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com (a.arptest.com 這組domain 可被搜尋引擎SEO) b.arptest.com (CNAME) xxx.xxx.xxxap-southeast-1.compute.amazonaws.com (b.arptest.com 這組domain 不想在網路上被搜尋引擎爬到) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.123.253 ※ 文章網址: https://www.ptt.cc/bbs/PHP/M.1439517813.A.95B.html

08/14 11:50, , 1F
robot.txt?
08/14 11:50, 1F

08/14 15:47, , 2F
google geoip white list
08/14 15:47, 2F

08/14 15:51, , 3F
然後用limit request coonect 模組擋加記log
08/14 15:51, 3F

08/14 15:52, , 4F
最後再裝爬log 應用去做最後判斷要不要加到iptables
08/14 15:52, 4F

08/14 15:53, , 5F
這樣可以擋兩層 加省記憶體
08/14 15:53, 5F

08/15 23:42, , 6F
聽說是防君子不防小人
08/15 23:42, 6F
文章代碼(AID): #1LpKnrbR (PHP)
文章代碼(AID): #1LpKnrbR (PHP)