Re: [問題] 問個搜尋引擎機器人的問題還有HTTP 304 …
※ 引述《globalhawk (Cory)》之銘言：
: 我自己架的網頁server有用robots.txt在攔搜尋引擎的機器人
: 但是最近檢查紀錄時 發現某家搜尋引擎的機器人真的非常糟糕
: 就是大陸的 Sogou 根本完全無視robots.txt嘛
: 早在第一次領教到大陸沒禮貌機器人的威力後
要擋對岸的機器人, 有一個好方法是, 在會被對方檢索到的網頁裡面,
隱藏一段 "台灣獨立"、"西藏獨立"、"法輪功"... 之類的文字,
過幾個禮拜, 就沒有機器人敢來了。
不過代價是, 整個中國也沒有人可以來了。
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.165.158.102
→
09/05 18:03, , 1F
09/05 18:03, 1F
推
09/05 18:57, , 2F
09/05 18:57, 2F
討論串 (同標題文章)
完整討論串 (本文為第 2 之 2 篇)：
Web_Design 近期熱門文章
PTT數位生活區 即時熱門文章
