[分享] 最近完成的防爬蟲 PHP library

看板PHP作者 (溫暖的小太陽)時間5年前 (2019/06/10 14:35), 編輯推噓15(1501)
留言16則, 15人參與, 5年前最新討論串1/1
最近完成的 library,主要用在自己網站 大約問市約一個月。 設計動機: 因為盜文農場 (例如 xx 頭條) 之類的爬蟲實在很多 由其中國那邊很流行用鏡像對映的方式盜人全站放廣告 讓我覺得很不爽。因為才會做這個。 做好之後稍微整理一下分享出來。 https://github.com/terrylinooo/shieldon 文件: https://shield-on-php.github.io/ 使用遇到問題歡迎到GitHub開 Issue 給我。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.137.183.143 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PHP/M.1560148532.A.064.html

06/10 17:00, 5年前 , 1F
先推分享
06/10 17:00, 1F

06/11 08:22, 5年前 , 2F
推一個
06/11 08:22, 2F

06/11 19:10, 5年前 , 3F
推大大分享
06/11 19:10, 3F

06/12 04:26, 5年前 , 4F
這樣是不是也犧牲了SEO?
06/12 04:26, 4F

06/12 09:43, 5年前 , 5F
回4樓,這個可以設定白名單給指定的 bot
06/12 09:43, 5F

06/12 13:47, 5年前 , 6F
06/12 13:47, 6F

06/14 13:24, 5年前 , 7F
06/14 13:24, 7F

06/18 08:24, 5年前 , 8F
設白名單的話爬蟲不是也能偽裝嗎?
06/18 08:24, 8F

06/25 15:49, 5年前 , 9F
分享有推
06/25 15:49, 9F

07/02 15:06, 5年前 , 10F
是用RDNS去判斷是否白名單的 應該不能偽裝吧
07/02 15:06, 10F

07/08 13:34, 5年前 , 11F
這有辦法防headless嗎
07/08 13:34, 11F

07/19 12:37, 5年前 , 12F
推分享
07/19 12:37, 12F

08/13 10:13, 5年前 , 13F
推,讚讚
08/13 10:13, 13F

01/04 09:22, 5年前 , 14F
之前都用python爬 http://bit.ly/2QKPf4V
01/04 09:22, 14F

01/04 09:22, 5年前 , 15F
看到這麼完整的repo會想要重新回去玩PHP 謝分享~
01/04 09:22, 15F

02/06 08:41, 5年前 , 16F
02/06 08:41, 16F
文章代碼(AID): #1S_Veq1a (PHP)
文章代碼(AID): #1S_Veq1a (PHP)