PTT數位生活區 / Python

[問題] 爬蟲 Google search

看板Python作者 (yoooooz)時間5年前 (2020/06/09 11:25), 編輯推噓3(3推 0噓 24→)
留言27則, 10人參與, 5年前最新討論串1/1
請問一下 再拿到 response 後用 tag 去找資料會失敗 為什麼我執行的時候很容易失敗 https://i.imgur.com/xs0Hu1x.jpg
偶爾會成功 https://i.imgur.com/LF6VOjR.jpg
我 header 放 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36' 請問有人有遇到過這樣的問題嗎? 我後來把 cookie 也全部加進去也沒效 QQ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.125.46.7 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1591673115.A.586.html
→
06/09 12:22, 5年前 , 1F
失敗時，回傳的資料是？
06/09 12:22, 1F
→
06/09 12:30, 5年前 , 2F
找看看有沒有'recaptcha'的id,有的話就是機器人在擋
06/09 12:30, 2F
→
06/09 12:31, 5年前 , 3F
爬google的所有動作最好是每5秒動一次比較安全
06/09 12:31, 3F
→
06/09 12:32, 5年前 , 4F
如果recaptcha跳出來,可以休息10分鐘後再來
06/09 12:32, 4F
→
06/09 14:55, 5年前 , 5F
回傳的資料如果是找 tag 的話是沒資料的(空的)
06/09 14:55, 5F
→
06/09 14:56, 5年前 , 6F
請問是 recaptcha 的話要在哪裡才能看的到呢?
06/09 14:56, 6F
推
06/09 15:54, 5年前 , 7F
06/09 15:54, 7F
→
06/09 15:54, 5年前 , 8F
06/09 15:54, 8F
→
06/09 15:59, 5年前 , 9F
另Google Custom Search API 也參考
06/09 15:59, 9F
→
06/09 15:59, 5年前 , 10F
有API用API吧。爬東西很累人的
06/09 15:59, 10F
→
06/09 16:05, 5年前 , 11F
會有一個element的id叫做'recaptcha', 可以用bs4找
06/09 16:05, 11F
→
06/09 16:22, 5年前 , 12F
找到recaptcha也沒用。破解不了的
06/09 16:22, 12F
→
06/09 18:00, 5年前 , 13F
一個人硬幹是贏不過google那些工程師的
06/09 18:00, 13F
→
06/10 02:24, 5年前 , 14F
因為我是在練習，所以想說不去用 API 來抓資料看看
06/10 02:24, 14F
→
06/10 02:24, 5年前 , 15F
還是說這樣的練習其實是不需要的OAO
06/10 02:24, 15F
→
06/10 02:26, 5年前 , 16F
我晚點去把回傳資料找看看有沒有 id 是 recaptcha 的
06/10 02:26, 16F
→
06/10 03:13, 5年前 , 17F
也不是這樣說。因為看你已經正確抓到資料了，所以你的程
06/10 03:13, 17F
→
06/10 03:13, 5年前 , 18F
式沒問題。但你如果是要去對付reCaptcha這我試過沒找到
06/10 03:13, 18F
→
06/10 03:13, 5年前 , 19F
方法。所以你只能繞道。剛好這個有API那應該試著用其他
06/10 03:13, 19F
→
06/10 03:13, 5年前 , 20F
方法取得資料，而不是和它硬幹。
06/10 03:13, 20F
→
06/10 03:20, 5年前 , 21F
06/10 03:20, 21F
→
06/10 09:07, 5年前 , 22F
通常google有api的東西就不要自己爬了 贏不了google工程
06/10 09:07, 22F
→
06/10 09:07, 5年前 , 23F
師的
06/10 09:07, 23F
→
06/10 09:26, 5年前 , 24F
爬的內容你連續多抓幾個分頁頻率一高就被檔了
06/10 09:26, 24F
推
06/10 16:26, 5年前 , 25F
我有時候手動搜尋快一點都被擋了 何況爬蟲
06/10 16:26, 25F
推
06/10 16:35, 5年前 , 26F
只有更新cookies還不夠，IP時間等等都要調
06/10 16:35, 26F
→
06/29 16:15, 5年前 , 27F
工研院人工智慧課程推薦https://reurl.cc/4RDRaK
06/29 16:15, 27F
‣ 更多 yoz4ni 的文章
文章代碼(AID): #1Utm4RM6 (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 yoz4ni 的文章
文章代碼(AID): #1Utm4RM6 (Python)