[問題] 關於requests.get中的header

看板Python作者 (eddie)時間6年前 (2018/12/26 23:05), 6年前編輯推噓4(403)
留言7則, 5人參與, 6年前最新討論串1/1
大家好,小妹我最近在學習爬蟲的時候常常遇到requests.get()找不到全部的<tag>的情況。 Google了一下後發現是某些內容是需要在get中加入header才會跑出來。但問題就來了,我要怎麼知道我要爬的區域的header是哪一部分? 有什麼方法是可以由網頁內容直接判定所屬的header的嗎? 求大家幫幫忙~ 感激不盡 ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.205.14.121 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1545836726.A.246.html

12/26 23:08, 6年前 , 1F
一律全加header,這才是好習慣
12/26 23:08, 1F
重點是我不知道我要抓的內容是屬於哪個header ※ 編輯: hsiaoeddie (123.205.14.121), 12/26/2018 23:30:25

12/26 23:35, 6年前 , 2F
否 沒有這種方法 完全看 server 撰寫者高興
12/26 23:35, 2F

12/26 23:36, 6年前 , 3F
伺服器我架的,想檢查甚麼就檢查甚麼,乖乖送就是唯一解
12/26 23:36, 3F

12/27 00:50, 6年前 , 4F
瀏覽器看的到 python抓不到 大概就要加header了 參考一下
12/27 00:50, 4F

12/27 00:54, 6年前 , 5F
然後全加 就妥妥的了
12/27 00:54, 5F

12/27 08:49, 6年前 , 6F
瀏覽器送什麼就仿什麼,全仿下來快樂沒煩惱
12/27 08:49, 6F

12/27 15:46, 6年前 , 7F
伺服器:我全都要
12/27 15:46, 7F
文章代碼(AID): #1S8vYs96 (Python)
文章代碼(AID): #1S8vYs96 (Python)