PTT數位生活區 / Python

[問題] 爬蟲遇到一個不能用的網址

看板Python作者 (佑)時間5年前 (2019/11/13 10:01), 編輯推噓2(2推 0噓 12→)
留言14則, 5人參與, 5年前最新討論串1/1
這兩個網址都能在瀏覽器中觀看 res=requests.get("http://www.dm5.com/manhua-gaoda-turn-a/") print(res.text) 這個網址能跑出我要的資料 但是 res=requests.get("http://www.dm5.com/manhua-gaoda-origin/") print(res.text) 這個卻會出現訪問頁面不存在的問題 搞不懂問題出在哪裡 試過用User-Agent來模擬瀏覽器 不過還是一樣訪問頁面不存在 明明瀏覽器是正常的... -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.41.89.43 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1573610493.A.A03.html
推
11/13 10:45, 5年前 , 1F
因為它檢查的不是User-Agent阿.....
11/13 10:45, 1F
→
11/13 10:53, 5年前 , 2F
呃 那要怎麽辦 我連他檢查什麼都不知道
11/13 10:53, 2F
→
11/13 13:03, 5年前 , 3F
試了一下，以為是cookies中的 「isAdult=1」在搞鬼
11/13 13:03, 3F
→
11/13 13:04, 5年前 , 4F
結果不是，將headers試到剩下最後一句就能讀了
11/13 13:04, 4F
→
11/13 13:04, 5年前 , 5F
'Accept-Language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;....'
11/13 13:04, 5F
→
11/13 13:05, 5年前 , 6F
為什麼是這句?!，真奇怪 @@
11/13 13:05, 6F
推
11/13 13:26, 5年前 , 7F
樓上 XDDDDD
11/13 13:26, 7F
→
11/13 13:31, 5年前 , 8F
真奇怪 明明一樣的網頁 一個正常 另一個不能讀
11/13 13:31, 8F
→
11/13 13:41, 5年前 , 9F
因為一個有18禁，可是keypoint卻又不是cookie isAdult上
11/13 13:41, 9F
→
11/13 14:00, 5年前 , 10F
什麼意思？ 有誰解釋一下嗎？
11/13 14:00, 10F
→
11/13 14:07, 5年前 , 11F
行了...但這句是什麼意思 為什麼會說為什麼是這句？
11/13 14:07, 11F
→
11/13 16:15, 5年前 , 12F
原來是在f12裡面的東西 所以是偽裝不夠徹底的原因 因為
11/13 16:15, 12F
→
11/13 16:15, 5年前 , 13F
只聽說偽裝瀏覽器就好了...
11/13 16:15, 13F
→
11/13 19:44, 5年前 , 14F
該送啥就送啥 最好跟瀏覽器一致
11/13 19:44, 14F
‣ 更多 s4028600 的文章
文章代碼(AID): #1TosFze3 (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 s4028600 的文章
文章代碼(AID): #1TosFze3 (Python)