PTT數位生活區 / Python

[問題] 請教某些網站如何抓取爬蟲

看板Python作者 (zxcv4982543)時間7年前 (2018/04/21 18:20), 編輯推噓3(3推 0噓 6→)
留言9則, 4人參與, 7年前最新討論串1/1
如題 小弟是程式初學者 最近在學爬蟲 已經有抓 學測研究所那種交叉查榜的資料(單一網頁) 目前想抓LOL的對戰紀錄網頁 https://matchhistory.tw.leagueoflegends.com/zh/#page/landing-page 但這網頁 除了是用滾輪式網頁外 裡面的每一筆對戰紀錄 雖然左鍵點擊就能進去 但右鍵 或是 F12(chrome)找不到網頁相關的url(網頁包含每一場對戰代碼 也找不到QQ) https://imgur.com/caFBDK9
現在目前已經會模擬瀏覽器下拉 但就是網址的取得部分有困難 想請問各位大大 有什麼關鍵字或方法能交交我QQ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.64.48 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1524306016.A.B26.html
→
04/21 19:07, 7年前 , 1F
為啥要爬桶神的＝＝
04/21 19:07, 1F
推
04/21 19:36, 7年前 , 2F
selenium get_elements_by_css_selector click
04/21 19:36, 2F
推
04/21 21:36, 7年前 , 3F
你開F12 然後捲到最下面 網頁會載入更舊的對戰紀錄
04/21 21:36, 3F
→
04/21 21:37, 7年前 , 4F
觀察一下call了什麼網址 你直接複製那網址貼上
04/21 21:37, 4F
→
04/21 21:37, 7年前 , 5F
會得到所有對戰紀錄的json
04/21 21:37, 5F
→
04/21 21:39, 7年前 , 6F
json裡的gameid 就是match-details網址後面接的數字
04/21 21:39, 6F
→
04/21 21:39, 7年前 , 7F
就能找到你要的頁面了
04/21 21:39, 7F
推
04/23 10:25, 7年前 , 8F
給一樓，這要給人家推一下阿 XDDDD
04/23 10:25, 8F
→
04/23 10:26, 7年前 , 9F
有個目的來學爬蟲，這樣才有動力 會快阿.....
04/23 10:26, 9F
‣ 更多 zxcv4982543 的文章
文章代碼(AID): #1Qsn1Wic (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 zxcv4982543 的文章
文章代碼(AID): #1Qsn1Wic (Python)