[問題] 新手問爬蟲 換分頁但網址不變的情形(done)

看板Python作者 (Nine9)時間9年前 (2016/06/10 18:55), 9年前編輯推噓0(0012)
留言12則, 4人參與, 最新討論串1/1
連假來學爬蟲~XD" 問題超級新手...麻煩餵我關鍵字+鞭小力一點~謝謝! ==== 我有6個地區 每個區域有不同的地點 從html裡可以看到不同區域內,裡頭的地點有不同的value 目前我想做的事是「把不同地區的每個地點都爬出來」 爬了一些文章 像這種類似「下一頁」的概念,大概知道關鍵點是「找到網址規律」 遇到的問題是 不同的6個地區 該網站是用下拉選單做的 切換選單內的地區 並不會讓網址改變 囧 研究了他的html 切換不同的區域只會讓 <option select>改變而已 這樣我就不知道如何去取區域內 不同地點的value了@_@||| 請問在網址不變的情況下 我應該怎麼去爬蟲呢? 謝謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.214.220 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1465556140.A.584.html

06/10 19:02, , 1F
切換地區之後 過幾秒值改變的意思嗎?
06/10 19:02, 1F

06/10 19:03, , 2F
那就先研究看看怎樣抓到下拉選單的值 然後每切換完
06/10 19:03, 2F

06/10 19:03, , 3F
選單之後過幾秒再爬一次該網址應該就可以了吧
06/10 19:03, 3F
把問題補充一下 下拉選單1(地區) 下拉選單2(不同地區內的地點) 改了下拉選單1 選點2的應的地點就會改變 M大說的取下拉選單1的值是可以做到的 試一下M大後面說的再爬一次該網址怎麼做+_+~ 感謝回覆 ※ 編輯: relievezaoc (118.166.214.220), 06/10/2016 19:13:09

06/10 19:29, , 4F
這種下拉式選單我碰過的有兩種,一種是藏在html或JS中
06/10 19:29, 4F

06/10 19:30, , 5F
一種是利用AJAX的方式跟Server要取資料,所以可以看看
06/10 19:30, 5F

06/10 19:31, , 6F
開發人員選項網路監控,看看有沒有跟Server交換資訊
06/10 19:31, 6F

06/10 21:06, , 7F
js抓onclick去改form選項
06/10 21:06, 7F

06/10 21:28, , 8F
看網頁原始碼有無array已預藏資料,沒有的話就是ajax
06/10 21:28, 8F

06/10 21:28, , 9F
跟server要的,那就是直接send http request拿json或x
06/10 21:28, 9F

06/10 21:28, , 10F
ml回來。
06/10 21:28, 10F

06/10 22:38, , 11F
改下拉選單之後 TIMESLEEP(20) 等刷新
06/10 22:38, 11F

06/10 22:38, , 12F
然後再跑一次這個網址不就是再抓一次了嗎?
06/10 22:38, 12F
感謝M大、S大、B大以及R大的回覆及幫忙!! 成功解決~\A口A> ※ 編輯: relievezaoc (118.166.214.220), 06/11/2016 00:10:17
文章代碼(AID): #1NMfoiM4 (Python)
文章代碼(AID): #1NMfoiM4 (Python)