[問題] 使用requests post爬蟲問題
大家好
最近在爬鉅亨網買賣超排名的資料時遇到一點問題
(網址: http://www.cnyes.com/twstock/a_QFII9.aspx)
我的目的是要抓集中市場以及店頭市場某一天的資料
使用以下的方法來request資料
market = ["TSE", "OTC"]
session_html = requests.session()
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
formdata_market = {"__VIEWSTATE":viewstate,
"__VIEWSTATEGENERATOR":viewstategenerator,
"__EVENTVALIDATION":eventvalidation,
"ctl00$ContentPlaceHolder1$D1":market[0],
"ctl00$ContentPlaceHolder1$D3":"2016-08-29"}
html_market = session_html.post(url, headers = header, data = formdata_market)
對於集中市場的資料在抓取上沒有問題
但是當要抓取店頭市場某一天的資料時, 卻只能抓到當天的資料(選單上的第一個日期)
請問這個問題有什麼方法可以解決呢
謝謝各位
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.120.45
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1472660610.A.8C0.html
推
09/01 06:16, , 1F
09/01 06:16, 1F
→
09/01 09:49, , 2F
09/01 09:49, 2F
→
09/01 09:49, , 3F
09/01 09:49, 3F
討論串 (同標題文章)
完整討論串 (本文為第 1 之 2 篇)：
Python 近期熱門文章
PTT數位生活區 即時熱門文章
