[問題] 抓股票數據，用proxy本來正常，後來失敗

看板Python作者Alexis (得意志)時間7年前 (2018/01/29 00:29)推噓0(0推 0噓 2→)

留言2則, 2人參與討論串1/1

Python & 網路新手請教我嘗試想要透過http://www.twse.com.tw/exchangeReport/STOCK_DAY 將所有股票的歷史數據抓下來存到資料庫但多下幾次requests.get就會被擋掉於是我改透過10幾個proxy去輪流抓晚餐前正常，但後來卻抓不到資料 proxies = {"http": lProxyList[proxyIndex]} r = requests.get(TWSE_BASE_URL, params=params, headers=headers, proxies=proxies, timeout=5) print(r.status_code) => 印出 200 正常 print(r.text) => 本來可以，後來都印 {"stat":"很抱歉，沒有符合條件的資料!"} 剛試過如果不用proxy就正常，{"stat":"OK","date":"20171201","title":" 有帶proxy就會抓到{"stat":"很抱歉，沒有符合條件的資料!"} 換過不同國家的proxy都一樣用了proxy證交所網頁還有辦法擋掉嗎？請問有人知道這是什麼原因嗎？或可以如何debug？另一個問題：我這樣抓10年內的歷史數據，覺得還蠻耗時間的請問有比較快速的建議嗎？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.137.42.104 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1517156987.A.D41.html

→

vi000246

01/29 00:48, 7年前 , 1^F

01/29 00:48, 1^F

後來發現網站真的回傳空的內容，因為再生-KY(1337) 這支的開始日是2011/07/01 可是2011/07月份卻沒資料可抓我本來將有問題的內容都視為proxy的問題，以至於換其他proxy去抓也是空的，所以跳過這個月份，就正常了。之前不用proxy可抓到，是因為沒注意到日期和個股會有關係。 ※ 編輯: Alexis (1.163.30.13), 02/02/2018 23:16:32