PTT數位生活區 / Python

[討論] 股票爬蟲

看板Python作者 (Glory Glory ManU )時間7年前 (2017/12/05 22:32), 編輯推噓6(6推 0噓 11→)
留言17則, 8人參與, 7年前最新討論串1/1
小弟初學python， 有寫一個某個股票網站的爬蟲， 希望跟各位前輩交流一下， 但是礙於這個網站會擋爬蟲， 所以我不敢把程式公開， 如果有人也有寫類似的爬蟲願意交流的嗎？ 目前我的程式因為股票資訊太多， 如果要全部都爬會花超過13hr， 所以我閹割了一大部分， 保留我覺得比較重要的， 但是還是會花約3hr多 想看前輩是不是有比較好的方法願意交流 感謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.45.120.135 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1512484378.A.BF5.html
→
12/05 23:40, 7年前 , 1F
股票程式交易不都有API可以用，為什麼要爬
12/05 23:40, 1F
推
12/06 00:05, 7年前 , 2F
3小時好久… 覺得沒效率
12/06 00:05, 2F
→
12/06 00:05, 7年前 , 3F
應該有像樓上講的API可以用沒有錯
12/06 00:05, 3F
→
12/06 00:53, 7年前 , 4F
有現成的，有辦法把所需的數據給我自由運算的嗎？
12/06 00:53, 4F
推
12/06 03:37, 7年前 , 5F
stocktw
12/06 03:37, 5F
推
12/06 09:45, 7年前 , 6F
是樓上說的這網站嗎？改天來挑戰看看～～
12/06 09:45, 6F
推
12/06 21:19, 7年前 , 7F
github twstock
12/06 21:19, 7F
→
12/07 00:31, 7年前 , 8F
喔！ 這個我看過，寫得很好，但是少了一些資訊，所以我只
12/07 00:31, 8F
→
12/07 00:31, 7年前 , 9F
好自己爬
12/07 00:31, 9F
推
12/07 12:39, 7年前 , 10F
很好奇為何爬3hr..我爬了8個頁面還加上運算後在google
12/07 12:39, 10F
→
12/07 12:40, 7年前 , 11F
sheet上紀錄，還做了樞紐與畫圖也不用3分鐘啊
12/07 12:40, 11F
→
12/07 12:41, 7年前 , 12F
btw, 我只紀錄了14個指標啦
12/07 12:41, 12F
→
12/07 18:51, 7年前 , 13F
因為那個網站把歷史數據全部放上去，讀取解析那海量數據
12/07 18:51, 13F
→
12/07 18:51, 7年前 , 14F
花很多時間
12/07 18:51, 14F
→
12/07 18:52, 7年前 , 15F
有興趣我可以把git給您參考，看有沒什麼建議？
12/07 18:52, 15F
推
12/07 20:19, 7年前 , 16F
可以學我把歷史資料爬完後，下來用SQL分析，快不少
12/07 20:19, 16F
→
12/08 18:53, 7年前 , 17F
我就是這樣做沒錯，但還是每天要更新
12/08 18:53, 17F
‣ 更多 why702 的文章
文章代碼(AID): #1Q9guQlr (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 why702 的文章
文章代碼(AID): #1Q9guQlr (Python)