[問題] 新手請教有關股票爬蟲

看板Python作者 (憧憬)時間2年前 (2021/05/26 22:46), 2年前編輯推噓8(8030)
留言38則, 9人參與, 2年前最新討論串1/1
大家好,小弟完全沒學過程式,目前有用google sheets 的一些指令(IMPORTXML)去抓 某些股票的股價,然後做一些運算。 目前遇到的問題是: 1.如果太多儲存格有importxml指令就會出現正在載入中(被網站限制爬蟲)。 2.因第一個問題,所以想用分流方式解決,但某些網站用chrome抓xpath, 會抓不到真實路徑。 3.如果想學python應該從哪裡著手,有無推薦的書。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.217.58.117 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1622040374.A.EEA.html

05/26 23:06, 2年前 , 1F
補充:希望可學到抓取網站任何一欄位數據
05/26 23:06, 1F

05/27 05:31, 2年前 , 2F
google看看「鐵人賽 股票」,it邦上面蠻多教學的
05/27 05:31, 2F

05/27 05:32, 2年前 , 3F
一些串接券商行情之類的,我也是在那邊學的
05/27 05:32, 3F

05/27 05:33, 2年前 , 4F
如果是股票行情的話,基本爬蟲加證交所API應該就行
05/27 05:33, 4F

05/27 05:35, 2年前 , 5F
可以參考的GitHub專案 https://git.io/JGkYU
05/27 05:35, 5F

05/27 05:35, 2年前 , 6F
雖然這個專案很久沒更新了,但可以替你的研究起個頭
05/27 05:35, 6F

05/27 05:36, 2年前 , 7F
至於Python的語法學習則推薦這個網站
05/27 05:36, 7F

05/27 05:36, 2年前 , 8F

05/27 05:36, 2年前 , 9F
也有電子書版本可以購買
05/27 05:36, 9F
謝謝85420提供好多資訊,可來好好研究了。

05/27 07:35, 2年前 , 10F
你沒說要即時還是歷史資料
05/27 07:35, 10F
回virness大,是即時 ※ 編輯: hankerafter (36.238.138.93 臺灣), 05/27/2021 08:53:45 ※ 編輯: hankerafter (36.238.138.93 臺灣), 05/27/2021 08:57:44

05/29 07:38, 2年前 , 11F
FinMind GitHub 有提供資料可以使用
05/29 07:38, 11F
好喔,來試看看,感謝

05/29 11:18, 2年前 , 12F
直接串券商api
05/29 11:18, 12F
哈,完全不懂怎麼串,謝謝大大給方向

05/29 14:07, 2年前 , 13F
你是想用即時股價還想學爬蟲?一次抓全部的還是抓名單裡面
05/29 14:07, 13F

05/29 14:07, 2年前 , 14F
的?是抓當時的一個股價還是開盤到抓的當時的全部股價?
05/29 14:07, 14F
我想要自選股的及時股價,加入基本面、籌碼面等,再加入自己的公式做運算,然後做到 價提醒 ※ 編輯: hankerafter (116.89.141.236 臺灣), 05/29/2021 15:21:14

05/30 01:14, 2年前 , 15F

05/30 01:16, 2年前 , 16F
tml 參考一下你要學多少東西才行
05/30 01:16, 16F

05/30 01:18, 2年前 , 17F
別耗在爬蟲了 網頁稍微調整一下就夠你忙不完了
05/30 01:18, 17F

05/30 01:28, 2年前 , 18F
上面跟你說的券商api和FinMind,你得自己有能力去搜
05/30 01:28, 18F

05/30 01:33, 2年前 , 19F
另外補充一下,FinMind要日中數據得是交錢會員了。目前Fin
05/30 01:33, 19F

05/30 01:33, 2年前 , 20F
Mind的日中交易數據是整天一次下,也就是你13:25查,會把
05/30 01:33, 20F

05/30 01:33, 2年前 , 21F
這支股票9點的數據全傳給你
05/30 01:33, 21F
好的,我也知道要從頭學需花很多時間,如果能套用現成最好, 不過這些現成的就夠我忙了,還在學怎麼使用。 真的謝謝提供這些資訊,讓我好好思考方向。

05/30 16:55, 2年前 , 22F
先定義你的需求開始才得到比較明確的答案
05/30 16:55, 22F
需求就是抓大數據推測下支飆股,這樣會不會太奢侈,呵呵 *[1;37m推 mickyang: https://reurl.cc/eE8vGW 05/30 17:26

05/30 17:47, 2年前 , 23F
05/30 17:47, 23F
謝謝大大,讓我少一點時間去搜尋這些範例

05/30 23:05, 2年前 , 24F
抱歉,補充一下,因上面的程式有用到 Line Notify.
05/30 23:05, 24F

05/30 23:05, 2年前 , 25F
若您沒有用 Line Notify ,可以把檔案最下面的
05/30 23:05, 25F

05/30 23:06, 2年前 , 26F
Line Notify 的程式碼給他去掉。
05/30 23:06, 26F

05/30 23:08, 2年前 , 27F
Line Notify 教學 https://reurl.cc/R010o9
05/30 23:08, 27F
恩恩,LINE連動有時還蠻好用的

05/31 01:08, 2年前 , 28F
最大的問題是要將日中數據和跨日數據融合在一起。一般來說
05/31 01:08, 28F

05/31 01:08, 2年前 , 29F
日中數據跟跨日數據是不同數據源,你盤中得要有整合在一起
05/31 01:08, 29F

05/31 01:08, 2年前 , 30F
立刻重新算指標的能力
05/31 01:08, 30F

05/31 01:11, 2年前 , 31F
很容易出現依據昨天之前的跨日數據進場,結果今天的數據一
05/31 01:11, 31F

05/31 01:11, 2年前 , 32F
算結果方向錯了
05/31 01:11, 32F
※ 編輯: hankerafter (36.238.137.102 臺灣), 05/31/2021 12:43:58 ※ 編輯: hankerafter (36.238.137.102 臺灣), 05/31/2021 14:37:09

05/31 18:31, 2年前 , 33F

05/31 18:32, 2年前 , 34F
盤中即時抓數據 算指標 做圖標
05/31 18:32, 34F

05/31 18:33, 2年前 , 35F
台股就不放了,功能跟陸股差不多
05/31 18:33, 35F
恩恩,感覺好多功能應該可以用

06/01 07:56, 2年前 , 36F
推薦這頻道 蠻多教學的 https://youtube.com/c/Largitdata
06/01 07:56, 36F

06/01 08:32, 2年前 , 37F
可參考 用Python 理財:打造小資族選股策略
06/01 08:32, 37F
※ 編輯: hankerafter (36.238.137.102 臺灣), 06/01/2021 10:57:11

06/02 18:20, 2年前 , 38F
整理了一下台股的數據源 https://reurl.cc/YOWbqL
06/02 18:20, 38F
對於新手的我,真是受益多多,感謝liton大大整理 ※ 編輯: hankerafter (36.238.137.102 臺灣), 06/03/2021 18:43:44
文章代碼(AID): #1Whbysxg (Python)
文章代碼(AID): #1Whbysxg (Python)