PTT數位生活區 / Python

[問題] WSJ網站上的資料抓取

看板Python作者 (沒有名字的怪物)時間9年前 (2016/11/25 16:01), 編輯推噓0(0推 0噓 10→)
留言10則, 4人參與, 最新討論串1/1
各位午安 想請教如何抓取wsj.com上面某檔股票的歷史資料 例如Nikkei 225 http://quotes.wsj.com/index/JP/XTKS/NIK/advanced-chart 目前僅會'手抓'，利用Chrome + F12去抓取JSON數據 https://dl.dropboxusercontent.com/u/14347169/wsj.png
想請教版上高手，這要怎麼抓取呢?? 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.174.246.28 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1480060861.A.917.html
→
11/25 21:33, , 1F
用scrapy抓完後再parse
11/25 21:33, 1F
→
11/26 08:12, , 2F
scrapy該如何抓?? 謝謝
11/26 08:12, 2F
→
11/26 09:23, , 3F
如果用urllib, request能否抓取呢??
11/26 09:23, 3F
→
11/26 09:35, , 4F
用 urllib 要自行處理細節，用 scrapy 就省下這些工夫
11/26 09:35, 4F
→
11/26 09:35, , 5F
如果不會用 scrapy，可以用 requests 函式庫
11/26 09:35, 5F
→
11/26 09:40, , 6F
這些函式庫/框架都有網站，可以上去看一下相關說明
11/26 09:40, 6F
→
11/26 16:51, , 7F
老實說你的問題應該是怎麼爬那個網站吧
11/26 16:51, 7F
→
11/26 16:54, , 8F
是想爬該網站某檔股票的歷史股價
11/26 16:54, 8F
→
11/26 16:55, , 9F
header 抄一抄，解析一下那些 url parameter的規律
11/26 16:55, 9F
→
11/26 16:55, , 10F
像是你要爬多檔股票你要知道股票清單在哪或是名稱規律
11/26 16:55, 10F
‣ 更多 areyo 的文章
文章代碼(AID): #1OD--zaN (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 areyo 的文章
文章代碼(AID): #1OD--zaN (Python)