[問題] 用JS做網路爬蟲是否可行?

看板Ajax作者 (謝謝你9527)時間9年前 (2016/02/17 17:47), 9年前編輯推噓6(606)
留言12則, 9人參與, 最新討論串1/1
本來一直都是用python在做網路爬蟲 但因為公司有新需求 想要直接在網頁上按按鈕 就能抓下需要的資料 因此我想到了google 插件 可以滿足這種UX 而google插件只能用JS寫 所以我就重拾JS的懷抱 玩了一整天後 目前覺得JS應該可以做網路爬蟲 只是不知道是否好做呢? 像Python有好用的BS4 selenium等等 做網路爬蟲很方便很輕鬆 目前我只知道jquery的 querySelectorAll function 想知道還有沒有其他更好用的網路爬蟲function呢? 感謝各位大神的解答! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.232.189.161 ※ 文章網址: https://www.ptt.cc/bbs/Ajax/M.1455702470.A.CAE.html ※ 編輯: peace9527 (36.232.189.161), 02/17/2016 17:48:00

02/17 21:25, , 1F
node.js有很多這種資源呀 可以往這方面去找找看
02/17 21:25, 1F

02/18 00:46, , 2F
nodejs + spider/crawler一大堆
02/18 00:46, 2F

02/19 02:26, , 3F
nide cheerio
02/19 02:26, 3F

02/19 02:27, , 4F
node打錯
02/19 02:27, 4F

02/19 13:20, , 5F
原PO想問的是前端JS吧?不然後端爬蟲用什麼語言哪有差
02/19 13:20, 5F

02/19 13:21, , 6F
網頁端JS的話,跨網域的抓取有滿多限制的
02/19 13:21, 6F

02/21 23:46, , 7F
node-webkit也ok啊...也沒跨域的問題ajax亂衝
02/21 23:46, 7F

02/21 23:46, , 8F
iframe也可以亂穿~自加code :D
02/21 23:46, 8F

03/04 16:59, , 9F
nodejs 滿足你的需求
03/04 16:59, 9F

03/06 19:10, , 10F
前端爬跨網域太麻煩, 後端爬可用phantom.js
03/06 19:10, 10F

05/16 12:35, , 11F
cheerio 棒棒
05/16 12:35, 11F

03/22 22:44, , 12F
可以看看 Tampermonkey
03/22 22:44, 12F
文章代碼(AID): #1Mn476ok (Ajax)
文章代碼(AID): #1Mn476ok (Ajax)