PTT數位生活區 / EZsoft (小軟體)

[請問] 批量網頁的抓取

看板EZsoft (小軟體)作者 (佑)時間6年前 (2019/02/15 05:19), 6年前編輯推噓2(2推 0噓 16→)
留言18則, 9人參與, 6年前最新討論串1/1
不是抓取網頁中的東西 是抓取網頁本身 我試過用idm抓取 但是因為這個網頁需要登入 導致我所有連結都轉到登入頁面了 有什麼方法可以批量抓取嗎 ----- Sent from JPTT on my Sony F3115. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.224.173.246 ※ 文章網址: https://www.ptt.cc/bbs/EZsoft/M.1550179198.A.890.html
→
02/15 09:22, 6年前 , 1F
請問是要把整個網頁截站嗎？
02/15 09:22, 1F
→
02/15 11:25, 6年前 , 2F
不 只有固定格式的一些連結
02/15 11:25, 2F
→
02/15 12:53, 6年前 , 3F
批量? 所以不只一個頁面要抓? 少量的話就另存新檔
02/15 12:53, 3F
→
02/15 12:54, 6年前 , 4F
大量的話就去找砍站軟體
02/15 12:54, 4F
問題是我找到的idm無法繞過登入頁面 另存新檔也很想 有300多頁... ※ 編輯: s4028600 (125.224.173.246), 02/15/2019 13:06:42
→
02/15 13:07, 6年前 , 5F
寫個爬蟲吧
02/15 13:07, 5F
推
02/15 13:15, 6年前 , 6F
寫爬蟲最快吧 scrapy 學一下
02/15 13:15, 6F
→
02/15 14:21, 6年前 , 7F
所以目前沒有軟體有辦法囉...
02/15 14:21, 7F
推
02/15 14:35, 6年前 , 8F
httrack 可以輸入帳號密碼呀
02/15 14:35, 8F
→
02/15 15:20, 6年前 , 9F
02/15 15:20, 9F
→
02/15 15:21, 6年前 , 10F
登入需要轉頭像 沒辦法直接登入
02/15 15:21, 10F
→
02/15 15:35, 6年前 , 11F
要抓漫畫的話有人寫好下載器了
02/15 15:35, 11F
→
02/15 15:40, 6年前 , 12F
我要抓的是bookmarker的目錄 不是漫畫
02/15 15:40, 12F
→
02/15 21:13, 6年前 , 13F
Teleport Pro
02/15 21:13, 13F
→
02/15 21:48, 6年前 , 14F
還是卡在登入問題
02/15 21:48, 14F
→
02/16 22:50, 6年前 , 15F
iMacros for Chrome
02/16 22:50, 15F
→
02/16 22:50, 6年前 , 16F
登入之後用 Chrome 開發者工具複製 cURL 內容，把你要
02/16 22:50, 16F
→
02/16 22:51, 6年前 , 17F
撈的頁面網址依照 cURL 內容寫成批次檔，執行就搞定
02/16 22:51, 17F
→
02/16 23:15, 6年前 , 18F
可惜英文看不懂 說不定可以的說
02/16 23:15, 18F
‣ 更多 s4028600 的文章
文章代碼(AID): #1SPTj-YG (EZsoft)
EZsoft 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 s4028600 的文章
文章代碼(AID): #1SPTj-YG (EZsoft)