[問題] 如何改善ptt爬蟲速度？
嗨大家好
小弟最近無聊用nodejs和html寫了一個簡單的ptt爬蟲
目前基本上換頁和換版都是讓爬蟲再去爬一次下一頁
但發現這樣速度實在是慘不忍賭
逛了各大網頁版ptt
總覺得他們應該是用不同的方式在處理
請問各位大大 如果在寫這種網頁版有什麼訣竅嗎
還是說應該用不是爬蟲的方式去寫呢
感謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.58.91 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Web_Design/M.1571532700.A.23A.html
推 shter: 用 telnet 去爬
10/20 11:51
喔喔 來研究一下
推
10/20 12:12,
5年前
, 1F
10/20 12:12, 1F
不過我看更新速度蠻快的 是固定時間直接爬所以板塊嗎
→
10/20 15:39,
5年前
, 2F
10/20 15:39, 2F
看來是要事先抓好下一頁？
※ 編輯: samrt5566 (42.76.102.12 臺灣), 10/21/2019 00:51:35
推
10/21 01:10,
5年前
, 3F
10/21 01:10, 3F
→
10/21 01:10,
5年前
, 4F
10/21 01:10, 4F
Web_Design 近期熱門文章
PTT數位生活區 即時熱門文章
