PTT數位生活區 / Python

[問題] 爬蟲自動更新程式

看板Python作者 (666)時間6年前 (2018/09/19 16:36), 6年前編輯推噓5(5推 0噓 41→)
留言46則, 7人參與, 6年前最新討論串1/2 (看更多)
手機排版請見諒!!!! 是這樣的如題 小弟最近想寫一個爬蟲自動更新程式 程式有以下目的 例如： 我今天爬觀光局網站 將全部景點資訊爬下 過了一個月後觀光局多了10個新的景點 我可以透過這個程式讓爬蟲自動執行 並把這10個新的景點爬下來 請問這個程式是我需要另外再寫一個 還是我可以在python做出一樣目的？ 另外就是我該從哪一方面的資訊去起手？ 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.158.107.59 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1537346188.A.14C.html
→
09/19 16:44, 6年前 , 1F
你都說了「找了很多資料不太容易吸收」，何不試著講出
09/19 16:44, 1F
→
09/19 16:44, 6年前 , 2F
哪些部份不懂？
09/19 16:44, 2F
→
09/19 16:45, 6年前 , 3F
將那些不了解的部份整理成問題發上來問，讓大家幫你釐
09/19 16:45, 3F
→
09/19 16:45, 6年前 , 4F
清觀念，這樣才能學到東西。
09/19 16:45, 4F
→
09/19 16:46, 6年前 , 5F
不然找了資料給你，大家怎麼知道哪些是你「容易吸收」
09/19 16:46, 5F
→
09/19 16:46, 6年前 , 6F
的呢？
09/19 16:46, 6F
→
09/19 16:48, 6年前 , 7F
https://git.io/vFLQg -> 順便學著怎麼提問
09/19 16:48, 7F
推
09/19 16:58, 6年前 , 8F
推樓上 g 大分享的「提問的智慧」
09/19 16:58, 8F
→
09/19 21:32, 6年前 , 9F
感謝指教 應該說不知哪裡起手
09/19 21:32, 9F
※ 編輯: WENroger (49.158.107.59), 09/19/2018 21:50:01
→
09/19 22:18, 6年前 , 10F
講明確一點，是不知道怎麼寫爬蟲還是不知道怎麼做到讓
09/19 22:18, 10F
→
09/19 22:18, 6年前 , 11F
爬蟲定時更新？ 既然你都說了有找資料，先試著說說看你
09/19 22:18, 11F
→
09/19 22:19, 6年前 , 12F
對哪個部份不了解到不知怎麼起手？
09/19 22:19, 12F
→
09/19 22:20, 6年前 , 13F
過於籠統的問題，別人也很難回答
09/19 22:20, 13F
→
09/19 22:37, 6年前 , 14F
不知道怎麼讓爬蟲做到自動更新，像是網路上提到scrapy可
09/19 22:37, 14F
→
09/19 22:37, 6年前 , 15F
不可以做到這個目的？另外就是先前資料都是匯入excel做
09/19 22:37, 15F
→
09/19 22:37, 6年前 , 16F
整理再匯入資料庫，這樣子的步驟會不會影響爬蟲的自動
09/19 22:37, 16F
→
09/19 22:37, 6年前 , 17F
更新？
09/19 22:37, 17F
→
09/19 22:44, 6年前 , 18F
關於自動更新，先給你些關鍵字： cron job, scheduler
09/19 22:44, 18F
→
09/19 22:45, 6年前 , 19F
利用這些工具/函式庫去做定期執行爬蟲的工作
09/19 22:45, 19F
→
09/19 22:45, 6年前 , 20F
當然，新舊資料的整合就要看你自己怎麼處理
09/19 22:45, 20F
→
09/19 22:49, 6年前 , 21F
關於第二個問題，你說的先將資料匯入 excel 整理後再
09/19 22:49, 21F
→
09/19 22:49, 6年前 , 22F
匯入資料庫這部份，請問是手動的嗎？
09/19 22:49, 22F
→
09/19 22:50, 6年前 , 23F
如果你寫的爬蟲部份包含將資料抓下來後寫進資料庫，那
09/19 22:50, 23F
→
09/19 22:51, 6年前 , 24F
麼當要抓取的資料量和處理時間會多到你手動處理後再匯
09/19 22:51, 24F
→
09/19 22:52, 6年前 , 25F
修正：會多到和你手動整理資料並匯入的動作起衝突時，
09/19 22:52, 25F
→
09/19 22:53, 6年前 , 26F
那就當然會影響。
09/19 22:53, 26F
→
09/19 22:53, 6年前 , 27F
所以這點你就要考慮：
09/19 22:53, 27F
→
09/19 22:54, 6年前 , 28F
1. 捨棄手動去整理資料的方式，用程式自動化這部份。
09/19 22:54, 28F
→
09/19 22:55, 6年前 , 29F
2. 如果資料非得經過人工處理，那爬蟲就寫好只負責將
09/19 22:55, 29F
→
09/19 22:55, 6年前 , 30F
資料抓下來。剩下處理資料和匯入資料庫的部份，就由自
09/19 22:55, 30F
→
09/19 22:55, 6年前 , 31F
己處理。
09/19 22:55, 31F
→
09/19 22:58, 6年前 , 32F
關於這兩部份，如果有實作上不懂的細節，你可以整理好
09/19 22:58, 32F
→
09/19 22:58, 6年前 , 33F
再上來發問，相信會有更專業的人可以幫到你。
09/19 22:58, 33F
→
09/19 23:00, 6年前 , 34F
感謝g大耐心的解答 未來有不懂的地方還要煩請g大多多解
09/19 23:00, 34F
→
09/19 23:00, 6年前 , 35F
惑 非常感謝！
09/19 23:00, 35F
推
09/19 23:07, 6年前 , 36F
不會，我僅能幫到這點程度而已。以後發問時盡量說明
09/19 23:07, 36F
→
09/19 23:08, 6年前 , 37F
詳細一點，如果是程式實作的問題，可以照著 SSCCE 或
09/19 23:08, 37F
→
09/19 23:10, 6年前 , 38F
MCVE 的規範描述問題，通常能讓別人更快了解並幫助你。
09/19 23:10, 38F
→
09/19 23:12, 6年前 , 39F
好的提問不僅可以幫助自己，也能讓助人者有收穫，未來
09/19 23:12, 39F
→
09/19 23:12, 6年前 , 40F
也有機會幫助到其他遇到相同問題的人。加油！
09/19 23:12, 40F
推
09/19 23:32, 6年前 , 41F
gm真的很有耐心的仔細回答
09/19 23:32, 41F
→
09/19 23:50, 6年前 , 42F
好的 非常感謝g大！
09/19 23:50, 42F
推
09/21 21:53, 6年前 , 43F
g大真的猛!!
09/21 21:53, 43F
推
09/24 01:15, 6年前 , 44F
推g大
09/24 01:15, 44F
→
09/25 07:38, 6年前 , 45F
樓主是要練習寫爬蟲，還是有需要？若是需要的話，去查查
09/25 07:38, 45F
→
09/25 07:38, 6年前 , 46F
是否有 opendata 方式直接抓
09/25 07:38, 46F
‣ 更多 WENroger 的文章
文章代碼(AID): #1ReWgC5C (Python)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 2 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共2篇)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 WENroger 的文章
文章代碼(AID): #1ReWgC5C (Python)