[請問] 將同一網址的內容每天抓取到自己的網站

看板EZsoft (小軟體)作者 (open eyes)時間16年前 (2009/09/27 21:06), 編輯推噓7(7026)
留言33則, 5人參與, 最新討論串1/1
不知道有沒有辦法定期抓取http://0rz.com/wFXq 匯集成一份資料 因為他天天更新 沒有保留舊的 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 124.11.231.202

09/27 21:14, , 1F
cron + wget
09/27 21:14, 1F

09/27 21:15, , 2F
跟樓上想法一致 XD
09/27 21:15, 2F

09/27 21:26, , 3F
我是想要像rss可以用blog自動收集那樣 不必一直開機
09/27 21:26, 3F

09/27 21:30, , 4F
他還有圖...排程大概沒辦法抓圖吧
09/27 21:30, 4F

09/27 22:11, , 5F
要想要自動收集,就一定要有某一台電腦一直開機.....
09/27 22:11, 5F

09/27 22:12, , 6F
cron + wget 絕對可以抓圖....
09/27 22:12, 6F

09/27 22:12, , 7F
你可以排定時自動開機 + cron + wget + 自動關機....
09/27 22:12, 7F

09/27 22:12, , 8F
這樣就不用一直開機了 KD
09/27 22:12, 8F

09/27 22:16, , 9F
總覺得每天開機上同一個網頁另存 很笨...期待高明
09/27 22:16, 9F

09/27 22:18, , 10F
我是希望有第三方幫我抓...自己抓難保不會出狀況..
09/27 22:18, 10F

09/27 22:23, , 11F
可以抓圖...但要先知道圖的檔名吧..我看不出規則
09/27 22:23, 11F

09/27 22:32, , 12F
第三方也是會出問題的 :p 你可以考慮找個 VPS 之類的....
09/27 22:32, 12F

09/27 22:32, , 13F
wget -m 就全下了,不用管圖檔檔名....
09/27 22:32, 13F

09/27 22:34, , 14F
這麼強喔 ,我先試試
09/27 22:34, 14F

09/27 22:37, , 15F
不過 include 跟 exclude 要設好喔,不然會抓到天涯海角 :p
09/27 22:37, 15F

09/27 23:20, , 16F
好像沒辦法抓網頁耶..程式一直 awaiting response...
09/27 23:20, 16F

09/27 23:23, , 17F
我換其他網頁就可以...但我要的這一頁不知怎麼抓?
09/27 23:23, 17F

09/27 23:33, , 18F
要用 --user-agent= 參數改掉 User-Agent,他會擋 Wget/*
09/27 23:33, 18F

09/28 02:14, , 19F
Firefox2的套件:Page2RSS或Update Scanner,有看過,沒用過,
09/28 02:14, 19F

09/28 02:14, , 20F
純提供參考.參電腦玩物介紹:P2R:http://tinyurl.com/49tgac
09/28 02:14, 20F

09/28 02:15, , 21F
09/28 02:15, 21F

09/28 02:17, , 22F
怪了 上面轉址錯誤 再貼一次↑ http://tinyurl.com/28akno
09/28 02:17, 22F

09/28 11:15, , 23F
還在嘗試
09/28 11:15, 23F

09/28 12:04, , 24F
wget 的說明仔細讀過一遍就會知道很多功能可以用了啦,這不難
09/28 12:04, 24F

09/28 12:05, , 25F
wget -k --user-agent="Opera/9.80 (Windows NT 5.1; U;
09/28 12:05, 25F

09/28 12:05, , 26F
zh-tw) Presto/2.2.15 Version/10.00" -m -nH
09/28 12:05, 26F

09/28 12:05, , 27F
--include-directories=/Gold/GoldAnalyse,/NR/rdonlyres/
09/28 12:05, 27F


09/28 12:06, , 29F
用這樣的指令(全部接成一行),然後搭配每天按照日期建立
09/28 12:06, 29F

09/28 12:06, , 30F
子目錄的指令,就可以滿足你的需求了.....
09/28 12:06, 30F

09/28 15:58, , 31F
果然是功能強大的小軟體...還要多多學習
09/28 15:58, 31F

09/29 07:01, , 32F

10/03 23:53, , 33F
這個沒辦法匯入圖片
10/03 23:53, 33F
文章代碼(AID): #1AlsD7Ih (EZsoft)
文章代碼(AID): #1AlsD7Ih (EZsoft)