[問題] wget

看板FreeBSD作者RiceSir (Sir)時間19年前 (2006/03/28 14:10)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串1/1

我有一支程式是用 wget 去抓取證交所提供的股市資料，執行時間 09:00 - 14:00 每五分鐘抓一次，有關 wget 的程式如下，MS[] 陣列宣告要抓取的上市股票的網頁代號: sprintf( buff, "/usr/bin/wget \"http://mis.tse.com.tw/Quotes/Stock?Category=%s&Market=1&Refresh=0\" -O /home/chiper/stock.tmp", MS[i] ); 這支程式在我的主機上執行，經常發生 Idle 的程序，導致原本可以正常抓到股市資料的，執行一陣子後就不行了，我懷疑是 Idle 的程序太多所導致的，但是該如何解決呢？我目前處理的方法: 1. 在 wget 後加上參數 -t 1，就是讓他連接 1 次，失敗後就取消連接，但還是不行。 2. 定時將 Idle 的程序一次砍掉， ex: kill -9 `ps -aux | grep 'wget' | awk '{print $2}'` 但這些 Idle 的程序 Kill 掉它馬上又會產生出來，殺不完只有重開機才可以解決以上，請高手指點一下，謝謝 [註] 我 ps 出來 Idle 的程序內容 ps -auxww | grep wget bbs 35335 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=10&Market=2&Refresh=0 -O /home/bbs/stock.tmp bbs 35334 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=13=61&Market=2&Refresh=0 -O /home/bbs/stock.tmp bbs 35333 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=00:70017399&Market=2&Refresh=0 -O /home/bbs/stock.tmp bbs 35332 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=20&Market=1&Refresh=0 -O /home/bbs/stock.tmp bbs 35331 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=05&Market=2&Refresh=0 -O /home/bbs/stock.tmp bbs 35330 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=16&Market=2&Refresh=0 -O /home/bbs/stock.tmp bbs 35329 0.0 0.3 3348 1792 ?? I 2:23下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=21&Market=2&Refresh=0 -O /home/bbs/stock.tmp bbs 35328 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=10&Market=2&Refresh=0" -O /home/bbs/stock.tmp bbs 35327 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=00:70017399&Market=2&Refresh=0" -O /home/bbs/stock.tmp bbs 35326 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=20&Market=1&Refresh=0" -O /home/bbs/stock.tmp bbs 35325 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=05&Market=2&Refresh=0" -O /home/bbs/stock.tmp bbs 35324 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=16&Market=2&Refresh=0" -O /home/bbs/stock.tmp bbs 35323 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=21&Market=2&Refresh=0" -O /home/bbs/stock.tmp bbs 35322 0.0 0.1 632 436 ?? I 2:23下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=13=61&Market=2&Refresh=0" -O /home/bbs/stock.tmp bbs 35321 0.0 0.3 3348 1792 ?? I 2:22下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=13=23&Market=1&Refresh=0 -O /home/bbs/stock.tmp bbs 35320 0.0 0.3 3348 1792 ?? I 2:22下午 0:00.01 /usr/bin/wget -t 1 http://mis.tse.com.tw/Quotes/Stock?Category=14&Market=1&Refresh=0 -O /home/bbs/stock.tmp bbs 35319 0.0 0.1 632 436 ?? I 2:22下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=13=23&Market=1&Refresh=0" -O /home/bbs/stock.tmp bbs 35318 0.0 0.1 632 436 ?? I 2:22下午 0:00.00 sh -c /usr/bin/wget -t 1 "http://mis.tse.com.tw/Quotes/Stock?Category=14&Market=1&Refresh=0" -O /home/bbs/stock.tmp -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 59.114.120.19