[問題] wget同時下載固定數目的檔案

看板Linux作者luenchang (luen)時間3年前 (2021/02/26 13:57)推噓1(1推 0噓 1→)

留言2則, 1人參與討論串1/1

請教 linux, bash的先進、專家。我需要下載一些 gene data sets. 在網上找到了用 cat file | xargs wget 這樣的 commands. 但是研究單位裡要求一次只能同時下載8個檔案，第一批8個檔案下載完，再接著下載第2批8個檔案，直到所有檔案下載。請教一下以下問題 (1) 不知道我以下的code要如何改，才能一次頂多下載8個檔案? (2) 如果有些檔案已經先部分下載了，用 wget --continue是否可以重啟下載? (3) 如果有些檔案已經先完全下載了，該如何避免重複下載? 以下是我的code. cat接的檔案是下載檔案的路徑。這一個有63個路徑。其他的還有幾百個。 # Change current directory to the output folder cd ${dir_PRJNA579178} cat ${dir_PRJNA579178}/data-access-download-links_no-header.tsv | wc -l # 63 # Change end of file symbol to Linux dos2unix data-access-download-links_no-header.tsv # Download files in current directory without having to specify output file paths ## xargs -n 1: cat will pass one argument at a time (-n 1) to wget ## xargs -P 8 wget: execute at most 8 parallel wget processes at a time (-P 8) cat data-access-download-links_no-header.tsv | xargs -n 1 -P 8 wget --limit-rate=2m 感謝指教 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.174.219.126 (澳大利亞) ※ 文章網址: https://www.ptt.cc/bbs/Linux/M.1614319042.A.97F.html