PTT數位生活區 / Free_box (免費空間 免空板)

Re: [問題] Google 雲端硬碟這樣搬會不會比較快？

看板Free_box (免費空間 免空板)作者時間2年前 (2022/03/28 22:44), 2年前編輯推噓5(5推 0噓 9→)
留言14則, 5人參與, 2年前最新討論串2/2 (看更多)
今天白天總共移動(fclone move)了40多萬個檔案 大小77TB 除了一開始的沒有開啟垃圾桶 死了將近300個檔案外(17132->16852) 後面一個檔案都沒漏 結論就是 fclone的設定檔一定要開啟垃圾桶阿 use_trash = true 因為fclone move在搬檔過程中會發瘋似的把你的檔案刪掉 真的就是出現delete的訊息 2022-03-28 03:54:36 INFO : 網版再造明清201901修訂版_checkedOK/網版再造明清 201901修訂版583種卷冊頁及圖書信息unicode-utf8b5/583種圖書信息/ZHSY100568風箏誤 傳奇 +（清）李漁撰+清翼聖堂刻笠翁傳奇十種本.txt: Deleted 沒有垃圾桶的話 你真的只能眼睜睜看著檔案消失了 我使用的參數是 --drive-server-side-across-configs --stats=1s --stats-one-line -vP --checkers=256 --transfers=256 --drive-pacer-min-sleep=1ms 檔案搬完後 可能要等半小時 期間不斷用ncdu觀察目的地檔案到齊了沒有 (一開始可能會缺很多檔案 但檔案會慢慢的補齊) (在搬動之前先用ncdu掃描來源資料夾 且掃描結果的視窗不要關閉) 同時也要去把TD對應的垃圾桶的檔案 全選->還原 (垃圾桶內的檔案也是會慢慢冒出來 不要急) 後面還有5百萬個檔案要搬 繼續再接再厲~~ 對了 我是用主帳號去搬 因為sa帳號似乎沒有權限去移動檔案到TD 會跳錯誤訊息 你的750gb*20天 頂多15TB 應該算小case了... ※ 引述《LonyIce (耀西)》之銘言： : 我 Google 雲端硬碟搬家，教育逃到企業 : 因為攝影、錄影工作，檔案大又多 : 大家不推薦內建的搬家是因為容易漏檔案 : 所以都推薦 rclone : 但我的檔案多，每天傳輸流量也有 750 gb 的上限，這樣想想可能要花上 20 天以上。 : 那如果我用內建的搬家先搬（不用管流量問題），然後再用 rclone 檢查檔案是否遺失，這 : 樣搬家時間是不是有機會壓縮到 10 天以內呢？ : 這樣的方法是否可行？還是會有什麼問題呢？謝謝各位。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.72.78.30 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Free_box/M.1648478682.A.4DE.html
推
03/28 23:13, 2年前 , 1F
看不太懂你用的那些功能QQ 只覺得一天能搬77TB 好厲害，
03/28 23:13, 1F
→
03/28 23:13, 2年前 , 2F
不過還是感謝你的回覆…
03/28 23:13, 2F
推
03/28 23:16, 2年前 , 3F
漏檔可能是有名稱相同的檔案，才會出現檔案被刪除的情況，
03/28 23:16, 3F
→
03/28 23:16, 2年前 , 4F
跑之前可以先dedupe一次再觀察看看
03/28 23:16, 4F
→
03/28 23:16, 2年前 , 5F
然後用SA是沒辦法跑server side move的，就算給了權限也只
03/28 23:16, 5F
→
03/28 23:16, 2年前 , 6F
會變一般的move（跑流量）
03/28 23:16, 6F
→
03/28 23:20, 2年前 , 7F
確定不是重複檔名的問題 所有來源檔案當初從別人那邊復
03/28 23:20, 7F
→
03/28 23:21, 2年前 , 8F
複製過來時都有執行過很多次dedupe了 當時是為了確保複
03/28 23:21, 8F
→
03/28 23:22, 2年前 , 9F
製時一個檔案都沒有漏 當初的最大的手筆是百萬檔案沒漏
03/28 23:22, 9F
→
03/28 23:22, 2年前 , 10F
印象中分了3次複製
03/28 23:22, 10F
推
03/30 09:37, 2年前 , 11F
請問有沒有fclone move完整的指令？
03/30 09:37, 11F
→
03/30 09:38, 2年前 , 12F
我資質駑頓，77T我要搬好久...
03/30 09:38, 12F
我已經把設定參數都列出來了阿 完整指令是 ./fclone move rick:{AAAAAAAAAA}/來源目錄 rick:{BBBBBBBBBB}/目的目錄 後面掛上前面貼的那串參數即可 /來源目錄 和 /目的目錄 可以很多層目錄 ※ 編輯: rick65134 (61.220.100.12 臺灣), 03/30/2022 10:42:59
推
03/30 22:46, 2年前 , 13F
好文推
03/30 22:46, 13F
推
03/31 17:08, 2年前 , 14F
漂亮，謝謝你喔！！
03/31 17:08, 14F
‣ 更多 rick65134 的文章
文章代碼(AID): #1YGSdQJU (Free_box)
Free_box 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 rick65134 的文章
文章代碼(AID): #1YGSdQJU (Free_box)