[問題] 多次資料搬移效率問題...
假設目前有四個資料夾A.B.C.D
A為個人PC,用來執行程式
B為FILESERVER,裡面是依照不同的資料夾放檔案
所以資料夾階層為\\B\TEST\123456.txt
(目前裡面大概有1萬多個資料夾,15萬筆資料)
C.D也都是FILESERVER,與B不同之處在於資料夾內直接是檔案,並無透過資料夾分類
也就是\\C\123456.txt 以及\\D\123456.txt
執行程式的流程為
A資料夾內有A-1資料夾 ===A資料夾===
├A1資料夾 (基本上A1是原始檔,不會動到)
├123.txt ┬
├456.txt 10~20個檔案
├789.txt
├..... ┴
在程式執行完後,會在A資料夾底下產生A2資料夾 ===A資料夾===
├A1資料夾
├A2資料夾
├123.txt ┬
├456.txt 10~20個檔案
├789.txt
├..... ┴
A2資料夾為A資料夾中的txt檔處理過後的檔案,so檔名會跟A資料夾中的txt檔名一致
另外還會在A2資料夾產生"一個"EXCEL(檔案處理清單)
為了確保資料的一致性,所以資料都使用搬移的動作...
接下來,會在B上根據單號產生某個資料夾...假設為TEST
所以程式會在B產生一個TEST資料夾,並將A2資料夾內的資料複製一份到TEST資料夾
接下來,會再將A2資料夾內的資料複製一份到C Server(不用資料夾分類,且不含EXCEL檔)
在接下來,會將A資料夾下的txt檔(未處理過的檔案)複製一份至C Server...
==============================================================================
在資料這樣一來一往複製情況下,執行程式處理20個檔案
都要等將近10~20秒。
我想重點應該是在於B Server,因為B Server資料夾多,檔案也多...
所以create一個資料夾應該花不少時間,更何況還要搬移資料...
因此,有個念頭想要改寫這個程式...
但是,要如何在確保資料的一致性下,又不會影響程式執行的速度呢??
麻煩各位大大指教
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.171.195.234
推
09/17 13:21, , 1F
09/17 13:21, 1F
C_Sharp 近期熱門文章
PTT數位生活區 即時熱門文章