[問題] 多次資料搬移效率問題...

看板C_Sharp (C#)作者 (經濟不景氣,好景不常在)時間13年前 (2012/09/16 23:24), 編輯推噓1(100)
留言1則, 1人參與, 最新討論串1/1
假設目前有四個資料夾A.B.C.D A為個人PC,用來執行程式 B為FILESERVER,裡面是依照不同的資料夾放檔案  所以資料夾階層為\\B\TEST\123456.txt (目前裡面大概有1萬多個資料夾,15萬筆資料) C.D也都是FILESERVER,與B不同之處在於資料夾內直接是檔案,並無透過資料夾分類  也就是\\C\123456.txt 以及\\D\123456.txt 執行程式的流程為 A資料夾內有A-1資料夾   ===A資料夾===  ├A1資料夾 (基本上A1是原始檔,不會動到) ├123.txt ┬ ├456.txt 10~20個檔案 ├789.txt ├..... ┴ 在程式執行完後,會在A資料夾底下產生A2資料夾   ===A資料夾===   ├A1資料夾 ├A2資料夾 ├123.txt ┬ ├456.txt 10~20個檔案 ├789.txt ├..... ┴ A2資料夾為A資料夾中的txt檔處理過後的檔案,so檔名會跟A資料夾中的txt檔名一致 另外還會在A2資料夾產生"一個"EXCEL(檔案處理清單) 為了確保資料的一致性,所以資料都使用搬移的動作... 接下來,會在B上根據單號產生某個資料夾...假設為TEST 所以程式會在B產生一個TEST資料夾,並將A2資料夾內的資料複製一份到TEST資料夾 接下來,會再將A2資料夾內的資料複製一份到C Server(不用資料夾分類,且不含EXCEL檔) 在接下來,會將A資料夾下的txt檔(未處理過的檔案)複製一份至C Server... ============================================================================== 在資料這樣一來一往複製情況下,執行程式處理20個檔案 都要等將近10~20秒。 我想重點應該是在於B Server,因為B Server資料夾多,檔案也多... 所以create一個資料夾應該花不少時間,更何況還要搬移資料... 因此,有個念頭想要改寫這個程式... 但是,要如何在確保資料的一致性下,又不會影響程式執行的速度呢?? 麻煩各位大大指教 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 118.171.195.234

09/17 13:21, , 1F
1個程式處理20個檔案要20秒 那就開20個程式吧~ :))
09/17 13:21, 1F
文章代碼(AID): #1GLUymUR (C_Sharp)
文章代碼(AID): #1GLUymUR (C_Sharp)