[問題] 如何改善大文件的讀寫效能
餓死抬頭
我在工作上撰寫一些程式給同仁使用
主要是以perl做文件內容的更改或比較
一開始都還沒問題，但隨著檔案愈來愈大，效能就是一個問題了
檔案目前大約3G-9G不等，我寫法是從IO做讀寫
同仁會輸入一串字串，然後要與文件內容作比較
輸入：
$input = "AX.BC.\\SR\\d";
$source = "Banana";
$tar = "APPLE";
這似這樣
我的程式碼大約這樣寫
$line=1;
open fid_wr,">file2";
open fid_rd,"<file1";
while(<fid_rd>){
$tmp = $_;
if($tmp =~ /$input/){
printf("Matched in line %d\n",$line);
$tmp =~ s/$source/$tar;
}
printf(fid_wr "$tmp");
$line++;
}
close fid_rd;
close fid_wr;
目前搜尋一個大約3G大小的文件就要耗費2分鐘
如果同仁搜尋更多，那就要更久了
因此在想有沒有方法可以讓其更快的做完？
目前我想到先把所有的資料load到memory，然後走memory來做比較
可以節省IO的時間，不過memory只有1.5T，擔心多人使用就卡死了
有試過先push到array，再一起寫入硬碟，但更慢
所以還是邊讀邊寫才是最快的
我們是使用CentOS 7，硬碟是一般傳統硬碟
因為是公司資源，所以硬碟沒得動，系統沒得動，一切就是手邊現有資源
希望有知道怎麼解決的人可以幫忙一下，或是提供我關鍵字搜尋也好
我可以自己找資料沒問題的，因為我在網路上有先找過
但如果同時要用正規表示式來支援萬用字元，又要兼顧修改
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 150.116.208.71 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Perl/M.1720786959.A.2B7.html
→
07/13 20:25,
3月前
, 1F
07/13 20:25, 1F
→
07/13 20:26,
3月前
, 2F
07/13 20:26, 2F
→
07/13 20:28,
3月前
, 3F
07/13 20:28, 3F
→
07/13 20:30,
3月前
, 4F
07/13 20:30, 4F
是有思考過走記憶體流程，但就擔心同仁一起用，反而會拉高記憶體的使用量
推
07/14 08:57,
3月前
, 5F
07/14 08:57, 5F
→
07/14 08:59,
3月前
, 6F
07/14 08:59, 6F
→
07/14 09:01,
3月前
, 7F
07/14 09:01, 7F
→
07/14 09:02,
3月前
, 8F
07/14 09:02, 8F
→
07/14 09:08,
3月前
, 9F
07/14 09:08, 9F
→
07/14 09:09,
3月前
, 10F
07/14 09:09, 10F
→
07/14 17:17,
3月前
, 11F
07/14 17:17, 11F
→
07/14 17:17,
3月前
, 12F
07/14 17:17, 12F
所以建議是捨棄用perl做這件事，改用sed是嗎？目前只會簡單的awk,但sed不會，看來得學
習了......
※ 編輯: jacky1989 (101.10.6.175 臺灣), 07/17/2024 16:19:23
→
07/17 19:15,
3月前
, 13F
07/17 19:15, 13F
好的，我來試試，感謝分享
※ 編輯: jacky1989 (150.116.208.71 臺灣), 07/17/2024 22:28:04
→
07/18 06:40,
3月前
, 14F
07/18 06:40, 14F
推
08/15 08:17,
2月前
, 15F
08/15 08:17, 15F
Perl 近期熱門文章
PTT數位生活區 即時熱門文章
