看板 [ Perl ]
討論串[問題] 逐行處理大檔有更快的方法嗎
共 5 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#5
Re: [問題] 逐行處理大檔有更快的方法嗎
推噓0(0推 0噓 2→)留言2則，0人參與, 最新作者xbrain (我最愛小爽)時間16年前 (2009/04/26 23:23), 編輯資訊
0
0
0
內容預覽:
^^^^^. 不知道您的資料有多大，常常處理 100GB-200GB 的檔案. 逐行處理這種資料 I/O threshold 很重要. 另外 在 loop 裡面的東西 能精簡則精簡.. my $i;. while .. {. $i=.... }. 和 while .. { my $i=.... }.
#4
Re: [問題] 逐行處理大檔有更快的方法嗎
推噓0(0推 0噓 0→)留言0則，0人參與, 最新作者kornelius (c9s)時間16年前 (2009/04/26 12:54), 編輯資訊
0
0
0
內容預覽:
XSub 相關文件可以參考:. perldoc perlxstut. 同時搭配. perldoc perlxs. perldoc perlguts. perldoc perlapi. 等文件搭配閱讀。. --. --. ※ 發信站: 批踢踢實業坊(ptt.cc). ◆ From: 122.117.1
#3
Re: [問題] 逐行處理大檔有更快的方法嗎
推噓4(4推 0噓 2→)留言6則，0人參與, 最新作者kornelius (c9s)時間16年前 (2009/04/26 12:03), 編輯資訊
0
0
0
內容預覽:
$/ 或稱 $INPUT_RECORD_SEPARATOR 或稱 $RS. 預設 $/ 為 \n (newline). 也就是 <FILE> 時讀檔遇到 \n 就中斷傳回一行. local $/; 時 $/ 為 undef. 會啟用 slurp 模式. 所以會讀滿整個檔案. 當然如果你想指定 byt
(還有457個字)
#2
Re: [問題] 逐行處理大檔有更快的方法嗎
推噓1(1推 0噓 0→)留言1則，0人參與, 最新作者kornelius (c9s)時間16年前 (2009/04/26 11:45), 編輯資訊
0
0
0
內容預覽:
利用 local $/ 可以改善一些效能。. 如果資訊處理的部份會托慢速度，你可以考慮把那個部份切成 thread 做. 或是 pipe 出去給其他多個 process. 我用一個大約 15M random file 做了一下測試:. [ Oulixeus :~ ]$ time perl chunk
(還有109個字)
#1
[問題] 逐行處理大檔有更快的方法嗎
推噓5(5推 0噓 2→)留言7則，0人參與, 最新作者teyton (ton)時間16年前 (2009/04/26 00:40), 編輯資訊
0
0
0
內容預覽:
請教各位高手，. 我需要用perl對大檔做典型的每行比對擷取處理工作，. 可是效能似乎不佳，是逐行處理的工作本身就一定很慢？或是有沒有更快的寫法呢？. 感恩!. ps. 我有拿掉處理資訊的部分，效能還是很慢，確認瓶頸不是在那邊. open (MYFILE, 'largeFile.txt');. wh
首頁
上一頁
1
下一頁
尾頁