Re: [問題] PipedInputStream 相關疑問

看板java作者lovdkkkk (dk)時間11年前 (2014/04/25 18:18)推噓0(0推 0噓 1→)

留言1則, 1人參與討論串6/7 (看更多)

有理，不過 by this case... 先說一下關於 Apache POI，如果沒有自己 handle Streaming Usermodel，那它本身就非常吃記憶體，詳情請自行估狗 "Apache POI Footprint" or "Apache POI OutOfMemory"，最近是有改善但有限。所以真的怕大檔吃 memory 的話，其實就... pipe 或什麼其它的 stream 讓你 GG 之前， Apache POI 會先讓你 GG XDD。寫一個 byte 讀一個 byte 其實也有點...奇怪？因為用 Apache POI 我沒會錯意的話，應該是要靠它拿 cell 裡的值然後自己加逗號，特地對後來建出的字串一個一個 byte 處理... 不知道該怎麼說 "0rz 前面 Apache POI 應該已經吃掉比你把資料全讀出來組好的 String 還多 n 倍的 memory 了，這裡真的要搶回 memory 的話盡快把資料讀完，讓 HSSF/XSSF workbook 設為 null 給 GC 最有效，不然都有種 "省小條、開大條" 的感覺 @@"。至於簡單，用 pipe input/output 互接看起來是有一點麻煩，不過寫檔也一樣要讀出資料、加逗號再存成 CSV，那或許可以考慮用簡單一點的 PrintStream， (是說它也可以寫檔就是) 只要一直讀出來 append... append...，讀完再拿 byte array 轉 input stream 就好，這樣也是都在 memory 裡做掉，不過還是很簡單。 ※ 引述《popcorny (畢業了..@@")》之銘言： : ※ 引述《popcorny (畢業了..@@")》之銘言： : : ㄜ.. 我說錯了 : : 資源不會浪費 : : 應該說你一個byte一個byte讀會很花時間 : : 要不然比較可以的做法是開兩個thread. : : 一個寫pipe 一個讀pipe. : : 這樣應該是最完美也最不佔資源的做法 : : 但我覺得用temp file是簡單又有效率的做法 : : 一次把全部csv寫到temp file : : 再全部一次從temp file讀回來 : : 簡單易懂 : : -- : : → lovdkkkk:可是寫檔讀檔很... 04/24 21:59 : : 推 willy69wu31:我覺得寫檔讀檔這樣吃硬碟好像更花時間@@ 04/24 22:47 : : 推 willy69wu31:不過還是感謝你的回應 04/24 22:49 : : → danny8376:實際上完全不花時間因為OS會幫你做好cache 04/25 01:09 : 讀寫檔比memory慢，這個是絕對的 : 但是回到原po說的 : 他想要寫一個byte讀一個byte : 然而producer是apache poi 而consumer是已經寫好的程式 : 所以要這樣"Flow Control"應該很難寫吧... : 如果要我寫可能選三個方法 : 1. 開兩個thread. 中間開pipe : 兩邊一起跑，這是最完美的做法。 : 就跟unix like的command line pipe一樣的行為 : 2. producer寫到ByteArrayOutputStream : 寫完把bytes拿出來放到ByteArrayInputStream去讀 : 免開thread. 也夠快.. 但是缺點就是檔案大吃太多memory : 3. producer寫到temp file : consumer從temp file讀 : 免開thread.. 也不怕檔案大 : 但選擇方案的時候我會有三個考量點要考量 : a. 效率 : b. 最大Memory使用量 (memory footprint) : c. 程式碼簡單，流程單純。 : 如果你的效能是你很大的考量。 : 而且你的檔案有可能會很大。 : 那我建議你選1的方案。也算是大多數情況最好的解。 : 唯一的缺點就是流程復雜點，程式碼比較難懂。 : 退而求其次，如果今天你已經確定資料量不會太大 : 也許2是最好解。簡單，快速，易懂。 : 如果效能不會是太大考量。 : 也許你的程式你久久才跑一次這段程式 : 而每次跑也只是0.1秒跟0.001秒的差別。 : 那寫檔會是最簡單，不吃memory的做法 : 寫程式本來很多都是trade off : 你必須要有能力可以評估 : 雖然效能差距1000倍 : 但是你的程式在這邊本來就不佔0.01%的時間 : 不是performance bottleneck : 或是你的程式根本就久久才用一次這段code : 那我們當然選擇一個易懂不易出錯很容易maintain的版本 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.187.99 ※ 文章網址: http://www.ptt.cc/bbs/java/M.1398421115.A.BD8.html