[問題] 大檔案算CRC32

看板Python作者 (allstar)時間14年前 (2010/12/29 06:12), 編輯推噓3(304)
留言7則, 3人參與, 最新討論串1/1
import binascii import mmap with open('10GB', 'r+b') as file: map = mmap.mmap(file.fileno(), 0) print binascii.crc32(map) map.close() 現在用以上 code 能算出正確答案 不過電腦記憶體會全被吃光,完全沒辦法做其他事 請問有沒有比較好的辦法處理這個問題呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 114.46.141.48

12/29 10:11, , 1F
mmap有offset,可分段讀入。crc32有oldcrc,可填入前一段計
12/29 10:11, 1F

12/29 10:11, , 2F
算的crc
12/29 10:11, 2F

12/29 13:05, , 3F
搞定了,很抱歉沒有看清楚 tutorial 問了這種蠢問題 ...
12/29 13:05, 3F

12/30 13:56, , 4F
python的mmap,offset不是只能到2^32?
12/30 13:56, 4F

12/30 16:46, , 5F
應該不只,我map下去後看size是正確的,算出來也是正確的
12/30 16:46, 5F

12/31 13:29, , 6F
請教樓上 是跑在64bit機器上嗎
12/31 13:29, 6F

12/31 14:11, , 7F
是的
12/31 14:11, 7F
文章代碼(AID): #1D6c3797 (Python)
文章代碼(AID): #1D6c3797 (Python)