python2.7如何打開(kāi)大文件

kellyseeme123

有一個(gè)2G的文件，我需要進(jìn)行統(tǒng)計(jì)最長(zhǎng)的那行，下面使用了列表解析和生成器，但是發(fā)現(xiàn)都占用了巨大的內(nèi)存，兩者占用的內(nèi)存基本相同，那么有沒(méi)有其他的方法來(lái)節(jié)省內(nèi)存？？？
import time
start_time = time.time()
lo = max((len(line) for line in open('kel.log') ))  #使用生成器
print lo
end_time = time.time()
print end_time-start_time

start_time = time.time()
lo = max([len(line) for line in open('kel.log') ]) #使用列表解析
print lo
end_time = time.time()
print end_time-start_time

Hadron74

測(cè)試了map/reduce,你可以試試。
map 返回list不好，可用imap

1. 
   
2. from itertools import imap
   
3. lo = reduce(max, imap(len,open('kel.log")))
   

復(fù)制代碼

lolizeppelin

使用nmap  一截一截的映射

map = mmap.mmap(f.fileno(), length=mmap_len, access = mmap.ACCESS_WRITE, offset=start_len)