求助，python 生成大文件

小丑lh

最近在學(xué)習(xí)python，寫了一個(gè)生成文件的腳本但在生成大文件時(shí)發(fā)現(xiàn)效率比較低，生成一個(gè)5G文件時(shí)等待時(shí)間會(huì)比較長。
以下是自己寫的生成文件腳本，希望高手能優(yōu)化或是給出其它的好的辦法。。。有問題的地方也請高手指出。。。

#coding=utf-8
'''
Created on 2012-5-29

@author: xiaochou
'''

import os
import time

#獲取文件的屬性值
def getfile_att(filepath,*att_type):
    file_stat=os.stat(filepath)
    file_st={}
    if 'fctime' in att_type:
        file_st['fctime']=str(int(file_stat.st_ctime))
    if 'fmtime' in att_type:
        file_st['fmtime']=str(int(file_stat.st_mtime))
    if 'fatime' in att_type:
        file_st['fatime']=str(int(file_stat.st_atime))
    if 'fmode' in att_type:
        file_st['fmode']=str(file_stat.st_mode)
    if 'fsize' in att_type:
        file_st['fsize']=str(int(file_stat.st_size))
    return file_st

def file_size(size):
    local_time = time.strftime("%Y%m%d%H%M%S",time.localtime())
    file_name = "E:\\testFile\\"+str(local_time)+".txt"
    f = open(file_name,'ab')
    note = "測試文件內(nèi)容"
    for i in range(1,99999999):
        f.write(note+str(i))
        filesize = float(getfile_att(file_name,'fsize')["fsize"])
        if filesize/1024/1024 >= size:
            break
        else:
            continue   
    f.close()
    print "ALL down!"

if __name__ == '__main__':
    size = input("input you's size:")
    file_size(size)
print file_size

anonymous0502

這只是為了好玩嗎？可以寫入任意內(nèi)容還是特定的數(shù)據(jù)？

你在循環(huán)里反復(fù)做這個(gè)操作：
filesize = float(getfile_att(file_name,'fsize')["fsize"])
我覺得還不如設(shè)置個(gè)變量來計(jì)算總共寫入了多少

這有別人的方法，我沒有測試過：
http://stackoverflow.com/questio ... python-in-windows-7

小丑lh

不是為了玩，我是做測試的，經(jīng)常會(huì)有一些測試數(shù)據(jù)的需要，比如我們需要一個(gè)4.9G的文件。不可能用手工去生成。只能用腳本去生成。。。

小丑lh

內(nèi)容可以隨便寫的，只要是可以生成大文件，且效率比較高就可以。。回復(fù) 2# anonymous0502


   

anonymous0502

哦，其他部分沒怎么看，只是大概看了下時(shí)間應(yīng)該都是花在循環(huán)里吧
干脆在循環(huán)之前就計(jì)算出要生成這個(gè)大小的文件需要循環(huán)多少次，然后就直接循環(huán)這么多次然后結(jié)束，這樣不是就省去了N多的無意義的判斷語句的執(zhí)行。

anonymous0502

每次寫入的數(shù)據(jù)量大一些，估計(jì)也會(huì)快不少吧。

cdtits

1. #!/usr/bin/env python
   
2. 
   
3. import os
   
4. import time
   
5. 
   
6. def create_file_size(size):
   
7.     size *= 1024 * 1024
   
8.     print size
   
9.     local_time = time.strftime("%Y%m%d%H%M%S", time.localtime())
   
10.     file_name = str(local_time) + ".txt"
    
11.     with open(file_name, 'w') as f:
    
12.         note = 'Test File Contents: '
    
13.         i = 0
    
14.         fsize = 0
    
15.         while True:
    
16.             i += 1
    
17.             text = note + str(i) + "\n"
    
18.             f.write(text)
    
19.             fsize += len(text)
    
20.             if fsize >= size:
    
21.                 break
    
22.     print "ALL down!"
    
23. 
    
24. if __name__ == '__main__':
    
25.     size = input("input you's size:")
    
26.     create_file_size(size)

復(fù)制代碼

大概生成 5G 文件，在 ubuntu 下需要 1-2 秒吧

lian860911

1. bigFile= open(_filename_, 'w')
   
2. bigFile.seek(1024*1024*1024* fileSize-1) #大小自己定,需要幾個(gè)G, fileSize就是幾，速度絕對(duì)快
   
3. bigFile.write('\x00')
   
4. bigFile.close()

復(fù)制代碼

小丑lh

省去了對(duì)文件屬性的不斷讀取和循環(huán)確實(shí)比我之前的快了很多。。。。在linux下會(huì)很快。。但在windows下也是25分左右，，是不是特別的快。。但學(xué)到了很多。。謝謝了回復(fù) 7# cdtits


   

小丑lh

太快了。。。一個(gè)10G的文件在windows下只需要1s，瞬間完成。。。太感謝了。。。但不是很了解正在學(xué)習(xí)中。。回復(fù) 8# lian860911