python 按列名提取多列

小風0000

1. dat='''
   
2. SNPID A702Y A704Y A706Y A708Y A710Y
   
3. ARS-BFGL-BAC-10172 CC CC CC CC CC
   
4. ARS-BFGL-BAC-1020 CC CC CT CC CC
   
5. '''
   
6. 
   
7. names=["SNPID","A702Y","A710Y"]

復制代碼

由于數(shù)據(jù)比較大，有4萬行，7000列，要提出800列的數(shù)據(jù)，大家有什么好的辦法嗎？

1. 
   
2. script,originalFN,targetFN = sys.argv
   
3. originalInds = open(originalFN).readline().strip().split()
   
4. targetInds = [line.strip() for line in open(targetFN)]
   
5. targetF=open("targetInds.txt","w")
   
6. 
   
7. #find index
   
8. idx = [ originalInds.index(ind) for ind in targetInds if ind in originalInds ]
   
9. idx.insert(0,0)
   
10. 
    
11. #output
    
12. for num,line in enumerate(open(originalFN)):
    
13.     print num
    
14.     tmp = [line.strip().split()[i] for i in idx]
    
15.     targetF.write(" ".join(tmp)+"\n")
    
16. 
    
17. targetF.close()
    

復制代碼

這是我寫的代碼，先取出列名的下標，再在大文件一行行弄出來，有點慢，求助！

吃瓜群眾

你可以用pandas庫，都有封裝

小風0000

回復 2# 吃瓜群眾

不行啊，直接報錯，out of memory。文件太大了，有沒有什么更好的辦法？

   

吃瓜群眾

回復 3# 小風0000
你可以把大文件分成小文件處理，最后再歸并。

   

小風0000

回復 4# 吃瓜群眾

不應該啊，我用python就想著處理大文件方便，要是分成小文件，我還不如用R處理。
肯定有更簡單，高效地寫法吧！

   

bskay

對于這樣的情況,一定要用到mmap才行

Northland

#output
num = 0
for line in open(originalFN).xreadlines() :
    num += 1
    print num
    tmp = [line.strip().split()[i] for i in idx]
    targetF.write(" ".join(tmp)+"\n")