大量序列幀掃描

liaozd

文件目錄大致可能是這樣：

folder1
    |-----name0000.jpg
    |-----name0000.tif
    |-----name0001.jpg
    |-----name0001.tif
    |-----....   
    |-----....
    |-----name2000.jpg
    |-----name2000.tif
    |-----name2004.tif
    |-----name2501.tif
    |-----....
    |-----name2845.tif
    |-----other_file.txt
    |-----folder2
                 |-----name0000.jpg
                 |-----name0000.tif
                 |-----name0001.jpg
                 |-----name0001.tif
                 |-----....   
                 |-----....
                 |-----name2000.jpg
                 |-----name2000.tif
                 |-----other_file2.sh
說明：

  序列幀不限于僅僅是jpg或tif，還可能有dpx或exr
  目錄里面會有多級子目錄
  總幀數(shù)可能會上萬，所以掃描速度是個問題

我怎么能夠得到這樣輸出結果？

輸出結構：
  folder1: name0000-2000.jpg, 340MB
  folder1: name0000-2000.tif, 1GB
  folder1: name2004-2845.tif, 500MB
  folder1: other_file.txt, 1k
  folder1/folder2: name0000-2000.jpg, 340MB
  folder1/folder2: name0000-2000.tif, 1GB
  folder1/folder2: other_file2.sh, 45byte

timespace

回復 1# liaozd
主要功能OK，代碼的注釋和文檔說明了實現(xiàn)細節(jié)。另外，在程序正確運行之前，過早優(yōu)化性能是多余且有害的。
在safari/chrome里，CU的代碼標簽有問題，代碼以我附件內(nèi)容為準。

1. #!/usr/bin/env python
   
2. # -*- coding: utf-8 -*-
   
3. 
   
4. import itertools
   
5. import os
   
6. import re
   
7. import sys
   
8. from os.path import getsize, isdir, isfile, join, splitext
   
9. 
   
10. class KeyTracker(object):
    
11.     """有狀態(tài)的KEY生成器。
    
12.    
    
13.     給定一個KEY，保存對應一組序列中的兩個字段:
    
14.      -- 第一個記錄
    
15.      -- 當前迭代的上一個記錄
    
16.     """
    
17.     def __init__(self):
    
18.         self.start = self.prev = None
    
19. 
    
20.     def key(self, e):
    
21.         if self.prev is not None and \
    
22.                 self.prev[1] == e[1] and \
    
23.                 self.prev[2] == e[2] and \
    
24.                 self.prev[3] is not None and \
    
25.                 int(self.prev[3]) + 1 == int(e[3]):
    
26.             self.prev = e
    
27.             return self.start[1:]
    
28.         else:
    
29.             self.start = self.prev = e
    
30.             return e[1:]
    
31. def main():
    
32.     if len(sys.argv) != 2 or not isdir(sys.argv[1]):
    
33.         sys.exit(sys.argv[0] + ' target_dir')
    
34. 
    
35.     target = sys.argv[1]
    
36.     # alphanum = ......  這行內(nèi)容與CU的代碼標簽沖突，以附件內(nèi)容為準。
    
37.     for root, dirs, files in os.walk(target):
    
38.         # 為了后續(xù)排序和分類方便，將文件名擴展為如下tuple數(shù)組
    
39.         # dummy_files = [(完整文件名, 擴展名, 文件名前綴，文件名數(shù)字后綴), ...]
    
40.         # 例如'name0012.jpg'會轉(zhuǎn)換為('name0012.jpg', '.jpg', 'name', '0012')
    
41.         # 例如'test.sh'會轉(zhuǎn)換為('test.sh', '.sh', 'test', None)
    
42.         dummy_files = []
    
43.         for name in files:
    
44.             prefix, ext = splitext(name)
    
45.             res = alphanum.match(prefix)
    
46.             if res is None:
    
47.                 dummy_files.append(tuple([name, ext, prefix, None]))
    
48.             else:
    
49.                 dummy_files.append(tuple([name, ext, res.group(1), res.group(2)]))
    
50. 
    
51.         # 以(擴展名, 文件名前綴，文件名數(shù)字后綴)為key進行排序，
    
52.         # 而tuple隱含的排序規(guī)則就是按字段順序優(yōu)先級遞減，正好符合需求。
    
53.         dummy_files.sort(key=lambda e: e[1:])
    
54. 
    
55.         # 對數(shù)組元素分類，‘文件名數(shù)字后綴’連續(xù)的文件需合并, 是一個有狀態(tài)key，
    
56.         # 此處groupby的key隱含的排序穩(wěn)定性必須與上述的sort一致。
    
57.         groupkey = KeyTracker()
    
58.         for k,g in itertools.groupby(dummy_files, key=groupkey.key):
    
59.             total_size = 0
    
60.             for idx, item in enumerate(g):
    
61.                 filename = join(root, item[0])
    
62.                 if isfile(filename):
    
63.                     total_size += getsize(filename)
    
64.             name = item[0] if idx == 0 else '{}{}-{}{}'.format(k[1], k[2], item[3], k[0])
    
65.             print '{}: {}, {} bytes'.format(root, name, total_size)
    
66. 
    
67. if __name__ == '__main__':
    
68.     main()
    
69.                      
    

復制代碼

保存為test.py，運行：

1. bash-3.2 $python --version
   
2. Python 2.7.5
   
3. bash-3.2 $./test.py folder1/
   
4. folder1/: name01-02.jpg, 69 bytes
   
5. folder1/: name01-02.tif, 16 bytes
   
6. folder1/: name10-12.tif, 36 bytes
   
7. folder1/: file.txt, 16 bytes
   

復制代碼

q1208c

基本上就是個 目錄的 io 操作, 能不能快, 看你的硬盤了.

xmchenb

用GO語言吧。。。。嘿嘿

icymirror

回復 1# liaozd


    可以考慮使用 os.walk() 來得到所有項進行遍歷。
    這時需要做的就是：
    1. 根據(jù)你需要的文件擴展名進行過濾
    2. 記錄文件的路徑、文件、大小信息。

liaozd

我想過難度可能在這里：“文件名.擴展名”，先進性一次排序，文件名相同但擴展名不同的會混在一起，我可能還需要對擴展名進行二次排序，這樣好像非常影響速度。

icymirror

回復 5# liaozd


    可以考慮把允許的擴展名寫入到一個 dict 或者 set, 然后用 index 等方法來確定是否存在來(寫成一個函數(shù)對一個文件名進行擴展名過濾)。
    然后，把這個方法用 map 或者 filter 來映射到數(shù)據(jù)集上進行過濾。
    同時，這種方式?jīng)Q定了不需要排序之類的過程。

ssfjhh

回復 5# liaozd


    不太明白，為什么要對擴展名進行二次排序呢？先排序，然后以擴展名為鍵值作一個字典，記錄文件名，文件名自然就是已經(jīng)排好的順序。而且排序又很快，跟讀取文件信息花的時間相比，排序還是比較快的。

q1208c

回復 5# liaozd


不需要排兩次.

以目錄為單位來處理, glob 就可以拿到所有的當前目錄下的目錄和文件, 只處理目錄下的文件, 子目錄調(diào)用函數(shù)繼續(xù)處理.

每個文件名存入以擴展名為名的數(shù)組, 然后, 排序一次這個數(shù)組就可以了. 之后對排序后的數(shù)組做處理, stat 每個文件的大小, 把名字連續(xù)的文件的大小加起來就行了.

效率還真是說不上怎么快.  如果你的硬盤夠好, 建議用多進程來處理吧. 使用中間文件來交換信息.

liaozd

回復 3# xmchenb

go做這個會容易一些么？