如何高效地將大量小文件平均分到各個文件夾中？

iocg

現(xiàn)某文件夾A下有100w個小文件（.txt），大小10K左右。

假設(shè)文件數(shù)量的閾值設(shè)為20W。
將在A文件夾自動生成5個文件夾（命名：1~5），將100W個文件每20W個移動至5個文件夾中（不用按順序）。

如何實現(xiàn)，怎樣才能保證高效？

bulletmarquis

我的習(xí)慣

1. ll|grep ^-|awk '{_cmd_="cp -f "$NF" "NR%5+1"/";_cmd_|getline;close(_cmd_)}'

復(fù)制代碼

不過文件多的話，逐個cp或者mv效率不高，可以改成先把文件名寫到數(shù)組里，等攢到一定數(shù)量，再拼裝cp語句

iocg

回復(fù) 2# bulletmarquis


    拼裝cp語句？求大神解釋。。

bulletmarquis

回復(fù) 3# iocg


    拿26*5個文件做測試，先創(chuàng)建文件和目錄

1. touch {a..z}{1..5}
   
2. mkdir 1 2 3 4 5

復(fù)制代碼

下面處理時，每20個文件操作一次，測試效果(當(dāng)然LZ文件很多，20個太小了，可以將NR%20==0改成合適的值)

1. ll|grep ^-|awk '{a[NR%5+1]=a[NR%5+1]" "$NF}NR%20==0{for (i in a){_cmd_="cp -f "a[i]" "i"/";print _cmd_}delete a;print ""}'
   
2. cp -f  a3 b3 c3 d3 4/
   
3. cp -f  a4 b4 c4 d4 5/
   
4. cp -f  a5 b5 c5 d5 1/
   
5. cp -f  a1 b1 c1 d1 2/
   
6. cp -f  a2 b2 c2 d2 3/
   
7. 
   
8. cp -f  e3 f3 g3 h3 4/
   
9. cp -f  e4 f4 g4 h4 5/
   
10. cp -f  e5 f5 g5 h5 1/
    
11. cp -f  e1 f1 g1 h1 2/
    
12. cp -f  e2 f2 g2 h2 3/
    
13. 
    
14. cp -f  i3 j3 k3 l3 4/
    
15. cp -f  i4 j4 k4 l4 5/
    
16. cp -f  i5 j5 k5 l5 1/
    
17. cp -f  i1 j1 k1 l1 2/
    
18. cp -f  i2 j2 k2 l2 3/
    
19. 
    
20. cp -f  m3 n3 o3 p3 4/
    
21. cp -f  m4 n4 o4 p4 5/
    
22. cp -f  m5 n5 o5 p5 1/
    
23. cp -f  m1 n1 o1 p1 2/
    
24. cp -f  m2 n2 o2 p2 3/
    
25. 
    
26. cp -f  q3 r3 s3 t3 4/
    
27. cp -f  q4 r4 s4 t4 5/
    
28. cp -f  q5 r5 s5 t5 1/
    
29. cp -f  q1 r1 s1 t1 2/
    
30. cp -f  q2 r2 s2 t2 3/
    
31. 
    
32. cp -f  u3 v3 w3 x3 4/
    
33. cp -f  u4 v4 w4 x4 5/
    
34. cp -f  u5 v5 w5 x5 1/
    
35. cp -f  u1 v1 w1 x1 2/
    
36. cp -f  u2 v2 w2 x2 3/

復(fù)制代碼

實際執(zhí)行

1. ll|grep ^-|awk '{a[NR%5+1]=a[NR%5+1]" "$NF}NR%20==0{for (i in a){_cmd_="cp -f "a[i]" "i"/";_cmd_|getline;close(_cmd_)}delete a}'

復(fù)制代碼

Herowinter

回復(fù) 1# iocg

感覺可以這樣,無法測試,請謹(jǐn)慎使用.

1. for((i=1;i<=5;i++));do for((j=1;j<=1000;j++))do ls *.txt|head -200|xargs -i mv "{}" $i;done done

復(fù)制代碼

Shell_HAT

回復(fù) 2# bulletmarquis


    無法處理文件名包含空格的情況吧

bulletmarquis

回復(fù) 6# Shell_HAT


    確實考慮不周，修改了一下

構(gòu)造數(shù)據(jù)

1. echo {a..z}{1..5}|awk -vRS=" " '{print "" > $0" "$0}'
   
2. mkdir 1 2 3 4 5

復(fù)制代碼

測試效果

1. ls -F1|grep -v /$|awk '{a[NR%5+1]=a[NR%5+1]" \""$0"\""}NR%20==0{for (i in a){_cmd_="cp -f "a[i]" "i"/";print _cmd_}delete a;print ""}'

復(fù)制代碼

實際執(zhí)行

1. ls -F1|grep -v /$|awk '{a[NR%5+1]=a[NR%5+1]" \""$0"\""}NR%20==0{for (i in a){_cmd_="cp -f "a[i]" "i"/";_cmd_|getline;close(_cmd_)}delete a;print ""}'

復(fù)制代碼

bulletmarquis

回復(fù) 6# Shell_HAT


    搭車請教一下，如果文件名中會有空格的話，有沒有好辦法只取出文件名來且逐行展示文件名？

   看了半天ls --help，只有

ls -F1|grep -v /$

能行，但是如果目錄下還有鏈接啥的，就很麻煩

   有沒有其他好辦法？

blackold

回復(fù) 1# iocg


    先把文件列表分割到5份(split)，即5個文件, 再用這5個文件為輸入，xargs mv 文件到相應(yīng)的文件夾。

yestreenstars

回復(fù) 9# blackold

這樣效率應(yīng)該比用for循環(huán)高