pppk之Recipe7.11(1)

zhuyubei

今天我決定說說Recipe7.11，使用臨時文件。最近正好用到了這個模塊，就說說吧。分兩天完成。

今天的引用語是

1. 康先生之教，特標(biāo)專精、涉獵二條；無專精則不能成，無涉獵則不能通也    --梁啟超

復(fù)制代碼

這幾天的項目有點趕。希望下周好些。

zhuyubei

最近項目里把在數(shù)據(jù)load進(jìn)去數(shù)據(jù)庫的時候發(fā)現(xiàn)，在小文件很多的時候，性能很不好。但是如果把文件合并到一定的行數(shù)，效率比較優(yōu)。同時由于那些小文件的文件名很重要，而且tracking數(shù)據(jù)庫里也需要存的是那些小文件的文件名。所以這時候，我們就采用把文件合并到一個臨時文件里去，在臨時文件的loading成功或失敗的時候，對原始的小文件進(jìn)行相應(yīng)處理。

這就要用到Perl的臨時文件模塊。這是標(biāo)準(zhǔn)庫提供的。

1. use File::Temp qw( tempfile tempdir );

復(fù)制代碼

其中我們我們這里會涉及到臨時文件和目錄的創(chuàng)建。各位視自己的情況來使用。今天先講講tempdir

zhuyubei

在Linux下使用tempdir來創(chuàng)建臨時目錄最簡單的方法如下.

1. # Module File::Temp can support creating temporary files / dirs
   
2. # Create temp dir, will not delete it after exit
   
3. # Return the dirname
   
4. my $sTmpDir = tempdir( );
   
5. print "Temporary dir: $sTmpDir\n";
   

復(fù)制代碼

這個函數(shù)會返回臨時目錄名的絕對路徑。默認(rèn)情況下，會在/tmp這個Linux默認(rèn)存放臨時文件的目錄下生產(chǎn)臨時目錄。我們可以看到目錄名是一串隨機(jī)的字符串, 諸如

1. /tmp/5ZaWrFtFtP /tmp/lDZRFGeyOP /tmp/VQkM0C2YUP

復(fù)制代碼

那這些目錄在程序退出后，會不會被刪除呢？我實踐下來，默認(rèn)是不會。這和創(chuàng)建臨時文件的情況是不一樣的。
那如果我們在正式使用的時候希望目錄能被刪除又如何呢？這里就要使用CLEANUP參數(shù)，并將其值賦為1

1. # Create temp dir, will not delete it after exit
   
2. my $sTmpCleanDir = tempdir( CLEANUP => 1 );
   
3. print "Temporary dir will be removed: $sTmpCleanDir\n";

復(fù)制代碼

zhuyubei

剛剛說到了，默認(rèn)的臨時目錄是創(chuàng)建在/tmp之上的。但是如果我們希望在指定目錄創(chuàng)建臨時目錄以更好地進(jìn)行管理，那我們要如何完成呢？

如果你確定要這么做，那要在創(chuàng)建臨時文件的時候用DIR參數(shù)指定你所需要的路徑

1. # Create temp dir at specific dir and this dir must be created ahead
   
2. my $sTestDir = "/tmp/test";
   
3. $sTmpDir = tempdir( DIR => $sTestDir );
   
4. print "Temporary dir at test dir $sTestDir: [$sTmpDir]\n";

復(fù)制代碼

但是這里要注意的是，上面DIR對應(yīng)的路徑必須存在，否則創(chuàng)建臨時文件就會失敗。所以比較保險的方法是用mkpath之類的方法，先確保目標(biāo)的目錄存在。因為臨時文件用到的目錄本身就有一定的隨意性，所以管理起來還是要很小心。

zhuyubei

上文還提到，臨時目錄的目錄名是個隨機(jī)的字符串。那如果我希望這個目錄能有些特征怎么辦呢？比如我希望目錄里有對應(yīng)的進(jìn)程號，或是我希望目錄里有明確的名字以區(qū)別其他程序產(chǎn)生的臨時文件。

這里就要引入一個叫Template的概念。也就說，我們可以對臨時目錄的名字用Template加以控制。這樣創(chuàng)建出來的所有的臨時目錄或文件都具有Template的pattern

看這句語句，我們這里創(chuàng)建了一個Templae。一個Template由2部分組成，確定性字符串和隨機(jī)字符串，隨機(jī)字符串位于目錄名的結(jié)尾，記住必須是結(jié)尾!

1. my $sDirTemplate = "TestTmpDirXXXX";

復(fù)制代碼

隨機(jī)字符串由連續(xù)的X字符來表示，必須連續(xù)且長度大于等于4。確定星字符串位于隨機(jī)字符串的前面，你可以用自己希望的模式來指定它。如果你用了變量，注意加大括號，以和后面的隨機(jī)字符XXXX區(qū)別開來。

1. my $sDirTemplate = "${$}XXXX";  

復(fù)制代碼

這里就用了進(jìn)程號做確定性字符串

在確定好模式后，我們要把它傳給tempdir來創(chuàng)建臨時目錄.

1. # The template must end with at least 4 'X' characters
   
2. my $sDirTemplate = "TestTmpDirXXXX";  
   
3. $sTmpDir = tempdir( $sDirTemplate, DIR => $sTestDir );
   
4. 
   
5. # /tmp/test/TestTmpDirvquC
   
6. print "Temporary dir with template at test dir $sTestDir: [$sTmpDir]\n";

復(fù)制代碼

這里我們可以看到，臨時目錄的名字是TestTmpDirvquC。的確就是我們希望的。

明天講臨時文件的創(chuàng)建，細(xì)節(jié)會稍微多一點

zhuyubei

而對于Python來說，主要使用模塊tempfile模塊來創(chuàng)建臨時目錄和文件

要創(chuàng)建臨時目錄，最簡單的就是

1. dname = tempfile.mkdtemp()

復(fù)制代碼

它同樣在/tmp下創(chuàng)建臨時目錄。但是和Perl不一樣的是，它的文件名不是完全隨機(jī)的。它以tmp開頭，后6位隨機(jī)

1. '/tmp/tmpLQ3943'

復(fù)制代碼

如需要指定臨時文件創(chuàng)建的位置，則和perl類似，指定dir參數(shù)即可比如

1. dname = tempfile.mkdtemp(dir='/tmp/test')

復(fù)制代碼

則返回'/tmp/test/tmpFDznqS''

那我們?nèi)绾沃付ㄆ銽emplate呢？這一點Python比Perl稍微好些，你可以在隨機(jī)目錄名的前后都加你想要的字符串。用法就是指定prefix和suffix的值

1. dname = tempfile.mkdtemp(dir='/tmp/test',prefix="PPP_",suffix=".SSS")
   

復(fù)制代碼

返回目錄名字是/tmp/test/PPP_dd6sxe.SSS

也就是說，中間那6個隨機(jī)字符串的值你不能控制。而且你不能像Perl那樣，改變隨機(jī)字符串的長度。比如在Perl里你可以這樣寫Template,"ABCXXXXXXX"。我沒測試過X的上限值，但至少是可變的

最后一點，Python告訴我們:

1.     Caller is responsible for deleting the directory when done with it.
   

復(fù)制代碼

看來，就是要讓我們自己做主了。好吧。

今天就寫到這

cdtits

呵呵，堅持學(xué)習(xí)...

zhlong8

我來催賬了啦

zhuyubei

回復(fù) 8# zhlong8


    哈哈，我正好在寫