[已解決]scp大文件后等待時間超長疑惑

pyartist

以前從一臺服務器scp鏡像文件（約幾百兆到幾G不等）到另一臺服務器上，在scp這種大文件進度到達100%后還要等待幾秒到幾十秒才出現(xiàn)提示符或者進行下一個文件的傳輸，當時也沒太在意

這次傳了個20G的單個文件，發(fā)現(xiàn)竟然在提示改文件傳輸進度100%后又等了10多分鐘。

我覺得可能是scp先將文件傳到另一臺機器的內(nèi)存中，進度百分之多少顯示的是傳到目標機器的內(nèi)存占真?zhèn)�文件的比例。當進度顯示100%的時候，開始從內(nèi)存寫入磁盤，我等待的時間就是這段時間。

因為服務器的內(nèi)存比較大，128G，若內(nèi)存小點，比如只有4G的內(nèi)存，在傳20G的文件，可能就是一邊網(wǎng)絡傳輸一邊寫磁盤。

在想解決辦法，1是將物理內(nèi)存變�。ㄟ@個不現(xiàn)實）。2是設定scp的參數(shù)或者conf文件，但不知道步驟，man了下scp也沒有發(fā)現(xiàn)。3是不用scp，用其他工具

jixuuse

大文件或者大量文件請用rsync

如果你文件數(shù)太多甚至會導致rsync內(nèi)存溢出，這個時候只能按照子目錄來做同步了

pyartist

果然，rsync沒有該問題
看來以后不管大小文件，都不用scp了，直接用rsync，scp對大文件傳輸效率有問題
證明之前的假設也是正確的。

1. # rsync vm1-3.qcow2 192.168.246.22:~/tt -P
   
2. root@192.168.246.22's password:
   
3. vm1-3.qcow2
   
4. 15946563584 100%   11.20MB/s    0:22:37 (xfer#1, to-check=0/1)
   
5. 
   
6. sent 15948510261 bytes  received 31 bytes  11722536.05 bytes/sec
   
7. total size is 15946563584  speedup is 1.00
   

復制代碼

回復 2# jixuuse


   

lyhabc

scp沒有啥算法可言
rsync有rsync算法，肯定比scp好

至于寫磁盤又操作系統(tǒng)決定的，不是由程序決定的，從A機器內(nèi)存-》a機器網(wǎng)卡-》b機器網(wǎng)卡-》b機器內(nèi)存

cjfeii

scp 是不是最后做文件校驗？

pyartist

回復 5# cjfeii


    因該不是校驗導致 ，我在內(nèi)存只有4G的臺式機上傳大文件沒有這個問題，速度反而正常，應該是scp功能不夠強大，只有最基本功能