Summer：想使用fastdfs做照片存儲，請教一下

happy_fish100

Summer：
先前沒接觸過類似的東西，沒什么概念，如果問的問題很白癡，請不要見笑。

看了php api之后有一個疑問，我想獲取一張照片顯示在html頁面中，使用 storage_download_file_to_buff 將照片數(shù)據(jù)獲取出來然后發(fā)送到瀏覽器嗎？
那么這個 buff 是不是web服務(wù)器的內(nèi)存？

比如我的這個頁面 http://www.groops.cn/photos/view/192/
如何用php  api 將照片顯示出來。

最后，非常感謝happyfishman的工作。


happy_fish100：
可以這么做。
>> 那么這個 buff 是不是web服務(wù)器的內(nèi)存？
是的，的確如此。

也可以直接在storage server上架設(shè)web server，不使用FastDFS的API，直接訪問文件，輸出文件內(nèi)容即可。


Summer：嘗試了一下，沒成功
剛才在一臺redhat as4 上嘗試了一下，沒成功，是不是無法在一臺機器上同時跑 storage server 和 tracker？我將ip寫成127.0.0.1，運行test upload，log提示不允許127.0.0.1，換成 61.218... 的ip也不行，說沒有找到目錄或文件。

這個東西很讓我興奮


happy_fish100：
一臺機器上可以同時運行tracker server和storage server。IP地址不能使用127.0.0.1，必須寫成實際的IP地址。你需要指定base_path，并確保該路徑已經(jīng)存在。


Summer：還是出錯
happyfishman 大哥麻煩你真實不好意思，我希望在我的網(wǎng)站能用上，然后幫你推廣一下。

按照你的提示我又測試了幾次，還是出錯：
執(zhí)行：
/usr/local/bin/fdfs_test /www/software/FastDFS/conf/storage.conf upload /www/software/php-5.2.6.tar.gz

提示：
tracker_query_storage fail, error no: 2, error info: No such file or directory

實際上 php-5.2.6.tar.gz 這個文件存在，base_path 定義的 /home/fastdfs/ 目錄也存在.

用php api測試也失敗，提示：

storage_upload_by_filename fail, result=2
Warning: unpack() [function.unpack]: Type N: not enough input, need 4, have 0 in /www/htdocs/zonezhi/htdocs/beta/fastdfs/fdfs_common.php on line 286
storage_upload_by_filename fail, result=22tracker_query_storage_fetch fail, errno: 5storage_download_file_to_file fail, errno: 5storage_download_file_to_buff fail, errno: 5set metadata result: 5storage_get_metadata fail, errno: 5delete file result: 5



happy_fish100：
可能有兩種情況導(dǎo)致出現(xiàn)你說所的錯誤：
1. storage server沒有正確配置或沒有啟動
2. 硬盤剩余空間不足

具體出錯信息可以看一下日志文件/home/fastdfs/logs/storage.log和/home/fastdfs/logs/tracker.log。

另外，可以通過運行 fdfs_monitor來查看服務(wù)器狀態(tài)。
/usr/local/bin/fdfs_monitor /www/software/FastDFS/conf/storage.conf

通過上面的方法，應(yīng)該可以解決你的問題。



Summer：
成功了�。。�
之前可能配置文件的幾個細(xì)節(jié)沒有搞清楚。
非常感謝老大！！

happy_fish100

heming96：
group_name=group1, remote_filename=52/D8/SQu61QAAR1ZHRhyx group_name=group1, remote_filename=0A/BE/SQu61QAAR1YxlmqN storage server 192.168.1.212:23000
Warning: fopen(ttt.dat) [function.fopen]: failed to open stream: Permission denied in /usr/local/FastDFS/fdfs_common.php on line 169
storage_download_file_to_file fail, errno: 5 download file to buff success, file size: 18262, buff size:18262
Warning: file_put_contents(0A_BE_SQu61QAAR1YxlmqN) [function.file-put-contents]: failed to open stream: Permission denied in /usr/local/FastDFS/fdfs_test.php on line 132


happy_fish100：
估計原因有如下兩種情況：
1. 當(dāng)前用戶對當(dāng)前目錄沒有寫權(quán)限；
2. 當(dāng)前路徑不在PHP的open_base路徑中。

請檢查確認(rèn)一下。


heming96：新加節(jié)點時無法自動同步舊的數(shù)據(jù)
確實是權(quán)限問題，apache是用daemon用戶啟動的，需要將 /usr/local/FastDFS/ 目錄執(zhí)行 chown daemon  /usr/local/FastDFS/  -R  ，這樣下載文件才能正常寫。

目前文件存放只能放在 256*256個目錄中， 能否在創(chuàng)建的時候區(qū)分日期，另外新加節(jié)點時無法自動同步舊的數(shù)據(jù) 能否留個MSN 方便聯(lián)系。


happy_fish100：
>>目前文件存放只能放在 256*256個目錄中， 能否在創(chuàng)建的時候區(qū)分日期，另外新加節(jié)點時無法自動同步舊的數(shù)據(jù) 能否留個MSN 方便聯(lián)系。

的確如此，文件在服務(wù)器上是兩級目錄存放的。文件名中包含了文件創(chuàng)建時間，可以通過文件名得到文件創(chuàng)建時間。調(diào)用方不用關(guān)心文件是怎么保存的，只要根據(jù)返回的文件ID對文件進行訪問就可以了。

新加節(jié)點應(yīng)該可以自動同步舊的數(shù)據(jù)的，如果的確存在這個問題，重啟一下新節(jié)點上的fdfs_storaged試試。我的MSN：happy_fish100@hotmail.com，保持聯(lián)系。



heming96：自動同步是不是應(yīng)該單獨分出來一個日志文件
我是希望在文件名或目錄包含日期，這樣我可以跟蹤或刪除某天的數(shù)據(jù)，自動同步是不是應(yīng)該單獨分出來一個日志文件，方面管理員跟蹤同步進程。 分布式文件系統(tǒng)最重要的是新加節(jié)點時能自動同步，而且同步結(jié)果讓管理員放心 這樣管理員用起來就不會如履薄冰 呵呵 ！


happy_fish100：FastDFS設(shè)計和實現(xiàn)已經(jīng)做到了自動同步。如果自動同步有問題，請按我說的方法試試。自動同步功能我也會進一步測試一下。

happy_fish100：新增服務(wù)器自動同步的確存在一點問題，在即將發(fā)布的V1.12中已經(jīng)修復(fù)。謝謝大家的大力支持！

happy_fish100

olgeer：
打聽一下，你的1.12什么時候會發(fā)布？
最近在找分布式文件存儲的方案，這里提到的自動同步的問題比較關(guān)鍵。

happy_fish100：
V1.12正在緊張的測試過程中，預(yù)計下周可以發(fā)布。
V1.12修復(fù)了文件同步的幾個問題，支持從服務(wù)器列表中刪除已經(jīng)下線或無效的存儲服務(wù)器。
另外幾個重大改進如下：
1. 對于下載一個已經(jīng)存在的文件，當(dāng)客戶端詢問tracker server時，tracker server將返回一個有效的storage server，保證該文件在該storage server上的確存在。這樣就修正了文件同步延遲導(dǎo)致其他服務(wù)器上新文件尚未存在的問題。
2. 對于刪除文件和修改meta data，提供了query storage server for update的函數(shù)，保證對一個文件的后續(xù)更新操作都在同一臺storage server上完成，這樣就有效地解決了時序問題。
3. 支持客戶端指定文件后綴，便于在storage server上部署web server，配合web server通過文件后綴完成文件類型識別。
4. 磁盤IO優(yōu)化：binlog記錄采用cache方式，而不是每條記錄都fsync到硬盤；寫文件時，按目錄順序存儲的效果比按目錄分散（隨機）存儲要好。
5. 一臺storage server支持多個目錄（mount point）。為了提高硬盤IO，建議將多塊硬盤分別mount成獨立的目錄，然后交給FastDFS管理。
6. 提供了將服務(wù)器返回的兩個字段group name和filename合并為一個字段file_id的API
7. 為了支持流處理，客戶端文件下載函數(shù)支持callback


olgeer：再次請教
已經(jīng)下載1.12試用中，想請教一下，是否同一個group的服務(wù)器，相互之間的內(nèi)容就會備份呢？ 像Raid1一樣。

另外，現(xiàn)有結(jié)構(gòu)，應(yīng)該是支持多個Tracker同時存在的，那Tracker之間會互相通信保證索引信息一致嗎？ 就是說應(yīng)用分布通過不同的Tracker存取文件，結(jié)果是否一致？

再次感謝你的工作為我們帶來的幫助。


happy_fish100：
>> 是否同一個group的服務(wù)器，相互之間的內(nèi)容就會備份呢？ 像Raid1一樣。
    的確如此。一個group可以包含一臺或多臺服務(wù)器，同一個group內(nèi)的服務(wù)器上的文件是完全相同的。如果一個group內(nèi)有兩臺服務(wù)器，那相當(dāng)于是RAID1。

>> 另外，現(xiàn)有結(jié)構(gòu)，應(yīng)該是支持多個Tracker同時存在的，那Tracker之間會互相通信保證索引信息一致嗎？ 就是說應(yīng)用分布通過不同的Tracker存取文件，結(jié)果是否一致？
    tracker server之間并不會相互通信，storage server會定期向所有tracker server報告自己的狀態(tài)，包括硬盤空間、上傳下載次數(shù)等統(tǒng)計信息。tracker server上只在內(nèi)存中記錄了各個storage server的狀態(tài)和統(tǒng)計信息，并不會記錄文件的索引信息。tracker server返回給應(yīng)用（調(diào)用方）的信息僅包含storage server的IP和端口，然后由應(yīng)用直接和storage server通信完成文件上傳或下載。在多臺tracker server的情況下，各臺tracker server上的信息都是一致的。存取文件是應(yīng)用直接和storage server通信完成的，tracker server只起到了引導(dǎo)或調(diào)度的作用。