- 論壇徽章:
- 4
|
本帖最后由 happy_fish100 于 2022-03-29 17:26 編輯
定位問題首先要看日志文件。出現(xiàn)問題時，先檢查返回的錯誤號和錯誤信息。然后查看服務器端日志，相信可以定位到問題所在。
1. FastDFS適用的場景以及不適用的場景？
FastDFS是為互聯(lián)網(wǎng)應用量身定做的一套分布式文件存儲系統(tǒng)，非常適合用來存儲用戶圖片、視頻、文檔等文件。對于互聯(lián)網(wǎng)應用，和其他分布式文件系統(tǒng)相比，優(yōu)勢非常明顯。具體情況大家可以看相關的介紹文檔，包括FastDFS介紹PPT等等。
出于簡潔考慮，F(xiàn)astDFS沒有對文件做分塊存儲，因此不太適合分布式計算場景。
2. FastDFS需要的編譯和運行環(huán)境是怎樣的？
FastDFS Server僅支持unix系統(tǒng)，在Linux和FreeBSD測試通過。在Solaris系統(tǒng)下網(wǎng)絡通信方面有些問題。
編譯需要的其他庫文件有pthread，V5.0以前的版本依賴libevent；V5.0以后，不再依賴libevent。
v5.04開始依賴libfastcommon，github地址：https://github.com/happyfish100/libfastcommon
v5版本從v5.05開始才是穩(wěn)定版本，請使用v5版本的同學盡快升級到v5.05或更新的版本，建議升級到v5.08。
pthread使用系統(tǒng)自帶的即可。
對libevent的版本要求為1.4.x，建議使用最新的stable版本，如1.4.14b。
注意，千萬不要使用libevent 2.0非stable版本。
測試了一下，libevent 2.0.10是可以正常工作的。
在64位系統(tǒng)下，可能需要自己在/usr/lib64下創(chuàng)建libevent.so的符號鏈接。比如：
ln -s /usr/lib/libevent.so /usr/lib64/libevent.so
在ubuntu 11及后續(xù)版本，可能會出現(xiàn)找不到動態(tài)庫pthread庫，解決方法參見：http://www.72891.cn/thread-2324388-1-2.html
若出現(xiàn)libfastcommon版本不匹配問題，請執(zhí)行如下命令：/bin/rm -rf /usr/local/lib/libfastcommon.so /usr/local/include/fastcommon
3. 有人在生產(chǎn)環(huán)境中使用FastDFS嗎？
答案是肯定的。據(jù)我所知，截止2012年底至少有25家公司在使用FastDFS，其中有好幾家是做網(wǎng)盤的公司。
其中存儲量最大的一家，集群中存儲group數(shù)有400個，存儲服務器超過800臺，存儲容量達到6PB，文件數(shù)超過1億，Group持續(xù)增長中。。。
以下是使用FastDFS的用戶列表：
某大型網(wǎng)盤（因對方要求對公司名保密，就不提供名字了。有400個group，存儲容量達到了6PB，文件數(shù)超過1億）
UC （http://www.uc.cn/，存儲容量超過10TB）
支付寶（http://www.alipay.com/）
京東商城（http://www.360buy.com/）
淘淘搜（http://www.taotaosou.com/）
飛信（http://feixin.1008**/）
趕集網(wǎng)（http://www.ganji.com/）
淘米網(wǎng)（http://www.61.com/）
迅雷（http://www.xunlei.com/）
螞蜂窩（http://www.mafengwo.cn/）
丫丫網(wǎng)（http://www.iyaya.com/）
虹網(wǎng)（http://3g.ahong.com）
5173（http://www.5173.com/）
華夏原創(chuàng)網(wǎng)（http://www.yuanchuang.com/）
華師京城教育云平臺（http://www.hsjdy.com.cn/）
視友網(wǎng)（http://www.cuctv.com/）
搜道網(wǎng)（http://www.sodao.com/）
58同城（http://www.58.com/）
商務聯(lián)盟網(wǎng)（http://www.biz72.com/）
中青網(wǎng)（http://www.youth.cn/）
繽麗網(wǎng) （http://www.binliy.com/）
飛視云視頻（http://www.freeovp.com/）
夢芭莎（http://www.moonbasa.com/）
活動幫（www.eventsboom.com）
51CTO（http://www.51cto.com/）
搜房網(wǎng)（http://www.soufun.com/）
4. 啟動storage server時，一直處于僵死狀態(tài)。
A：啟動storage server，storage將連接tracker server，如果連不上，將一直重試。直到連接成功，啟動才算真正完成。
出現(xiàn)這樣情況，請檢查連接不上tracker server的原因。
友情提示：從V2.03以后，多tracker server在啟動時會做時間上的檢測，判斷是否需要從別的tracker server同步4個系統(tǒng)文件。
觸發(fā)時機是第一個storage server連接上tracker server后，并發(fā)起join請求。
如果集群中有2臺tracker server，而其中一臺tracker沒有啟動，可能會導致storage server一直處于僵死狀態(tài)。
注：這個問題v5.07解決了。
5. 執(zhí)行fdfs_test或fdfs_test1上傳文件時，服務器返回錯誤號2
錯誤號表示沒有ACTIVE狀態(tài)的storage server。可以執(zhí)行fdfs_monitor查看服務器狀態(tài)。
6. 如何讓server進程退出運行？
直接kill即可讓server進程正常退出，可以使用killall命令，例如：
killall fdfs_trackerd
killall fdfs_storaged
也可以使用如下命令：
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf stop
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf stop
千萬不要使用-9參數(shù)強殺，否則可能會導致binlog數(shù)據(jù)丟失的問題。
7. 如何重啟server進程？
直接使用：
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
8. 跨運營商通信異常問題
比如電信和網(wǎng)通機房相互通信，可能會存在異常，有兩種表現(xiàn)：
1）不能建立連接，這個比較直接，肯定是網(wǎng)絡連接的問題
2）可以正常建立連接，但接收和發(fā)送數(shù)據(jù)失敗，這個問題比較隱蔽，正常網(wǎng)絡環(huán)境下，不應該出現(xiàn)此類問題。
還有人碰到過從一個方向建立連接可以正常通信，但從另外一個方向就不能正常通信的情況。
解決辦法：
嘗試將服務端口改小，建議將端口修改為1024以下。比如將storage服務端口由23000修改為873等，也可以試試修改為8080
如果問題還不能解決，請聯(lián)系你的網(wǎng)絡（機房）服務商。
9. fdfs_test和fdfs_test1是做什么用的？
這兩個是FastDFS自帶的測試程序，會對一個文件上傳兩次，分別作為主文件和從文件。返回的文件ID也是兩個。
并且會上傳文件附加屬性，storage server上會生成4個文件。
這兩個程序僅用于測試目的，請不要用作實際用途。
V2.05提供了比較正式的三個小工具：
上傳文件：/usr/bin/fdfs_upload_file <config_file> <local_filename>
下載文件：/usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]
刪除文件：/usr/bin/fdfs_delete_file <config_file> <file_id>
10. 什么是主從文件？
主從文件是指文件ID有關聯(lián)的文件，一個主文件可以對應多個從文件。
主文件ID = 主文件名 + 主文件擴展名
從文件ID = 主文件名 + 從文件后綴名 + 從文件擴展名
使用主從文件的一個典型例子：以圖片為例，主文件為原始圖片，從文件為該圖片的一張或多張縮略圖。
FastDFS中的主從文件只是在文件ID上有聯(lián)系。FastDFS server端沒有記錄主從文件對應關系，因此刪除主文件，F(xiàn)astDFS不會自動刪除從文件。
刪除主文件后，從文件的級聯(lián)刪除，需要由應用端來實現(xiàn)。
主文件及其從文件均存放到同一個group中。
主從文件的生成順序：
1）先上傳主文件（如原文件），得到主文件ID
2）然后上傳從文件（如縮略圖），指定主文件ID和從文件后綴名（當然還可以同時指定從文件擴展名），得到從文件ID。
11. 如何刪除無效的storage server？
可以使用fdfs_monitor來刪除。命令行如下：
/usr/bin/fdfs_monitor <config_filename> delete <group_name> <storage_id>
例如：
/usr/bin/fdfs_monitor /etc/fdfs/client.conf delete group1 192.168.0.100
注意：如果被刪除的storage server的狀態(tài)是ACTIVE，也就是該storage server還在線上服務的情況下，是無法刪除掉的。
storage_id參數(shù)：如果使用默認的ip方式，填寫storage server IP地址，否則使用對應的server id。
12. FastDFS擴展模塊升級到V1.06及以上版本的注意事項
apache和nginx擴展模塊版本v1.06及以上版本，需要在配置文件/etc/fdfs/fastdfs_mod.conf中設置storage server的存儲路徑信息。
一個示例如下所示：
store_path_count=1
store_path0=/home/yuqing/fastdfs
store_path_count和store_path#均需要正確設置，必須和storage.conf中的相應配置完全一致，否則將導致文件不能正確下載！
13. nginx和apache擴展模塊與FastDFS server版本對應關系
擴展模塊1.05： 針對FastDFs server v2.x，要求server版本大于等于v2.09
擴展模塊1.07及以上版本： 針對FastDFs server v3.x
具體的版本匹配情況，參閱擴展模塊源碼下的HISTORY文件
14. FastDFS有QQ技術交流群嗎？
有的。群號：212801927，歡迎大家加入交流。
15. 上傳文件失敗，返回錯誤碼28，這是怎么回事？
返回錯誤碼28，表示磁盤空間不足。注意FastDFS中有預留空間的概念，在tracker.conf中設置，配置項為：reserved_storage_space，缺省值為4GB，即預留4GB的空間。
請酌情設置reserved_storage_space這個參數(shù)，比如可以設置為磁盤總空間的20%左右。
16. fdfs_trackerd或者fdfs_storaged的日志中出現(xiàn)：malloc task buff failed字樣的錯誤，這是怎么回事？
出現(xiàn)此類信息表示已經(jīng)達到最大連接數(shù)。server端支持的最大連接數(shù)可以通過max_connections這個參數(shù)來設置。
出現(xiàn)這樣的問題，需要排查一下是否客戶端使用不當導致的，比如客戶端沒有及時關閉無用的連接。
17. FastDFS的文件ID中可以反解出哪些字段？
文件ID中除了包含group name和存儲路徑外，文件名中可以反解出如下幾個字段：
1）文件創(chuàng)建時間（unix時間戳，32位整數(shù)）
2）文件大小
3）上傳到的源storage server IP地址（32位整數(shù)）
4）文件crc32校驗碼
5）隨機數(shù)（這個字段用來避免文件重名）
18. 為什么生成的token驗證無法通過？
出現(xiàn)這樣的問題，請進行如下兩項檢查：
1）確認調用token生成函數(shù)，傳遞的文件ID中沒有包含group name。傳遞的文件ID格式形如：M00/00/1B/wKgnVE84utyOG9hEAAATz5-S0SI99.java
2）確認服務器時間基本是一致的，注意服務器時間不能相差太多，不要相差到分鐘級別。
19. 最新程序包的下載地址是什么？
直接在github下載最新tag即可。github地址：https://github.com/happyfish100/fastdfs
20. FastDFS支持斷點續(xù)傳嗎？
可以支持。先上傳appender類型的文件，然后使用apend函數(shù)。
如果要實現(xiàn)多線程并發(fā)上傳同一個大文件，可以先上傳一個內容為空的appender類型文件，然后調用 truncate設置文件大小，在多線程中調用 modify上傳文件內容。
21. 客戶端連接為什么被踢掉了？
tracker server或storage server出現(xiàn)類似錯誤：
[2017-08-21 15:47:24] ERROR - file: tracker_nio.c, line: 213, client ip: 192.168.1.168, recv timeout, recv offset: 0, expect length: 0
表示客戶端和sever建立連接后沒有發(fā)送任何請求，idle時間超過network timeout該連接就會被踢掉。
|
|
免費注冊
發(fā)表于 2010-11-22 21:28
