站长资源服务器
fastdfs+nginx集群搭建的实现
一.简介fastdfs
1.什么是fastdfs
- fastdfs是一个轻量级的开源分布式文件系统；
- fastdfs主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡；
- fastdfs实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份，节约磁盘空间；
- fastdfs只能通过Client API访问，不支持POSIX访问方式；
- fastdfs特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等）。
2.fastdfs框架图
作者（YuQing）给出了框架图如下：
其中：
Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。记录storage server的状态，是连接Client和Storage server的枢纽。
Storage Server：存储服务器，文件和meta data都保存到存储服务器上
group：组，也可称为卷。同组内服务器上的文件是完全相同的文件标识：包括两部分：组名和文件名（包含路径）
meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024,heigth=768
3.上传文件流程
（1）client询问tracker上传到的storage，不需要附加参数；
（2）tracker返回一台可用的storage；
（3）client直接和storage通讯完成文件上传。
4.下载文件流程
（1）client询问tracker下载文件的storage，参数为文件标识（组名和文件名）；
（2）tracker返回一台可用的storage；
（3）client直接和storage通讯完成文件下载。
5.同步机制
（1）同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行；
（2）文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器；
（3）源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；
（4）上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。
6.tracker server目录结构
（1）data
storage_groups.dat：存储分组信息
storage_servers.dat：存储服务器列表
（2）logs
trackerd.log：tracker server日志文件
7.storage server目录结构
1）data
.data_init_flag：当前storage server初始化信息
storage_stat.dat：当前storage server统计信息
sync：存放数据同步相关文件
binlog.index：当前的binlog文件索引号
binlog.###：存放更新操作记录（日志）
${ip_addr}_${port}.mark：存放同步的完成情况
（2）logs
storaged.log：storage server日志文件
以上理论参考：
ChinaUnix论坛：http://bbs.chinaunix.net/forum-240-1.html
github下载地址：https://github.com/happyfish100
二、fastdfs安装和测试
1.下载
需要下载：libfastcommon fastdfs（2.0之前的版本需要以来libevent）
2.安装
（1）安装libfastcommon
$ tar xzvf libfastcommon-1.0.38.tar.gz $ cd libfastcommon-1.0.38 $ ./make.sh $ sudo ./make.sh install
（2）安装fastdfs
$ tar xzvf fastdfs-5.11.tar.gz $ cd fastdfs-5.11 $ ./make.sh $ sudo ./make.sh install
3.配置
集群搭建拓扑图（由于硬盘不够了，下面192.168.31.4和192.168.31.14现在还没有，扩容后加上）
（1）配置tracker（192.168.31.95/192.168.31.99）
$cd /etc/fdfs/
目录文件如下：
然后，执行如下：
$sudo su #cp tracker.conf.sample tracker.conf
配置tracker.conf文件：
vim tracker.conf
修改：base_path=/home/fastdfs/tracker （注意：在启动前必须存在此目录，否则会报错，找不到路径，也就是说需要手动新建tracker目录）
启动：
/etc/init.d/fdfs_trackerd start
（2）配置storage（192.168.31.2/192.168.31.12）
$ cd /etc/fdfs $sudo su #cp storage.conf.sample storage.conf
修改：
group_name=group1（192.168.31.2） 或者group2（192.168.31.12）
base_path=/home/fastdfs/storage
store_path0=/home/fastdfs/storage
修改：tracker服务ip与port：
tracker_server=192.168.31.95:22122 （注意：这里31.2 tracker_server配置31.95 ，31.12 tracker_server配置31.99）
启动：
/etc/init.d/fdfs_storaged start
查看fastdfs的相应配置信息
# fdfs_monitor /etc/fdfs/storage.conf
有以下信息才算成功：
测试上传, 选择192.168.31.99 tracker机器当做fdfs_client
$ cd /etc/fdfs $ sudo su # cp client.conf.sample client.conf # vim client.conf
修改：
base_path = /home/fastdfs
tracker_server=192.168.31.99:22122
测试上传net.png文件：
fdfs_upload_file /etc/fdfs/client.conf net.png
三、nginx配置
需要安装：
fastdfs-nginx-module-1.20 类似插件的东西
nginx-1.14.2.tar.gz
安装nginx需要先安装：
openssl zlib pcre
把astdfs-nginx-module插入到nginx（需要对nginx进行configure和make&&make install）
./configure --add-module=../../fastdfs-nginx-module/src/
会报错：需要修改fastdfs-nginx-module-1.20/src/config文件
ngx_addon_name=ngx_http_fastdfs_module
if test -n "${ngx_module_link}"; then
ngx_module_type=HTTP
ngx_module_name=$ngx_addon_name
ngx_module_incs="/usr/local/include"
ngx_module_libs="-lfastcommon -lfdfsclient"
ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
ngx_module_deps=
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
. auto/module
else
HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
CORE_INCS="$CORE_INCS /usr/local/include"
CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi
修改为：
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
ngx_addon_name=ngx_http_fastdfs_module
if test -n "${ngx_module_link}"; then
ngx_module_type=HTTP
ngx_module_name=$ngx_addon_name
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
ngx_module_libs="-lfastcommon -lfdfsclient"
ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
ngx_module_deps=
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
. auto/module
else
HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi
然后重新configure 和make && make install
接下来，cp mod_fastdfs.conf /etc/fdfs/ 并修改mod_fastdfs.conf文件
$ cd fastdfs-nginx-module-1.20/src $ cp mod_fastdfs.conf /etc/fdfs/
修改mod_fastdfs.conf
tracker_server=192.168.31.99:22122 store_path0=/home/fastdfs/storage group_name=group1 [group1] group_name=group1 storage_server_port=23000 store_path_count=1 store_path0=/home/fastdfs/storage [group2] group_name=group2 storage_server_port=23000 store_path_count=1 store_path0=/home/fastdfs/storage
将fastdfs-5.11/conf/
$ cp http.conf /etc/fdfs/ $ cp mime.types /etc/fdfs/
修改：http.conf
http.anti_steal.token_check_fail=/home/fastdfs/fastdfs-5.11/conf/
修改nginx.conf
cd /usr/local/nginx/sbin vim ../conf/nginx.conf
8888端口号与/etc/fdfs/storage.conf中的http.server_port=8888相对应
上传一张图片
http://192.168.31.12:8888/group1/M00/00/00/wKgfDFzxVTyAM4suABWWvfB6x_k962.png
