22122

小说:7k7k棋牌游戏拖拉机作者:龙帝伯卓更新时间:2019-02-17字数:12428

22122


前言

  接着上篇博客:详细的最新版fastdfs单机版搭建,今天来讲讲fastdfs的集群搭建,限于篇幅,今天先搭建stoarge集群,并实现统一的http访问方式;

  没看我上篇博客的小伙伴,最好先去瞅一眼,这篇博客很多都是基于上篇博客的;

  不懂fastfds原理的,可以先去看看:分布式文件系统FastDFS设计原理,了解了原理之后,再来看这篇博客会轻松很多;

环境准备

  1、机器准备

    VIP:192.168.1.200

    centos211(192.168.1.211):nginx + keepalived master

    centos212(192.168.1.212:nginx + keepalived backup

    centos210(192.168.1.210):tracker

    fastdfs4(192.168.1.209):tracker

    fastdfs3(192.168.1.208):storage(group2) + fastdfs-nginx-module + nginx

    fastdfs2(192.168.1.207):storage(group2) + fastdfs-nginx-module + nginx

    fastdfs1(192.168.1.206):storage(group1) + fastdfs-nginx-module + nginx

    fastdfs  (192.168.1.205):storage(group1) + fastdfs-nginx-module + nginx

  2、最终各组件之间的关系图如下

    先预留着,画图软件正在下载,对于这网速我也是无可奈何; 后续会补上

    有兴趣的朋友可以试着画下,画出来在评论区回复下,也给我参考参考

fastdfs安装

  无论是tracker还是storage的搭建,都是在fastdfs的基础上进行的,安装好了fastdfs之后,配置tracker或者storage就可以启动tracker服务或者storage服务了;fastdfs安装可参考详细的最新版fastdfs单机版搭建

tracker配置

  本文只是简单利用了tracker集群上传了图片,更多的tracker集群 + nginx配置我放在下篇博客讲解

  两台tracker机器配置可以完全一致,只需要在trackerd.conf修改如下配置项

         base_path=/data/fastdfs/tracker

  创建数据目录并启动tracker服务,注意是两台

         [root@centos210 fdfs]# mkdir -p /data/fastdfs/tracker

         [root@fastdfs4 ~]# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

storage配置

  group1

    两台机器配置可以完全一样,修改storage.conf如下配置项

      base_path=/data/fastdfs/storage

      store_path0=/data/fastdfs/storage

      tracker_server=192.168.1.209:22122

      tracker_server=192.168.1.210:22122

      group_name=group1

    启动group1的两台,并查看日志

      [root@fastdfs data]# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf

      [root@fastdfs logs]# tailf /data/fastdfs/storage/logs/storaged.log

      fastdfs(205)

      

      fastdfs1(206)

      

  group2

    两台机器配置可以完全一样,修改storage.conf如下配置项

      base_path=/data/fastdfs/storage

      store_path0=/data/fastdfs/storage

      tracker_server=192.168.1.209:22122

      tracker_server=192.168.1.210:22122

      group_name=group2

    启动group1的两台,并查看日志

      [root@fastdfs data]# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf

      [root@fastdfs logs]# tailf /data/fastdfs/storage/logs/storaged.log

      fastdfs2(207)

      

      fastdfs3(208)

      

  可以看到storage都已全部连上tracker,其中tracker 209作为tracker leader 

  tracker高可用性

    从上图中我们可以看到192.168.1.209这台设备是作为tracker的leader的,我们现在人为关掉192.168.1.209的tracker

    [root@fastdfs4 data]# /usr/bin/stop.sh /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

    

    storage上日志

      [root@fastdfs3 ~]#  tailf /data/fastdfs/storage/logs/storaged.log

      fastdfs3(208)

      

      fastdfs2(207)

      

      fastdfs1(206)

      

      fastdfs(205)

      

    210已经作为tracker leader了,而tracker 209已经连不上了,因为209的tracker服务停了;再启动209的tracker服务

      [root@fastdfs4 ~]# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

    storage上日志

      fastdfs3(208)

      

      fastdfs2(207)

      

      fastdfs1(206)

      

      fastdfs(205)

      

    可以看到4台storage机器都已经重新连接上209的tracker了,只是tracker leader仍是110

java-client图片上传

  上传实现可参考上篇博客中实现,只是这次tracker是集群,包括两台机器;我示例是一张图片上传了两次,输出信息如下:

2
组名:group2
路径: M00/00/00/wKgBz1shMB2Abls1AABHO7x65CM887.jpg
2
组名:group2
路径: M00/00/00/wKgB0FshMB2AIBQXAABHO7x65CM071.jpg

  根据输出信息可知:group2的两台机器上有图片,而group1的机器上没有,我看具体到机器上看下

    

    

    

    

  group2/M00/00/00/wKgB0FshMB2AIBQXAABHO7x65CM071.jpg,其中group1表示这张图片被保存在了哪个组当中,M00代表磁盘目录,如果电脑只有一个磁盘那就只有M00, 如果有多个磁盘,那就M01、M02...等等

fastdfs-nginx-module配置

  到目前为止,我们只是实现了通过java-client上传图片,还是不能通过http来访问图片,通过配置fastdfs-nginx-module和nginx来实现http的图片访问

  FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储,但是同组存储服务器之间需要进入文件复制流程,有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.1.207,上传成功后文件 ID已经返回给客户端,此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.1.208,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 192.168.1.208上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器(192.168.1.207)上取文件,避免客户端由于复制延迟导致的文件无法访问错误。

  在storage服务所在的机器配置fastdfs-nginx-module,4台机器的配置基本一样,示例中则只展示一台机器(fastdfs3)的配置

  

  解压图中fastdfs-nginx-module-master.zip

              [root@fastdfs2 00]# cd /opt

    [root@fastdfs2 opt]# unzip -o fastdfs-nginx-module-master.zip -d /usr/local

  拷贝配置文件

    [root@fastdfs2 opt]# cd /usr/local/fastdfs-nginx-module-master/src

    [root@fastdfs2 src]# cp mod_fastdfs.conf /etc/fdfs/

  编辑配置文件

    [root@fastdfs2 src]# cd /etc/fdfs/

    [root@fastdfs2 fdfs]# vi mod_fastdfs.conf

  修改的地方如下:

base_path=/data/fastdfs/storage
connect_timeout=10                        #保留默认值也可以
tracker_server=192.168.1.209:22122
tracker_server=192.168.1.210:22122
url_have_group_name = true                #url中是否加上group名
store_path0=/data/fastdfs/storage
group_name=group2                        #当前storage所属的组名
group_count = 2                    #组的数量,示例中共两组:group1、group2

[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
View Code

  同组的storage上的mod_fastdfs.conf想通,异组的mod_fastdfs.conf也只是group_name不同,各个storage上的mod_fastdfs.conf具体修改项如下:

       fastdfs2(207),与fastdfs3同组,mod_fastdfs.conf修改项一样

base_path=/data/fastdfs/storage
connect_timeout=10                        #保留默认值也可以
tracker_server=192.168.1.209:22122
tracker_server=192.168.1.210:22122
url_have_group_name = true                #url中是否加上group名
store_path0=/data/fastdfs/storage
group_name=group2                        #当前storage所属的组名
group_count = 2                    #组的数量,示例中共两组:group1、group2

[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
View Code

       fastdfs1(206)与fastdfs(205)同组,mod_fastdfs.conf修改项一样

base_path=/data/fastdfs/storage
connect_timeout=10                        #保留默认值也可以
tracker_server=192.168.1.209:22122
tracker_server=192.168.1.210:22122
url_have_group_name = true                #url中是否加上group名
store_path0=/data/fastdfs/storage
group_name=group1                    #当前storage所属的组名
group_count = 2                    #组的数量,示例中共两组:group1、group2

[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
View Code

nginx安装与配置

  storage方的nginx

    fastdfs-nginx-module配置好了之后,还是不能通过http请求访问storage中的图片,因为没有http服务;部署nginx提供http服务,集成fastdfs-nginx-module;具体可参考我的博客:详细的最新版fastdfs单机版搭建,里面有讲到集成过程。所有的storage服务器都需要配置

    集成好了,配置nginx配置文件:nginx-fdfs.conf

      fastdfs(205)

user root;
worker_processes 1;
events {
    use epoll;

    worker_connections  1024;
}
http {
    server {
        listen       8888;
        server_name  192.168.1.205;

        location ~/group[1]/M00/{
                #root /home/FastDFS/fdfs_storage/data;
                ngx_fastdfs_module;
        }
    }
    server {
        listen 8080;
        server_name 192.168.1.205;
        location / {
            root   html;
            index  index.html index.htm;
        }
    }
}
View Code

      fastdfs(206)

user root;
worker_processes 1;
events {
    use epoll;

    worker_connections  1024;
}
http {
    server {
        listen       8888;
        server_name  192.168.1.206;

        location ~/group[1]/M00/{
                #root /home/FastDFS/fdfs_storage/data;
                ngx_fastdfs_module;
        }
    }
    server {
        listen 8080;
        server_name 192.168.1.206;
        location / {
            root   html;
            index  index.html index.htm;
        }
    }
}
View Code

      fastdfs(207)

user root;
worker_processes 1;
events {
    use epoll;

    worker_connections  1024;
}
http {
    server {
        listen       8888;
        server_name  192.168.1.207;

        location ~/group[2]/M00/{
                #root /home/FastDFS/fdfs_storage/data;
                ngx_fastdfs_module;
        }
    }
    server {
        listen 8080;
        server_name 192.168.1.207;
        location / {
            root   html;
            index  index.html index.htm;
        }
    }
}
View Code

      fastdfs(208)

user root;
worker_processes 1;
events {
    use epoll;

    worker_connections  1024;
}
http {
    server {
        listen       8888;
        server_name  192.168.1.208;

        location ~/group[2]/M00/{
                #root /home/FastDFS/fdfs_storage/data;
                ngx_fastdfs_module;
        }
    }
    server {
        listen 8080;
        server_name 192.168.1.208;
        location / {
            root   html;
            index  index.html index.htm;
        }
    }
}
View Code

    以nginx-fdfs.conf为配置文件来启动storage上的nginx:

      [root@fastdfs3 sbin]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx-fdfs.conf

    自此storage方的nginx就配置好了

       对外提供服务的nginx

    VIP:192.168.1.200

    centos211:nginx + keepalived master

    centos212:nginx + keepalived backup

    两台nginx实现对外服务的高可用,具体搭建过程可参考:nginx实现请求的负载均衡 + keepalived实现nginx的高可用

    nginx的配置文件一样:

user  root;
worker_processes  1;
events {
    worker_connections  1024;
    use epoll;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    #log_format  main  "$remote_addr - $remote_user [$time_local] "$request" "
    #                  "$status $body_bytes_sent "$http_referer" "
    #                  ""$http_user_agent" "$http_x_forwarded_for"";
    #access_log  logs/access.log  main;
    sendfile       on;
    tcp_nopush     on;
    keepalive_timeout  65;
    #gzip on;

    #设置 group1 的服务器
    upstream fdfs_group1 {
         server 192.168.1.205:8888 weight=1 max_fails=2 fail_timeout=30s;
         server 192.168.1.206:8888 weight=1 max_fails=2 fail_timeout=30s;
    }

    #设置 group2 的服务器
    upstream fdfs_group2 {
         server 192.168.1.207:8888 weight=1 max_fails=2 fail_timeout=30s;
         server 192.168.1.208:8888 weight=1 max_fails=2 fail_timeout=30s;
    }

    server {
        listen       80;
        server_name  localhost;
        #charset koi8-r;
        #access_log  logs/host.access.log  main;

        #设置 group 的负载均衡参数
        location /group1/M00 {
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_pass http://fdfs_group1;
        }

        location /group2/M00 {
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_pass http://fdfs_group2;
        }

        #error_page  404              /404.html;
        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root html; 
        }
    } 
}
View Code

    nginx、keepalived都配置好了后,先启动nginx,再启动keepalived

  最终效果

    访问http://192.168.1.200/group2/M00/00/00/wKgB0FshMB2AIBQXAABHO7x65CM071.jpg,出现如下美女

总结

  1、了解fastdfs的原理很重要,只有理解了搭建起来才顺畅;

  2、fastdfs-nginx-module的作用要了解清楚,不是充当nginx的角色哦;

  3、对于内存太小的机器,我觉得还是没必要搭建这个集群了;我8G内存,启8个虚拟机中途直接死机了一次......

当前文章:http://www.0477auto.com/array/ofi3zz65og.html

发布时间:2019-02-17 17:03:49

大富翁网页版在线玩 德州扑克一把不赢 黑桃棋牌有没有漏洞 苹果德州扑克金币 德州扑克偷鸡王 能赢钱的麻将 闲来广东麻将官网下载 一花德州扑克安卓版 二十一点棋牌游戏 1.1.2版本

编辑:通安王

我要说两句: (0人参与)

发布