利用FastDFS存储图片、视频、音频的解决方案

IDC小宇Q78664972 7个月前 (07-04) Linux知识 538 0
TAGS:
国内服务器大促销查看详情

作者个人研发的在高并发场景下,提供的简单、稳定、可扩展的延迟消息队列框架,具有精准的定时任务和延迟队列处理功能。自开源半年多以来,已成功为十几家中小型企业提供了精准定时调度方案,经受住了生产环境的考验。为使更多童鞋受益,现给出开源框架地址:


https://github.com/sunshinelyz/mykit-delay

PS: 欢迎各位Star源码,也可以pr你牛逼哄哄的代码。      


写在前面

有不少小伙伴在实际工作中,对于如何存储文件(图片、视频、音频等)没有一个很好的解决思路。都明白不能将文件存储在单台服务器的磁盘上,也知道需要将文件进行副本备份。如果自己手动写文件的副本机制,那就太麻烦了,这会涉及冗余副本机制、服务器的调度、副本检测、服务器节点检测、文件副本存放策略、网络环境检测等等一系列的难题。了解Hadoop的小伙伴,会自然而然的想到HDFS,没错,HDFS可以存储文件,也能够将大文件切分成一个个文件块进行存储,还能够根据配置自动提供冗余副本机制,不用我们自己去处理复杂的冗余副本机制,也不用处理服务器的调度、副本检测、服务器节点检测、文件副本存放策略、网络环境检测等等一系列的难题。不过,HDFS适合存储大文件,原因是文件的元数据信息全部存储在NameNode节点中,如果使用HDFS大量的存储小文件,则会使NameNode的内存占用率迅速上升,NameNode节点会成为整个集群环境的瓶颈。


基于种种原因的考虑,今天,我为大家推荐一款高性能的分布式文件系统——FastDFS,FastDFS同样能够提供冗余副本机制,也能够处理上述所说的种种问题。不多说了,我们进入主题吧。

前期准备


跟踪服务器:192.168.50.131 (liuyazhuang131)
存储服务器:192.168.50.132 (liuyazhuang132)
环境:CentOS 6.5
用户:root
数据目录:/fastdfs (注:数据目录按你的数据盘挂载路径而定)

安装包:

  • FastDFS v5.05

  • libfastcommon-master.zip(是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库)

  • fastdfs-nginx-module_v1.16.tar.gz

  • nginx-1.6.2.tar.gz

  • fastdfs_client_java._v1.25.tar.gz

源码地址:https://github.com/happyfish100/
下载地址:http://sourceforge.net/projects/fastdfs/files/
官方论坛:http://bbs.chinaunix.net/forum-240-1.html

所有服务器执行的操作

1、编译和安装所需的依赖包

# yum install make cmake gcc gcc-c++

2、 安装 libfastcommon

(1)上传或下载 libfastcommon-master.zip 到/usr/local/src 目录

(2)解压

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master

利用FastDFS存储图片、视频、音频的解决方案-第1张图片-新之洲IDC资讯


(3) 编译、安装

配置 FastDFS 跟踪器(192.168.50.131)

1、复制 FastDFS 跟踪器样例配置文件

复制 FastDFS 跟踪器样例配置文件,并重命名:

# cd /etc/fdfs/

利用FastDFS存储图片、视频、音频的解决方案-第2张图片-新之洲IDC资讯

# cp tracker.conf.sample tracker.conf

2、编辑跟踪器配置文件

# vi /etc/fdfs/tracker.conf

修改的内容如下:

disabled=false
port=22122
base_path=/fastdfs/tracker

(其它参数保留默认配置, 具体配置解释请参考官方文档说明:http://bbs.chinaunix.net/thread-1941456-1-1.html )

3、创建基础数据目录(参考基础目录 base_path 配置)

# mkdir -p /fastdfs/tracker

4、防火墙中打开跟踪器端口(默认为 22122)

# vi /etc/sysconfig/iptables

添加如下端口行:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重启防火墙

# service iptables restart

5、启动 Tracker

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
0

(初次成功启动,会在/fastdfs/tracker 目录下创建 data、 logs 两个目录)

利用FastDFS存储图片、视频、音频的解决方案-第3张图片-新之洲IDC资讯

查看 FastDFS Tracker 是否已成功启动。

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
1

利用FastDFS存储图片、视频、音频的解决方案-第4张图片-新之洲IDC资讯

6、 关闭 Tracker

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
2

7、设置 FastDFS 跟踪器开机启动

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
3

添加以下内容

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
4

配置 FastDFS 存储(192.168.50.132)

1、 复制 FastDFS 存储器样例配置文件

复制 FastDFS 存储器样例配置文件,并重命名

# cd /etc/fdfs/

利用FastDFS存储图片、视频、音频的解决方案-第5张图片-新之洲IDC资讯

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
6

2、编辑存储器样例配置文件

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
7

修改的内容如下:

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
8

(其它参数保留默认配置, 具体配置解释请参考官方文档说明:http://bbs.chinaunix.net/thread-1941456-1-1.html )

3、创建基础数据目录(参考基础目录 base_path 配置)

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
9

4、 防火墙中打开存储器端口(默认为 23000)

# vi /etc/sysconfig/iptables

添加如下端口行:

# cd /etc/fdfs/
1

重启防火墙:

# service iptables restart

5、启动 Storage

# cd /etc/fdfs/
3

(初次成功启动,会在/fastdfs/storage 目录下创建 data、 logs 两个目录)

利用FastDFS存储图片、视频、音频的解决方案-第6张图片-新之洲IDC资讯

查看 FastDFS Storage 是否已成功启动

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
1

利用FastDFS存储图片、视频、音频的解决方案-第7张图片-新之洲IDC资讯

6、关闭 Storage

# cd /etc/fdfs/
5

7、设置 FastDFS 存储器开机启动

# cd /usr/local/src/
# unzip libfastcommon-master.zip
# cd libfastcommon-master
3

添加:

# cd /etc/fdfs/
7

文件上传测试(192.168.50.131)

1、修改 Tracker 服务器中的客户端配置文件

# cd /etc/fdfs/
8

2、执行如下文件上传命令

# cd /etc/fdfs/
9

返回 ID 号:group1/M00/00/00/wKgEfVUYNYeAb7XFAAVFOL7FJU4.tar.gz(能返回以上文件 ID, 说明文件上传成功)

在每个存储节点上安装 nginx

1、 fastdfs-nginx-module 作用说明

FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储, 但是同组存储服务器之间需要进入文件复制, 有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.50.132,上传成功后文件 ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.50.133,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 192.168.50.133 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)

2、上传 fastdfs-nginx-module_v1.16.tar.gz 到/usr/local/src

3、解压

# cp tracker.conf.sample tracker.conf
0

4、修改 fastdfs-nginx-module 的 config 配置文件

# cp tracker.conf.sample tracker.conf
1

(注意:这个路径修改是很重要的,不然在 nginx 编译的时候会报错的)

5、上传当前的稳定版本 Nginx(nginx-1.13.0.tar.gz)到/usr/local/src 目录

6、安装编译 Nginx 所需的依赖包

# cp tracker.conf.sample tracker.conf
2

7、编译安装 Nginx(添加 fastdfs-nginx-module 模块)

# cp tracker.conf.sample tracker.conf
3

8、复制 fastdfs-nginx-module

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录, 并修改

# cp tracker.conf.sample tracker.conf
4

修改以下配置:

# cp tracker.conf.sample tracker.conf
5

9、复制 FastDFS 的部分配置文件到/etc/fdfs 目录

# cp tracker.conf.sample tracker.conf
6

10、在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

# cp tracker.conf.sample tracker.conf
7

11、配置 Nginx

简洁版 nginx 配置样例:

# cp tracker.conf.sample tracker.conf
8

注意、 说明:
A、 8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应,因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。
B、 Storage 对应有多个 group 的情况下,访问路径带 group 名,如/group1/M00/00/00/xxx,对应的 Nginx 配置为:

# cp tracker.conf.sample tracker.conf
9

C、 如查下载时如发现老报 404, 将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

12、防火墙中打开 Nginx 的 8888 端口

# vi /etc/sysconfig/iptables

添加:

# vi /etc/fdfs/tracker.conf
1

重启防火墙

# service iptables restart

13、启动 Nginx

# vi /etc/fdfs/tracker.conf
3

启动成功后会输入:

# vi /etc/fdfs/tracker.conf
4

(重启 Nginx 的命令为:/usr/local/nginx/sbin/nginx -s reload)

14、通过浏览器访问测试时上传的文件

http://192.168.50.132:8888/group1/M00/00/00/wKgyhFkWubGAcwrWAAVFOL7FJU4.tar.gz

利用FastDFS存储图片、视频、音频的解决方案-第8张图片-新之洲IDC资讯


注意:千万不要使用 kill -9 命令强杀 FastDFS 进程,否则可能会导致 binlog 数据丢失。另外,大家可以到链接http://download.csdn.net/detail/l1028386804/9841444下载FastDFS_v5.05_安装包、工具包

好了,咱们今天就聊到这儿吧!别忘了给个在看和转发,让更多的人看到,一起学习一起进步!!

写在最后

如果觉得文章对你有点帮助,请微信搜索并关注「 冰河技术 」微信公众号,跟冰河学习分布式存储技术。


后记:



记住:你比别人强的地方,不是你做过多少年的CRUD工作,而是你比别人掌握了更多深入的技能。不要总停留在CRUD的表面工作,理解并掌握底层原理并熟悉源码实现,并形成自己的抽象思维能力,做到灵活运用,才是你突破瓶颈,脱颖而出的重要方向!

你在刷抖音,玩游戏的时候,别人都在这里学习,成长,提升,人与人最大的差距其实就是思维。你可能不信,优秀的人,总是在一起。


文章来源:微信公众号 冰河技术

版权声明:部分文章内容、图片来源于互联网获取,如有侵权请联系删除,发送邮件:server889#qq.com 请将#改为@,我们将第一时间审核处理!

相关推荐

网友评论

  • (*)

最新评论

相关推荐

php源码论坛源码香港vps数据中心西丽机房江阴数据西安机房win7腾讯管家门户整站PHP系统小程序香港服务器服务器租用电影网站SEO迅雷看看装修网站装饰整站系统NAS和服务器香港主机海外服务器香港机柜江阴市云计算数据中心高防服务器deituiCMS得推分类香港服务器cn2香港机房下载网站游戏服务器国外服务器端口描述香港 GIA-VPS宜兴国际数据中心网站服务器linux系统服务器屏蔽网站外贸公司韩国服务器独立服务器韩国高配低价服务器西安高新电信机房大型商城超市PHP专用服务器建设网站采集站网站站群广渠门IDC机房香港CN2CDNDDoS防火墙香港固定IP专线新之洲数据韩国机房CDN加速自动采集免费源码高清壁纸香港美国VPSBGP多线国内服务器黑客攻击访问速度高防云主机本溪市南地IDC机房服务器机房区块链小说网站维护网站西安联通机房服务器托管棋牌游戏棋牌服务器服务器配置企业服务器香港将军澳CN2 VPS北京大兴大族机房BGP服务器硬件网站建设云服务器大连黑石礁机房香港数据中心数据库服务器数据库系统香港云服务器襄阳联通枢纽楼IDC机房广告联盟联盟服务器WSTShop个人网店人才网独立云服务器企业云服务器服务器访问速度中国移动(广东湛江)数据中心交友网站婚恋网站主机网站优化香港日本韩国中国移动安徽(淮南)数据中心小程序服务器衡阳服务器租用