请选择 进入手机版 | 继续访问电脑版

网硕互联技术交流社区

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 1548|回复: 0

CentOS7下Rsync sersync实现数据实时同步 -待编辑

[复制链接]

主题

帖子

0

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
0
发表于 2020-8-25 17:14:23 | 显示全部楼层 |阅读模式




       一、为什么要用Rsync sersync架构?

  sersync是基于Inotify开发的,类似于Inotify-tools的工具

  sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录。

  二、Rsync Inotify-tools与Rsync sersync这两种架构有什么区别?

  Rsync Inotify-tools

  (1)Inotify-tools只能记录下被监听的目录发生了变化(包括增加、删除、修改),并没有把具体是哪个文件或者哪个目录发生了变化记录下来;

  (2)rsync在同步的时候,并不知道具体是哪个文件或者哪个目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此,效率很低。

  Rsync sersync

  (1)sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或某一个目录的名字;

  (2)rsync在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对整个同步目录数据来说是很小的,rsync在遍历查找比对文件时,速度很快),因此,效率很高。

  小结:当同步的目录数据量不大时,建议使用Rsync Inotify-tools;当数据量很大(几百G甚至1T以上)、文件很多时,建议使用Rsync sersync。

  说明:

  操作系统:CentOS 7.x

  源服务器(也可以叫生产服务器):10.100.1.145  (Sersync web)(Master 作为主发布服务器)

  目标服务器(也可以叫备份服务器): 10.100.1.96、10.100.1.99(Rsync web)(此处可逐步增加集群的slave)

  目的:

  把源服务器上/home/Sync目录实时同步到目标服务器的/home/Sync下

  具体操作:

  第一部分:分别在两台目标服务器10.100.1.96上操作

  一、在在目标服务器安装Rsync服务端

  1、关闭SELINUX

  1. #vi /etc/selinux/config #编辑防火墙配置文件
  2. #SELINUX=enforcing#注释掉
  3. #SELINUXTYPE=targeted#注释掉
  4. SELINUX=disabled#增加
  5. :wq! #保存,退出
  6. setenforce 0 #立即生效
复制代码


  2、开启防火墙tcp 873端口(Rsync默认端口)


  1. #vi /etc/sysconfig/iptables #编辑防火墙配置文件

  2. -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -ptcp --dport 873 -j ACCEPT

  3. :wq! #保存退出

  4. #systemctl restart firewalld.service #最后重启防火墙使配置生效
复制代码


  3、安装Rsync服务端软件

  1.   # yum install rsync xinetd #安装

  2.   # vi /etc/rc.d/rc.local      #设置开机启动

  3.   /usr/bin/rsync --daemon --config=/etc/rsyncd.conf  #同时在服务器上执行此命令

  4.   :wq! #保存退出

  5.   # chmod  +x /etc/rc.d/rc.local  #否则重启不执行

  6.   # systemctl start xinetd #启动(CentOS中是以xinetd来管理Rsync服务的)
复制代码


  4、创建rsyncd.conf配置文件

  1. log file = /var/log/rsyncd.log
  2. pidfile = /var/run/rsyncd.pid
  3. lock file = /var/run/rsync.lock
  4. secrets file = /etc/rsync.pass
  5. motd file = /etc/rsyncd.Motd

  6. [Sync]

  7. path = /home/Sync/
  8. comment = Sync
  9. uid = root
  10. gid = root
  11. port = 873
  12. use chroot = no
  13. read only = no
  14. list = no
  15. maxconnections = 200
  16. timeout = 600
  17. auth users = Sync
  18. hosts allow = 156.238.179.232
  19. hosts deny = 192.168.21.254
复制代码



对应注释:
  #vi /etc/rsyncd.conf #创建配置文件,添加以下代码

  log file =/var/log/rsyncd.log #日志文件位置,启动rsync后自动产生这个文件,无需提前创建

  pidfile =/var/run/rsyncd.pid #pid文件的存放位置

  lock file =/var/run/rsync.lock #支持max connections参数的锁文件

  secretsfile = /etc/rsync.pass  #用户认证配置文件,里面保存用户名称和密码,后面会创建这个文件

  motd file =/etc/rsyncd.Motd #rsync启动时欢迎信息页面文件位置(文件内容自定义)

  [Sync] #自定义名称

  path = /home/Sync/#rsync服务端数据目录路径

  comment = Sync#模块名称与[md]自定义名称相同

  uid = root #设置rsync运行权限为root

  gid = root #设置rsync运行权限为root

  port=873  #默认端口

  use chroot= no #默认为true,修改为no,增加对目录文件软连接的备份

  read only =no  #设置rsync服务端文件为读写权限

  list = no #不显示rsync服务端资源列表

  maxconnections = 200 #最大连接数

  timeout =600  #设置超时时间

  auth users= Sync #执行数据同步的用户名,可以设置多个,用英文状态下逗号隔开

  hosts allow= 10.100.1.145  #允许进行数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开

  hosts deny= 192.168.21.254 #禁止数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开

  :wq!  #保存,退出(贴进配置文件将中文去掉,否则可能造成无法识别模块)

  5、创建用户认证文件

  #vi /etc/rsync.pass #配置文件,添加以下内容,添加允许传输用户和密码

  root:123456  #格式,用户名:密码,可以设置多个,每行一个用户名:密码

  :wq!  #保存退出

  6、设置文件权限

  #chmod 600 /etc/rsyncd.conf  #设置文件所有者读取、写入权限

  #chmod 600 /etc/rsync.pass  #设置文件所有者读取、写入权限

  7、启动rsync

  # systemctl start xinetd  #启动

  # systemctl stop xinetd  #停止

  # systemctl restart xinetd  #重新启动

  第二部分:在源服务器10.100.1.145上操作

  一、安装Rsync客户端

  1、关闭SELINUX

  1.   #vi /etc/selinux/config  #编辑防火墙配置文件

  2.   #SELINUX=enforcing  #注释掉

  3.   #SELINUXTYPE=targeted #注释掉

  4.   SELINUX=disabled  #增加

  5.   :wq!  #保存退出

  6.   #setenforce 0   #立即生效
复制代码


  2、开启防火墙tcp 873端口(Rsync默认端口,做为客户端的Rsync可以不用开启873端口)

  1.   #vi /etc/sysconfig/iptables  #编辑防火墙配置文件

  2.   -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -ptcp --dport 873 -j ACCEPT

  3.   :wq! #保存退出

  4.   # systemctl restart firewalld.service #最后重启防火墙使配置生效
复制代码


  3、安装Rsync客户端端软件

  1.   #whereis rsync  #查看系统是否已安装rsync,出现下面的提示,说明已经安装

  2.   rsync:/usr/bin/rsync /usr/share/man/man1/rsync.1.gz

  3.   #yum install  xinetd  #只安装xinetd即可,CentOS中是以xinetd来管理rsync服务的

  4.   #yum install rsync xinetd #如果默认没有rsync,运行此命令进行安装rsync和xinetd

  5.   # vi /etc/rc.local      #设置开机启动

  6.   /usr/bin/rsync --daemon    #同时在服务器上启动此服务(运行此命令)

  7.   # chmod -x /etc/rc.d/rc.local  #否则重启不执行
复制代码



  1. # vi /etc/rsyncd.conf

  2.   log file = /var/log/rsyncd.log

  3.   pidfile = /var/run/rsyncd.pid

  4.   lock file = /var/run/rsync.lock

  5.   motd file = /etc/rsyncd.Motd

  6.   [Sync]

  7.   comment=Sync

  8.   uid=root

  9.   gid=root

  10.   port=873

  11.   path=/home/fastdfs/path0

  12.   read only=no

  13.   write only=yes

  14.   list=no

  15.   auth_uses=root

  16.   secrets file=/etc/passwd.txt

  17.   :wq退出
复制代码


  1.   #systemctl start xinetd  #启动(CentOS中是以xinetd来管理rsync服务的)
复制代码


  4、创建认证密码文件

  1.   #vi /etc/passwd.txt  #编辑文件,添加以下内容,该密码应与目标服务器中的/etc/rsync.pass中的密码一致,

  2.   123456 #密码

  3.   :wq! #保存退出

  4.   #chmod 600 /etc/passwd.txt #设置文件权限,只设置文件所有者具有读取、写入权限即可
复制代码


  5、测试源服务器10.100.1.145到目标服务器 10.100.1.96之间的数据同步

  #mkdir -p /home/Sync/ceshi  #在源服务器上创建测试文件夹,然后在源服务器运行下面1行命令

  rsync -avH --port=873 --progress --delete /home/test/ root@10.100.1.145::Sync --password-file=/etc/passwd.txt

  运行完成后,分别在目标服务器10.100.1.96上查看,在/home/Sync/目录下有ceshi文件夹,说明数据同步成功,命令中目录可以随意目录,传输到目标服务器目录时文件(或目录)均放到/etc/rsyncd.conf配置的服务器目录路径,如果源目录改变了,那么传输时两个目录将进行目录匹配,会有增删动作,因此需要注意。

  二、安装sersync工具,实时触发rsync进行同步

  1、查看服务器内核是否支持inotify

  1.   ll /proc/sys/fs/inotify  #列出文件目录,出现下面的内容,说明服务器内核支持inotify

  2.   -rw-r--r-- 1 root root 0 Mar  7 02:17 max_queued_events

  3.   -rw-r--r-- 1 root root 0 Mar  7 02:17 max_user_instances

  4.   -rw-r--r-- 1 root root 0 Mar  7 02:17 max_user_watches
复制代码


  备注:Linux下支持inotify的内核最小为2.6.13,可以输入命令:#uname -a查看内核

  CentOS 7.0内核为3.10.0,默认已经支持inotify

  2、修改inotify默认参数(inotify默认内核参数值太小)

  查看系统默认参数值:


  1. sysctl -a | grep max_queued_events
复制代码


  结果是:fs.inotify.max_queued_events= 16384


  1. sysctl -a | grep max_user_watches
复制代码


  结果是:fs.inotify.max_user_watches= 8192


  1. sysctl -a | grep max_user_instances
复制代码


  结果是:fs.inotify.max_user_instances= 128

  修改参数:

  1. sysctl -w fs.inotify.max_queued_events="99999999"

  2. sysctl -w fs.inotify.max_user_watches="99999999"

  3. sysctl -w fs.inotify.max_user_instances="65535"
复制代码


  1. vi /etc/sysctl.conf #添加以下代码
复制代码


  1. fs.inotify.max_queued_events=99999999

  2. fs.inotify.max_user_watches=99999999

  3. fs.inotify.max_user_instances=65535
复制代码


  :wq! #保存退出

  参数说明:

  max_queued_events:

  inotify队列最大长度,如果值太小,会出现"** Event QueueOverflow **"错误,导致监控文件不准确

  max_user_watches:

  要同步的文件包含多少目录,可以用:find /home/Sync-type d | wc -l 统计,必须保证max_user_watches值大于统计结果(这里/home/Sync为同步文件目录)

  max_user_instances:

  每个用户创建inotify实例最大值

  3、安装sersync


下载sersync2.5.4_64bit_binary_stable_final.tar.gz到/usr/local/src目录下

  1. cd /usr/local/src
复制代码
  1. wget http://down.wshost.cc/SH/sersync2.5.4_64bit_binary_stable_final.tar.gz
复制代码

解压压缩包
  1. tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz
复制代码

创建sersync目录

  1. mkdir /usr/local/sersync
复制代码

移动GNU-Linux-x86目录下所有文件到/usr/local/sersync

  1. cd GNU-Linux-x86
复制代码
  1. mv * /usr/local/sersync
复制代码


  4、配置sersync

#进入sersync安装目录

  1. cd  /usr/local/sersync
复制代码


#备份原文件
  1. cp confxml.xml confxml.xml-bak
复制代码


#编辑,修改下面的代码
  1. vi confxml.xml
复制代码
#保存退出

  1. :wq!
复制代码



  参数说明:

  localpath watch="/home/Sync":#源服务器同步目录

  remote ip=10.100.1.96:#目标服务器IP地址

  name="Sync": #目标服务器rsync同步目录模块名称

  users="Sync": #目标服务器rsync同步用户名

  passwordfile="/etc/passwd.pass": #目标服务器rsync同步用户的密码在源服务器的存放路径

  remote ip="10.100.1.96": #目标服务器ip,每行一个

  failLogpath="/tmp/rsync_fail_log.sh" #脚本运行失败日志记录

  start="true"  #设置为true,每隔600分钟执行一次全盘同步

  5、设置sersync监控开机自动执行

#编辑,在最后添加一行
  1. vi /etc/rc.d/rc.local
复制代码


#设置开机自动运行脚本
  1. /usr/local/sersync/sersync2 -d -r -o  /usr/local/sersync/confxml.xml
复制代码


#保存退出
  1. :wq!
复制代码


#否则重启不执行
  1. chmod  +x /etc/rc.d/rc.local
复制代码


  6、添加脚本监控sersync是否正常运行
创建任务计划目录
  1. mkdir  /home/crontab
复制代码


#创建一个新任务脚本,
  1. vi  /home/crontab/check_sersync.sh
复制代码

#编辑,添加以下代码
  #!/bin/sh

  1. sersync="/usr/local/sersync/sersync2"
  2. confxml="/usr/local/sersync/confxml.xml"
  3. status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)
  4. if [ $status -eq 0 ];
  5. then
  6. $sersync -d -r -o $confxml &
  7. else
  8. exit 0;
  9. fi
复制代码


#保存退出
  1. :wq!
复制代码


#添加脚本执行权限
  1. chmod  +x /home/crontab/check_sersync.sh
复制代码


#编辑系统任务计划,
  1. vi /etc/crontab
复制代码
#在最后添加下面一行

  1. */5 * * * * root /home/crontab/check_sersync.sh >/dev/null 2>&1

  2. */1 * * * * root /home/crontab/check_sersync.sh >/dev/null 2>&1
复制代码


#重新加载计划服务

  1. systemctl restart crond.service
复制代码


  6、测试sersync实时触发rsync同步脚本是否正常运行

  在源服务器10.100.1.145上创建文件inotify_rsync_ceshi

  # mkdir /home/Sync/inotify_rsync_ceshi

  重新启动源服务器:10.100.1.145

  等系统启动之后,查看两台目标服务器 10.100.1.96,10.100.1.99的/home/Sync下是否有inotify_rsync_ceshi文件夹

  然后再在源服务器10.100.1.145创建文件夹inotify_rsync_ceshi_new

  # mkdir /home/Sync/inotify_rsync_ceshi_new

  继续查看两台目标服务器 10.100.1.96,10.100.1.99的//home/Sync下是否有inotify_rsync_ceshi_new文件夹

  如果以上测试都通过,说明inotify实时触发rsync同步脚本运行正常。

  至此,Linux下Rsync sersync实现数据实时同步完成。

  扩展阅读:

  rsync参数

  -v, --verbose 详细模式输出

  -q, --quiet 精简输出模式

  -c, --checksum 打开校验开关,强制对文件传输进行校验

  -a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD

  -r, --recursive 对子目录以递归模式处理

  -R, --relative 使用相对路径信息

  -b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

  --backup-dir 将备份文件(如~filename)存放在在目录下。

  -suffix=SUFFIX 定义备份文件前缀

  -u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)

  -l, --links 保留软链结

  -L, --copy-links 想对待常规文件一样处理软链结

  --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结

  --safe-links 忽略指向SRC路径目录树以外的链结

  -H, --hard-links 保留硬链结

  -p, --perms 保持文件权限

  -o, --owner 保持文件属主信息

  -g, --group 保持文件属组信息

  -D, --devices 保持设备文件信息

  -t, --times 保持文件时间信息

  -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间

  -n, --dry-run现实哪些文件将被传输

  -W, --whole-file 拷贝文件,不进行增量检测

  -x, --one-file-system 不要跨越文件系统边界

  -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节

  -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

  --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息

  -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件

  --existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件

  --delete 删除那些DST中SRC没有的文件

  --delete-excluded 同样删除接收端那些被该选项指定排除的文件

  --delete-after 传输结束以后再删除

  --ignore-errors 及时出现IO错误也进行删除

  --max-delete=NUM 最多删除NUM个文件

  --partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输

  --force 强制删除目录,即使不为空

  --numeric-ids 不将数字的用户和组ID匹配为用户名和组名

  --timeout=TIME IP超时时间,单位为秒

  -I, --ignore-times 不跳过那些有同样的时间和长度的文件

  --size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间

  --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0

  -T --temp-dir=DIR 在DIR中创建临时文件

  --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份

  -P 等同于 --partial

  --progress 显示备份过程

  -z, --compress 对备份的文件在传输时进行压缩处理

  --exclude=PATTERN 指定排除不需要传输的文件模式

  --include=PATTERN 指定不排除而需要传输的文件模式

  --exclude-from=FILE 排除FILE中指定模式的文件

  --include-from=FILE 不排除FILE指定模式匹配的文件

  --version 打印版本信息

  --address 绑定到特定的地址

  --config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件

  --port=PORT 指定其他的rsync服务端口

  --blocking-io 对远程shell使用阻塞IO

  -stats 给出某些文件的传输状态

  --progress 在传输时现实传输过程

  --log-format=formAT 指定日志文件格式

  --password-file=FILE 从FILE中得到密码

  --bwlimit=KBPS 限制I/O带宽,KBytes per second

  -h, --help 显示帮助信息


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|网硕互联技术交流社区

GMT+8, 2024-3-29 13:58 , Processed in 0.250579 second(s), 18 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表