Rsync+sersync实现实时同步

发表于 更新于 分类于

linux.jpg

rsync

rsync介绍

Rsync 是一种快速且非常通用的文件复制工具。它可以在本地、通过任何远程 shell 复制到另一台主机或从远程 rsync 守护程序复制到/从另一个主机复制。它提供了大量选项来控制其行为的各个方面，并允许非常灵活地指定要复制的文件集。它以其增量传输算法而闻名，该算法通过仅发送源文件与目标中现有文件之间的差异来减少通过网络发送的数据量。Rsync 广泛用于备份和镜像，并作为日常使用的改进复制命令。
Rsync具有本地与远程两台主机之间的数据快速复制同步镜像、远程备份等功能，该功能类似scp，但是优于scp功能，还具有本地不同分区目录之间全量及增量复制数据。
Rsync同步数据镜像时，通过“quick check”算法，仅同步大小或最后修改时间发生变化的文件或目录，当然也可以根据权限，属主等属性变化的同步，所以可以实现快速同步。
rsync 具有如下的基本特性：

  1. 可以镜像保存整个目录树和文件系统
  2. 可以很容易做到保持原来文件的权限、时间、软硬链接等
  3. 无须特殊权限即可安装
  4. 优化的流程，文件传输效率高
  5. 可以使用 rsh、ssh 方式来传输文件，当然也可以通过直接的 socket 连接
  6. 支持匿名传输，以方便进行网站镜象

sersync

sersync介绍

sersync是基于inotify开发的，类似于inotify-tools的工具，Sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录，因此效率更高。
主要应用场景为数据体积大，并且文件很多。

Rsync+Sersync实时同步

实验环境

实验实现从将test1的文件同步到test2中

主机名 IP 部署服务
test1 192.168.27.5 Rsync client + Sersync server
test2 192.168.27.5 Rsync server

rysnc 部署

在test1与test2中安装rsync。

1
yum install -y rsync

test2中的操作

Rsync server配置

[root@test2 ~]# vim /etc/rsyncd.conf 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
log file = /var/log/rsyncd.log 
#日志文件位置，启动rsync后自动产生这个文件，无需提前创建
pid file = /var/run/rsyncd.pid  
#pid文件的存放位置
lock file = /var/run/rsync.lock  
#支持max connections参数的锁文件
secrets file = /etc/rsyncd.password  
#用户认证配置文件，里面保存用户名称和密码，后面会创建这个文件

[backup] 
#自定义名称
path = /home/backup/ 
#rsync服务端数据目录路径 需要手动创建
comment = backup 
#模块名称与[backup]自定义名称相同
uid = root 
#设置rsync运行权限为root
gid = root 
#设置rsync运行权限为root
port=873  
#默认端口
use chroot = no 
#默认为true，修改为no，增加对目录文件软连接的备份
read only = no  
#设置rsync服务端文件为读写权限
list = no 
#不显示rsync服务端资源列表
max connections = 200 
#最大连接数
timeout = 600  
#设置超时时间
auth users = rsync_backup 
#执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
hosts allow = 192.168.0.0/24  
#允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = 0.0.0.0/32 
#禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开

创建用户认证文件

1
2
[root@test2 ~]# vim /etc/rsyncd.password
rsync_backup:123456789

修改密码文件权限

1
[root@test2 ~]# chmod 600 /etc/rsyncd.password

启动rsync

1
[root@test2 ~]# rsync --daemon

查看服务是否启动

1
2
[root@test2 ~]# ps  axu |grep rsync
[root@test2 ~]# netstat -nlp |grep 873

test1中的操作

test1中创建密码文件

1
2
[root@test1 ~]# vim  /etc/rsyncd.password
123456789

test1中修改密码文件权限

1
[root@test1 ~]# chmod 600 /etc/rsyncd.password

测试

在test1中推送文件到test2

1
2
3
4
5
6
7
8
9
10
[root@test1 test1_backup]# ll
总用量 0
-rw-r--r-- 1 root root 0 9月   2 00:04 test.txt
[root@test1 test1_backup]# rsync -avzP test.txt  rsync_backup@192.168.27.6::backup --password-file=/etc/rsyncd.password
sending incremental file list
test.txt
              0 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=0/1)

sent 91 bytes  received 43 bytes  268.00 bytes/sec
total size is 0  speedup is 0.00

在test1中从test2中拉取文件

1
2
3
4
5
6
7
[root@test1 test1_backup]# rsync -avzP  rsync_backup@192.168.27.6::backup /home/test1_backup --password-file=/etc/rsyncd.password
receiving incremental file list
test.txt
              0 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=0/2)

sent 50 bytes  received 122 bytes  344.00 bytes/sec
total size is 0  speedup is 0.00

sersync部署

在test1中部署sersync 

1
2
3
4
5
6
[root@test1 ~]# wget  https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@test1 ~]# mkdir /usr/local/sersync
[root@test1 ~]# tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@test1 ~]# mv GNU-Linux-x86  /usr/local/sersync
[root@test1 ~]# cd /usr/local/sersync/GNU-Linux-x86
[root@test1 GNU-Linux-x86]# cp confxml.xml confxml.xml.bak

修改 confxml.xml文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>   
    <debug start="false"/>     # 开启DUBUG模式 
    <fileSystem xfs="false"/>  # 开启xfs文件系统
    <filter start="false">     # 同步时忽略推送的文件(正则表达式),默认关闭 
        <exclude expression="(.*)\.svn"></exclude>
        <exclude expression="(.*)\.gz"></exclude>
        <exclude expression="^info/*"></exclude>
        <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>     # 设置要监控的事件
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="false"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="false"/>
        <modify start="false"/>
    </inotify>

    <sersync>
        <localpath watch="/home/test1_backup">         # 本地监视目录路径
            <remote ip="192.168.27.6" name="backup"/>  #定义同步Server ip和模块
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
        <rsync>
            <commonParams params="-artuz"/>   # rsync指令参数
            <auth start="true" users="rsync_backup" passwordfile="/etc/rsyncd.password"/>  # rsync同步认证
            <userDefinedPort start="false" port="874"/><!-- port=874 -->   # 设置rsync远程服务端口，非默认端口需要打开自定义(若开启rsync+ssh, 则这里需定义SSH端口)
            <timeout start="false" time="100"/><!-- timeout=100 -->        # 设置超时时间
            <ssh start="false"/>
        </rsync>
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
        <crontab start="false" schedule="600"><!--600mins-->
            <crontabfilter start="false">
                <exclude expression="*.php"></exclude>
                <exclude expression="info/*"></exclude>
            </crontabfilter>
        </crontab>
        <plugin start="false" name="command"/>    # 设置sersync传输后调用name指定的插件脚本，默认关闭
    </sersync>

    <plugin name="command">  # 插件脚本范例
        <param prefix="/bin/sh" suffix="" ignoreError="true"/>        <!--prefix /opt/tongbu/mmm.sh suffix-->
        <filter start="false">
            <include expression="(.*)\.php"/>
            <include expression="(.*)\.sh"/>
        </filter>
    </plugin>

    <plugin name="socket">  # 插件脚本范例
        <localpath watch="/opt/tongbu">
            <deshost ip="192.168.138.20" port="8009"/>
        </localpath>
    </plugin>
    <plugin name="refreshCDN">
        <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
            <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
            <sendurl base="http://pic.xoyo.com/cms"/>
            <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
        </localpath>
    </plugin>
</head>

启动sersync

1
[root@test1 GNU-Linux-x86]# /usr/local/sersync/GNU-Linux-x86/sersync2 -d -r -o /usr/local/sersync/GNU-Linux-x86/confxml.xml

如果要停止直接kill掉进程即可