linux下两台服务器文件实时同步方案设计和实现
假设有如下需求:
假设两个服务器:
192.168.0.1 源服务器 有目录 /opt/test/
192.168.0.2 目标服务器 有目录 /opt/bak/test/
实现的目的就是保持这两个服务器某个文件目录保持实时同步
实现方式: 通过rsync+inotify-tools结合来实现
需要安装软件:
1. rsync 同步软件
在 源服务器 和 目标服务器 都需要安装
源服务器: 是rsync客户端,不需要配置
目标服务器: 是rsync服务器端,需要配置/etc/rsyncd.conf里的内容
安装后需要新建配置文件:/etc/rsyncd.conf
配置文件在: /etc/
文件内容如下:
uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
log file= =/var/run/rsyncd.log
[www]
path= /opt/bak/test
comment= analyse
read only = false
hosts allow = *
2. inotify-tools 工具
该工具为文件实时监控工具,需要linux操作系统内核支持,内核支持需要至少版本为2.6.13
检查操作系统是否支持,执行如下:
uname -r 查看版本
返回:
2.6.32-220.4.1.el6.x86_64
则表示版本2.6.32 大于2.6.13,则支持。
执行:
ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Oct 18 12:18 max_queued_events
-rw-r--r-- 1 root root 0 Oct 18 12:18 max_user_instances
-rw-r--r-- 1 root root 0 Oct 18 12:18 max_user_watches
有三项输出,则表示默认支持inotify,可以安装inotify-tools工具.
如果不支持,需要采用新版本的linux操作系统
版本达到要求,就可以安装了。
安装inotify-tools后会在相关安装目录下生成如下两个文件:
ll /usr/local/bin/
total 88
-rwxr-xr-x 1 root root 44327 Oct 10 15:32 inotifywait
-rwxr-xr-x 1 root root 41417 Oct 10 15:32 inotifywatch
则表示安装成功。
注意: 在 源服务器上需要安装,目标服务器上不需要安装inotify。
3. 相关脚本:
在源服务器上新建脚本:
inotify_bak.sh
#!/bin/bash
src=/opt/test/
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib $src | while read file
do
/usr/bin/rsync -arzuq $src 192.168.0.2::www/
echo " ${file} was rsynced" >>/opt/soft/log/rsync.log 2>&1
done
注意: 这里的 www 是在目标服务器/etc/rsyncd.conf里配置的模块名称:[www]
赋予执行权限: chmod +x inotify_bak.sh
然后执行: inotify_bak.sh & 放入后台执行
4. 关于启动
目标服务器:先启动rsync后台服务: /usr/bin/rsync --daemon
来源服务器: 执行 inotify_bak.sh &
5. 测试:
在来源服务器目录中新建目录和文件,inotify_bak.sh脚本会检测到,然后同步到目标服务器的相关目录下
可以查看日志文件: /opt/soft/log/rsync.log 命令如下:观察实时同步的情况。
tail -f /opt/soft/log/rsync.log
1、什么是rsync
Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。
2、rsync服务器端架设
2.1:rsync下载 https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz
cd /home/software
wget https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz
tar -zxvf rsync-3.1.2.tar.gz
2.2:安装rsync
cd rsync-3.1.2
./configure --prefix=/usr/local/rsync
make
make install
2.3:配置rsync-server
2.3.1:配置rsyncd.conf (手动创建 touch /usr/local/rsync/rsyncd.conf )
vim /usr/local/rsyncd.conf
### 全局参数 ###
port=873
motd file=/usr/local/rsync/rsyncd.motd
log file=/usr/log/rsyncd.log
pid file=/var/run/rsyncd.pid
### 模块参数 ###
[hometest]
path=/home/test
use chroot=true
uid=0
gid=0
read only=false
exclude=/readme.txt /runtime
auth users=markdeng
secrets file = /usr/local/rsync/rsyncd.secrets
2.3.2:配置rsyncd.secrets(手动创建 touch /usr/local/rsync/rsyncd.secrets ) //此文件权限必须设置:600
vim /usr/local/rsync/rsyncd.secrets
markdeng:123
dxh:321
chmod 600 /usr/local/rsync/rsyncd.secrets
2.3.3:配置rsyncd.motd (手动创建 touch /usr/local/rsync/rsyncd.motd )
vim /usr/local/rsync/rsyncd.motd
welcome use rsync service
2.3.4:启动rsyncd
/usr/bin/rsyncd --daemon --config=/usr/local/rsync/rsyncd.conf
2.3.5:查看rsyncd进程
ps aux | grep rsyncd
3、rsync客户端同步数据(通过rsync命令)
3.1:命令语法
1. rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
2. rsync [OPTION]... [USER@]HOST:SRC DEST
3. rsync [OPTION]... SRC [SRC]... DEST
4. rsync [OPTION]... [USER@]HOST::SRC [DEST]
5. rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
6. rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
rsync有六种不同的工作模式:
1. 拷贝本地文件;当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。
2.使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。
3.使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。
4. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。
5. 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。
6. 列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可
3.2:rsync中的参数
-r 是递归
-l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件;
-z 传输时压缩;
-P 传输进度;
-v 传输时的进度等信息,和-P有点关系,自己试试。可以看文档;
-e ssh的参数建立起加密的连接。
-u只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时
--progress是指显示出详细的进度情况
--delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致
--password-file=/password/path/file来指定密码文件,这样就可以在脚本中使用而无需交互式地输入验证密码了,这里需要注意的是这份密码文件权限属性要设得只有属主可读。
3.3:实例操作如下
方法一(手动输入密码):rsync -avtop markdeng@127.0.0.1::hometest /home/test2
方法二(自动输入密码):rsync -avtop markdeng@127.0.0.1::hometest /home/test2 --password-file=/home/pwd.secrets /home/pwd.secrets 这里是客户端存于markdeng的密码 权限同样是:600
RSync实现文件备份同步详解 http://www.linuxidc.com/Linux/2014-09/106967.htm
利用inotifywait监控主机文件和目录 http://www.linuxidc.com/Linux/2013-03/81075.htm
利用inotify+rsync实现Linux文件批量更新 http://www.linuxidc.com/Linux/2012-01/52132.htm
inotify-tools+rsync实时同步文件安装和配置 http://www.linuxidc.com/Linux/2012-06/63624.htm
rsync同步完整配置 http://www.linuxidc.com/Linux/2013-06/85781.htm
CentOS 6.5下Rsync远程同步 http://www.linuxidc.com/Linux/2014-05/101084.htm
Linux文件夹对比并提取的差分文件技巧-rsync的妙用 http://www.linuxidc.com/Linux/2016-02/128307.htm
Rsync 的详细介绍:请点这里
Rsync 的下载地址:请点这里