转载-两台linux实现某个目录实时同步

阅读次数: 1,308

  • A+
所属分类:LINUX 建站 运维
转载-两台linux实现某个目录实时同步

linux下两台服务器文件实时同步方案设计和实现
假设有如下需求:

假设两个服务器:

192.168.0.1 源服务器  有目录 /opt/test/

192.168.0.2 目标服务器  有目录 /opt/bak/test/

实现的目的就是保持这两个服务器某个文件目录保持实时同步
实现方式: 通过rsync+inotify-tools结合来实现
需要安装软件:

1.  rsync 同步软件
在 源服务器 和 目标服务器 都需要安装
源服务器: 是rsync客户端,不需要配置

目标服务器: 是rsync服务器端,需要配置/etc/rsyncd.conf里的内容
安装后需要新建配置文件:/etc/rsyncd.conf

配置文件在: /etc/
文件内容如下:

uid = root
gid = root
use chroot = no
max connections = 10
strict modes = yes
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
log file= =/var/run/rsyncd.log

[www]
path= /opt/bak/test
comment= analyse
read only = false
hosts allow = *

 

2.  inotify-tools 工具

该工具为文件实时监控工具,需要linux操作系统内核支持,内核支持需要至少版本为2.6.13

检查操作系统是否支持,执行如下:

uname -r  查看版本

返回:

2.6.32-220.4.1.el6.x86_64
则表示版本2.6.32 大于2.6.13,则支持。

执行:

ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Oct 18 12:18 max_queued_events
-rw-r--r-- 1 root root 0 Oct 18 12:18 max_user_instances
-rw-r--r-- 1 root root 0 Oct 18 12:18 max_user_watches

有三项输出,则表示默认支持inotify,可以安装inotify-tools工具.
如果不支持,需要采用新版本的linux操作系统

版本达到要求,就可以安装了。

安装inotify-tools后会在相关安装目录下生成如下两个文件:

ll /usr/local/bin/
total 88
-rwxr-xr-x 1 root root 44327 Oct 10 15:32 inotifywait
-rwxr-xr-x 1 root root 41417 Oct 10 15:32 inotifywatch

则表示安装成功。
注意: 在 源服务器上需要安装,目标服务器上不需要安装inotify。
3. 相关脚本:
在源服务器上新建脚本:

inotify_bak.sh

#!/bin/bash
src=/opt/test/
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib $src |  while read file
do

/usr/bin/rsync -arzuq $src 192.168.0.2::www/

echo "  ${file} was rsynced" >>/opt/soft/log/rsync.log 2>&1
done

 

注意: 这里的 www 是在目标服务器/etc/rsyncd.conf里配置的模块名称:[www]

 

赋予执行权限: chmod +x  inotify_bak.sh

然后执行: inotify_bak.sh &  放入后台执行

 

4. 关于启动

目标服务器:先启动rsync后台服务: /usr/bin/rsync --daemon

来源服务器: 执行 inotify_bak.sh &
5. 测试:

在来源服务器目录中新建目录和文件,inotify_bak.sh脚本会检测到,然后同步到目标服务器的相关目录下
可以查看日志文件: /opt/soft/log/rsync.log 命令如下:观察实时同步的情况。

tail -f  /opt/soft/log/rsync.log

 附 rsync安装过程

1、什么是rsync

Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

2、rsync服务器端架设

2.1:rsync下载  https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz

cd /home/software
wget https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz
tar -zxvf rsync-3.1.2.tar.gz

2.2:安装rsync

cd rsync-3.1.2
./configure --prefix=/usr/local/rsync
make
make install

2.3:配置rsync-server

2.3.1:配置rsyncd.conf    (手动创建    touch /usr/local/rsync/rsyncd.conf )

vim /usr/local/rsyncd.conf

### 全局参数 ###

port=873
motd file=/usr/local/rsync/rsyncd.motd
log file=/usr/log/rsyncd.log
pid file=/var/run/rsyncd.pid

### 模块参数 ###

[hometest]
path=/home/test
use chroot=true
uid=0
gid=0
read only=false
exclude=/readme.txt /runtime
auth users=markdeng
secrets file = /usr/local/rsync/rsyncd.secrets

2.3.2:配置rsyncd.secrets(手动创建    touch /usr/local/rsync/rsyncd.secrets ) //此文件权限必须设置:600

vim /usr/local/rsync/rsyncd.secrets

markdeng:123
dxh:321

chmod 600 /usr/local/rsync/rsyncd.secrets

2.3.3:配置rsyncd.motd  (手动创建  touch /usr/local/rsync/rsyncd.motd )

vim /usr/local/rsync/rsyncd.motd

welcome use rsync service

2.3.4:启动rsyncd

/usr/bin/rsyncd --daemon --config=/usr/local/rsync/rsyncd.conf

2.3.5:查看rsyncd进程

ps aux | grep rsyncd

3、rsync客户端同步数据(通过rsync命令)

3.1:命令语法

1. rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
2. rsync [OPTION]... [USER@]HOST:SRC DEST
3. rsync [OPTION]... SRC [SRC]... DEST
4. rsync [OPTION]... [USER@]HOST::SRC [DEST]
5. rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
6. rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
rsync有六种不同的工作模式:
1. 拷贝本地文件;当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。
2.使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。
3.使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。
4. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。
5. 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。
6. 列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可

3.2:rsync中的参数

-r 是递归
-l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件;
-z 传输时压缩;
-P 传输进度;
-v 传输时的进度等信息,和-P有点关系,自己试试。可以看文档;
-e ssh的参数建立起加密的连接。
-u只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时
--progress是指显示出详细的进度情况
--delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致
--password-file=/password/path/file来指定密码文件,这样就可以在脚本中使用而无需交互式地输入验证密码了,这里需要注意的是这份密码文件权限属性要设得只有属主可读。

3.3:实例操作如下

方法一(手动输入密码):rsync -avtop markdeng@127.0.0.1::hometest /home/test2
方法二(自动输入密码):rsync -avtop markdeng@127.0.0.1::hometest /home/test2 --password-file=/home/pwd.secrets      /home/pwd.secrets 这里是客户端存于markdeng的密码  权限同样是:600

RSync实现文件备份同步详解   http://www.linuxidc.com/Linux/2014-09/106967.htm

利用inotifywait监控主机文件和目录 http://www.linuxidc.com/Linux/2013-03/81075.htm

利用inotify+rsync实现Linux文件批量更新 http://www.linuxidc.com/Linux/2012-01/52132.htm

inotify-tools+rsync实时同步文件安装和配置 http://www.linuxidc.com/Linux/2012-06/63624.htm

rsync同步完整配置 http://www.linuxidc.com/Linux/2013-06/85781.htm

CentOS 6.5下Rsync远程同步 http://www.linuxidc.com/Linux/2014-05/101084.htm

Linux文件夹对比并提取的差分文件技巧-rsync的妙用 http://www.linuxidc.com/Linux/2016-02/128307.htm

Rsync 的详细介绍请点这里
Rsync 的下载地址请点这里

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: