POSTGRESQL slonyI 1.1.5 数据同步最新的使用，postgre

POSTGRESQL slonyI 1.1.5 数据同步最新的使用，postgresqlslonyi

postgresql 数据同步
1. 总体需求
1.1. 当前情况
随着软件系统复杂度的提高，分布式部署成为软件部署流行的方式。对于系统的结构，
程序和数据是支撑系统的两大要素。程序的分布式部署已经有很多很好的方案，在这里
我说一下数据的分布式部署。数据的分布式部署其实就是数据库的分布式部署。

1.2. 系统环境
在这里，我以下面的环境详细讲部署的过程。
主数据库服务器 (master)
OS SuSe linux 9.0 for X86
ip 10.73.132.201
mask 255.255.254.0


从数据库服务器 (slave)
OS SuSe linux 9.0 for X86
ip 10.73.133.222
mask 255.255.254.0
需要保证两台机器互连互通.

请到指定目的地下载指定的软件包:
db postgresql 8.1.2.tar.gz(http://www.postgresql.org/download/)
slony1 slony1-1.1.5.tar(http://www.postgresql.org/download/)
以上的网址是一个入口地址，请选择合适的正确的源程序包。

使用 root 用户在两台主备机器上分别建立工作目录:
/home/hzh/share
并拷贝 postgresql 8.1.2.tar.gz 和 slony1-1.1.5.tar 到工组目录下。
以下如果没有明确的指定用户，一般都是 root 用户。

1.3. 系统安装
1.3.1 主数据库服务器
1.3.1.1 安装数据库
解压,命令 tar -xvzf postgresql 8.1.2.tar.gz
进入对应的 postgresql-8.1.2 目录 ,命令 ：cd postgresql-8.1.2
检查,命令 ./configure
检查可能失败，一般是缺少相应的包，请自己安装。
gmake,命令: gmake
注意，是 gmake
安装，命令 gmake install

以下对于没有 postgres 用户的操作系统适用
建立 postgres 组，命令: groupadd -g 26 postgres
建立 postgres 用户,命令 useradd -c "postgressql admin user" -d /usr/loca/pgsql -g 26 -G root -u 26 -s /bn/bash

配置环境变量,修改 /etc/profile 文件
vi /etc/profile ,修改 INFODIR=/usr/local/info:/usr/share/info:/usr/info:。。。
为类似如下设置 INFODIR=/usr/local/info:/usr/share/info:/usr/info:。。。/usr/local/pgsql/man
使用 postgres/root 用户修改, /usr/local/pgsql/.bashrc 文件，为 postgres 用户增加环境参数如下：
PGLIB=/usr/local/pgsql/lib
PGDATA=/test/spescso/data
PATH=$PATH:/usr/local/pgsql/bin
MANPATH=$MANPATH:/usr/local/pgsql/man
export PGLIB PGDATA PATH MANPATH

使用 root 用户,建立数据库集群目录,命令如下(如由不明，请参考 linux online help 和 postgresql online help)
mkdir /test
mkdir /test/spescso/
mkdir /test/spescso/data
chown postgres /test/spescso/data/
chmod 700 /test/spescso/data/

使用 postgres 创建 数据库集群
/usr/local/pgsql/bin/initdb -E UTF-8 /test/spescso/data/


使用 root 用户，配置 数据库集群参数
su -c "/usr/local/pgsql/bin/createuser -a -d ssuser" -l postgres
su -c "/usr/local/pgsql/bin/createlang plpgsql template1" -l postgresql

使用 postgres 创建 log 目录
mkdir /test/spescso/data/log

修改 /test/spescso/data/postgresql.conf 文件
主要配置日志文件
log_destination = 'stderr'
redirect_stderr = true
log_directory = '/test/spescso/data/log/'
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'

修改 /test/spescso/data/pg_hba.conf,主要搞定双机相互认证问题，否则不能相互访问
# TYPE DATABASE USER CIDR-ADDRESS METHOD

# "local" is for Unix domain socket connections only
local all all trust
# IPv4 local connections:
host all all 127.0.0.1/32 trust
host all all 10.73.132.0/24 trust
host all all 10.73.133.0/24 trust
# IPv6 local connections:
host all all ::1/128 trust
如果不能理解上面的意思，请仔细阅读 postgresql 数据库安全认证文档。


使用 postgres 用户后台启动 postmaser 数据库主进程
/usr/local/pgsql/bin/postmaster -i -D /test/spescso/data/ -p 5432 &


1.3.1.2 安装 slony1 数据同步工具(主从都需要安装)
解压,命令 tar -xvjf slony1-1.1.5.tar
注意，使用 -j 参数，该网站压缩包有点不一致。
进入对应的 slony1-1.1.5 目录 ,命令 ：cd slony1-1.1.5
检查,命令 ./configure
检查可能失败，一般是缺少相应的包，请自己安装。可能还要带 --with 参数指定
postgresql 8.1.2 的安装目录，默认是 /usr/local/pgsql/postgresql-8.1.2
gmake,命令: gmake
注意，是 gmake
安装，命令 gmake install


1.3.2 从数据库服务器
和主数据库服务器的安装方式一致。

1.3.3 建立数据库和数据表
以下以在 主数据库服务器上建立主数据库和数据表 test 为例见解，其他数据库和数据表请参考建立.
su -c "/usr/local/pgsql/bin/createdb -U ssuser -E UTF-8 test -p 5432" -l postgres

su -c "/usr/local/pgsql/bin/psql -f /home/hzh/share/sql.txt -p 5432 -dtest -Ussuser" -l postgres
(注意,sql.txt 是创建数据表的命令,请自行编写。sql.txt 文件最好是 UTF-8 格式,特别是存在中文字符时)


在主数据库机器上依次建立 testslave1,testslave2.
在从数据库机器上 5431 端口建立 testslave3

1.4 配置同步
1.4.1. 主机配置
编写 configmaster sheul 脚本文件,设置其可执行属性 ,命令 chmod a+x+w+r configmaster,文件内容如下：
#!/bin/bash
basebin=/usr/local/pgsql/bin

#集群名称
CLUSTER=slony_test1

# 参与同步的数据库名称,master db 是test,其他三个是slave
DBSERVER=test
DBSLAVE1=testslave1
DBSLAVE2=testslave2
DBSLAVE3=testslave3

# 参与同步的机器地址
HOSTSERVER=10.73.132.201
HOSTSLAVE1=10.73.132.201
HOSTSLAVE2=10.73.132.201
HOSTSLAVE3=10.73.133.222

# 参与同步的数据库用户名
DBSERVER_USER=ssuser
DBSLAVE1_USER=ssuser
DBSLAVE2_USER=ssuser
DBSLAVE3_USER=ssuser

# 同步发布配置,以下是命令 slonik 的参数
$basebin/slonik
cluster name=$CLUSTER;

# 定义复制节点
node 1 admin conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432';
node 2 admin conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432';
node 3 admin conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432';
node 4 admin conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431';

# 初始化集群,id从1开始
init cluster ( id=1, comment='Node 1' );

# 设置参与同步的数据表
#先创建一个复制集,id也是从1开始
#向自己的复制集种添加表,每个需要复制的表一条set命令
#id从1开始,逐次递加,步进为1；
#fully qualified name是表的全称：模式名.表名
#这里的复制集id需要和前面创建的复制集id一致
create set ( id=1, origin=1, comment='All test tables' );
set add table ( set id=1, origin=1,id=1, fully qualified name='public.tb_depart',comment='Table tb_depart' );
set add table ( set id=1, origin=1,id=2, fully qualified name='public.tb_user',comment='Table tb_user' );
set add table ( set id=1, origin=1,id=3, fully qualified name='public.tb_manager',comment='Table tb_manager' );

#假如某个表没有主键,但是有唯一键字,那么可以用key关键字
#指定其为复制键字,如下面的key参数
#set add table ( set id = 1, origin = 1,id = 4, fully qualified name = 'public.history',key = "column",comment = 'Table history' );
#对于没有唯一列的表,需要这样处理,这一句放在 create set 的前面
#table add key (node id = 1, fully qualified name = 'public.history');
# 这样设置结果集
#set add table (set id=1, origin=1, id=4, fully qualified name = 'public.history', comment='history table', key = serial);

# 设置存储节点
store node ( id=2, comment='Node 2' );
store node ( id=3, comment='Node 3' );
store node ( id=4, comment='Node 4' );

# 设置存储路径
store path ( server=1, client=2,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=2, client=1,conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432');
store path ( server=1, client=3,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=3, client=1,conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432');
store path ( server=1, client=4,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=4, client=1,conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431');

#设置侦听事件和订阅方向,复制中角色,主节点是原始提供者,从节点是接受者
store listen ( origin=1, provider=1, receiver=2 );
store listen ( origin=2, provider=2, receiver=1 );
store listen ( origin=1, provider=1, receiver=3 );
store listen ( origin=3, provider=3, receiver=1 );
store listen ( origin=1, provider=1, receiveR=4 );
store listen ( origin=4, provider=4, receiver=1 );

_EOF_

1.4.2. 提交数据集合
编写 commitdata shell 脚本文件，赋予可执行权限，内容如下：

#!/bin/bash
basebin=/usr/local/pgsql/bin

CLUSTER=slony_test1

DBSERVER=test
DBSLAVE1=testslave1
DBSLAVE2=testslave2
DBSLAVE3=testslave3

HOSTSERVER=10.73.132.201
HOSTSLAVE1=10.73.132.201
HOSTSLAVE2=10.73.132.201
HOSTSLAVE3=10.73.133.222

DBSERVER_USER=ssuser
DBSLAVE1_USER=ssuser
DBSLAVE2_USER=ssuser
DBSLAVE3_USER=ssuser

$basebin/slonik
cluster name=$CLUSTER;

#提供连接参数
node 1 admin conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432';
node 2 admin conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432';
node 3 admin conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432';
node 4 admin conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431';

# 提交订阅复制集
subscribe set ( id=1, provider=1, receiver=2, forward=no);
subscribe set ( id=1, provider=1, receiver=3, forward=no);
subscribe set ( id=1, provider=1, receiver=4, forward=no);
_EOF_

1.4.3. 配置同步过程
在主机上执行配置命令 ./configmaster
在主机上开启slon 后台进程,启动主数据库复制,命令
/usr/local/pgsql/bin/slon slony_test1 "dbname=test host=10.73.132.201 user=ssuser port=5432" &

在主机上开启slon 后台进程,启动第一个从数据库复制,命令
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave1 host=10.73.132.201 user=ssuser port=5432" &

在主机上开启slon 后台进程,启动第二个从数据库复制,命令
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave2 host=10.73.132.201 user=ssuser port=5432" &

在从机上开启slon 后台进程,启动第三个从数据库复制,命令
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave3 host=10.73.133.222 user=ssuser port=5431" &

在主机上执行提交命令 ./commitdata

至此,配置全部技术。你可以修改主数据库对应表的数据，看数据是否同步到其他的三个从数据库上。
感谢你阅读,预祝你好运!