Mysql主从同步的实现原理与配置实战
anlondon Lv6
  2022-08-21 12:09:00 2022-08-21 12:09   2023-07-05 22:01:00    

来源：Mysql主从同步的实现原理与配置实战 - 八重樱 - 博客园

  1. 什么是mysql主从同步？
    当master(主)库的数据发生变化的时候，变化会实时的同步到slave(从)库。

  1. 主从同步有什么好处？

    • 水平扩展数据库的负载能力。
    • 容错，高可用。Failover(失败切换)/High Availability
    • 数据备份。
  1. 主从同步的原理是什么？
    首先我们来了解master-slave的体系结构。如下图：
    image

不管是delete、update、insert，还是创建函数、存储过程，所有的操作都在master上。当master有操作的时候,slave会快速的接收到这些操作，从而做同步。

但是，这个机制是怎么实现的呢？在master机器上，主从同步事件会被写到特殊的log文件中(binary-log);在slave机器上，slave读取主从同步事件，并根据读取的事件变化，在slave库上做相应的更改。

如此，就实现了主从同步了！

下面我们来详细的了解。

  • 3-1 主从同步事件有哪些上面说到：在master机器上，主从同步事件会被写到特殊的log文件中(binary-log);
    主从同步事件有3种形式:statement、row、mixed。
    • statement：会将对数据库操作的sql语句写入到binlog中。
    • row：会将每一条数据的变化写入到binlog中。
    • mixed：statement与row的混合。Mysql决定什么时候写statement格式的，什么时候写row格式的binlog。
  • 3-2. 在master机器上的操作
    当master上的数据发生改变的时候，该事件(insert、update、delete)变化会按照顺序写入到binlog中。binlog dump线程当slave连接到master的时候，master机器会为slave开启binlog dump线程。当master 的 binlog发生变化的时候，binlog dump线程会通知slave，并将相应的binlog内容发送给slave。
  • 3-3. 在slave机器上的操作
    当主从同步开启的时候，slave上会创建2个线程。
    • I/O线程。该线程连接到master机器，master机器上的binlog dump线程会将binlog的内容发送给该I/O线程。该I/O线程接收到binlog内容后，再将内容写入到本地的relay log。
    • SQL线程。该线程读取I/O线程写入的relay log。并且根据relay log的内容对slave数据库做相应的操作。
  • 3-4. 如何在master、slave上查看上述的线程？
    使用SHOW PROCESSLIST命令可以查看。如图，在master机器上查看binlog dump线程
    image
    如图，在slave机器上查看I/O、SQL线程。
    image

接下来给大家讲解mysql主从同步实战系统环境：系统的话大同小异，都差不多，我这里用的是ubuntu16.04+mysql5.7，用到两台服务器：其中master IP:192.168.33.22，另一个slave IP:192.168.33.33

master机器上的操作

  1. 更改配置文件我们找到文件/etc/mysql/mysql.conf.d/mysqld.cnf。

配置如下：

1
2
3
bind-address = 192.168.33.22 #your master ip
server-id = 1 #在master-slave架构中，每台机器节点都需要有唯一的server-id
log_bin = /var/log/mysql/mysql-bin.log #开启binlog
  1. 重启mysql，以使配置文件生效。
1
sudo systemctl restart mysql
  1. 创建主从同步的mysql user。
1
2
3
4
5
6
7
8
9
10
$ mysql -u root -p
Password:

##创建slave1用户，并指定该用户只能在主机192.168.33.33上登录。
mysql> CREATE USER 'slave1'@'192.168.33.33' IDENTIFIED BY 'slavepass';
Query OK, 0 rows affected (0.00 sec)

##为slave1赋予REPLICATION SLAVE权限。
mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'192.168.33.33';
Query OK, 0 rows affected (0.00 sec)
  1. 为MYSQL加读锁为了主库与从库的数据保持一致，我们先为mysql加入读锁，使其变为只读。
1
2
mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)
  1. 记录下来MASTER REPLICATION LOG 的位置该信息稍后会用到。
1
2
3
4
5
6
7
8
mysql> SHOW MASTER STATUS;

+------------------+----------+--------------+------------------+-------------------+
| File    | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |  613 |    |     |     |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
  1. 将master DB中现有的数据信息导出
1
$ mysqldump -u root -p --all-databases --master-data > dbdump.sql
  1. 接触master DB的读锁
1
mysql> UNLOCK TABLES;
  1. 将步骤6中的dbdump.sql文件copy到slave
1
scp dbdump.sql ubuntu@192.168.33.33:/home/ubuntu

slave机器上的操作

  1. 更改配置文件我们找到文件/etc/mysql/mysql.conf.d/mysqld.cnf。

更改配置如下：

1
2
3
bind-address = 192.168.33.33 #your slave ip
server-id = 2 #master-slave结构中，唯一的server-id
log_bin = /var/log/mysql/mysql-bin.log #开启binlog
  1. 重启mysql，以使配置文件生效
1
sudo systemctl restart mysql
  1. 导入从master DB。导出的dbdump.sql文件，以使master-slave数据一致
1
$ mysql -u root -p < /home/ubuntu/dbdump.sql
  1. 使slave与master建立连接，从而同步
    复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$ mysql -u root -p
Password:

mysql> STOP SLAVE;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> CHANGE MASTER TO
 -> MASTER_HOST='192.168.33.22',
 -> MASTER_USER='slave1',
 -> MASTER_PASSWORD='slavepass',
 -> MASTER_LOG_FILE='mysql-bin.000001',
 -> MASTER_LOG_POS=613;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

mysql> START SLAVE;
Query OK, 0 rows affected (0.00 sec)

MASTER_LOG_FILE='mysql-bin.000001'与MASTER_LOG_POS=613的值，是从上面的SHOW MASTER STATUS得到的。经过如此设置之后，就可以进行master-slave同步了
 Comments
  1. 1. master机器上的操作
  2. 2. slave机器上的操作