# 《Mycat核心技术》第16章：Mycat综合测试

作者：冰河
星球：http://m6z.cn/6aeFbs (opens new window)
博客：https://binghe.gitcode.host (opens new window)
文章汇总：https://binghe.gitcode.host/md/all/all.html (opens new window)
星球项目地址：https://binghe.gitcode.host/md/zsxq/introduce.html (opens new window)

沉淀，成长，突破，帮助他人，成就自我。

本章难度：★★☆☆☆
本章重点：介绍Myca读写分离，垂直切分，水平切分，ER分片，全局表的测试案例，掌握Mycat在实际案例场景中的应用，能够结合自身实际项目将Mycat灵活应用到自身实际项目中。

大家好，我是冰河~~

今天给大家介绍《Mycat核心技术》的第16章：给大家简单介绍下Mycat读写分离，垂直切分，水平切分，ER分片，全局表的测试案例，好了，开始今天的内容。

今天，给大家带来一篇基于Mycat的读写分离+垂直切分+水平切分+er分片+全局表测试，我们直接进入主题

读写分离：利用最基础的mysql主从复制，事务性的查询无法分离出去（因为会导致数据不一致），这样就无法做到真正的读写分离，因为有些场景可能大部分都是事物性的读。解决方法： galera for mysql 强一致性。

安装使用过程遇到的问题：

1、mycat启动后报错，进程直接退出： Error: Exception thrown by the agent : java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException: ys-fs: ys-fs: Name or service not known

原因：本机要配置/etc/hosts 127.0.0.1 主机名

# 一、垂直切分测试

# 1.1 schema.xml里面加入

<schema name="weixin" checkSQLschema="false" sqlMaxLimit="100" dataNode="weixin" />
<schema name="yixin" checkSQLschema="false" sqlMaxLimit="100" dataNode="yixin" />
<schema name="sms" checkSQLschema="false" sqlMaxLimit="100" dataNode="sms" />

<dataNode name="weixin" dataHost="host0" database="weixin" />
<dataNode name="yixin" dataHost="host1" database="yixin" />
<dataNode name="sms" dataHost="host2" database="sms" />

<dataHost name="host0" maxCon="1000" minCon="10" balance="0"
   writeType="0" dbType="mysql" dbDriver="native">
   <heartbeat>select user()</heartbeat>
   <!-- can have multi write hosts -->
   <writeHost host="namenode" url="192.168.168.230:3306" user="root" password="youngsun" />
</dataHost>

<dataHost name="host1" maxCon="1000" minCon="10" balance="0"
   writeType="0" dbType="mysql" dbDriver="native">
   <heartbeat>select user()</heartbeat>
   <!-- can have multi write hosts -->
   <writeHost host="hadoop1" url="192.168.168.231:3306" user="root" password="youngsun" />
</dataHost>

<dataHost name="host2" maxCon="1000" minCon="10" balance="0"
   writeType="0" dbType="mysql" dbDriver="native">
   <heartbeat>select user()</heartbeat>
   <!-- can have multi write hosts -->
   <writeHost host="hadoop2" url="192.168.168.232:3306" user="root" password="youngsun" />
</dataHost>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

# 2.2 server.xml加入

<user name="test_wyh">
       <property name="password">test</property>
       <property name="schemas">weixin,yixin,sms</property>
</user>

1
2
3
4

# 2.3 遇到问题

1)、Caused by: org.xml.sax.SAXParseException; lineNumber: 106; columnNumber: 16; The content of element type "mycat:schema" must match "(schema*,dataNode*,dataHost*)"。

原因：要按照schema、datanode 、datahost的顺序放，不能打乱。也就是所有schema要放一起，然后接着才能放datanode。。。。

2)、报1184错误，是因为没有把datahost主机的权限授予mycat所在主机。

<writeHost host="hadoop2" url="192.168.168.232:3306" user="root" password="youngsun" />

这里的用户要授予mycat所在主机远程访问权限：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'youngsun'

# 二、水平切分测试

# 2.1 创建数据库

分别建立4个库：user0、user1、user2、user3。我这里4个库建在4个独立的主机上。

 CREATE DATABASE  user0 DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

# 2.2 创建表结构

在user0～user2创建同样的表结构，t_user和t_user_class_rel的建表语句参考如下：

DROP TABLE IF EXISTS `t_user_ext`;
CREATE TABLE `t_user_ext` (
 `user_id` int(11) NOT NULL COMMENT '用户ID',
 `receive_address` varchar(256) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '收货地址',
 `create_time` datetime NOT NULL,
 `province_code` varchar(10) COLLATE utf8_unicode_ci DEFAULT NULL,
 PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci COMMENT='用户信息表';

DROP TABLE IF EXISTS `t_user_class_rel`;
CREATE TABLE `t_user_class_rel` (
 `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
 `caller` varchar(16) CHARACTER SET utf8 NOT NULL COMMENT '调用方系统表示',
 `province_code` varchar(10) CHARACTER SET utf8 DEFAULT NULL COMMENT '省份编码',
 `user_id` int(11) NOT NULL COMMENT '用户ID',
 `class_id` int(11) NOT NULL COMMENT '班级ID',
 `role_type` int(11) DEFAULT NULL COMMENT '用户在该班的角色（1学生2家长3教师）',
 `create_time` datetime NOT NULL COMMENT '创建时间',
 `modify_time` datetime DEFAULT NULL COMMENT '修改时间',
 PRIMARY KEY (`id`),
 UNIQUE KEY `idx_rel_user_class_id` (`user_id`,`class_id`,`role_type`),
 KEY `idx_rel_user_id` (`user_id`) USING BTREE,
 KEY `idx_rel_class_id` (`class_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

# 2.3 添加schema

加了一点内容：不分表的情况测试（只对部分表进行切分。其实这种时候，没有切分的表，应该是不需要跟已经切分过的表进行关联，否则就会垮库join。既然是这样，那业务就比较独立了，为什么不把这部分表垂直切分出去呢？）

总结心得：

1、如果某张表进行水平切分了，那么跟他有事物关联的表，要么搞全局表，要么进行er分片，不然就会导致垮库join。而没有关联关系的表或者非事物关联的表，实际上可以垂直切分出去（如果有必要）。

2、dataHost可以理解成一个主机组，可以是单机，可以是主从，可以是galera 等搭建起来的集群。读写分离就是在这里处理的。ha、读写分离等都在这里进行配置，都是针对datahost。

<schema name="test_sharding" checkSQLschema="false" sqlMaxLimit="100">
    <!-- auto sharding by id (long) -->
    <table name="t_user" dataNode="user0,user1,user2,user3" rule="rule_wyh">
        <childTable name="t_user_class_rel" primaryKey="id" joinKey="user_id" parentKey="user_id" />
    </table>
        <!-- 此处测试不分表的情况。要先在这里配置，然后可以在mycat创建t_user_1表，也可以在user3对应的local创建表。如果这里没事先配置，无法在mycat建表，会报错。这个还可以通过制定默认datanode实现，更简单，配置方法：在shcema标签上加上datanode -->
        <table name="t_user_1" dataNode="user3" >
    </table>
</schema>
<dataNode name="user0" dataHost="host0" database="user0" />
<dataNode name="user1" dataHost="host1" database="user1" />
<dataNode name="user2" dataHost="host2" database="user2" />
<dataNode name="user3" dataHost="host3" database="user3" />

1
2
3
4
5
6
7
8
9
10
11
12
13

# 2.4 添加datahost

<dataHost name="host3" maxCon="1000" minCon="10" balance="0"
   writeType="0" dbType="mysql" dbDriver="native">
   <heartbeat>select user()</heartbeat>
   <!-- can have multi write hosts -->
   <writeHost host="ys-fs" url="192.168.168.238:3306" user="root" password="youngsun" />
</dataHost>

1
2
3
4
5
6

在238上授权授权：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'youngsun';
flush privileges;

1
2

# 2.5 配置rule.xml文件

在schema.xml的文件内容中可看到t_user表指定的分片规则是rule1，需要在conf/rule.xml文件中设置rule1的规则为根据user_id进行分片，并按照类“org.opencloudb.route.function.PartitionByLong”的规则进行分片，即将user_id模除1024后每256内分到一个数据库中，即模除后0～255到user0数据库库，256～511到user1数据库，512～767到user2数据库，768～1023到user3数据库。

总结心得：普通取模算法，连续的id会路由到不同的分片。增大了批量插入的事务控制难度，而固定分片hash算法根据二进制则可能会分到连续的分片，减少插入事务事务控制难度。

该文件的参考内容如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://org.opencloudb/"> 
 <tableRule name="rule_wyh">
    <rule>
      <columns>user_id</columns>
      <algorithm>func_4p</algorithm>
    </rule>
 </tableRule>

 <function name="func_4p" class="org.opencloudb.route.function.PartitionByLong">
    <property name="partitionCount">4</property>
    <property name="partitionLength">256</property>
 </function>
</mycat:rule>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

# 2.6 配置server.xml文件

在server.xml文件中的schemas属性中添加test_sharding的schema。修改后的文件如下所示：

<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://org.opencloudb/">
    <system>
        <property name="sequnceHandlerType">0</property> 
    </system>
    <user name="test">
       <property name="password">test</property>
       <property name="schemas">weixin,yixin,photo,test_sharding</property>
    </user>
</mycat:server>

1
2
3
4
5
6
7
8
9
10

# 2.7 水平切分测试

重启MyCAT，使用MySQL客户端连接后，连接后可在test_sharding数据库下看到t_user和t_user_class_rel表，在MySQL客户端连接的MyCat的test_sharding数据库的t_user表运行如下插入语句，插入user_id=1、255、256、511、512、1023、1024、50、300、1000的数据：注意insert into 必须带上字段名列表，不然报错插不进去。

INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('1', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('255', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('256', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('511', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('512', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('1023', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('1024', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('50', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('300', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO  t_user( user_id  , receive_address  , create_time  , province_code  ) VALUES('1000', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');

1
2
3
4
5
6
7
8
9
10

而后在MyCAT的test_sharding数据库的t_user表运行select查看记录执行情况。进入localhost的user0～user3数据库，查看数据是否按照之前确定的rule1的规则写入不同的数据库。

读者可在test_sharding数据库的t_user表执行update和delete等语句，并去分库查看执行结果，可得知MyCAT对MySQL客户端基本透明，对程序也几乎透明，在select语句运行时，MyCAT会自行去各个分库按照规则获取合并结果。

接着测试按照ER关系策略分片的t_user_class_rel表是否按照user_id的分片策略，同样user_id的数据分布在同一个user库的t_user表和t_user_class_rel表。

在MyCAT的test_mycat数据库的t_user_class_rel表运行如下语句：

INSERT INTO `t_user_class_rel`( `id`  , `caller` , `province_code` , `user_id` , `class_id` , `role_type` , `create_time` , `modify_time`) VALUES ('257', 'eip', 'GD', '2', '35', '3', '2012-08-05 17:32:13', '2013-12-27 16:07:32');
INSERT INTO `t_user_class_rel`( `id`  , `caller` , `province_code` , `user_id` , `class_id` , `role_type` , `create_time` , `modify_time`) VALUES ('1', 'eip', 'GD', '257', '35', '3', '2012-08-05 17:32:13', '2013-12-27 16:07:32');
INSERT INTO `t_user_class_rel`( `id`  , `caller` , `province_code` , `user_id` , `class_id` , `role_type` , `create_time` , `modify_time`) VALUES ('2', 'eip', 'GD', '513', '35', '3', '2012-08-05 17:32:13', '2013-12-27 16:07:32');
INSERT INTO `t_user_class_rel`( `id`  , `caller` , `province_code` , `user_id` , `class_id` , `role_type` , `create_time` , `modify_time`) VALUES ('3', 'eip', 'GD', '769', '35', '3', '2012-08-05 17:32:13', '2013-12-27 16:07:32');

1
2
3
4

而后在MyCAT的test_mycat数据库的t_user_class_rel表运行select查看记录执行情况。进入localhost的user0～user3数据库，查看数据是否按照之前确定的rule1的规则和ER分片策略写入不同的数据库。

分片join解决方案心得小结：如果一张表做分片了，其他有一张表要跟这张表做关联，方案如下：

全局表（适合做的才做）：非跨分片join
另一张表也搞分片：非跨分片join
share join（只能2个表join）：跨分片join
另一张表里join用到的字段冗余到已经做了分片的那张表上去：不用join （该方案可用性不错）
另一张表里join用到的字段搞成一张全局表：非跨分片join

# 三、读写分离

MyCAT的读写分离机制如下：

事务内的SQL，全部走写节点，除非某个select语句以注释/*balance*/开头
自动提交的select语句会走读节点，并在所有可用读节点中间随机负载均衡
当某个主节点宕机，则其全部读节点都不再被使用，因为此时，同步失败，数据已经不是最新的，MyCAT会采用另外一个主节点所对应的全部读节点来实现select负载均衡。
当所有主节点都失败，则为了系统高可用性，自动提交的所有select语句仍将提交到全部存活的读节点上执行，此时系统的很多页面还是能出来数据，只是用户修改或提交会失败。

231和233主从配置，233配置成读库。

<dataHost name="host1" maxCon="1000" minCon="10" balance="1"
   writeType="0" dbType="mysql" dbDriver="native">
   <heartbeat>select user()</heartbeat>
   <!-- can have multi write hosts -->
   <writeHost host="hadoop1" url="192.168.168.231:3306" user="root" password="youngsun" >
        <readHost host="hadoop3" url="192.168.168.233:3306" user="root" password="youngsun" weight="1" />
   </writeHost>
</dataHost>

1
2
3
4
5
6
7
8

好了，今天就到这儿吧，我是冰河，我们下期见~~

# 星球服务

加入星球，你将获得：

1.项目学习：微服务入门必备的SpringCloud Alibaba实战项目、手写RPC项目—所有大厂都需要的项目【含上百个经典面试题】、深度解析Spring6核心技术—只要学习Java就必须深度掌握的框架【含数十个经典思考题】、Seckill秒杀系统项目—进大厂必备高并发、高性能和高可用技能。

2.框架源码：手写RPC项目—所有大厂都需要的项目【含上百个经典面试题】、深度解析Spring6核心技术—只要学习Java就必须深度掌握的框架【含数十个经典思考题】。

3.硬核技术：深入理解高并发系列（全册）、深入理解JVM系列（全册）、深入浅出Java设计模式（全册）、MySQL核心知识（全册）。

4.技术小册：深入理解高并发编程（第1版）、深入理解高并发编程（第2版）、从零开始手写RPC框架、SpringCloud Alibaba实战、冰河的渗透实战笔记、MySQL核心知识手册、Spring IOC核心技术、Nginx核心技术、面经手册等。

5.技术与就业指导：提供相关就业辅导和未来发展指引，冰河从初级程序员不断沉淀，成长，突破，一路成长为互联网资深技术专家，相信我的经历和经验对你有所帮助。

冰河的知识星球是一个简单、干净、纯粹交流技术的星球，不吹水，目前加入享5折优惠，价值远超门票。加入星球的用户，记得添加冰河微信：hacker_binghe，冰河拉你进星球专属VIP交流群。

# 星球重磅福利

跟冰河一起从根本上提升自己的技术能力，架构思维和设计思路，以及突破自身职场瓶颈，冰河特推出重大优惠活动，扫码领券进行星球，直接立减149元，相当于5折， 这已经是星球最大优惠力度！

领券加入星球，跟冰河一起学习《SpringCloud Alibaba实战》、《手撸RPC专栏》和《Spring6核心技术》，更有已经上新的《大规模分布式Seckill秒杀系统》，从零开始介绍原理、设计架构、手撸代码。后续更有硬核中间件项目和业务项目，而这些都是你升职加薪必备的基础技能。

100多元就能学这么多硬核技术、中间件项目和大厂秒杀系统，如果是我，我会买他个终身会员！

# 其他方式加入星球

链接：打开链接 http://m6z.cn/6aeFbs (opens new window) 加入星球。
回复：在公众号 冰河技术 回复星球领取优惠券加入星球。

特别提醒： 苹果用户进圈或续费，请加微信 hacker_binghe 扫二维码，或者去公众号 冰河技术 回复星球扫二维码加入星球。

# 星球规划

后续冰河还会在星球更新大规模中间件项目和深度剖析核心技术的专栏，目前已经规划的专栏如下所示。

# 中间件项目

《大规模分布式定时调度中间件项目实战（非Demo）》：全程手撸代码。
《大规模分布式IM（即时通讯）项目实战（非Demo）》：全程手撸代码。
《大规模分布式网关项目实战（非Demo）》：全程手撸代码。
《手写Redis》：全程手撸代码。
《手写JVM》全程手撸代码。

# 超硬核项目

《从零落地秒杀系统项目》：全程手撸代码，在阿里云实现压测（已上新）。
《大规模电商系统商品详情页项目》：全程手撸代码，在阿里云实现压测。
其他待规划的实战项目，小伙伴们也可以提一些自己想学的，想一起手撸的实战项目。。。

既然星球规划了这么多内容，那么肯定就会有小伙伴们提出疑问：这么多内容，能更新完吗？我的回答就是：一个个攻破呗，咱这星球干就干真实中间件项目，剖析硬核技术和项目，不做Demo。初衷就是能够让小伙伴们学到真正的核心技术，不再只是简单的做CRUD开发。所以，每个专栏都会是硬核内容，像《SpringCloud Alibaba实战》、《手撸RPC专栏》和《Spring6核心技术》就是很好的示例。后续的专栏只会比这些更加硬核，杜绝Demo开发。

小伙伴们跟着冰河认真学习，多动手，多思考，多分析，多总结，有问题及时在星球提问，相信在技术层面，都会有所提高。将学到的知识和技术及时运用到实际的工作当中，学以致用。星球中不少小伙伴都成为了公司的核心技术骨干，实现了升职加薪的目标。

# 联系冰河

# 加群交流

本群的宗旨是给大家提供一个良好的技术学习交流平台，所以杜绝一切广告！由于微信群人满 100 之后无法加入，请扫描下方二维码先添加作者 “冰河” 微信(hacker_binghe)，备注：星球编号。

冰河微信

# 公众号

分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外，还会分享各种面试题和面试技巧。内容在 冰河技术 微信公众号首发，强烈建议大家关注。

公众号：冰河技术

# 视频号

定期分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外，还会分享各种面试题和面试技巧。

视频号：冰河技术

# 星球

加入星球 冰河技术 (opens new window)，可以获得本站点所有学习内容的指导与帮助。如果你遇到不能独立解决的问题，也可以添加冰河的微信：hacker_binghe，我们一起沟通交流。另外，在星球中不只能学到实用的硬核技术，还能学习实战项目！

关注冰河技术 (opens new window)公众号，回复 星球 可以获取入场优惠券。

知识星球：冰河技术

← 第15章：数据分片入门实战第17章：实现MySQL的读写分离 →