分库分表是解决单库单表性能瓶颈的有效手段,但也会引入新的复杂性和技术挑战。
这篇文章跟大家一起聊聊,分库分表后带来的7个问题,以及相关的解决方案,希望对你会有所帮助。
在分库分表后,每张表的自增 ID 只在本表范围内唯一,但无法保证全局唯一。
例如:
-
订单表_1
的主键从 1 开始,
订单表_2
的主键也从 1 开始。
-
在需要全局唯一 ID 的场景(如订单号、用户 ID)中会发生冲突。
-
Snowflake
:Twitter 开源的分布式 ID 算法。
-
百度 UidGenerator
:基于 Snowflake 的改进版。
-
Leaf
:美团开源,号段模式和 Snowflake 双支持。
public class SnowflakeIdGenerator {
private final long epoch = 1622476800000L; // 自定义时间戳
private final long workerIdBits = 5L; // 机器ID
private final long datacenterIdBits = 5L; // 数据中心ID
private final long sequenceBits = 12L; // 序列号
private final long maxWorkerId = ~(-1L << workerIdBits);
private final long maxDatacenterId = ~(-1L << datacenterIdBits);
private final long sequenceMask = ~(-1L << sequenceBits);
private long workerId;
private long datacenterId;
private long sequence = 0L;
private long lastTimestamp = -1L;
public SnowflakeIdGenerator(long workerId, long datacenterId) {
if (workerId > maxWorkerId || workerId < 0) throw new IllegalArgumentException("Worker ID out of range");
if (datacenterId > maxDatacenterId || datacenterId < 0) throw new IllegalArgumentException("Datacenter ID out of range");
this.workerId = workerId;
this.datacenterId = datacenterId;
}
public synchronized long nextId() {
long timestamp = System.currentTimeMillis();
if (timestamp < lastTimestamp) throw new RuntimeException("Clock moved backwards");
if (timestamp == lastTimestamp) {
sequence = (sequence + 1) & sequenceMask;
if (sequence == 0) timestamp = waitNextMillis(lastTimestamp);
} else sequence = 0L;
lastTimestamp = timestamp;
return ((timestamp - epoch) << (workerIdBits + datacenterIdBits + sequenceBits))
| (datacenterId << (workerIdBits + sequenceBits))
| (workerId << sequenceBits)
| sequence;
}
private long waitNextMillis(long lastTimestamp) {
long timestamp = System.currentTimeMillis();
while (timestamp <= lastTimestamp) timestamp = System.currentTimeMillis();
return timestamp;
}
}
-
原理
:维护一个独立的
global_id
表,分库按步长分配 ID:
-
库 1:ID 步长为 2,从 1 开始(1, 3, 5...)。
-
库 2:ID 步长为 2,从 2 开始(2, 4, 6...)。
CREATE TABLE global_id (
id INT PRIMARY KEY AUTO_INCREMENT,
stub CHAR(1) NOT NULL UNIQUE
);
-- 步长设置:
SET @@auto_increment_increment = 2;
SET @@auto_increment_offset = 1;
基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
-
项目地址:https://github.com/YunaiV/ruoyi-vue-pro
-
视频教程:https://doc.iocoder.cn/video/
分库分表后,聚合查询(如总数统计、分页查询)需要跨多个分片表执行,增加了查询复杂度。
例如:
-
ShardingSphere
或
MyCAT
:支持 SQL 分片执行和结果合并。
-
public int countAllOrders() {
int total = 0;
for (String db : List.of("db1", "db2", "db3")) {
String sql = "SELECT COUNT(*) FROM " + db + ".orders";
total += jdbcTemplate.queryForObject(sql, Integer.class);
}
return total;
}
public List paginateOrders(int page, int size) {
List allOrders = new ArrayList<>();
for (String table : List.of("orders_1", "orders_2")) {
String sql = "SELECT * FROM " + table + " LIMIT 100";
allOrders.addAll(jdbcTemplate.query(sql, new OrderRowMapper()));
}
allOrders.sort(Comparator.comparing(Order::getCreatedAt));
return allOrders.stream()
.skip((page - 1) * size)
.limit(size)
.collect(Collectors.toList());
}
手动分片查询的方案,如果数据比较多,性能会比较差。
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
-
项目地址:https://github.com/YunaiV/yudao-cloud
-
视频教程:https://doc.iocoder.cn/video/
分布式事务(如订单表在库 A,库存表在库 B)无法使用单库事务,导致可能会出现数据的一致性问题。
@GlobalTransactional
public void createOrder(Order order) {
orderService.saveOrder(order); // 写入库A
stockService.reduceStock(order.getProductId()); // 更新库B
}
分片键选择不当可能导致数据倾斜(热点问题)或查询路由效率低。
-
-
public String getTargetTable(int userId) {
String sql = "SELECT table_name FROM routing_table WHERE user_id = ?";
return jdbcTemplate.queryForObject(sql, new Object[]{userId}, String.class);
}
扩容(如从 4 个分片扩展到 8 个分片)时,旧数据需要迁移到新分片,迁移复杂且可能影响线上服务。