专栏名称: 芋道源码
纯 Java 源码分享公众号,目前有「Dubbo」「SpringCloud」「Java 并发」「RocketMQ」「Sharding-JDBC」「MyCAT」「Elastic-Job」「SkyWalking」「Spring」等等
目录
相关文章推荐
芋道源码  ·  使用 Spring Cache ... ·  6 小时前  
芋道源码  ·  邀请码炒到10万?OpenManus开源打脸! ·  6 小时前  
芋道源码  ·  分库分表 带来了哪些问题? ·  昨天  
芋道源码  ·  炫技Groovy!SpringBoot中的动 ... ·  昨天  
51好读  ›  专栏  ›  芋道源码

分库分表 带来了哪些问题?

芋道源码  · 公众号  · Java  · 2025-03-08 09:30

正文

👉 这是一个或许对你有用 的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入 芋道快速开发平台 知识星球。 下面是星球提供的部分资料:

👉 这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、 商城 、支付、工作流、大屏报表、微信公众号、 ERP CRM AI 大模型 等等功能:

  • Boot 多模块架构:https://gitee.com/zhijiantianya/ruoyi-vue-pro
  • Cloud 微服务架构:https://gitee.com/zhijiantianya/yudao-cloud
  • 视频教程:https://doc.iocoder.cn
【国内首批】支持 JDK 17/21 + SpringBoot 3.3、JDK 8/11 + Spring Boot 2.7 双版本

来源:苏三说技术


分库分表是解决单库单表性能瓶颈的有效手段,但也会引入新的复杂性和技术挑战。

这篇文章跟大家一起聊聊,分库分表后带来的7个问题,以及相关的解决方案,希望对你会有所帮助。

1. 全局唯一 ID 问题

问题描述

在分库分表后,每张表的自增 ID 只在本表范围内唯一,但无法保证全局唯一。

例如:

  • 订单表_1 的主键从 1 开始, 订单表_2 的主键也从 1 开始。
  • 在需要全局唯一 ID 的场景(如订单号、用户 ID)中会发生冲突。

解决方案

1.1 使用分布式 ID 生成器

推荐工具:
  • Snowflake :Twitter 开源的分布式 ID 算法。
  • 百度 UidGenerator :基于 Snowflake 的改进版。
  • Leaf :美团开源,号段模式和 Snowflake 双支持。
代码示例:Snowflake 算法
public class SnowflakeIdGenerator {
    private final long epoch = 1622476800000L// 自定义时间戳
    private final long workerIdBits = 5L// 机器ID
    private final long datacenterIdBits = 5L// 数据中心ID
    private final long sequenceBits = 12L// 序列号

    private final long maxWorkerId = ~(-1L << workerIdBits);
    private final long maxDatacenterId = ~(-1L << datacenterIdBits);
    private final long sequenceMask = ~(-1L << sequenceBits);

    private long workerId;
    private long datacenterId;
    private long sequence = 0L;
    private long lastTimestamp = -1L;

    public SnowflakeIdGenerator(long workerId, long datacenterId) {
        if (workerId > maxWorkerId || workerId < 0throw new IllegalArgumentException("Worker ID out of range");
        if (datacenterId > maxDatacenterId || datacenterId < 0throw new IllegalArgumentException("Datacenter ID out of range");
        this.workerId = workerId;
        this.datacenterId = datacenterId;
    }

    public synchronized long nextId() {
        long timestamp = System.currentTimeMillis();
        if (timestamp < lastTimestamp) throw new RuntimeException("Clock moved backwards");

        if (timestamp == lastTimestamp) {
            sequence = (sequence + 1) & sequenceMask;
            if (sequence == 0) timestamp = waitNextMillis(lastTimestamp);
        } else sequence = 0L;

        lastTimestamp = timestamp;
        return ((timestamp - epoch) << (workerIdBits + datacenterIdBits + sequenceBits))
                | (datacenterId << (workerIdBits + sequenceBits))
                | (workerId << sequenceBits)
                | sequence;
    }

    private long waitNextMillis(long lastTimestamp) {
        long timestamp = System.currentTimeMillis();
        while (timestamp <= lastTimestamp) timestamp = System.currentTimeMillis();
        return timestamp;
    }
}

1.2 数据库号段分配

  • 原理 :维护一个独立的 global_id 表,分库按步长分配 ID:

    • 库 1:ID 步长为 2,从 1 开始(1, 3, 5...)。
    • 库 2:ID 步长为 2,从 2 开始(2, 4, 6...)。
示例
CREATE TABLE global_id (
        id INT PRIMARY KEY AUTO_INCREMENT,
        stub CHAR(1)
 NOT NULL UNIQUE
        )
;
        -- 步长设置:
        SET @@auto_increment_increment = 2;
        SET @@auto_increment_offset = 1;

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 视频教程:https://doc.iocoder.cn/video/

2. 跨库跨表查询复杂性

问题描述

分库分表后,聚合查询(如总数统计、分页查询)需要跨多个分片表执行,增加了查询复杂度。

例如:

  • 查询所有订单总数,需要跨 10 个订单表聚合。
  • 按创建时间分页查询所有订单。

解决方案

2.1 使用中间件(推荐)

  • ShardingSphere MyCAT :支持 SQL 分片执行和结果合并。
  • 优点:业务代码无需修改,中间件完成分库分表逻辑。

2.2 手动分片查询

  • 按分片逐一查询数据,在业务层合并结果。
示例代码:聚合查询
public int countAllOrders() {
        int total = 0;
        for (String db : List.of("db1""db2""db3")) {
        String sql = "SELECT COUNT(*) FROM " + db + ".orders";
        total += jdbcTemplate.queryForObject(sql, Integer.class);
        }
        return total;
        }
示例代码:跨分片分页查询
public List paginateOrders(int page, int size) {
        List allOrders = new ArrayList<>();
        for (String table : List.of("orders_1""orders_2")) {
        String sql = "SELECT * FROM " + table + " LIMIT 100";
        allOrders.addAll(jdbcTemplate.query(sql, new OrderRowMapper()));
        }
        allOrders.sort(Comparator.comparing(Order::getCreatedAt));
        return allOrders.stream()
        .skip((page - 1) * size)
        .limit(size)
        .collect(Collectors.toList());
        }

手动分片查询的方案,如果数据比较多,性能会比较差。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud
  • 视频教程:https://doc.iocoder.cn/video/

3. 分布式事务问题

问题描述

分布式事务(如订单表在库 A,库存表在库 B)无法使用单库事务,导致可能会出现数据的一致性问题。

解决方案

3.1 分布式事务框架

  • Seata :支持跨库的分布式事务。
  • 示例代码
@GlobalTransactional
public void createOrder(Order order) {
        orderService.saveOrder(order); // 写入库A
        stockService.reduceStock(order.getProductId()); // 更新库B
        }

3.2 柔性事务

  • 使用消息中间件实现最终一致性。
  • 典型实现: RocketMQ 消息事务

4. 分片键设计问题

问题描述

分片键选择不当可能导致数据倾斜(热点问题)或查询路由效率低。

解决方案

4.1 分片键设计原则

  1. 数据分布均匀 :避免热点问题。
  2. 常用查询字段 :尽量选高频查询字段。

4.2 路由表

  • 维护全局路由表,映射分片键到分表。
示例代码:路由表查询
public String getTargetTable(int userId) {
        String sql = "SELECT table_name FROM routing_table WHERE user_id = ?";
        return jdbcTemplate.queryForObject(sql, new Object[]{userId}, String.class);
        }

5. 数据迁移问题

问题描述

扩容(如从 4 个分片扩展到 8 个分片)时,旧数据需要迁移到新分片,迁移复杂且可能影响线上服务。

解决方案

5.1 双写策略

  • 数据迁移期间,旧表和新表同时写入。
  • 待迁移完成后,切换到新表。

5.2 增量同步







请到「今天看啥」查看全文