专栏名称: 51CTO技术栈
有趣 | 有料 | 有内涵,为您提供最优质的内容,愿我们一起悦享技术,成就人生。
目录
相关文章推荐
51好读  ›  专栏  ›  51CTO技术栈

线上MySQL千万级大表,如何优化?

51CTO技术栈  · 公众号  · 程序员  · 2020-12-15 18:05

正文

送 福 利 啦

关注 HarmonyOS技术社区 ,回复 【鸿蒙】 价值 399元 的鸿蒙 开发板套件 (数量不多,先到先得) ,还可以 免费下载 鸿蒙 入门资料


👇 扫码 立刻关注 👇

专注开源技术,共建鸿蒙生态


前段时间应急群有客服反馈,会员管理功能无法按到店时间、到店次数、消费金额进行排序。经过排查发现是 SQL 执行效率低,并且索引效率低下。


图片来自 Pexels


应急问题


商户反馈会员管理功能无法按到店时间、到店次数、消费金额进行排序,一直转圈圈或转完无变化,商户要以此数据来做活动,比较着急,请尽快处理,谢谢。


线上数据量


merchant_member_info: 7000W 条数据。


member_info: 3000W。


不要问我为什么不分表,改动太大,无能为力。


问题 SQL


问题 SQL 如下:

SELECT  
    mui.id,  
    mui.merchant_id,  
    mui.member_id,  
    DATE_FORMAT(  
        mui.recently_consume_time,  
        '%Y%m%d%H%i%s'  
    ) recently_consume_time,  
    IFNULL(mui.total_consume_num, 0) total_consume_num,  
    IFNULL(mui.total_consume_amount, 0) total_consume_amount,  
    (  
        CASE  
        WHEN u.nick_name IS NULL THEN  
            '会员'  
        WHEN u.nick_name = '' THEN  
            '会员'  
        ELSE  
            u.nick_name  
        END  
    ) AS 'nickname',  
    u.sex,  
    u.head_image_url,  
    u.province,  
    u.city,  
    u.country  
FROM  
    merchant_member_info mui  
LEFT JOIN member_info u ON mui.member_id = u.id  
WHERE  
    1 = 1  
AND mui.merchant_id = '商户编号'  
ORDER BY  
    mui.recently_consume_time DESC / ASC  
LIMIT 0,  
 10 


出现的原因


经过验证可以按照“到店时间”进行降序排序,但是无法按照升序进行排序主要是查询太慢了。


主要原因是: 虽然该查询使用建立了 recently_consume_time 索引,但是索引效率低下,需要查询整个索引树,导致查询时间过长。DESC 查询大概需要 4s,ASC 查询太慢耗时未知。


为什么降序排序快和而升序慢呢?


如下图:

因为是对时间建立了索引,最近的时间一定在最后面,升序查询,需要查询更多的数据,才能过滤出相应的结果,所以慢。


解决方案







请到「今天看啥」查看全文