专栏名称: macrozheng

专注Java技术分享，解析优质开源项目。涵盖SpringBoot、SpringCloud、Docker、K8S等实用技术，作者Github开源项目mall（50K+Star）。

京东开源，牛逼哄哄的 JD-hotkey 到底有多强？

macrozheng · 公众号 · 互联网安全科技自媒体 · 2024-09-21 14:10

主要观点总结

该文章介绍了微服务项目 learning：cloud.macrozheng.com 项目，具体描述了京东 App 后台中间件的功能和特点，包括热数据探测、推送至集群内存、降低热 key 对数据层查询压力等。文章还介绍了该项目的核心功能、适用场景、性能指标、实战检验、架构设计等相关内容。

关键观点总结

关键观点1: 项目介绍与核心功能

文章介绍了cloud.macrozheng.com项目，这是一个京东 App 后台中间件项目，能够毫秒级探测热点数据并将其推送到服务器集群内存。这有助于大幅降低热 key 对数据层的查询压力，并应对无法预先感知的热点请求。

关键观点2: 性能指标

该框架经历了多次压测，探测性能可达每秒处理 16 万个 key 探测任务（8 核单机），推送性能可达每秒 10-12 万次平稳推送。在实战检验中，每天探测的 key 数量数十亿计，能够精准捕获爬虫、刷子用户和热门商品。

关键观点3: 项目架构与设计

项目主要由四个部分组成：etcd集群、client端jar包、worker端集群和dashboard控制台。项目没有依赖于任何定制化的组件，核心靠netty连接完成分布式计算。同时，介绍了项目的整体架构图。

关键观点4: 其他推荐项目

文章还推荐了一个基于Spring Boot 3 + JDK 17的电商系统项目mall，采用Docker容器化部署，涵盖商品、订单、购物车、权限等功能。同时，提供了视频教程链接，内容涵盖Spring Cloud核心组件、微服务项目实战、Kubernetes容器化部署等内容。

正文

微服务项目学习： cloud.macrozheng.com

项目介绍

京东 App 后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存，大幅降低热 key 对数据层查询压力。

对任意突发性的无法预先感知的热点请求，包括并不限于热点数据（如突发大量请求同一个商品）、热用户（如爬虫、刷子）、热接口（突发海量请求同一个接口）等，进行毫秒级精准探测到。然后对这些热数据、热用户等，推送到该应用部署的所有机器 JVM 内存中，以大幅减轻对后端数据存储层的冲击，并可以由客户端决定如何使用这些热 key（譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值）。这些热 key 在整个应用集群内保持一致性。

核心功能 ：热数据探测并推送至集群各个服务器

适用场景 ：

mysql 热数据本地缓存
redis 热数据本地缓存
黑名单用户本地缓存
爬虫用户限流
接口、用户维度限流
单机接口、用户维度限流限流
集群用户维度限流
集群接口维度限流

这或许是一个对你有用的开源项目 ，mall项目是一套基于 SpringBoot3 + JDK 17 + Vue 实现的电商系统（ Github标星60K ），采用Docker容器化部署，后端支持多模块和微服务架构。包括前台商城项目和后台管理系统，能支持完整的订单流程！涵盖商品、订单、购物车、权限、优惠券、会员、支付等功能！

Boot项目： https://github.com/macrozheng/mall

Cloud项目： https://github.com/macrozheng/mall-swarm

视频教程： https://www.macrozheng.com/video/

项目演示：

性能指标

该框架历经多次压测，性能指标主要有两个：

探测性能：8 核单机 worker 端每秒可接收处理 16 万个 key 探测任务，16 核单机至少每秒平稳处理 30 万以上，实际压测达到 37 万，CPU 平稳支撑，框架无异常。
推送性能：在高并发写入的同时，对外推送目前性能约平稳推送每秒 10-12 万次，譬如有 1 千台 server，一台 worker 上每秒产生了 100 个热 key，那么这 1 秒会平稳推送 100 * 1000 = 10 万次，10 万次推送会明确在 1s 内全部送达。如果是写入少，推送多，以纯推送来计数的话，该框架每秒可稳定对外推送 40-60 万次平稳，80 万次极限可撑几秒。

实战检验

京东 APP 后台热数据探测框架，历经多次高压压测和 2020 年京东 618、双 11 大促考验。

在上线运行的这段时间内，每天探测的 key 数量数十亿计，精准捕获了大量爬虫、刷子用户，另准确探测大量热门商品并毫秒级推送到各个服务端内存，大幅降低了热数据对数据层的查询压力，提升了应用性能。

在大促期间，hotkey 的 worker 集群秒级吞吐量达到 1500 万级别，由 hotkey 探测出的热 key 进而产生的本地缓存占应用总访问量的 50%以上，使得大部分请求进行的是本地查询，减轻了 redis 层一半以上负担。

架构设计

该框架没有依赖于任何定制化的组件，与 redis 更是毫无关系，核心就是靠 netty 连接，client 端送出待测 key，然后由各个 worker 完成分布式计算，算出热 key 后，就直接推送到 client 端，非常轻量级。

该框架主要由 4 个部分组成：

etcd 集群 ：etcd 作为一个高性能的配置中心，可以以极小的资源占用，提供高效的监听订阅服务。主要用于存放规则配置，各 worker 的 ip 地址，以及探测出的热 key、手工添加的热 key 等。
client 端 jar 包 ：就是在服务中添加的引用 jar，引入后，就可以以便捷的方式去判断某 key 是否热 key。同时，该 jar 完成了 key 上报、监听 etcd 里的 rule 变化、worker 信息变化、热 key 变化，对热 key 进行本地 caffeine 缓存等。
worker 端集群 ：worker 端是一个独立部署的 Java 程序，启动后会连接 etcd，并定期上报自己的 ip 信息，供 client 端获取地址并进行长连接。之后，主要就是对各个 client 发来的待测 key 进行累加计算，当达到 etcd 里设定的 rule 阈值后，将热 key 推送到各个 client。
dashboard 控制台 ：控制台是一个带可视化界面的 Java 程序，也是连接到 etcd，之后在控制台设置各个 APP 的 key 规则，譬如 2 秒出现 20 次算热 key。然后当 worker 探测出来热 key 后，会将 key 发往 etcd，dashboard 也会监听热 key 信息，进行入库保存记录。同时，dashboard 也可以手工添加、删除热 key，供各个 client 端监听。

项目地址

https://gitee.com/jd-platform-opensource/hotkey

Github上 标星11K 的微服务实战项目mall-swarm，全套视频教程（2024最新版）来了！全套教程 约26小时，共59期 ，如果你想学习 目前最新的微服务技术栈 ，同时提高自己 微服务项目的开发能力 的话，不妨了解下，下面是项目的整体架构图，感兴趣的小伙伴可以点击链接 mall-swarm视频教程加入学习。