专栏名称: OSC开源社区
OSChina 开源中国 官方微信账号
目录
相关文章推荐
程序员小灰  ·  程序员的AI时代,如何用AI来增加副业收入 ·  4 天前  
程序员的那些事  ·  趣图:能遇到这种前辈是种幸福 ·  2 天前  
程序猿  ·  在 iPad 上「复活」WinXP!耗时 ... ·  1 周前  
51好读  ›  专栏  ›  OSC开源社区

探秘 2024 腾讯全球数字生态大会数据库专场:中国数据库的更快、更稳、更强

OSC开源社区  · 公众号  · 程序员  · 2024-09-10 17:17

正文

9 5 日,2024 腾讯全球数字生态大会在深圳国际会展中心举行,为期两天。
大会以“智启新机 云驱增长”为主题,汇聚多位行业领军人物及企业专家,以“增长”为主线,前沿探索为基石,行业最佳实践为新杆,聚焦数字化下的产业新增长,共话企业融合创新发展新路径。

在首日的主峰会上,腾讯集团高级执行副总裁、云与智慧产业事业群 CEO 汤道生表示,当下很多企业面临内外部多重挑战,甚至是“内卷式竞争”,如果蛋糕不增长,结果就是“零和”游戏。企业增长的核心在于跳出框架,探索产业的新发展。

为助力产业转型升级,本次大会上腾讯云首次公布了完整的全栈融合创新产品体系,在基础软件领域,囊括腾讯云数据库 TDSQL 、操作系统 TencentOS 、专有云 TCE 、大数据 TBDS 、人工智能开发平台 TI 等核心产品(简称“ 5T ”),现已全面兼容国内主流的芯片厂商,在多个大规模的集群上稳定运行,落地覆盖金融、交通、政务、互联网、医疗、传媒等多个行业,积累了丰富的融合实践经验。

其中,TDSQL 作为国产化数据库的杰出代表,已在腾讯内部支撑了 90% 的核心金融、计费和交易业务,外部则服务于中国十大银行中的七家,助力 30 多家金融机构进行核心系统替换,并在金融整体市场和银行细分市场斩获“双料”第一!

而今,数据已然成为企业最珍贵的资产之一,每一个数据点都可能是开启巨大价值的关键钥匙。

那么今天就随开源中国的脚步,云探展【数据库技术与实践专场】,看全栈自研的国产数据库如何助力企业数智化转型。




TDSQL :开启全栈技术支撑新时代



回顾中国数据库技术的发展历程,我们大可看作是一个从无到有、从追随到领先的壮丽诗篇。

借用最近大火的西游话题,腾讯的数据库团队就像“悟空”一样,靠着坚定的信念和灵活的策略,从早期的摸索与借鉴,一路闯荡到如今的技术创新和市场扩展。

随着信息化的不断推进,数据呈现爆炸式增长,且不同场景下所生产的数据也各不相同,基于此,在 9 月 6 日的【数据库技术与实践专场】上,腾讯云数据库研发总经理潘安群给出了腾讯云数据库的精妙解法单一引擎极致化、多引擎智能融合一体化,以及完整的服务交付

在实现单一引擎的极致化过程中,腾讯云自研的企业级分布式数据库 TDSQL 已全面兼容 MySQL 、PostgreSQL 语法,高度兼容 Oracle 语法,并采用 HTAP 引擎,既能满足高并发、高实时、强一致性的数据处理需求,又能实时完成复杂数据分析及海量数据聚合。

同时,提供智能 DBA 、自动化运营、监控告警等配套设施,为用户提供完整的企业级分布式数据库解决方案。

为了尽可能满足每一个应用场景,TDSQL 还配有一整套 SaaS 工具,包括:数据传输服务 DTS-DBbridge 、 数据库审计、DBbrain 、数据库管理平台、数据库专家服务等,帮助用户实现高效的数据管理与运营。

值得一提的是,在数据迁移和跨域方面,数据传输服务 DTS-DBbridge 可以在用户业务不停服的前提下轻松完成数据库迁移上云,还支持对同步后的数据结果进行在线比对,帮助用户进行数据验证,为数据库升级和迁移提供了极大的便利。

但业务场景终究是无法穷举的,单一数据库“吃遍天”的时代已经过去,为满足不同业务场景对于数据库的需求,腾讯云针对不同的业务场景还提供了多种解决方案,以实现多引擎开花、智能化融合的发展格局。

其中就包括适用于云原生的 TDSQL-C ,以及专为敏态业务打造的 TDStore

潘安群表示,TDSQL-C 凭借全链路 RDMA 网络以及国内首个 Serverless 架构,对 AI + Serverless 新范式展开探索,打造 AI4DB 服务。通过引入 AI 技术,新一代云原生数据库 TDSQL-C 将实现智能资源管理和优化,自动调整数据库的配置以适应不同的工作负载,整体提高数据库的性能和效率。

同时,TDSQL-C 还是国内首个运用 Serverless 架构的数据库,可以根据负载需求无感扩展,不到 1 秒即可从数百个事务扩展到百万级事务,降低请求延迟高达 80% ,非常适用于诸如电商大促这样的应用场景。

而针对“敏态业务”打造的新一代分布式数据库引擎 TDStore ,则完美解决敏态业务发展过程中的不可预知性,可提供单日交易量超 100 亿次的超强处理能力与 EB 级别海量存储 ,可以有效应对业务的变化。

最关键的是,独有的数据形态自动感知特性,可以使数据能够根据业务情况自动进行分裂迁移,降低分布式事务,从而获得极致的性能。

随着 AGI 时代的到来,向量数据库也发挥着越来越关键的作用。潘安群介绍,自去年 7 月正式发布向量数据库时,最高支持 10 亿级向量检索规模,仅 5 个月后,检索规模就提升至千亿级别,现已服务包括世博、销售易、搜狐、链家等在内的超过 1000 家外部客户,是国内首家通过信通院向量数据库标准评估的数据库。

在经历了腾讯内部千亿级请求及 3000+ 客户接入后,如今的腾讯云向量数据库正朝着“全托管”的方向发展,不仅可以通过智能化排序实现端到端的数据接入体验,更集成了 embedding 功能,让用户无需关注向量生成过程,就能实现快速处理数据,真正做到“开箱即用”。

潘安群还表示,未来将基于混元大模型的数据库专家,为用户提供数据库一站式服务,打造更完善的全栈技术支撑,为用户的业务发展提供坚实的技术保障。




积极推动全栈自研,助力企业数智化转型



2022 年 9 月的“国资发 79 号文件”明确要求 2027 年底前,全部国央企必须完成信息化系统的改造工作,这一政策对数据库融合创新提出了明确要求,同时也加快了 TDSQL 全栈国产的进程。

腾讯云数据库技术专家邢孟棒介绍,经过对于全栈国产的不断探索,目前 TDSQL 已全面兼容包括操作系统、 CPU 芯片、服务器,以及中间件在内的全体系国产软硬件,通过深度优化,实现了硬件与软件的无缝集成和高效协同,为企业提供一站式的国产化数据库解决方案。

数据处理能力有多强,一定程度上决定了业务发展天花板有多高。在软硬件全栈深度优化的过程中,TDSQL 针对不同的业务特征,其内核在列压缩、并行查询、大事务复制、binlog 组提交锁等方面均有明显提升:

  • 列压缩:针对大字段有 4 倍以上压缩比,能显著节约内存和磁盘空间;

  • 并行查询:利用并行查询能力,调用多核计算资源,大幅缩短大查询响应时间;

  • 大事务复制:updata 场景复制时间减少 85 %,insert 场景减少约 30 %;

  • binlog 组提交锁:全局锁改局部锁,高并发写入性能提升 19 %。


除此之外,
TDSQL 还与腾讯自研操作系统 TencentOS 进行了深度优化和适配,在性能、稳定性和安全性等方面得到进一步提升。孟棒表示:为了进一步提升 TDSQL 的性能 ,TencentOS 操作系统引入了 16k 原子写功能,消除了 double write 的格外开销,以降低磁盘写入的频次。

目前,腾讯云数据库 TDSQL 在实现全栈国产化之后,在同等的使用场景和测试条件下,其性能表现与基于通用 x86 架构的系统性能基本对齐。

在国产 ARM 平台上,经过优化后的 TDSQL 性能提升约为 57 %,而在国产的 x86 平台上的提升更是显著,约为 135%,实现了国产 ARM/x86 双栈平稳运行。

邢孟棒表示,未来 TDSQL 还将在编译优化上进一步优化,在国产 ARM 平台上添加 BOLT 支持,使 TDSQL 能够更好地与国产 ARM 处理器进行适配,充分发挥国产硬件的性能优势。在生态共建方向上,也将进一步加强与硬件厂商合作,持续适配新的硬件产品并推动相关功能落地。

随着数据库全栈国产的发展,越来越多的企业开始了对于“中国数据库”的探索与合作,就在今年的腾讯全球数字生态大会上,腾讯云与浪潮信息联合推出了一站式企业级数据库解决方案——元脑 TDSQL 数据库一体机 

元脑 TDSQL 数据库一体机融合了算力、网络平台以及分布式关系型数据库 TDSQL 于一体,可提供单节点数十万 QPS 、单实例千万 QPS 流量的超高数据处理性能,具备 99.999% 以上的“金融级”高可用性,能够帮助商业公司快速完成数据库基础设施的部署。

同时,由于元脑 TDSQL 数据库一体机在硬件和软件上都针对数据库管理进行了优化,组件之间高度集成,这使得一体机可以实现更高的吞吐,以及更低的响应时延;此外,分布式数据库一体机还提供直观的管理界面和智能化的监控工具,使管理员能够轻松对数据进行维护,大大降低了企业的管理成本和技术门槛,提高了数据库的运维效率。

元脑 TDSQL 数据库一体机的出现,无疑对数据库国产化带来了新的机遇与方向,同时也促进了国内数据库产业生态的发展。从硬件制造商到软件开发商,从系统集成商到服务提供商,一起为打造更加完善的国产化数据库而努力。




拥抱开源 腾讯云捐赠 TXSQL 数据库内核



在数据库技术与实践专场上,腾讯云数据库研发总经理潘安群还宣布——腾讯云向开放原子开源基金会 OpenTenBase 社区捐赠腾讯数据库 TXSQL 内核,并通过开源共创的方式,与上下游产业链及开发者共同打造数据库开源生态。

腾讯云数据库研发总经理潘安群(左)和开放原子开源基金会秘书长助理兼运营部部长李博(右)

作为开源的坚定推进者和建设者,腾讯在过去几年先后向开放原子开源基金会捐赠了操作系统、数据库、编译器等基础软件。此次向 OpenTenBase 社区捐赠腾讯数据库 TXSQL 内核,是腾讯在开源领域的再次深耕。

TXSQL 是腾讯云数据库团队自研的 MySQL 内核分支,可 100% 兼容原生 MySQL 版本,提供了诸如透明数据加密、审计、备份恢复、强同步等功能。区别于 MySQL ,TXSQL 不仅在 InnoDB 存储引擎、查询优化、复制性能等方面进行了大量优化,还提供企业级的容灾、恢复、监控、读写分离等诸多高级特性。

本次捐赠完成后,OpenTenBase 社区将成为开放原子开源基金会首个 100% 兼容 MySQL 和 PostgreSQL 生态的开源项目

开放原子开源基金会秘书长助理兼运营部部长李博表示:“OpenTenBase 社区是基金会最重要的开源社区之一,腾讯云的积极贡献让社区的影响力进一步扩大,吸引更多的生态伙伴和技术人才投入到开源建设中。”

今年 5 月份,OpenTenBase 社区委员会宣布成立,首批有 13 家共创单位加入社区,而在本次数据库专场又有 6 家共建单位正式加入社区,他们分别是浪潮信息、微众银行、XSKY 星辰天合、泰康在线、云猿生数据、白鲸开源。(排名不分先后

截至目前,腾讯云已是 MariaDB 、Linux 等多个开源基金会的重要成员,并积极布局国内根社区建设打造了 OpenTenBase 开源社区,还联合开放原子开源基金会、中国计算机学会以及北京大学、中国人民大学等高校建立了健全的人才培养机制。

腾讯云数据库产品总监王云龙在会上表示,未来腾讯云数据库将持续推动技术创新,积极联合实验室,通过开源的方式促进生态伙伴与腾讯数据库进行合作,共同开展项目和应用的开发,推动技术的应用和市场的拓展。