双向赋能：AI与数据库的修行之道

远川研究所 · 公众号 · · 2024-06-28 21:03

正文

在这个数据为王的时代，数据是人工智能的三大支柱之一，其重要性不言而喻。最近，OpenAI收购了数据库初创公司Rockset，迅速引起了业内外的广泛关注。OpenAI早已在算法和计算能力方面遥遥领先，通过这次战略性的收购，OpenAI将在其产品中融合Rockset的先进数据索引和查询技术，帮助OpenAI将数据转化为“可操作智能”。

现代数据库与人工智能（AI）的融合，正如同一场席卷全球的技术革命，深刻地重塑着技术与产业的格局。

一方面，数据库技术的技术迭代需要更好地支持人工智能应用工作负责，比如向量数据库，也就是DB for AI；另一方面人工智能技术也更好地让数据库运维更方便，实现自动化和智能化，也就是AI for DB。

在这一个变革过程中，数据库产业正面临诸多挑战，比如海量数据高性能和大并发、大量数据库实例智能优化、保障数据安全防篡改的防护等。面对这种情况，企业如何通过技术创新和生态协同应对挑战并抓住其中的机遇呢？

作为数据库领域的领头羊，东方国信、PingCAP、云和恩墨通过自身的技术与产品实践给出了他们的答案，同时他们与英特尔的协同创新，也让我们看到了数据库生态的蓬勃生机。

新需求催生新挑战

在AI大模型时代，由于数据库的使用人数和数据量的爆炸性增长，数据库系统的并发度会极大提升。云和恩墨联合创始人兼CTO杨廷琨强调，数据量爆发性增长带来压力的同时，硬件技术的快速发展也促进了算力提升，为提升处理能力和性能提供了可能性。这时候，数据库厂商需从两方面着手应对：一方面增强单机性能，另一方面通过架构设计实现平滑扩展，以满足海量数据的处理需求。

同时，数据量的爆炸性增长也会带来极大的数据冗余。在此挑战下，用户从需求侧又提出了很多新的要求，东方国信副总裁兼CTO查礼表示：用户往往会希望数仓既能做数据加工，又能做分析和查询，这要求数据库系统具有高度灵活性和多功能性。

数据来源多样化和用户需求复杂化催生了对硬件越来越高的需求，数据库要保持高性能、高稳定性，开发和运维人员又需要简化数据库的使用，这构成了一种“悖论”。

为解决数据库行业“既要、又要”的问题，越来越多的数据技术公司让AI“入局”，让数据库越跑越“聪明”。 PingCAP服务总经理林景旭表示，他们正探索利用AI技术增强数据库功能，同时简化用户操作。作为一家分布式数据库厂商，PingCAP提供的开源分布式数据产品与解决方案，通过分布式数据库架构，实现计算和存储的分离，以动态扩展满足不同用户需求，这其中便可以通过AI算法来优化资源使用和性能评判。

数据库产业需要不断创新，开发更加高效、可靠、智能的数据库技术，才能满足新需求的挑战。同时，数据库产业链也需要紧密合作，共同推动数据库技术的发展，为数字经济的发展提供更加坚实的基础。

生态协同推动产业变革

数据库产业面临的挑战是多方面的，这些挑战并非单个企业能够独自解决，需要整个产业的协同合作，才能共同应对挑战，并抓住其中的机遇。

凭借先进的处理器技术、开源合作策略以及对客户需求的深刻理解，英特尔与数据库领域的合作伙伴一起构建了一个 开源开放、合作共赢 的生态环境，助力数据库技术的持续创新和应用落地。

英特尔中国云创中心技术总经理张晓军介绍说，第四代和第五代英特尔®️ 至强® 可扩展处理器内置了多项面向数据库优化的技术，例如英特尔® QAT（英特尔® 数据保护与压缩技术）用于数据压缩解压缩，以及英特尔® IAA（英特尔® 存内分析加速器）加速数据分析。在数据安全方面，英特尔也能通过英特尔® TDX（英特尔® 信任域扩展）和SGX（英特尔® 软件防护扩展）为使用中的数据提供端到端硬件级防护能力。

此外英特尔至强6处理器已于近期发布，提供了两种不同的 CPU 微架构版本，分别为性能核 (P-core) 和能效核(E-core)，让多种工作负载的性能和能效表现再创新高。其全新功能和内置加速器为目标工作负载带来进一步助力，实现了更高的性能和能效。

基于英特尔® 架构的加速器与软件工具

众多的合作伙伴正在借助至强处理器和加速器及软件工具增强自身的产品竞争力。

比如PingCAP推出的TiDB开源分布式数据库就得益于第四代英特尔® 至强® 可扩展处理器卓越的代际性能，其数据库的只读性能与读写性能分别达到基准配置的1.62倍与1.43倍。

此外TiDB利用至强®️ 可扩展处理器搭载的英特尔®️ IAA提供的出色吞吐量压缩和解压缩功能，在不影响性能的前提下，提升了数据压缩率，节约了存储空间。PingCAP采用英特尔®️ IAA代替LZ4之后，TiDB压缩率为LZ4无损压缩算法的1.4倍。

并结合CPU的迭代，性能提升可达到原配置的1.56倍，有助于客户化解数据压缩所带来的性能困扰。

虽然硬件性能的提升为数据库处理海量数据提供了基础，但要真正发挥这些算力，需要对数据库内核进行深度优化。云和恩墨通过改进数据库内核，使之更好地适应现代硬件，如多核CPU、大内存和高速IO子系统，从而实现单机性能的显著提升。

根据其透露的测试结果，在一颗至强®️ 双路服务器架构上，以50G内存配置，再加上一个NVMe的SSD闪存，云和恩墨达到了700万TPCC的指标，可以说是极大提高了单机能力。

东方国信适用于超大规模数据存储和在线分析的大数据 BEH平台企业版通过集成Gluten与Velox Backend向量化执行引擎，为 Spark注入了原生矢量化执行的能力，同时结合第四代英特尔® 至强® 可扩展处理器，以及处理器集成的英特尔® QAT 加速器，显著优化了Spark批处理计算、SparkSQL计算、SQL查询服务的执行效率。经测试，在相同硬件环境下，配合英特尔® QAT 的加成，Spark计算性能可提升高达 2.9倍。

除了硬件之外，英特尔还强化了在软件及数据库生态方面的投入。张晓军还强调了英特尔在开源领域的贡献，如Apache社区的Gluten项目，已经在很多客户系统里得到了广泛应用，相比传统的Spark，性能可以提高2-3倍，如果其运行在英特尔的硬件上预计取得更优性能，显著提升大数据处理效率。

数据库与AI深度融合

随着大数据时代的到来，数据量及系统数量都呈指数级增长，数据类型也由结构化数据逐渐演变成了非结构化数据和半结构化数据，这就对数据库系统的稳定性和能力提出了更高的要求，数据库技术和人工智能技术相结合成为当前热门的研究主题之一。

双向赋能：AI与数据库的修行之道

正文

请到「今天看啥」查看全文