专栏名称: 新语数据故事汇
《新语数据故事汇,数说新语》科普数据科学、讲述数据故事,深层次挖掘数据价值。
目录
相关文章推荐
植物星球  ·  这个地方的杏花好,长江以南排名第三 ·  昨天  
植物星球  ·  偶遇亚太地区第二大片的紫花地丁 ·  3 天前  
植物星球  ·  它是真的比梅花好看,比梅花晚开一些 ·  3 天前  
植物星球  ·  杭州西湖边有一棵梨花,开得特别早 ·  昨天  
网信正定  ·  古城限定美景,全国独一无二的存在 ·  2 天前  
网信正定  ·  古城限定美景,全国独一无二的存在 ·  2 天前  
51好读  ›  专栏  ›  新语数据故事汇

给大象插上翅膀:DuckDB(pg_duckdb)在 Postgres 中实现更快速的数据分析

新语数据故事汇  · 公众号  ·  · 2024-10-29 18:06

正文

在数据管理领域,PostgreSQL(pg)作为一款出色的在线事务处理(OLTP)数据库,凭借其强大的事务处理能力和可靠性,赢得了广泛的认可。然而,当面对大规模数据分析时,pg 有时显得局促,响应速度也未能满足高效分析的需求。

近一段时间来,DuckDB 作为一款高效的列式数据库引擎,正在数据分析领域引起越来越多的关注。其轻量级的设计和强大的查询性能,使其在处理大规模数据集时展现出优异的表现,DuckDB 可以为数据湖(Data Lake)或湖屋(Lakehouse)架构带来了快速、便捷的分析能力,也是推动数据分析向更高效、灵活的方向发展的重要组件。

在这种情况下,pg_duckdb 作为一项创新的扩展,为 PostgreSQL 注入了新的活力,仿佛为这头大象插上了翅膀。通过将 DuckDB 的分析引擎与 PostgreSQL 深度集成,pg_duckdb 提供了一种便捷、简单且高效的数据分析架构,使用户能够快速执行复杂的分析查询,充分挖掘数据的潜力。

pg_duckdb 是一个 PostgreSQL 扩展,将 DuckDB 的分析引擎直接集成到 PostgreSQL 中,允许在传统事务工作负载上支持快速进行数据分析查询。接下来的内容我们快速体验一下,感受高效的数据分析能力.

镜像安装带有pg_duckdb的PG

最简单的入门方法是使用提供的 Docker 镜像,该镜像包含了最新版本的 pg_duckdb 扩展预安装的 PostgreSQL。详细参见: https://github.com/duckdb/pg_duckdb ; 为了便于测试,推了镜像到阿里云的ACR上,下面命令创建测试实例容器:

docker run -d --name pg_duckdb -p 54322:5432 -e POSTGRES_HOST_AUTH_METHOD=trust registry.cn-hangzhou.aliyuncs.com/smartnotebook/pg_duckdb:17-v0.1.0
在psql 输入:SELECT * FROM pg_extension;   可看到pg 的扩展项包括:gp_duckdb .

PostgreSQL 是一款事务性数据库,而非分析性数据库。它非常适合查找、小规模更新以及在仔细设置索引和连接关系后运行查询。然而,当需要在整个数据集上运行临时分析查询时,它并不是最佳选择。

尽管 PostgreSQL 并不是专门为分析设计的,但它常常被用于分析,因为数据随时可用,便于启动。然而,随着数据量的增加,以及对更复杂的聚合和分组分析查询的需求,用户常常会遇到限制。这时,像 DuckDB 这样的分析数据库引擎便能派上用场。

通过 pg_duckdb,你可以在 PostgreSQL 中使用 DuckDB 执行引擎处理已存储的数据,对于某些查询,这可能会显著提升性能。以下是一个查询示例,显示了显著的性能提升;

在带有pg_duckdb的PG上测试TPC-DS 用例1

让我们尝试 TPC-DS 基准测试套件中的第一个查询(用例1),该查询包含在 TPC-DS DuckDB 扩展中。详细参见:《 使用SNB 进行DuckDB的TPC-DS 测试:性能强悍

使用该扩展,在duckdb 使用规模因子 1(即总数据为 1GB左右)生成 TPC-DS 数据集,然后导出再加载到没有索引的 PostgreSQL 中。下面代码是smarnotebook 执行dfSQL(duckdb 引擎)或在duckdb 内执行SQL生成tpcds的测试数据集。

INSTALL tpcds;LOAD tpcds;CALL dsdgen(sf = 1);EXPORT DATABASE 'public' (FORMAT CSV, DELIMITER '|');-- PRAGMA tpcds(1);

导出后的数据文件和SQL 脚本如下:

将数据迁移到带有pg_duckdb插件的PG 容器中,执行下面的指令,就可以tpcds 数据集加载到pg数据库中。

export schema_name=publicsed 's/COPY/\\copy/' "$schema_name/load.sql" >"$schema_name/load-psql.sql"psql -v ON_ERROR_STOP=1 "options=--search-path=$schema_name" -c "CREATE SCHEMA IF NOT EXISTS $schema_name" -f "$schema_name/schema.sql" -f "$schema_name/load-psql.sql" -c "ANALYZE;"

加载收据后,执行用例1 的SQL, 用例SQL参见: https://github.com/duckdb/duckdb/tree/main/extension/tpcds/dsdgen/queries ; 下面在smartnotebook 内创建数据源连接,并分别以pg 和pg_duckdb 内核执行(设置参数SET duckdb.force_execution = True | False):

SET duckdb.force_execution = True;WITH customer_total_return AS  (SELECT sr_customer_sk AS ctr_customer_sk,          sr_store_sk AS ctr_store_sk,          sum(sr_return_amt) AS ctr_total_return   FROM store_returns,        date_dim   WHERE sr_returned_date_sk = d_date_sk     AND d_year = 2000   GROUP BY sr_customer_sk,            sr_store_sk)SELECT c_customer_idFROM






请到「今天看啥」查看全文