专栏名称: 天池大数据科研平台
天池,基于阿里云的开放数据处理服务ODPS,面向学术界开放海量数据和分布式计算资源,旨在打造“数据众智、众创”第一平台。在这里,人人都可以玩转大数据,共同探索数据众创新模式。
目录
相关文章推荐
软件定义世界(SDX)  ·  红杉资本2025年AI三大展望:大模型厂商各 ... ·  昨天  
大数据文摘  ·  黄仁勋:扫过最多厕所的CEO ·  2 天前  
软件定义世界(SDX)  ·  73个应用入选!工信部公布『先进计算赋能新质 ... ·  4 天前  
数据派THU  ·  ​​当Batch ... ·  6 天前  
数据派THU  ·  Scikit-learn ... ·  6 天前  
51好读  ›  专栏  ›  天池大数据科研平台

大数据列式存储 Parquet 和 ORC 简介

天池大数据科研平台  · 公众号  · 大数据  · 2019-07-05 22:00

正文

01

背景

随着大数据 Hadoop/Spark 生态的不断发展和成熟,TextFile、CSV这些文本格式存储效率低,查询速度慢,往往不能很好地满足大数据系统中存储和查询的需求,列式存储也在大数据社区逐渐兴起到成熟。目前,使用比较广泛的列式存储主要是 Apache Parquet 和 Apache ORC,Parquet 由谷歌的 Dremel 发展而来,由Twitter 贡献给社区,ORC 则是由 Hive 的 RC File 发展而来,从Hive项目中独立出来,二者目前都是比较活跃的列式存储项目。

02

什么是列式存储

传统的数据编码方式是以行为单位进行,列式存储则是将数据划分成数据块,每个数据块内部按列的方式进行编码存储,通过使用列式存储会有以下好处:

  • 存储效率更高,因为同一列的数据类型一致,编码效率也会更高

  • 查询效率更高,利用列式存储的统计信息,可以跳过大量的数据,减少IO压力

03

Parquet 和 ORC的基本对比

04

Parquet 和 ORC的编码效率对比

1 什么是编码

列式存储在存储数据时,为了提高压缩效率,会进行一些编码操作,如图所示。

2 常见的编码方式

  • Run-length encoding(RLE)

  • Dictionary

  • Bitpacking

  • Zigzag for signed

3 Parquet 和 ORC编码对比

4 使用TPC数据集的测试结果

分别使用相同的 TPC 数据集进行测试,从压缩效率上讲,数据库大小越小,压缩效率越好。这里 ORC 使用 Zlib 压缩, Parquet 使用 Gzip 压缩。

  • TPC-BB and TPC-DS Decimal 版本下,ORC 比 Parquet 占用空间节省大约 10%;

  • TPC-DS Double版本下,Parquet 的使用的空间节省 2% 左右。

TPC-DS(Decimal Version): https://github.com/cloudera/impala-tpcds-kit
TPC-DS(Double Version): https://github.com/hortonworks/hive-testbench
TPCx-BB: http://www.tpc.org/tpcx-bb/

05

Parquet 和 ORC Encoding的实现细节对比

1 Parquet 的Integer编码实现

Parquet 的 Integer的是通过字典的编码方式存储的,为了防止字典过大,超过字典上限后,则通过其他方式存储。

PARQUET_V1 和 PARQUET_V2 是 Parquet 内部使用的版本,可以通过相应的参数进行选择。

2 Parquet 字典的实现

  • 在实际存储时,数据库会有大量重复的值,这时字典的效率还是不错的,不够,目前的 Parquet实现还有两个问题

  • 问题字典是明文存储,没有编码,浪费存储空间;

  • 字典编号是使用RLE编码,但是编码效率还有提升空间。

3 Parquet 的 DeltaBinaryPacking

Parquet 的 DeltaBinaryPacking 的实现参考了以下博客,具体的格式如图。

http://lemire.me/blog/archives/2012/09/12/fast-integer-compression-decoding-billions-of-integers-per-second/

原始值:6,6,6,6,6,6,13,17
编码后:3,0,6,-2,13,17

ORC Integer 在 0.12的版本

HIVE在 0.12之后做了比较好的优化,可以覆盖常见的四种场景,效果也会比较好

  • SHORT_REPEAT : Short repeated integer sequences.

  • DELTA : Monotonically increasing or decreasing sequences, sequences with fixed delta values or long

1 sequences.

DIRECT : Random integer sequences whose number of bit requirement doesn't vary a lot

PATCHED_BASE : Random integer sequences whose number of bit requirement varies beyond a
threshold.



点击下方图片即可阅读

决策树算法原理(上)


决策树算法原理(下)


最常使用的数据挖掘算法——决策树



如果你也有想分享的干货,可以登录天池实验室(notebook),包括赛题的理解、数据分析及可视化、算法模型的分析以及一些核心的思路等内容

小天会根据你分享内容的数量以及程度,给予丰富的神秘天池大礼以及粮票奖励。分享成功后你也可以通过下方钉钉群👇主动联系我们的社区运营同学(钉钉号: yiwen1991

天池宝贝们有任何问题,可在戳“留言”评论或加入钉钉群留言,小天会认真倾听每一个你的建议!


👇「阅读原文」,PC端fork学习更容易!