专栏名称: Python程序员
最专业的Python社区,有每日推送,免费电子书,真人辅导,资源下载,各类工具。我已委托“维权骑士”(rightknights.com)为我的文章进行维权行动
目录
相关文章推荐
Python开发者  ·  o3-mini 碾压 DeepSeek ... ·  3 天前  
Python爱好者社区  ·  张雪峰公司今年的年终奖... ·  3 天前  
Python爱好者社区  ·  推荐我的抖音变现俱乐部! ·  5 天前  
Python爱好者社区  ·  120道Python面试题.pdf ... ·  6 天前  
Python爱好者社区  ·  吴恩达,yyds ·  4 天前  
51好读  ›  专栏  ›  Python程序员

Pandas处理数据太慢,来试试Polars吧!

Python程序员  · 公众号  · Python  · 2021-04-22 08:30

正文



很多人在学习数据分析的时候,肯定都会用到Pandas这个库,非常的实用!


从创建数据到读取各种格式的文件(text、csv、json),或者对数据进行切片和分割组合多个数据源,Pandas都能够很好的满足。


Pandas最初发布于2008年,使用Python、Cython和C编写的。是一个超级强大、快速和易于使用的Python库,用于数据分析和处理。


当然Pandas也是有不足之处的,比如不具备多处理器,处理较大的数据集速度很慢。


今天就给大家介绍一个新兴的Python库:Polars


使用语法和Pandas差不多,处理数据的速度却比Pandas快了不少。



一个是大熊猫,一个是北极熊~


GitHub地址:https://github.com/ritchie46/polars


使用文档:https://ritchie46.github.io/polars-book/


Polars是通过Rust编写的一个库,Polars的内存模型是基于Apache Arrow。


Polars存在两种API,一种是Eager API,另一种则是Lazy API。


其中Eager API和Pandas的使用类似,语法差不太多,立即执行就能产生结果。



而Lazy API就像Spark,首先将查询转换为逻辑计划,然后对计划进行重组优化,以减少执行时间和内存使用。


安装Polars,使用百度pip源。


# 安装polars
pip install polars -i https://mirror.baidu.com/pypi/simple/


安装成功后,开始测试,比较Pandas和Polars处理数据的情况。


使用某网站注册用户的用户名数据进行分析,包含约2600万个用户名的CSV文件。


import pandas as pd

df = pd.read_csv('users.csv')
print(df)


数据情况如下。



此外还使用了一个自己创建的CSV文件,用以数据整合测试。


import pandas as pd

df = pd.read_csv('fake_user.csv')
print(df)


得到结果如下。



首先比较一下两个库的排序算法耗时。


import timeit
import pandas as pd

start = timeit.default_timer()

df = pd.read_csv('users.csv')
df.sort_values('n', ascending=False)
stop = timeit.default_timer()

print('Time: ', stop - start)

-------------------------
Time:  27.555776743218303


可以看到使用Pandas对数据进行排序,花费了大约28s。


import timeit
import polars as pl

start = timeit.default_timer()

df = pl.read_csv('users.csv')
df.sort(by_column='n', reverse=True)
stop = timeit.default_timer()

print('Time: ', stop - start)

-----------------------
Time:  9.924110282212496


Polars只花费了约10s,这意味着Polars比Pandas快了2.7倍。


下面,我们来试试数据整合的效果,纵向连接。


import timeit
import pandas as pd

start = timeit.default_timer()

df_users = pd.read_csv('users.csv')
df_fake = pd.read_csv('fake_user.csv')
df_users.append(df_fake, ignore_index=True)
stop = timeit.default_timer()

print('Time: ', stop - start)

------------------------
Time:  15.556222308427095


使用Pandas耗时15s。


import timeit
import polars as pl

start = timeit.default_timer()

df_users = pl.read_csv('users.csv')
df_fake = pl.read_csv('fake_user.csv')
df_users.vstack(df_fake)
stop = timeit.default_timer()

print('Time: ', stop - start)

-----------------------





请到「今天看啥」查看全文

推荐文章
Python爱好者社区  ·  张雪峰公司今年的年终奖...
3 天前
Python爱好者社区  ·  推荐我的抖音变现俱乐部!
5 天前
Python爱好者社区  ·  120道Python面试题.pdf ,完全版开放下载
6 天前
Python爱好者社区  ·  吴恩达,yyds
4 天前
Python开发者  ·  Python 黑魔法:装饰器
7 年前
大呲花  ·  女人第一次到底有多疼?
7 年前