专栏名称: Python学习交流
每天更新，更新python相关的知识。希望诸君有所收获！
目录
相关文章推荐
Python爱好者社区  ·  史上最强！PINN杀疯了 ·  昨天  
Python爱好者社区  ·  DeepSeek创始人梁文锋个人履历 ·  3 天前  
Python爱好者社区  ·  离谱！下载DeepSeek最高判刑20年？ ·  2 天前  
Python爱好者社区  ·  1885页的Python完全版电子书 ·  3 天前  
Python爱好者社区  ·  多模态，杀疯了 ·  2 天前  
51好读  ›  专栏  ›  Python学习交流

Pandas是数据分析中最牛逼的框架！四分钟处理数以亿计的数据！

Python学习交流  · 公众号  · Python  · 2018-03-13 15:34

正文

  • 硬件环境

    CPU：3.5 GHz Intel Core i7

    内存：32 GB HDDR 3 1600 MHz

    硬盘：3 TB Fusion Drive

  • 数据分析工具

    Python：2.7.6

    Pandas：0.15.0

    IPython notebook：2.0.0

源数据如下表所示：


Table Size Desc
ServiceLogs 98,706,832 rows x 14 columns 8.77 GB 交易日志数据，每个交易会话可以有多条交易
ServiceCodes 286 rows × 8 columns 20 KB 交易分类的字典表

1百万条 1千万条 1亿条
ServiceLogs 1 s 17 s 263 s

下面是统计数据，Read Time是数据读取时间，Total Time是读取和Pandas进行concat操作的时间，根据数据总量来看，对5~50个DataFrame对象进行合并，性能表现比较好。





Chunk Size Read Time (s) Total Time (s) Performance
100,000 224.418173 261.358521
200,000 232.076794 256.674154
1,000,000 213.128481 234.934142 √ √
2,000,000 208.410618 230.006299 √ √ √
5,000,000 209.460829 230.939319 √ √ √
10,000,000 207.082081 228.135672 √ √ √ √
20,000,000 209.628596 230.775713 √ √ √
50,000,000 222.910643 242.405967
100,000,000 263.574246 263.574246

数据清洗

Pandas提供了 DataFrame.describe 方法查看数据摘要，包括数据查看（默认共输出首尾60行数据）和行列统计。由于源数据通常包含一些空值甚至空列，会影响数据分析的时间和效率，在预览了数据摘要后，需要对这些无效数据进行处理。







请到「今天看啥」查看全文


推荐文章
Python爱好者社区  ·  史上最强！PINN杀疯了
昨天
Python爱好者社区  ·  DeepSeek创始人梁文锋个人履历
3 天前
Python爱好者社区  ·  离谱！下载DeepSeek最高判刑20年？
2 天前
Python爱好者社区  ·  1885页的Python完全版电子书
3 天前
Python爱好者社区  ·  多模态，杀疯了
2 天前
指尖阅读  ·  晚餐与体重和寿命的关系（吓得我住嘴了！）
7 年前
珊瑚橘  ·  朝鲜在丰溪里核试验场挖掘地下坑道，美国的钻地弹看到后笑喷了
7 年前
中央广电总台中国之声  ·  【独家】台湾“儿童自然教育之父”徐仁修：这个暑假，让孩子得到大自然的滋润与抚慰
7 年前
xmu  ·  校友会迎新活动：不来后悔一辈子！
7 年前
格上财富  ·  伊犁对中国意味着什么？
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!