基于 Native 技术加速 Spark 计算引擎，充分发挥 Spark 性能潜力

DataFunSummit · 公众号 · · 2024-06-03 18:00

正文

自 2013 年由 Berkeley AMPLab 捐献给 Apache 社区以来，Apache Spark 凭借其易用性、灵活性、高性能、可扩展性和开源精神，在开源大数据领域占据了领头羊的位置，持续引领着大数据处理技术的发展。

不过由于其以行式的数据组织形式运行在 JVM 中的特性，导致其性能有很大的提升空间。特别是在当前降本增效的大背景下，企业对性能优化的需求尤为迫切。

百度智能云 BMR 团队通过将 ClickHouse 替换 Spark 物理执行引擎的方式，实现了 Spark 数据处理计算任务全部跑在 C++ 上的效果，在保证 Spark 语义、调度框架不变的情况下，实现了 TPCDS 2.3 倍的性能提升。

该方案使得企业可以在降本增效的大背景下，充分发挥 Spark 的性能潜力，提高数据处理效率，降低成本。

为探寻这里面的技术细节，将于 6 月 15 日举办的第 58 届 DataFunSummit：OLAP 线上峰会邀请到百度智能云大数据平台部资深工程师张志宏，前来分享题为《基于 Native 技术加速 Spark 计算引擎》的精彩内容，扫码报名，免费参会。

扫码免费报名

张老师在大数据领域的经验十分丰富。他于 2007 年硕士毕业于中山大学数学与计算科学学院，2013 年加入百度，在百度期间一直从事大数据相关工作，参与了百度大数据平台建设、大数据私有化、公有云等相关项目，最近重点推进 Spark 性能优化相关工作。他将要分享的核心内容如下——

推荐文章

纪念币预约信息 · 开始预约！一二五分纸币！10张9.9包邮！

4 小时前

纪念币预约信息 · 开始预约！国色天香彩色银币，龙头币！

3 天前

纪念币预约信息 · 下一站！马年纪念币、马年纪念钞！

3 天前

小易说钱 · 团购！2008年奥运公斤银币！仅20枚，贴银价抢！

3 天前

纪念币发行信息 · 重磅！2025新版100元纸钞发行！开始预约！

3 天前

纪念币发行信息 · 重磅！2025新版100元纸钞发行！开始预约！

3 天前

环球时报 · 国家出手了，你的共享单车“押金”再也丢不了！

7 年前

创业投资最前线 · 腾格尔、杨澜饭局被拍了，居然如此惊艳…

7 年前

生态梦网 · 滨海新区7月房地产市场报告：新房供应不足，二手房量价齐涨

7 年前

亿欧网 · 搜狐20年，张朝阳犯了什么错？

7 年前

科学家庭育儿 · 只有一种办法，可以解决丧偶式婚姻

6 年前