滴滴出行的数据架构和信息流处理思路解析

截止到今年7月，滴滴注册用户已超过 5.5亿 ，年运送乘客达 100亿人次 ，每日处理数据 4875+TB ，日定位数超过 150亿 ，每日路径规划请求超过 400亿 次。

面对庞大的数据量，滴滴的实时计算、数据存储和数据清洗都基本做到了行业典范。下面我们来了解一下滴滴的 数据库框架设计 。

1、通过binlog方式实时梳理业务库高QPS压力2、内置源码模块，细粒度监控Spark作业，失败及时邮件报警

3、覆盖源码自定义数据源加载，从源头进行列剪枝

4、自定义维护Kafka的偏移量管理，实现exactlyonce

5、实现前后端rest接口的开发规范

关于项目模块搭建的部分，前后端模块是分离的：后台使用一套环境，前端按照系统分开两个WEB项目(一个是订单数据监控系统，一个是出行数据运营系统)进行数据展示。

关于项目平台搭建（Cloudera），分为以下三部分：

1、Cloudera的服务搭建

2、Cloudera的Hadoop生态搭建

3、Cloudera的分布式消息系统搭建

关于业务库高并发解决方案介绍和架构实现，以及项目common模块的开发实现， 这里有一份 滴滴出行人才培养计划 的课程大纲。课程里结合了很多滴滴智能出行场景，也结合了 滴滴用来培养大数据方向人才 的逻辑。

建议大家仔细阅读一下 ，同时也可以学习一下 滴滴处理一些数据业务时应用的技术 ！

课程将严格遵守滴滴出行的数据安全标准， 本培养计划中 订单、车辆分布 和收入 总数等数据均 采用 模拟数据集实现 ，此类功能点在大纲中 用*标注 。

• 有两年以上 Java 编程经验；
  

• 有一定的 大数据技术 与 分布式系统 的理论基础；

• 有较强的思维逻辑能力，能应对复杂业务场景处理。

参加过培养计划的学员将收获

滴滴出行人才培养计划是与后厂理工学院合作的，也旨在筛选和培养出更具有 实战能力 的数据工程师。 而Boss直聘