360互联网训练营第十四期——大数据技术开放日

在大数据时代的潮流中，数据存储与分析在价值创造过程起着越来越重要的作用。本次大数据技术开放日邀请 360、快手、人人车 多位大数据专家，现场分享 数据存储、数据分析、分布式调度 等方面的技术实战经验。

分享嘉宾：郑扬

内容介绍：

在大数据时代的潮流中，数据分析在价值创造过程起着越来越重要的作用。然而多种多样的数据存储方式使得数据分析过程中需要学习的成本越来越高。360大数据分析引擎也历经几次的架构调整和演进，从最开始的单一数据源查询，最终发展为集多种展现方式为一体的多数据源混合查询。本次分享将会介绍360大数据中心数据分析平台架构的演进、遇到的问题以及具体的应用场景。

分享嘉宾：赵健博

内容介绍：

快手每天都有海量的视频数据上传存储，到目前为止所有的视频以及衍生数据总量更是数量庞大，且视频本身有大有小，如何存储这些数据将是一个颇具挑战性的问题。本次演讲将会介绍一种可以快速构建海量短视频存储的服务的方案、我们在实践中遇到的问题以及解决方案，例如我们是怎么解决高可用、高扩展性、高性能等问题的。

分享嘉宾：吴水永

内容介绍：

• 自研SQL级别web IDE实时计算平台；

• 自研DataX Clickhouse数据同步方案（hdfs => Clickhouse，odps => Clickhouse）；

• 自研数据工单化平台打通log、mysql、阿里云MaxCompute等异构数据源，以及数据调度服务；

• 自研千万级别毫秒级别的报表平台，及移动端的数据报表平台实践

分享嘉宾：刘彤

内容介绍：

本次分享主要介绍在分布式调度系统中的数据化运营的整体设计方案，重点描述集群和集群节点状态可视化管理、基于调用链的性能监控等。