背景
11月10日，具有计算奥运会之称的 Sort Benchmark 全球排序竞赛公布了2016年最终成绩，腾讯云大数据联合团队用时不到99秒（98.8秒）就完成 100TB 的数据排序，打破了阿里云去年创造的329秒的记录。在更早前，百度创造的纪录是716秒，Hadoop 的记录是4222秒。
在这次竞赛中，腾讯云数智分布式计算平台，夺得 Sort Benchmark 大赛 GraySort 和 MinuteSort 的冠军，这也体现了腾讯云数智分布式计算平台在数据处理上的优越性能。在竞赛结果公布之后，InfoQ 也对腾讯云大数据联合团队进行了采访，从技术层面报道腾讯云数智分布式计算平台的实现原理，以及竞赛结果所带来的长远意义。
关于腾讯云大数据联合团队
此次参赛的腾讯云大数据联合团队是由腾讯云存储产品中心、腾讯数据平台部组成，这个团队在大数据技术和应用管理上有丰富的实践经验，尤其是腾讯数据平台部一直在管理的腾讯大数据集群，是世界上最大的大数据集群之一。多年的技术积累，再加上团队不断的苦练内功，都为整个团队在全球计算奥运会上取得瞩目成绩打下了坚实的基础。
解析腾讯云数智分布式系统软件架构
对于腾讯云分布式系统软件架构，可以从海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等，以及硬件架构能力，包括服务器硬件选配、网络架构调优、IDC 规划建设等角度来进行剖析。
在硬件和网络方面，分布式系统采取了 IBM 的 PowerPC 和迈络思的 100Gb 网络技术，机器配置选型如下：
网络架构采用了三层架构：
腾讯云大数据服务的实时计算平台能提供单集群上千台规模实时流式计算，在数据存储方面，支持多重数据备份，万亿数据的存储能力。在任务调度方面，支持百万级任务的毫秒级调用。而且支持故障节点自动发现、自动剔除、业务自动迁移、关键节点主从热备，以及故障秒级切换。
本次竞赛中的排序分为 Partition、Shuffle 和 Sort 三个阶段：
-
Partition 阶段，从本地磁盘中读入分片的输入数据，然后对输入数据进行 Range Partition 操作，将数据进行无重叠区间的分片，Range Partition 结束后，输出按照 Range 大小排序的 Range File。
-
Shuffle 阶段，将按照 Range 大小排序的 Range File 文件发送给对应的 Sort 程序。
-
Sort 阶段，Sort 任务等待所需的数据都到齐了，就启动基于基数排序的排序操作，将排序结果写入磁盘。
Partition 和 Sort 阶段是并行执行的，待 Sort 完成后，输出多个排序文件，由于 Shuffle 的时候已经按照 Range 大小进行了排序，最终输出的排序文件在全局是有序的。
软件算法优化
参加这次比赛，腾讯云在软件方面也做了不少优化，重点如下：
1.此次比赛，腾讯云参加了 GraySort 和 MinuteSort 二个大项的比赛，GraySort 比拼的是完成 100TB 的数据排序的耗时，主要评测的是系统对大规模数据的处理能力，MinuteSort 比拼的是1分钟内的排序数量，主要评测的是系统的效率。
为了在1分钟内完成尽可能多的数据排序，系统任务调度的开销不容忽视，调度效率显得尤为关键，在系统上消耗的时间越少，越利于比赛成绩的提高。得益于平台强大的调度能力，团队在1分钟内完成了 55.3TB 数据的排序，是之前最好纪录的5倍。腾讯云的调度系统曾做了大量的优化，在腾讯的内部系统上，每天调度达2亿次，在海量系统上得到了验证。
2.内存存储的最大化利用，在排序过程中的中间数据，尽量存储在内存中，当内存中数据达到一定阈值，快要占满整个内存空间的时候，才会启动向磁盘中写入数据，最大化利用内存存储。而腾讯云的系统具备调度感知的能力，当系统内存充足的时候，会让该环节的计算任务完全在内存中完成计算，无需落地到磁盘，极大的提升了系统的处理能力。
值得一提的是，腾讯云数智提供的强大数据分析与挖掘探索能力，多维分析引擎可在数秒内完成在亿万级数据、万级维度量级下的分析作业。除了数据分析引擎，数智还囊括了机器学习引擎，内置的算法库均经过腾讯海量数据的训练实操，支持图计算、高性能并行计算、深度学习等。
