大数据文摘作品,转载要求见文末
作者 |Aileen
近日,蚂蚁金服与美国加州伯克利大学近期新成立的RISE实验室达成合作意向。据悉,本次蚂蚁金服和RISE实验室的合作,是对海内外数据技术人才引进的布局。
从AMP实验室在大数据领域取得成果可以看到,其升级版RISE实验室在大数据方面的技术基础以及人才培养与储备都是领域内领先的。此次蚂蚁金服和RISE实验室合作,除了对基础技术深度研究之外,更是对人才长期的持续投资。
加州伯克利大学的RISE实验室可谓大数据领域的明星实验室。机器学习先驱、大数据系统及人工智能等领域的世界顶级专家Michael Jordan和Ion Stoica都是RISE实验室的教授。(点击文末“往期精彩文章”查看RISE实验室机器学习先驱Michael Jordan教授清华演讲汉化视频+PPT:计算思维,推断思维与数据科学)
RISE实验室的前身乃是鼎鼎大名的伯克利AMP实验室,主导研发了当今大数据计算领域最前沿的开源系统:Apache Spark和Apache Mesos。以Apache Spark为例,作为大数据分析处理的计算引擎,它具备 DAG 执行引擎以及基于内存的多轮迭代计算等优势,使得其在数据分析等工作负载上表现优秀,成为大数据领域最活跃的开源项目之一。
加州伯克利大学的AMP实验室于2016年12月转型为新的- RISE实验室。RISE实验室主任Ion Stoica在比利时布鲁塞尔举办的Spark Summit EU 2016大会上说,新的RISE代表“实时智能安全执行“(Real-Time Intelligence with Secure Execution (RISE).),旨在解决分布式计算的下一阶段:“致力于构建开放源代码框架、工具和算法,根据具有更强安全性的实时数据来构建实时应用程序。这一新阶段将主要由两个项目来创新并加强Spark - Drizzle和Opaque。”支持Spark的安全性和实时功能将是RISE的早期驱动项目。
Drizzle项目将旨在将Spark Streaming的延迟减少十分之一,并加强其容错能力;同时,Opaque将为Spark提供更强大的数据加密功能。
从伯克利大学网站上的文档中还可以看到其他的一些研究项目,比如名为Arx的项目,能够对存储在HDFS,S3和NoSQL数据库(如MongoDB和Apache Cassandra)中的加密数据执行查询。”LatticeFlow”,”LatticeKVS”和”Bedrock”是文档中显示的其他三个项目的名称。 LatticeFlow为新的异步数据协调框架提供了核心编程API; LatticeKVS将是用于存储数据的键值存储; 而Bedrock将提供不变的 “地下存储”。” Ground”,目前在伯克利大学正在开发中的一个“数据上下文系统”,似乎也是RISE实验室早期的项目之一。
AMP实验室通过Apache Spark和Apache Mesos的开发提供了重大的开源成功。作为AMP实验室的后续,RISE实验室设想的安全实时决策堆栈 (SRDS)将提供:
◇ 一个分析工具,提供比Spark低100倍的延迟和高1000倍的吞吐量;
◇ 机器学习算法,能够在嘈杂数据上实时产生可靠的结果;
◇ 确保用户隐私和应用程序安全。
RISE未来愿景:大数据计算领域
的五年重大研究计划
RISE实验室的成立,标志着世界顶级计算机科学系在大数据计算领域种下一个五年重大研究计划。这个新实验室专注于下一代大数据计算系统 “Real-Time Intelligence with Secure Execution (RISE)”的研发,世界十一家顶级科技公司成为该实验室的创始成员:蚂蚁金服、谷歌、微软、亚马逊、CAPITAL ONE、英特尔、华为、爱立信、 IBM、VMWare和通用电气。
Ion Stoica 称,“RISE实验室的目标,是通过开发通用的SRDS,大大降低构建这样的解决方案的障碍。 SRDS将使更多的人能够构建复杂的决策和预测分析应用程序,从根本上改变我们与世界互动的方式,并从个人和组织收集的不断增加的数据量释放巨大的价值。”
提供强大的推理模型似乎是RISE实验室将关注的领域之一。特别是当世界走向自动化系统,例如自驾车和人工智能(AI)聊天机器人的现在。
“对实时数据实时决策将导致数据处理中的阶段过渡,类似于从小到大数据的过渡。即使使用传统算法,大数据也能带来显著更好的结果。我们相信,通过快速探索搜索空间并持续适应环境变化,对实时数据的实时处理将带来质上的飞跃。 “Ion Stoica提到。
RISE实验室主任Ion Stoica教授描绘了实验室的使命愿景:解决大规模数据计算中长期未能很好解决的世界难题,机器如何在实时数据环境中快速地做出智能决策。这项技术适用于许多未来场景,从地震监控,无人车/无人机指挥与导航、到网络安全等等,需要在复杂环境交互中做出实时计算决策。
Ion Stoica教授评价本次与蚂蚁金服的合作:“基于最新的强安全数据的智能决策技术将开启一个与数十亿用户息息相关的新应用时代,提高用户的隐私性的同时提供更精准实时的建议。我们非常高兴能与蚂蚁金服合作开发新系统和算法来赋能更多应用和服务,这将从根本上改变人们消费行为并从一系列持续变化的金融、健康、消费、娱乐等数据流中获得价值。”
蚂蚁金服首席技术架构师胡喜说:“蚂蚁金服的核心愿景让全球数十亿普通人享受普惠而便利的金融服务。低成本的实时安全智能决策能力对我们提升客户体验和业务效率都具有极大的价值。我们将与RISE实验室合作共同应对某些基础研究的挑战,提供更创新和智能的金融服务。”
此前,蚂蚁金服和清华大学、同济大学等高校就基础科研进行了合作。本次和UC Berkeley的合作向国际高校基础科研合作迈出了第一步,旨在结合双方资源优势,进一步拓展与升级合作的领域及范围,深化高科技人才的培养与合作交流,共同探索数据技术人才培养的新模式与新机制。该项合作的背后是对高科技人才尤其数据技术人才的极度渴望。
如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 |bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:[email protected]。
回复“志愿者”了解如何加入我们
独家 | 机器学习先驱Michael Jordan清华演讲汉化视频+PPT:计算思维,推断思维与数据科学