专栏名称: TechTarget
全球领先的企业级IT网络媒体!
目录
相关文章推荐
黑龙江省商务厅  ·  听民意 汇民智:政府部门与代表委员的“高效联动” ·  2 天前  
黑龙江省商务厅  ·  听民意 汇民智:政府部门与代表委员的“高效联动” ·  2 天前  
36氪  ·  马自达6,卒于2025 ·  2 天前  
爱范儿  ·  M4 MacBook Air ... ·  3 天前  
51好读  ›  专栏  ›  TechTarget

遇到Hadoop性能问题很头疼?监控集群很重要

TechTarget  · 公众号  · 科技媒体  · 2017-07-20 10:00

正文

TechTarget 原创

如果查询没有得到适当地调整或工作负载不均衡,那么大数据系统中的处理可能会变得很慢,这些问题需要对集群进行仔细地监控。 大数据系统中,数据并非唯一需要管理的内容。数据科学家和其他用户所运行的查询也必须进行监控,以确保他们不会在Hadoop和Spark集群中陷入困境。


Hadoop性能问题成为英国电信集团的一个痛点,因为随着生产应用程序开始激增,它的数据湖环境在2016年初开始迅速增长。这家总部位于伦敦的公司的业务洞察和分析架构主管Jason Perkins表示:“我们的用户需求已经达到一个峰值。”


(图片来源于网络)


Perkins说,最终,通信和电视服务提供商不得不“关闭”几个月内的新用户,同时向Hadoop系统增加了更多的计算节点。他补充说,平衡大数据处理工作中非常复杂的工作量仍然是一个挑战。英国电信计划将集群中的应用数量从4月份的100个增加到年底的500个,这可能是一项更大的挑战。

01

解决Hadoop查询的问题


LinkedIn公司在Hadoop和Spark环境中也遇到了类似的问题,该公司已经在数千个用户访问的多个集群中成长为超过1万个节点。是LinkedIn的高级工程师及Hadoop开发团队的负责人Carl Steinbach说,公司发现,如果个人工作没有得到适当的调整,整体的处理性能将会受到影响。


(图片来源于网络)


起初,Hadoop团队试图通过与用户会面来审查建议的查询并建议更改,从而避免这些问题。但Steinbach说,“这可能需要几周的时间,然后用户不得不重新排队等待另一个会议。对他们和我的团队来说,这都浪费了很多时间。”

为了加速这一过程,LinkedIn开发了一款名为Dr. Elephant的工具,它可以监控Hadoop的性能,并识别出有问题的大数据查询。Steinbach解释说,基于网络的工具在自己的集群节点上运行,不断地分析系统日志,找到有问题的工作进程,然后提供解决问题的建议。

在追踪查询时,Dr. Elephant提供了一种“ 软治理模式 ”,Steinbach说,“它确实让我们看到了集群中发生的事情。每个人都有自己的看法,这激励着人们去做正确的事。”

软件供应商Pepperdata今年增加了一个基于Dr. Elephant的产品,用于管理Hadoop集群并管理其使用的一套工具。许多其他商业和开源集群管理工具也可从大数据平台供应商(如Cloudera和Hortonworks)以及类似于Pepperdata的第三方软件开发人员获得。







请到「今天看啥」查看全文