专栏名称: 优阅达大数据生态
大数据,大未来 建立合作,充分共创,形成丰富的大数据生态
目录
相关文章推荐
开发者全社区  ·  龙太子的瓜 ·  22 小时前  
进出口银行  ·  助民企 赋新能 | ... ·  昨天  
开发者全社区  ·  一顿饭42w ·  昨天  
开发者全社区  ·  华科大老师的公积金!! ·  3 天前  
51好读  ›  专栏  ›  优阅达大数据生态

2019 优阅达“峰会干货帖”系列 | 性能慢?你的 Tableau Queries 都被优化了吗?

优阅达大数据生态  · 公众号  ·  · 2019-10-10 19:26

正文

关注我们 关注Tableau



2019 优阅达 Tableau 数据峰会圆满结束,后续福利来了! 我们将展开 『2019 峰会干货帖』 系列的推送,为各位数据粉分享精彩的峰会主题干货。 请持续关注微信公众号,以便及时接收消息。


对于数据分析人士来说,Tableau 性能优化一直是备受关注的话题。那么, 是什么原因导致 Tableau 性能变慢? 如何正确追踪 Tableau 性能记录? 如何制定性能调优方案?

Tableau 客户解决方案高级顾问 Kevin 老师 在深圳峰会现场的分享,为颇受 Tableau 性能困扰的数据 Fans 们带来更多解决思路!今天,我们将他的分享整理成文字,一睹为快吧!


辨识重点概念: 性能是什么?

举个最简单的例子,假设现在有 100 万条的数据, 每一条数据都有 10 个字 段,对应到实体的一个文档可能是 100 MB,把这 100 MB 从电脑丢到数据库要花多少时间?


其实我得到的答案非常多,曾经有碰到过在银行里还在玩大型主机的,给我的答案可能是需要半小时。


也有遇到比较伟大的企业(例如腾讯、华为),他们认为无论是什么东西都是 3 秒内做完,因此我拿到的答案是 3s 到 0.5h 。

从上述例子中,你就发现每个人对性能的认知差异都很大。 性能这个问题有三朵云的特性:“众说纷纭、人云亦云、不知所云”,因为大家对性能这两个字的认知是不同的。


所以,我们不应该谈性能,而应该探讨性能基准,也就是在什么特定情景下你认为要达成什么样的速度。因为情景不同,速度也会截然不同。 单纯谈性能是没有意义的,必须要先决定你在什么特定情景下的基准,有了性能基准才知道性能的问题点所在。


探索问题点: 性能如何调优

在进行调优之前,我们需要追溯问题的起因,可以通过以下 3 种方式进行探索:

0 1
性能记录


创建性能记录工作簿,使用此结果来辨识性能问题,并据此提高工作簿性能。

记录各工作簿事件所花费的时间,主要分为以下 7 个步骤:连接到资料源、执行查询(及其 SQL 或 VizQL)、生成资料提取、地理编码、数据融合、计算布局、服务器渲染。 通过这些步骤,可以理清楚问题是出在数据源还是出在 Tableau 上。


Tableau Daektop 和 Tableau Server 均可创建性能记录。 以 Desktop 为例,在 “ 助” 菜单 下选 择 “ 设置与 能”选项,可以启动性能记录(Pe r for mance Recording)。


性能记录下来后将有 3 个主要的指标,可供我们观察每个事件所花费的时间。

时间表 (事件所花费时间的详细情况)


事件 (所有事件所花费的时间排序),可看到在这个仪表板中是哪个特定事件影响到整个 Viz 的表现。


查询 (点选查询可以知道执行的具体 Query )


▍性能纪录 -案例展示 ▍

客户问题: 客户打开报表时间过长,需要 5-10 分钟,这已远远超过高层查看报表耐心等待的时长。

解决方案:

通过性能记录可以看到大部分的时间都花在了性能上。大部分的查询都是 17-72 秒,且查询的次数有几百个。所以问题点明显是出现在数据库上。



随后经过与客户技术团队讨论,客户在不到 2 天的时间内,做了一些修正。原本需要 72 秒的查询降低到了 15 秒。



但客户希望查询可以秒速进行,再经过第二次的调校后,最后查询的时间从 72 秒变为 15 秒,最后变成 1.52 秒。 我们现在可以看到,花费时间最长的事件不再是查询,而是变成了地图。 地图需要网络响应,这取决于企业所使用的网络频宽。



以上这个案例,仅花费 8-10 天就解决了响应速度较慢的状况。通过性能记录,可以非常简单快速地找到问题所在,从而找到解决方案。


0 2
Tableau Desktop 日志

如果 Viz 的最终性能还是不够好,那么通过 Tableau Desktop 日志找到更精确的问题根源,方便我们更好对症下药。

▶ 日志存储位置:

Tableau Desktop 储存日志于“Logs”子目录,位于 “My Tableau Repository” 目录下
▪ Windows 系统下的日志存储路径:
C:\Users\ \Documents\MyTableau Repository\Logs\

▶ 日志格式类型:


日志主要是 JSON 格式的文件,由 4 种类型组成:log、hyperd、tabprotosrv。


▶ 日志包含的内容:


但是肉眼从日志中查找非常不方便,所以我们可以 通过 Tableau Log Viewer (Tableau 日志查看器) 这个跨平台工具,快速浏览 Tableau 日志文件。



Tableau 的 github 网站链接: https://github.com/tableau/tableau-log-viewer 网站上提供了将近 30 个开源的小工具。 这些小工具非常有用,而 Tableau Log Viewer,将会帮助你非常简单快速地看到你在 Tableau 中所有的操作细节。


0 3

其他辅助工具


Tableau Server 监控/性能调查工具:
Tableau Server Status、TabMon、Logshark、query-graphs、Tabjolt、Process Explorer(微软旗下)、TCPView 等。


结语

🔘 关键在性能意识和性能基准: 在什么样的环境下,什么样的速度是对的? 当有了性能基准,才会产生性能意识。 如果你有性能意识,性能不是调教出来的,而是设计出来的。

🔘 弹性+性能+知识: 如果 你有知识就知道,在不花钱的情况下怎么调,花钱的情况下怎么调。


Tableau 性能调优咨询服务
如果短时间内无法累计足够的知识,可以联系我们寻求可行性建议与性能优化解决方案:

Tel: 400 998 0226
QQ: 2851711750
Email: [email protected]


本期 『 2019 峰会干货帖』分享到此结束,欢迎持续关注本系列。如希望我们分享你所感兴趣的主题,可在本帖下方留言,或在后台联系我们。





欢迎报名 Tableau Workshop


10 月,我们将在 广州






请到「今天看啥」查看全文


推荐文章
开发者全社区  ·  龙太子的瓜
22 小时前
开发者全社区  ·  一顿饭42w
昨天
开发者全社区  ·  华科大老师的公积金!!
3 天前
水木文摘  ·  能让这个世界快乐的,只有你自己
8 年前
健康养身  ·  元宵节,送给亲人的问候!
8 年前
晚安少年  ·  男生调教懂事女朋友有哪些绝招?
7 年前