作者:云仧。
零一电商数据学院现第4期学员,学籍学号4014。
目前就职于某品牌运营岗位
前言
虽是长图文,看似麻烦,操作两次之后,即可快速解析生意参谋中的30天趋势类数据。
当然,用某付费工具箱也可以快速获取,这里不是广告,所以不多介绍。
本文中的思路,也可以尝试用在生意参谋中的其他类型的数据获取、以及直通车点击详情的获取。
伸手党可以直接拉至文章最底部,找到表格下载的网址下载使用也可。
小科普:
JSON
JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript 的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。(详见百度百科:https://baike.baidu.com/item/JSON/2462549?fr=aladdin)
因为JSON语言简单易用,所以被广泛应用在网页数据传输过程中,在生意参谋中也不例外。
在做电商运营的过程中,出于不同的目的我们总是需要获取生意参谋中的数据,而方法也是各有千秋。零一老师曾经发表一篇用零一工具箱安全获取生意参谋中竞争对手的数据的方法(
详见:http://mp.weixin.qq.com/s/vc9jzFwwMo8wnKKDImLfhA
)
最近又发表了一种通过另存生意参谋数据网页到本地然后用Excel中的PowerQuery解析的方法(
详见:http://mp.weixin.qq.com/s/MTi3w7nbKa6_urv_7WtIYQ
),但有一些数据是比较难以获取到的,比如竞争对手数据中的最近30天的商品趋势,如下图所示:
接下来,就以获取这里的数据为例,来分享一下我获取这里数据的方法。这里先介绍一下需要用到的软件环境:
一、以下方法是用Chrome(谷歌浏览器)为例介绍的,需要用到开发者模式,其他的浏览器暂未试过,如果感兴趣的可以自行尝试,这里不做介绍;
二、以下方法中获取到的数据有两种解析方法:第1种是用Microsoft Office 2016中的Excel中的Power Query解析;第2种是通过网站在线解析成Csv格式,然后下载后用excel编辑即可(网址为 https://json-csv.com/ )。
闲言絮完,言归正传
。
第一步,
找到目标宝贝的商品趋势
用chrome浏览器登陆生意参谋,并在市场->商品店铺榜->品牌粒度选取自己的要获取的竞争对手的品牌及类目找到对应的单品,然后点击“查看详情情”,如下图所示,按照箭头顺序一步一步点击就好:
第二步:找到JSON数据
在打开的竞争单品的页面中,按F12键调出Chrome的开发者模式,会在右侧弹出的开发者界面,按照下面的箭头顺序依次点击Network标签,并找到XHR标签.
此时这个标签下是没有文件的 ,因为我们是在网页已经打开了之后才打开的开发者模式,所以在开发者模式下并没有检测到网页对服务器的请求及返回数据,这时需要我们按一下F5刷新一下页面(或者在网页上点击右键,选择重新加载)。
此时浏览器会重新想服务器请求数据,这时我们会检测到一部分数据请求的返回结果。
如下图所示,可以在左侧的列表中
是否有下图中左下角红框圈中的
listItemTrend.json文件,如果有这个文件,就可以跟着箭头指引的方向,点击Reponse 按钮,查看服务器回应的数据,这里单击内容,按Ctrl+A全选,就可以得到服务器返回的JSON格式的30天销量数据 。
如果不太好找的话,可以直接在红点下面的方框中输入Trend(既:趋势),这样列表中有没有这个文件就更容易识别了。
但比较麻烦的是,这里的数据点击一次刷新网页可能还不能找到这个
listItemTrend.json文件。
因为这个文件包含的是30天数据,如果网页判定此次刷新这里的数据不会发生变化,就不会请求这部分的数据,所以我们检测不到。这时就需要我们尝试更改数据周期,之后再次刷新。如下图:
更改完周期之后,我们再次刷新或者重新加载数据,一般情况下都会找到这个文件的 ,如下所示:
在找到这个文件之后,我们可以在这个
listItemTrend.json文件一下,然后在右侧的Response标签中全选复制下面的数据,也可以双击这个标签,浏览器会在一个新的标签中打开这些数据,同样的,在内容区域按
Ctrl+A全选
。
如果刷新多次,还是依旧,没有找到这个listItemTrend.json文件怎么办呢 ?不要急,还有办法,那就是在浏览器缓存中查找。这有一个前提,就是缓存中的数据比较少,或者说在这次打开浏览器之后浏览的页面比较少,这样我们才容易找。
如果之前浏览了很多文件,产生了较多的缓存,我们还可以按快捷键Ctrl+Shift+Delete,三个按键同时按下,这里会弹出删除浏览器缓存的页面,清理一下缓存,再次打开我们要复制的商品趋势页面,然后在浏览器中新打开一个标签.。
在输入网址的地方输入
chrome://cache
,即可打开谷歌浏览器的缓存目录,这里我们用搜索的方式来搜索我们要找的文件,按Ctrl+F,浏览器右上角会弹出搜索框,在搜索框中输入trend,即可搜索我们要找的目标:listItemTrend.json (trend 即为“趋势”的英文)。
单击上面第一条的这个网址之后,是这样的 :
这时我们需要把上图中蓝色方框权重的部分删除,然后再按回车键,即可得到我们想要的数据如下图所示:
第三步:解析JSON数据
在第二步中得到的JSON格式的数据之后,我们还需要做一次解析,即可得到我们想要的销量数据 。
方法A:
这是比较容易上手的解析方式是在前面提到的
https://json-csv.com/
这个网站中解析,可以将json数据解析为Csv文件即可。
在其他的地方得到的JSON格式的数据都可以在这个地方尝试解析,目前经过少量数据的测试,都是可以解析成功的,而且不要求必须使用Microsoft Office 2016软件。
操作步骤如下:打开网站
https://json-csv.com/
,然后将前面我们得到的数据,粘贴到网页中的方框中,等待网页解析后下载即可 。
下面是解析后的界面:
然后点击上图中的Download,下载,用excel打开,然后即可得到如下的数据 :
上图中,我们在左侧单元格中输入数据的开始时间,填充日期这种简单的事情这里就不说了。其中红框圈出的部分英文,对应的意思分别是:
payByrRateIndexList:支付转化率指数
payOrdCntList:支付子订单数
payItemQtyList:支付件数
方法B:用Office Excel 2016中的Power Query解析。
时间有限,这里就不在深入拓展了,我把自己做的生意参谋商品趋势解析的Excel文件共享出来(百度网盘 https://pan.baidu.com/s/1gfphyoz )
下载打开之后将上文中第二步得到的数据粘贴到A2单元格中,并在下方的表格中,右击鼠标,选择刷新即可得到需要的数据。日期列这里用了Today函数,自动计30天。
因为写好的代码中包含了更改商品趋势中标题的名称所以第一版的表格仅支持商品销量趋势的解析。
在写本文的时候,将更改标题名称的代码做了删除,另做了一个解析流程,可以试试用来解析其他的30天趋势类数据,比如流量趋势等。
但是,也仅仅支持如下图这种30天趋势类的JSON格式的内容。
2017年12月18日更新:
上述方法发布后,接到不少反馈说这个listItemTrend.json文件比较难获取,这里为了进一步简化操作.,参照之前零一老师共享的表格,做了一次优化,优化的地方有:
1、不再找这个
listItemTrend.json文件了,我们用生成网址的方式来直接生成一个获取这个json文件的网址来提取数据。
2、日期列,参照零一老师其他表格中的方式,用增加辅助列的形式实现日期在解析过程中添加好并直接生成日期列。
改变:
在生成网址的时候,需要找到这个宝贝对应的cateid、Itemid和token。前两者竞品销量的网址之中即可找到,如下图所示:
itemid位置靠后,把网址拉到最后即可显示出来:
这里插播一条,左侧椭圆红圈圈中的device=0这个参数除了0之外,还有1、2这两数值。
0代表的时全部渠道的销量,1代表的时PC端的数据,2代表的时无线端的数据,如果有需要更改的,可以在excel表格中生成网址的的单元格中自行更改。
下文提供的表格默认的时全部渠道的。如果你拿到的表格的数据跟网页上看到的数据有些许差异,那有可能时设备渠道不同。
token的查找相对而言会稍稍复杂一点点,但也时一点点而已。依旧是在Network标签下的XHR子标签中,随意找一个网址中都包含的有token的值,这个值跟cookie一样,都是有一定时效的,如果一直在不停的刷新页面,这个值会用的久一点,如果几分钟没有操作,cookie和token就会失效,这也是刷新网址之后需要重新登录的时候。
(
隐私相关,这里抹掉其中2~3位)
这里如果不太容易复制的话,可以任意点击一个连接,然后在右侧,选Headers,然后拖动右侧滚动条到最底部,也可以找到token值,如下图所示:
记得token的值要完整的复制然后在粘帖到表格中哦!剩余的操作,在Excel表格中有说明,简单的操作即可。
当然如果你有几个甚至十几个竞品数据要抓取的,这里也提供一个批量解析的版本,操作方法,跟单一版本区别不大,只不过是生成网址,保存数据,解析数据分别放在了不同的Sheet中了。
表格下载地址:
百度网盘 https://pan.baidu.com/s/1gfphyoz
其中V2版本中默认抓去的时移动端的销量,V3版本中更改为全部销量了,批量解析中默认的也是全部销量。
《完》
想要系统学习电商数据分析技术,找零一电商数据学院,做最专业最具有技术含量的电商数据分析人才培训,