专栏名称: 城长数据
ArcGIS for Urabn planning.主要面向城市规划专业,通过全方位的ArcGIS技术与方法讲解,达到高效运用ArcGIS ,以辅助城市规划设计及研究的目的。
目录
相关文章推荐
三联生活周刊  ·  为什么越来越多年轻人,会患上突发性耳聋? ·  15 小时前  
新周刊  ·  多少返程打工人,抢着体验春运“红眼高铁” ·  21 小时前  
新周刊  ·  专访徐冬冬:我和尹子维真的很小清新 ·  昨天  
三联生活周刊  ·  胡吃海塞的春节后,不出意外需要喝点熟普了 ·  2 天前  
三联生活周刊  ·  30岁,我得了一种“不死的绝症” ·  3 天前  
51好读  ›  专栏  ›  城长数据

如何抓取腾讯迁徙数据?

城长数据  · 公众号  ·  · 2017-08-03 00:02

正文

某网友提出能不能抓取腾讯迁徙数据。 https://heat.qq.com/qianxi.php

个人觉得该数据的研究意义不大,最多发朋友圈SHOW-SHOW。不过,我还是想和大家分享一下如何抓取该数据,感兴趣的朋友可以自己去编写Python代码。


1、获取迁徙数据及其URL地址。

通过右键检查元素,切换到NetWork,点击 11000016.js?callback= 这条记录,并Preview,可以看到迁徙数据(图1)。而Headers中的Request URL,就是该数据的真实URL地址(图2)。

图1


图2


2、分析URL地址的规则

示例URL地址:

https://lbs.gtimg.com/maplbs/qianxi/00000000/11000016.js?callback=JSONP_LOADER&_=1490242067504

(1)00000000:当前日期,要查询历史日期如2016年10月1日,其规则是20161001。

(2)11000016:前6位是城市编码,与居民身份证中前6位相同。如110000指北京,510100指成都,320500指苏州,百度文库有身份证编码规则可下载。后两位用于判断迁出迁入,06为迁入,16为迁出。

(3)最后13位数字没有意义,可不加。

https://lbs.gtimg.com/maplbs/qianxi/00000000/11000016.js?callback=JSONP_LOADER&_=1490242067504

https://lbs.gtimg.com/maplbs/qianxi/00000000/11000016.js?callback=JSONP_LOADER&_=







请到「今天看啥」查看全文