专栏名称: 走天涯徐小洋地理数据科学
一个爱生活的地理土博,分享GIS、遥感、空间分析、R语言、景观生态等地理数据科学实操教程、经典文献、数据资源
目录
相关文章推荐
Python爱好者社区  ·  DeepSeek又爆了。。。 ·  15 小时前  
Python爱好者社区  ·  今年程序员这薪资是认真的吗? ·  昨天  
Python爱好者社区  ·  Python接入DeepSeek,太强了! ·  2 天前  
Python爱好者社区  ·  机器学习全书 ·  3 天前  
Python爱好者社区  ·  梁文锋导师项志宇引关注,个人主页满满都是对团 ... ·  3 天前  
51好读  ›  专栏  ›  走天涯徐小洋地理数据科学

爬取永久基本农田图斑数据方法

走天涯徐小洋地理数据科学  · 公众号  · Python  · 2024-11-05 18:00

主要观点总结

这篇文章介绍了如何批量爬取永久基本农田图斑数据的方法,包括步骤和使用的工具。文章提到的方法已经失效,但原理可应用于其他网站。同时,作者分享了GitHub上的公开代码和视频说明。

关键观点总结

关键观点1: 永久基本农田网站已加密,爬取方法已失效

文章指出永久基本农田网站已经加密,之前使用的方法不再有效。

关键观点2: 以前的爬取方法

在网页端可以直接获得坐标信息并写入本地。具体步骤包括打开永久基本农田查询平台,使用F12键获取图斑的真链接,模拟网络请求获取数据。

关键观点3: Python代码实现

需要使用Python代码来控制请求过程,批量获取不同的图斑信息,并将获得的坐标信息写入本地数据库。

关键观点4: 公开代码分享

作者分享了GitHub上的公开代码,该代码通过范围请求来爬取基本农田图斑数据。

关键观点5: 视频说明和GIS资讯

文章还提到了视频说明和GIS资讯的分享,包括GIS荟制图工具箱和全球地形渲染教程合集。


正文

给大家分享批量爬取永久基本农田图斑数据的方法,简单介绍一下。

截止 2024/11/4,永久基本农田网站已加密, 该方法失效了 ,但不失效我是不会分享的。

虽然失效但原理都差不多,其他很多网站都用的上。

(最后有视频)


获取几何信息

在以往(两周前)没有加密的时候,在网页端可以直接获得坐标信息,并写入本地,如以下说明:

步骤1

打开永久基本农田查询平台

  • https://yncx.mnr.gov.cn

步骤2

点击F12,在地图上点击,若该区域有永久基本农田地图就会显示图斑,同时浏览器“网络”栏可以获取到图斑的真链接:

  • https://yncx.mnr.gov.cn/7H8i9J0k1L2m3N4o5p6Q7R8s9T0u1V2w3X4y5Z6/queryResults.json?returnContent=true

网页端会返回图斑的 json 对象,进入 Preview 界面可以看到 json 文本中有大量信息,比如字段、坐标系、甚至是几何坐标信息。

而这个几何坐标信息就很关键了,获取几何点坐标后,就可以构建出矢量图斑。

步骤3

模拟网络请求获取数据。

Python 通过 requests 包模拟网络请求,请求过程可以控制 json 文本中的SMID来批量获取不同的图斑信息。

然后把获得的坐标信息写入本地数据库。

这里就需要写大量的 Python 代码来实现整个操作了。

(再次说明这些操作方法在现在的永久基本农田查询平台上已失效)

Github代码

我之前使用的代码就不公开了,不过网上有一个公开版本,这里分享给大家。

  • https://github.com/tangffntr/yncx

这个代码是通过范围请求,爬取基本农田图斑数据。

视频



视频说明,更清晰版本见B站。









请到「今天看啥」查看全文


推荐文章
Python爱好者社区  ·  DeepSeek又爆了。。。
15 小时前
Python爱好者社区  ·  今年程序员这薪资是认真的吗?
昨天
Python爱好者社区  ·  Python接入DeepSeek,太强了!
2 天前
Python爱好者社区  ·  机器学习全书
3 天前
电影票房  ·  2017年2月电影票房大数据报告
7 年前
中国安全生产网  ·  工人不爱戴安全帽?给他看这个试试!
7 年前
实验万事屋  ·  我沉溺于文献的海洋无法自拔
7 年前
PPT研究院  ·  独门心法,教你如何搞定你的PPT!
7 年前