专栏名称: 小猿猴GISer
GIS遥感交流学习
目录
相关文章推荐
三个妈妈六个娃  ·  DeepSeek出现后,又一大批家长放弃了鸡娃 ·  18 小时前  
科学家庭育儿  ·  西贝99元到手7件!直接薅!门店爆款美食,大 ... ·  昨天  
小众软件  ·  现在就能用,免费满血版 ... ·  2 天前  
51好读  ›  专栏  ›  小猿猴GISer

14TB?!!!对不起打扰了,这就滚回去,另附更好的下载方式【全球树冠高度数据】

小猿猴GISer  · 公众号  ·  · 2024-07-11 18:18

正文


之前给大家分享过一篇 介绍全球树冠高数据的文章 ,数据来自Meta,通过AI模型制作,分辨率达到了1米。

我下了一晚上,怎么越下越多,然后仔细看了一下,足足有14TB,看来我还是不够尊重1米分辨率这句话,好在还有一个小版本的供我们选择……

(最后附百度云下载链接……)

查看文件夹大小

使用 -human-readable 可以查看文件和大小。

aws s3 ls --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/ --summarize --human-readable

其中前缀带 PRE 的表示文件夹,其中 PRE alsgedi_global_v6_float/ 里面才存放着全球的树高栅格数据,需要进入文件夹统计大小。


                       PRE /
                       PRE California/
                       PRE alsgedi_global_v6_float/
                       PRE alsgedi_global_v6_float_epsg4326_v3_10deg/
                       PRE models/
                       PRE sao_paulo/
                       PRE subsaharan_africa/

里面还有一个 chm 文件,存储的就是各个栅格切片,格式是 tif,使用以下命令检索文件、统计大小:

aws s3 ls --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/chm/ --summarize --human-readable

结果有14.5TB!是海怪不自量力了,告辞。

(还有转机嘛?)

10度小版本

可以下载小版本嘛。

在目录里面有这样一个文件夹 PRE alsgedi_global_v6_float_epsg4326_v3_10deg/ ,好像表示10度的小版本,我查了一下,这个版只有716.4GB,虽然依然很大,但至少能接受了。

检索文件、统计大小:

aws s3 ls --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float_epsg4326_v3_10deg/ --summarize --human-readable

另外10度的栅格数据有9种,好吧具体每种的含义我也不太清楚,如果只要一种数据集的话,只需占用79.9G。

我这边打算下载后缀为avg的数据(还是低估了,有170多G)。

使用筛选条件下载特定文件

可以使用 --exclude --include 选项来筛选下载特定的文件。

下载命令行如下:

aws s3 cp --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float_epsg4326_v3_10deg/ \\Hygnic2\g --region us-east-1 --no-sign-request --recursive --exclude "*" --include "*avg.tif"

其中 \Hygnic2\g 表示局域网地址,你可以用本地地址替代。

如果你在使用AWS CLI从S3下载数据时中断了下载,可以使用 aws s3 sync 命令继续下载。AWS CLI具备断点续传的功能,它会自动跳过已经下载的文件,不会覆盖已经下载完成的文件。







请到「今天看啥」查看全文