之前给大家分享过一篇
介绍全球树冠高数据的文章
,数据来自Meta,通过AI模型制作,分辨率达到了1米。
我下了一晚上,怎么越下越多,然后仔细看了一下,足足有14TB,看来我还是不够尊重1米分辨率这句话,好在还有一个小版本的供我们选择……
(最后附百度云下载链接……)
查看文件夹大小
使用 -human-readable 可以查看文件和大小。
aws s3 ls --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/ --summarize --human-readable
其中前缀带 PRE 的表示文件夹,其中 PRE alsgedi_global_v6_float/ 里面才存放着全球的树高栅格数据,需要进入文件夹统计大小。
PRE /
PRE California/
PRE alsgedi_global_v6_float/
PRE alsgedi_global_v6_float_epsg4326_v3_10deg/
PRE models/
PRE sao_paulo/
PRE subsaharan_africa/
里面还有一个 chm 文件,存储的就是各个栅格切片,格式是 tif,使用以下命令检索文件、统计大小:
aws s3 ls --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/chm/ --summarize --human-readable
结果有14.5TB!是海怪不自量力了,告辞。
(还有转机嘛?)
10度小版本
可以下载小版本嘛。
在目录里面有这样一个文件夹
PRE alsgedi_global_v6_float_epsg4326_v3_10deg/
,好像表示10度的小版本,我查了一下,这个版只有716.4GB,虽然依然很大,但至少能接受了。
检索文件、统计大小:
aws s3 ls --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float_epsg4326_v3_10deg/ --summarize --human-readable
另外10度的栅格数据有9种,好吧具体每种的含义我也不太清楚,如果只要一种数据集的话,只需占用79.9G。
我这边打算下载后缀为avg的数据(还是低估了,有170多G)。
使用筛选条件下载特定文件
可以使用
--exclude
和
--include
选项来筛选下载特定的文件。
下载命令行如下:
aws s3 cp --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float_epsg4326_v3_10deg/ \\Hygnic2\g --region us-east-1 --no-sign-request --recursive --exclude "*" --include "*avg.tif"
其中 \Hygnic2\g 表示局域网地址,你可以用本地地址替代。
如果你在使用AWS CLI从S3下载数据时中断了下载,可以使用
aws s3 sync
命令继续下载。AWS CLI具备断点续传的功能,它会自动跳过已经下载的文件,不会覆盖已经下载完成的文件。