专栏名称: 生信技能树
生物信息学学习资料分析,常见数据格式及公共数据库资料分享。常见分析软件及流程,基因检测及癌症相关动态。
51好读  ›  专栏  ›  生信技能树

如何通过阿里云的OSS获取测序公司的文件

生信技能树  · 公众号  ·  · 2024-04-18 07:51

正文

随着云服务技术的迅速发展和成熟,现在测序公司正逐渐改变其数据交付方式,从传统的物理硬盘快递转向更为高效和安全的云交付方法。具 体而言,用户通常会收到一个包含AccessKeyId、AccessKeySecret 、预设OSS路径、区域 等信息的OSS的存储空间(Bucket ) 。AccessKeyId和AccessKeySecret是一对密钥,为用户提供了访问云存储空间的权限,确保了数据的安全性和隐私性。通过这对密钥,用户可以通过API调用或提供的客户端软件,安全地连接到云平台,访问指定的OSS路径下载数据。预设的OSS路径是指数据存储的具体位置,用户可以根据这个路径直接定位到其数据。而区域信息则帮助用户选择最佳的网络路径,以实现高速的数据传输效率,减少网络延迟,提升用户体验。

什么是OSS呢

OSS(Object Storage Service)是阿里云的对象存储服务。阿里云对象存储OSS是一款海量、安全、低成本、高可靠的云存储服务,可提供99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。

而不同云服务提供商的对象存储服务名称可能不同。以下是一些常见云服务提供商的对象存储服务名称:

  1. Amazon Web Services (AWS) - 提供的对象存储服务称为 Amazon S3 (Simple Storage Service)。
  2. Microsoft Azure - 其对象存储服务称为 Azure Blob Storage (二进制大对象存储)。
  3. Google Cloud Platform (GCP) - 提供的对象存储服务称为 Google Cloud Storage
  4. 腾讯云 - 提供的对象存储服务称为 腾讯云COS (Cloud Object Storage)。
  5. 华为云 - 其对象存储服务称为 华为云OBS (Object Storage Service)。
  6. 百度云 - 其对象存储服务称为 百度云BOS (Baidu Object Storage)

这些对象存储服务都提供了可扩展、高可用、持久性存储的功能,可以用于存储和管理大量的非结构化数据,如图片、视频、文档等。每个云服务提供商的对象存储服务都有其特定的功能和定价模型,你可以根据自己的需求选择适合的服务。

阿里云的OSS

阿里云对象存储支持多种方法访问其数据 :https://help.aliyun.com/zh/oss/developer-reference/oss-tools?spm=a2c4g.11186623.0.0.47562e28SibP7b

  • 命令行工具ossutil
  • 阿里云CLI
  • 图形化管理工具 ossbrowser
  • 签名工具
  • ossimport
  • ossfs
  • ossftp
  • RAM策略编辑器

访问测序公司交付的测序数据

如果是访问下载数据,可以根据你的需求使用图形界面或者命令行界面,上手都很容易

图形化工具 — ossbrowser

下载安装见 https://help.aliyun.com/zh/oss/developer-reference/install-and-log-on-to-ossbrowser?spm=a2c4g.11186623.0.preDoc.59fa255cQO99Ca

安装后填入相关信息即可登录,找到自己的数据位置即可下载

image.png
image.png

命令行访问 — ossutil

安装及配置

ossutil支持通过Windows、Linux和macOS系统以命令行方式管理OSS数据

wget -c https://gosspublic.alicdn.com/ossutil/1.7.19/ossutil-v1.7.19-linux-amd64.zip
unzip ossutil-v1.7.19-linux-amd64.zip 

#
#配置登录信息
ossutil64 config
配置

stsToken 可以置空,使用STS临时授权账号访问OSS时需要配置该项。

endpoint在这里查询:https://help.aliyun.com/zh/oss/user-guide/regions-and-endpoints?spm=a2c4g.11186623.0.i19#concept-zt4-cvy-5db

image.png

其实也可以直接编辑 .ossutilconfig 文件来配置

$cat ~/.ossutilconfig 
[Credentials]
language=EN
accessKeyID=L******************p
accessKeySecret=S********************k
endpoint=https://oss-cn-qingdao.aliyuncs.com

下载数据







请到「今天看啥」查看全文