专栏名称: 51CTO技术栈
有趣 | 有料 | 有内涵,为您提供最优质的内容,愿我们一起悦享技术,成就人生。
目录
相关文章推荐
51好读  ›  专栏  ›  51CTO技术栈

别找啦,一套管好数据的方法就在这里!

51CTO技术栈  · 公众号  · 程序员  · 2021-01-13 18:05

正文

下面的场景

身为IT部门经理的你

是否正在遇到?


“陈工,我是祝工,上次你们推荐的 Isilon存储 我们现在已经上线了,使用比较简单,体验也很好,我们现在数据量非常大,后期扩展和设备更新也省去了我数据迁移的麻烦,这个点解决了我多年心中的痛啊,现在晚上终于能安心睡个好觉了。”


“祝工,你满意就好,听到你这么说,我也非常有成就感,现在是不是有什么新的问题啊?”


“你懂我,哈哈!其实是这样的,我现在碰到了一个比较头疼的问题,除了Isilon外,其实 我们还有4套数据量比较大的文件存储 ,主要存储项目组文档资料、合同扫描件、发票税控图片、OA的附件,很多人事资料(包含离职人员档案)、内部培训视频、APP应用图片数据,大大小小加起来也有 小300T 。”


“这是要上新存储的节奏啊!”


“不不不,陈工,你先冷静一下,目前的主要问题不是存储容量和性能,现在应用部门经常会找我要这些数据报表,查找某些数据在哪个物理存储上,或者说部分应用数据因性能问题, 需要从一台存储迁移到另一台存储,这样的问题很多,而且短期内我也不可能采购一套海量存储 ,把所有数据迁移到一台存储上,还有招标规范性问题,也不能只招一个品牌存储......”


前面就是我(戴尔科技售前工程师陈森江)最近和用户电话交流的一个真实场景。


听完之后,我和他总结了一下, 其实祝工的核心需求是一个大量文件类数据的统一管理平台 即多台异构存储上的数据,在逻辑上有一个 统一管理 ,同时 不影响原来物理数据存储架构 ,还可以 给领导看报表 ,帮助应用 快速查找数据 ,还要在不同物理存储之间实现数据的 快速迁移


怎么办呢?

我推荐的是戴尔科技的DataIQ

DataIQ 前身是Data Frameworks的Clarity Now,2018年被戴尔科技收购后,经过几个版本的更新,现被更名为DataIQ。

DataIQ 是一个纯软件的异构存储管理平台,而且以旁路方式接入用户环境 ,它的 整个安装、部署、测试使用等工作都不会影响用户目前的业务和生产

所以,用户可以在任何时候安装部署DataIQ。



DataIQ主要有三个功能:
  • 快速搜索

  • 形成报表

  • 数据迁移





接下来,我们简单看一下

DataIQ的架构与应用场景


在拓扑架构上,DataIQ本身是部署在Linux上的一台Server,支持S3、NFS、CIFS(SMB)和本地挂载。


简单来说, 无论是哪个品牌的存储、哪种型号, 只要通过S3、NFS、CIFS(SMB)协议,以及本地挂载被DataIQ所在的Linux Server挂载(mount), 都能被DataIQ进行统一管理 ,用户也不用担心招标采购结果是哪家存储



在配置过程中,只要被管理的存储 开通一个账号给DataIQ Server即可 ,之后DataIQ Server会扫描并创建索引。如果用户只想做数据快速搜索、数据报表,那么存储端需要开通一个 只读账号 ;如果要在不同存储(如NAS存储到对象存储)之间做数据迁移,那么存储给 Da taIQ Server挂载的账号需要赋予读写权限


而访问DataIQ Server的客户端可以是Windows Client/Linux Client/MacOS client,在访问方式上可以通过Web浏览器、GUI客户端,也支持CLI命令行接口,以及Python API和Direct RESTful API访问。



如果用户的一些应用是 基于Python 的,那么很多数据查询,报告甚至数据迁移的工作都可以由应用程序自动完成,可以大大减轻IT管理员的日常数据管理工作量。


最后,我们来看一看DataIQ的三个典型应用场景,也许其中就有适合你的:

0 1
左中括号
应用场景一:数据搜索
左中括号

就如前面我们的客户祝工提到的一样,应用管理员发现他们其中一个应用的部分数据的延时非常高,他们想知道是不是存储这部分数据的存储,是性能有问题或有其它故障类原因,于是第一时间找到了祝工,给他一些示例数据。

然而要在4套存储中快速找到这些数据所在路径,并不是容易的事。你需要4套存储不同用户的数据一套套挂载查看、搜索, 而且在上亿数量的文件中搜索你想要的其中几个文件,效率是非常低的


但是有了DataIQ,结果就完全不同了, 祝工只需在DataIQ中搜索,几秒种就能出结果











请到「今天看啥」查看全文