“陈工,我是祝工,上次你们推荐的
Isilon存储
我们现在已经上线了,使用比较简单,体验也很好,我们现在数据量非常大,后期扩展和设备更新也省去了我数据迁移的麻烦,这个点解决了我多年心中的痛啊,现在晚上终于能安心睡个好觉了。”
“祝工,你满意就好,听到你这么说,我也非常有成就感,现在是不是有什么新的问题啊?”
“你懂我,哈哈!其实是这样的,我现在碰到了一个比较头疼的问题,除了Isilon外,其实
我们还有4套数据量比较大的文件存储
,主要存储项目组文档资料、合同扫描件、发票税控图片、OA的附件,很多人事资料(包含离职人员档案)、内部培训视频、APP应用图片数据,大大小小加起来也有
小300T
。”
“这是要上新存储的节奏啊!”
“不不不,陈工,你先冷静一下,目前的主要问题不是存储容量和性能,现在应用部门经常会找我要这些数据报表,查找某些数据在哪个物理存储上,或者说部分应用数据因性能问题,
需要从一台存储迁移到另一台存储,这样的问题很多,而且短期内我也不可能采购一套海量存储
,把所有数据迁移到一台存储上,还有招标规范性问题,也不能只招一个品牌存储......”
☝
前面就是我(戴尔科技售前工程师陈森江)最近和用户电话交流的一个真实场景。
听完之后,我和他总结了一下,
其实祝工的核心需求是一个大量文件类数据的统一管理平台
,
即多台异构存储上的数据,在逻辑上有一个
统一管理
,同时
不影响原来物理数据存储架构
,还可以
给领导看报表
,帮助应用
快速查找数据
,还要在不同物理存储之间实现数据的
快速迁移
。
怎么办呢?
DataIQ
前身是Data Frameworks的Clarity Now,2018年被戴尔科技收购后,经过几个版本的更新,现被更名为DataIQ。
DataIQ
是一个纯软件的异构存储管理平台,而且以旁路方式接入用户环境
,它的
整个安装、部署、测试使用等工作都不会影响用户目前的业务和生产
。
所以,用户可以在任何时候安装部署DataIQ。
接下来,我们简单看一下
DataIQ的架构与应用场景
在拓扑架构上,DataIQ本身是部署在Linux上的一台Server,支持S3、NFS、CIFS(SMB)和本地挂载。
简单来说,
无论是哪个品牌的存储、哪种型号,
只要通过S3、NFS、CIFS(SMB)协议,以及本地挂载被DataIQ所在的Linux Server挂载(mount),
都能被DataIQ进行统一管理
,用户也不用担心招标采购结果是哪家存储
。
在配置过程中,只要被管理的存储
开通一个账号给DataIQ Server即可
,之后DataIQ Server会扫描并创建索引。如果用户只想做数据快速搜索、数据报表,那么存储端需要开通一个
只读账号
;如果要在不同存储(如NAS存储到对象存储)之间做数据迁移,那么存储给
Da
taIQ Server挂载的账号需要赋予读写权限
。
而访问DataIQ Server的客户端可以是Windows Client/Linux Client/MacOS client,在访问方式上可以通过Web浏览器、GUI客户端,也支持CLI命令行接口,以及Python API和Direct RESTful API访问。
如果用户的一些应用是
基于Python
的,那么很多数据查询,报告甚至数据迁移的工作都可以由应用程序自动完成,可以大大减轻IT管理员的日常数据管理工作量。
最后,我们来看一看DataIQ的三个典型应用场景,也许其中就有适合你的:
就如前面我们的客户祝工提到的一样,应用管理员发现他们其中一个应用的部分数据的延时非常高,他们想知道是不是存储这部分数据的存储,是性能有问题或有其它故障类原因,于是第一时间找到了祝工,给他一些示例数据。
然而要在4套存储中快速找到这些数据所在路径,并不是容易的事。你需要4套存储不同用户的数据一套套挂载查看、搜索,
而且在上亿数量的文件中搜索你想要的其中几个文件,效率是非常低的
。
但是有了DataIQ,结果就完全不同了,
祝工只需在DataIQ中搜索,几秒种就能出结果
。