开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2710人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 )(1 2 3 4 5 6群均已爆满,7群400+,开8群9群)
最近忙,更新率低了,今天说说其中的一个原因,最近和业内的ETL方面的更新的技术在进行学习,之前一些ETL的观念在这次的学习中,也彻底被更新了,这是整个的学习过程进行一个记录,每天都是新知识,每天都是崭新的。
在ETL数据传输和数据处理中,我们习惯使用的方法多是Kettle,otter,canal,ogg这样的数据迁移ETL软件。可时代变迁了,再用这些软件在很多场合已经不合时宜了。尤其是短平快的需求下,我实在是没有精力时间去研究这些东西,还要进行数据库对应的配置,而最近赶时髦,用上了云迁移的ETL软件,TapData Cloud,非常神奇的软件,如果要我用一句话来概括,彻底让我了解到现在的ETL是什么样子,或者该是什么样子,和之前的那些傻大笨粗已经毫无关系。
废话不说,马上进行测试。 打开https://tapdata.net/ 网站,点击cloud。
通过这个软件我两分钟内我就配置好了一个从PolarDB 到 PolarDB的数据流复制。
大家见上图数据已经开始进行了同步,非常的便捷,这里我简单的介绍一下,TapData云ETL,这个免费的工具可以干点什么。
1 云免费ETL可以进行各种开源数据库到国产数据库的同步,你知道的国产数据库基本都在支持列表
2 使用者根本不关心配置,因为都是自动的,我可以专心的搞我的数据库,复制的监控和过程都由TapData云来负责。
3 核心的数据不会经过TapData 而是你自建的主机,让使用者完全不用担心数据的安全性的问题。
有了这个功能,基本上数据迁移的过程上步骤
1 云注册账号
2 开通免费的服务
3 安装好agent
4 配置好本地和远程的连接
5 工作完毕
这个服务可以把数据从MySQL , PostgreSQL ,Sql Server, Oracle 往国产数据库搬运,这里需要说明如果是企业性质可以开通收费的服务,他将提供更多的功能,服务等。
这里有官方的付费方式
这里我小声说一句,如果实在是不想花钱,还想要高性能,自己可以用自己的服务器利用TapData管理数据传输,比如我现在就是这么干的,我需要从PolarDB传输数据到另一个PolarDB,数据量不大,TapData可以直接将服务的agent自动安装在我的笔记本上,然后我就开始远程将一个PolarDB的数据,传输到另一个PolarDB上。在默认的情况下,简单的数据传输迁移,TapData是不收费的。
操作界面异常的简单,源目的地,选择连接到你的数据库上,本地,远程,云均可,TapData对于数据库的ETL是“不挑食的”。
关于大部分人可能担心自己安装Agent到服务器上的难度,这里可以看此页面,非常简单,支持 LINUX,WINDOWS,Docker,云上部署服务器等的方式。同时你自己还可以通过云来监控你自己的ETL服务器,可以通过手动来启动自己的服务器的上的ETL服务,这里我简单的画一个图。
在建立好Agent后,我们就可以建立源库和目的库的链接测试了,在测试通过后,就直接可以进行数据库的传输了。
由于过程太简单,我就不叙述了,如同打开冰箱门,把大象塞进去,然后在关上门那么简单,如果我在详细叙述,是对看文章的人的不尊重。
工作到这里,我突然意识到一个问题,在之前各种本地安装,调试,各种问题的ETL的软件的生命历史中,他们意识到现在的ETL软件已经可以云化了吗,作为一个对新产品不拒绝,不挑食的IT工作者,我觉得我在ETL 探索更先进了,这ETL使用的方式太简单了,这里我先看官方文档中详细的一些产品的介绍,看完介绍,在将一些疑问总结起来在和ETL方面的专家进行快速学习。
置顶
公众号给我两个数字 34.6万,65.5万--告别2024
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
PostgreSQL 用户胡作非为只能受着 --- 警告他
全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁
PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!
病毒攻击PostgreSQL暴力破解系统,防范加固系统方案(内附分析日志脚本)
PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆
PostgreSQL 如何通过工具来分析PG 内存泄露
PostgreSQL 分组查询可以不进行全表扫描吗?速度提高上千倍?
POSTGRESQL --Austindatabaes 历年文章整理
PostgreSQL 查询语句开发写不好是必然,不是PG的锅
DBA 失职导致 PostgreSQL 日志疯涨
MongoDB 相关文章
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 学习建模与设计思路--统计数据更新案例
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 年底活动,免费考试名额 7个公众号获得
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
数据库 《三体》“二向箔” 思维限制 !8个公众号联合抽奖送书 建立数据库设计新思维
MongoDB 是外星人,水瓶座,怎么和不按套路出牌的他沟通?
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
"DBA 是个der" 吵出MySQL主键问题多种解决方案
MySQL 让你还用5.7 出事了吧,用着用着5.7崩了