专栏名称: AustinDatabases
PostgreSQL ACE ,PolarDB 3年, OceanBase 极速学习ING, MongoDB 8年经验, MySQL OCP, SQL SERVER, MCITP,REDIS ,做一个合格的数据库架构师
目录
相关文章推荐
人人都是产品经理  ·  一个物流时效,能做到多细 ·  20 小时前  
91产品  ·  DeepSeek+Kimi+即梦实战指南 ·  昨天  
人人都是产品经理  ·  AI产品经理的交付物到底是什么? ·  昨天  
人人都是产品经理  ·  月薪22K的全栈产品经理,有哪些过硬的实力? ·  昨天  
51好读  ›  专栏  ›  AustinDatabases

ETL 行业也够卷,云化ETL,ETL 软件不过了

AustinDatabases  · 公众号  ·  · 2025-01-22 06:00

正文

开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2710人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 )(1 2 3 4 5 6群均已爆满,7群400+,开8群9群)

最近忙,更新率低了,今天说说其中的一个原因,最近和业内的ETL方面的更新的技术在进行学习,之前一些ETL的观念在这次的学习中,也彻底被更新了,这是整个的学习过程进行一个记录,每天都是新知识,每天都是崭新的。

在ETL数据传输和数据处理中,我们习惯使用的方法多是Kettle,otter,canal,ogg这样的数据迁移ETL软件。可时代变迁了,再用这些软件在很多场合已经不合时宜了。尤其是短平快的需求下,我实在是没有精力时间去研究这些东西,还要进行数据库对应的配置,而最近赶时髦,用上了云迁移的ETL软件,TapData Cloud,非常神奇的软件,如果要我用一句话来概括,彻底让我了解到现在的ETL是什么样子,或者该是什么样子,和之前的那些傻大笨粗已经毫无关系。

废话不说,马上进行测试。 打开https://tapdata.net/ 网站,点击cloud。

通过这个软件我两分钟内我就配置好了一个从PolarDB 到 PolarDB的数据流复制。

大家见上图数据已经开始进行了同步,非常的便捷,这里我简单的介绍一下,TapData云ETL,这个免费的工具可以干点什么。

1  云免费ETL可以进行各种开源数据库到国产数据库的同步,你知道的国产数据库基本都在支持列表

2  使用者根本不关心配置,因为都是自动的,我可以专心的搞我的数据库,复制的监控和过程都由TapData云来负责。

3  核心的数据不会经过TapData 而是你自建的主机,让使用者完全不用担心数据的安全性的问题。

有了这个功能,基本上数据迁移的过程上步骤

1 云注册账号

2 开通免费的服务

3 安装好agent

4 配置好本地和远程的连接

5  工作完毕

这个服务可以把数据从MySQL , PostgreSQL ,Sql Server, Oracle 往国产数据库搬运,这里需要说明如果是企业性质可以开通收费的服务,他将提供更多的功能,服务等。

这里有官方的付费方式

这里我小声说一句,如果实在是不想花钱,还想要高性能,自己可以用自己的服务器利用TapData管理数据传输,比如我现在就是这么干的,我需要从PolarDB传输数据到另一个PolarDB,数据量不大,TapData可以直接将服务的agent自动安装在我的笔记本上,然后我就开始远程将一个PolarDB的数据,传输到另一个PolarDB上。在默认的情况下,简单的数据传输迁移,TapData是不收费的。

操作界面异常的简单,源目的地,选择连接到你的数据库上,本地,远程,云均可,TapData对于数据库的ETL是“不挑食的”。

关于大部分人可能担心自己安装Agent到服务器上的难度,这里可以看此页面,非常简单,支持 LINUX,WINDOWS,Docker,云上部署服务器等的方式。同时你自己还可以通过云来监控你自己的ETL服务器,可以通过手动来启动自己的服务器的上的ETL服务,这里我简单的画一个图。

在建立好Agent后,我们就可以建立源库和目的库的链接测试了,在测试通过后,就直接可以进行数据库的传输了。

由于过程太简单,我就不叙述了,如同打开冰箱门,把大象塞进去,然后在关上门那么简单,如果我在详细叙述,是对看文章的人的不尊重。

工作到这里,我突然意识到一个问题,在之前各种本地安装,调试,各种问题的ETL的软件的生命历史中,他们意识到现在的ETL软件已经可以云化了吗,作为一个对新产品不拒绝,不挑食的IT工作者,我觉得我在ETL 探索更先进了,这ETL使用的方式太简单了,这里我先看官方文档中详细的一些产品的介绍,看完介绍,在将一些疑问总结起来在和ETL方面的专家进行快速学习。

置顶

公众号给我两个数字 34.6万,65.5万--告别2024

没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛

PostgreSQL 相关文章
PostgreSQL 运维的难与“难”  --上海PG大会主题记录
PostgreSQL 什么都能存,什么都能塞 --- 你能成熟一点吗?
PostgreSQL 迁移用户很简单 ---  我看你的好戏

PostgreSQL 用户胡作非为只能受着 --- 警告他

全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始 PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁

PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!

病毒攻击PostgreSQL暴力破解系统,防范加固系统方案(内附分析日志脚本)
PostgreSQL 远程管理越来越简单,6个自动化脚本开胃菜

PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆

PostgreSQL 如何通过工具来分析PG 内存泄露

PostgreSQL  分组查询可以不进行全表扫描吗?速度提高上千倍?

POSTGRESQL --Austindatabaes 历年文章整理

PostgreSQL  查询语句开发写不好是必然,不是PG的锅

PostgreSQL  字符集乌龙导致数据查询排序的问题,与 MySQL 稳定 "PG不稳定"
PostgreSQL  Patroni 3.0 新功能规划 2023年 纽约PG 大会 (音译)
PostgreSQL   玩PG我们是认真的,vacuum 稳定性平台我们有了
PostgreSQL DBA硬扛 垃圾 “开发”,“架构师”,滥用PG 你们滚出 !(附送定期清理连接脚本)

DBA 失职导致 PostgreSQL 日志疯涨


MongoDB 相关文章

MongoDB  大俗大雅,上来问分片真三俗 -- 4 分什么分

MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法

MongoDB 学习建模与设计思路--统计数据更新案例

MongoDB  大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用

MongoDB  大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模

MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通

MongoDB 年底活动,免费考试名额 7个公众号获得

MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)

数据库 《三体》“二向箔”  思维限制 !8个公众号联合抽奖送书 建立数据库设计新思维

MongoDB  是外星人,水瓶座,怎么和不按套路出牌的他沟通?

17000多张MongoDB表的锅 自动分析删除表数据难题--从头到尾的处理过程(文尾有MongoDB开发规范)
MongoDB 插入更新数据慢,开发问哪的问题?附带解决方案和脚本
MongoDB 不是软柿子,想替换就替换
MongoDB  挑战传统数据库聚合查询,干不死他们的 MongoDB 2023纽约 MongoDB 大会 -- 我们怎么做的新一代引擎 SBE Mongodb 7.0双擎力量(译)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB  双机热备那篇文章是  “毒”
MongoDB   会丢数据吗?在次补刀MongoDB  双机热备
MONGODB  ---- Austindatabases  历年文章合集

MySQL相关文章

MySQL 怎么让自己更高级---从内存表说到了开发方式
MySQL timeout 参数可以让事务不完全回滚
"DBA 是个der" 吵出MySQL主键问题多种解决方案

MySQL 让你还用5.7 出事了吧,用着用着5.7崩了

MySQL 的SQL引擎很差吗?由一个同学提出问题引出的实验






请到「今天看啥」查看全文