一篇文章了解数据仓库:常用的ETL工具和方法，2024年最新面试看哪些方面？

二、ETL & ELT。

三、常用的ETL工具。

3.1 sqoop。

3.2 DataX。

3.3 Kettle。

3.4 canal。

3.5 StreamSets。

四、ETL加载策略。

4.1 增量。

4.2 全量。

4.3 流式。

小编有话。

---

1.什么是ETL࿱？f;

---

ETL。，英文Extractt-Transform-Load的缩写，用来描述提取（的数据从源;extract）、转换（transform）、加载（load）到目的端的过程，是数据仓库的生命线。

**提取（Extract。**提取（

Extract。）**主要针对各业务系统和不同服务器的分散数据，完全理解数据定义后，计划所需的数据源和数据定义，制定可操作的数据源，制定增量提取和缓慢渐变的规则。**转换（

transform。）**主要针对数据仓库建立的模型，数据从业务模型到分析模型࿰通过一系列转换实现c;标准的内置代码片段功能、自定义脚本、函数、存储过程等扩展方法࿰可以通过ETL工具的可视化拖拉操作直接使用c;实现了各种复杂的转换，支持自动分析日志，监控数据转换状态清晰，分析模型优化。**装载（

Load。

---

**装载（

Load。

）**转换后的数据主要装载到数据仓库，数据装载࿰可以通过直接连接数据库进行c;能充分体现高效性。数据提取的操作模式࿰可以在应用时随时调整c;可灵活集成到其他管理系统中。

二、ETL & ELT。

随着数据仓库的发展（门户：数据仓库的八个发展阶段），数据量从小到大󿀌实时数据从T+1.实时准时，ETL也在不断进化。

---

࿰在传统数字仓库中c;数据量小󿀌计算逻辑相对简单c;我们可以直接使用ETL工具实现数据转换（T），转换后，加载到目标库，即（Extract-Transform-Load）。但是在大数据场景中c;数据量越大，#xff0就越大c;越来越复杂的计算逻辑#xff0c;数据清洗需要在计算能力较强的分布式计算引擎中完成，ETL也变成了ELT（Extract-Load-Transform）。

即：Extract-Transform-Load  >>  Extract-Load-Transform。

• 我们通常所说的ETL，泛指数据同步、数据清洗全过程，而不仅限于数据提取-转换-加载。

• 三、常用的ETL工具。

• 以下小系列将介绍几种ETL工具（sqoop，DataX，Kettle，canal，StreamSets）。

• 3.1 sqoop。

• 在Hadoop和关系数据库服务器之间传输数据是Apache开源的工具。

• 关系数据库（可以使用;MySQL ,Oracle等）HDFS中࿰导入Hadop中的数据c;HDFS的数据也可以导出到关系数据库中。

Sqoop命令的本质是将其转化为Mapreduce程序。

sqoop分为导入（import）和导出（export），

战略分为table和query。

模型分为增量和全量。

自我介绍，上海交通大学毕业13年，#xffc;曾在小公司待过󿀌也去过华为、OPPO等大厂�进入阿里18年直到现在。

大多数Python工程师󿼌想要提高技能󿀌经常自己摸索成长或者报班学习，但是对于培训机构来说，学费是几千，压力真的不小。不系统的自学效果低效又长，而且很容易遇到天花板技术停滞不前！

所以收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单󿀌希望能帮助想自学又不知道从哪里学习的朋友，同时减轻每个人的负担。

零基础资料࿰适合小白学习c;也有适合3年以上经验的小伙伴深入学习提升的高级课程，Python开发知识点基本覆盖95%以上#xff0c;真正的系统化！

因为文件比较大󿀌这里只是截图了一些目录大纲，每个节点都包括大厂面经、学习笔记、源代码讲义、实战项目、讲解视频，并且后续会不断更新。

如果你认为这些内容对你有帮助󿀌可以添加V获取：vip1024c （Python）备注;

第一，Python所有方向的学习路线。

整理Python各个方向的技术点，形成各领域的知识点总结，它的用途在于，您可以根据以下知识点找到相应的学习资源，确保自己学得更全面。

整理Python各方向的技术点，形成各领域的知识点总结，它的用途在于，您可以根据以下知识点找到相应的学习资源，确保自己学得更全面。

二、Python必备开发工具。

所有的工具都帮你整理好了，安装可直接启动！

三、最新Python学习笔记。

当我学到一定的基础࿰时c;当你有自己的理解能力时，阅读前人整理的一些书籍或手写笔记资料，这些笔记详细记录了他们对某些技术点的理解，这些理解比较独特，你可以学到不同的想法。

四、Python视频集合。

观看全面零基础学习视频󿀌看视频学习是最快最有效的方式，跟随视频中老师的想法，从基础到深度，还是很容易入门的。

五、实战案例。

纸上得到的时候感觉很浅，学会和视频一起敲#xff0c;动手实操，只有这样，我们才能把所学应用到实践中去，这个时候可以搞点实战案例学习。
六、面试宝典。

简历模板。一个人可以走得很快，但是一群人可以走得更远。无论你是从事IT行业的老鸟，还是对IT行业感兴趣的新人，欢迎扫码加入我们的圈子（技术交流、学习资源、职场吐槽、大厂推送、面试辅导），让我们一起学习成长！8af500c049bb72.png#pic_center)。一个人可以走得很快，但是一群人可以走得更远。无论你是从事IT行业的老鸟，还是对IT行业感兴趣的新人，欢迎扫码加入我们的圈子（技术交流、学习资源、职场吐槽、大厂推送、面试辅导），让我们一起学习成长！[外链图片转存中...(img-fWUcW0uM-1712774635256)]。