etl工程师是做什么的

ETL工程师又叫数据库工程师。

ETL工程师的主要工作内容有：从事系统编程、数据库编程与设计。ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。

所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。

职业前景

从业务角度讲，随着数据应用的日益丰富，不同平台、系统的相互大批量数据交互成常态，仅仅满足于采集数据已经不适应业务需要，还需要能够为数据的目的端落地提供支撑，ETL工程师需要一个端到端的更适应业务需要的数据交换系统。

从技术角度讲，ETL做一定的扩展可以升级为兼具交换能力，两者有传承，可以实现平滑过渡，但交换却要考虑用另一个工具实现，同时未来大数据平台组件将异常丰富，相互之间的数据交换将是常态，必要要有更高级别的交换工具满足这些需求。

技术方面：需要学习使用数据源、目标端工具的基本使用（如 oracle MySQL hive等）;需要学习etl工具的安装配置常用错误解决（如 kettle DataStage infa sqoop datax等）

理论方面：懂得数仓分层架构，维度建模等。

从ETL的字面来看，它主要包含三大阶段，分别是数据抽取、数据转换、数据加载。

1.数据抽取

这个阶段的主要目标是汇总多种数据源，为下一步的转换做准备。

2.数据转换

这个阶段是ETL的核心环节，也是最复杂的环节。它的主要目标是将抽取到的各种数据，进行数据的清洗、格式的转换、缺失值填补、剔除重复等操作，最终得到一份格式统一、高度结构化、数据质量高、兼容性好的数据，为后续的分析决策提供可靠的数据支持。

3.数据加载

这个阶段的主要目标是把数据加载至目的地，比如数据仓库中。通常的做法是，将处理好的数据写成特定格式（如parquet、csv等）的文件，然后再把文件挂载到指定的表分区上。也有些表的数据量很小，不会采用分区表，而是直接生成最终的数据表。

了解了ETL这部分的工作主要做什么，接下来再来说作为ETL工程师需要具备哪些技能，这些也就是需要学习的重点——

1、精通SQL语言，具备存储过程开发能力，能熟练进行SQL查询优化；

2、熟悉Hive数据仓库设计，了解数据仓库模型及思想、维度建模思想，了解数据仓库；

3、熟悉Hadoop、Spark、Flink、Kafka等相关技术；

4、熟练Python、Java中至少一种语言；

5、熟悉Mysql、Nosql等常见数据库。