大数据工程师

大数据工程师负责创建和维护分析基础架构，该基础架构几乎可以支持数据世界中的所有其他功能。他们负责大数据架构的开发、构建、维护和测试，例如数据库和大数据处理系统。大数据工程师还负责创建用于建模，挖掘，获取和验证数据集合等流程。

1、负责公司大数据平台产品的技术工作，包括需求分析、架构设计、研发、以及性能分析工作；

2、负责整体提升Hadoop集群的高可用性、高性能、高扩展特性，已有的大数据平台架构的维护工作；

3、负责海量数据的导入优化工作；

4、整理和完善各类文档。

大数据工程师需要具有良好的沟通能力、优秀的分析问题和问题解决能力；具备强烈的进取心和团队合作精神；具备数据库系统的基本理论知识。

1、linux

大数据集群主要建立在linux操作系统上，Linux是一套免费使用和自由传播的类Unix操作系统。而这部分的内容是大家在学习大数据中必须要学习的，只有学好Linux才能在工作中更加的得心应手。

2、Hadoop

我觉的大家听过大数据就一定会听过hadoop。Hadoop是一个能够对大量数据进行离线分布式处理的软件框架，运算时利用maprebaice对数据进行处理。

3、Java

只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下。

从部分大数据开发工程师的招聘要求可见一斑，需掌握的技能包括但不限于如下几个方面：1、hadoop/spark/hive/flink等常见离线和实时大数据平台架构，有相关大数据系统开发、维护和整合经验；2、编程基础扎实、动手实践能力强，至少熟练掌握一门开发语言（python/java/go/scala/c++等），熟悉hive sql使用；3、熟悉常见的大数据开发工作流，熟练掌握大数据接入、数据清洗、数据挖掘分析&数据可视化工具；4、了解常见的机器学习算法基本原理，熟悉安全攻防对抗、广告安全对抗等相关业务场景。

大数据工程师就业非常好，现在各行各业都需要大数据的支持，尤其是当今社会，信息透明，就业机会多，福利待遇好，工作轻松。

大数据工程师需要具备以下能力：