大数据高级研发工程师

2023年，教育部再次公布关于2023年度普通高等学校本科专业备案和审批结果，两百多所高校新增备案“数据科学与大数据技术”专业。这是从16年教育部公布15年新增备案开始，大数据类专业持续新增获批的第四年，截至目前，全国已有四百多所高校获批并争相开设大数据类专业，其次是人工智能类专业：机器人工程、智能科学与技术、智能制造工程，及网络空间安全等专业。

市场对人才需求迫切

大数据与人工智能不仅在互联网公司的战略规划中频繁出现，同时在我国国务院和其他国家的政府报告中多次被提及。大数据、物联网、人工智能、网络安全等新领域人才虽是刚性需求，但供给仍严重不足。

据职业社交平台LinkedIn发布的《2023年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营、数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。

根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

大数据的应用范围广泛，将近50%的企业将大数据运用在企业工商信息管理方面，社会保障占据、劳动就业占据、市政管理占据、教育科研方面分别占据29%，发展形势一片大好，在各行业都有应用。

大数据行业方向学习

一

数据存储和管理

大数据都是从数据存储开始。这意味着从大数据框架Hadoop开始。它是由Apache Foundation开发的开源软件框架，用在计算机集群上分布式存储非常大的数据集。

显然，存储对于大数据所需的大量信息至关重要。但更重要的是，需要有一种方式来将所有这些数据集中到某种形成/管理结构中，以产生洞察力。因此，大数据存储和管理是真正的基础，而没有这样的分析平台是行不通的。在某些情况下，这些解决方案包括员工培训。

二

数据清理

在企业真正处理大量数据以获取洞察信息之前，先需要对其进行清理、转换并将其转变为可远程检索的内容。大数据往往是非结构化和无组织的，因此需要进行某种清理或转换。

在这个时代，数据的清理变得更加必要，因为数据可以来自任何地方：移动网络、物联网、社交媒体。并不是所有这些数据都容易被“清理”，以产生其见解，因此一个良好的数据清理工具可以改变所有的差异。事实上，在未来的几年中，将有效清理的数据视为是一种可接受的大数据系统与真正出色的数据系统之间的竞争优势。

三

数据挖掘

一旦数据被清理并准备好进行检查，就可以经由数据挖掘开始搜索过程。这就是企业进行实际发现、决策和预测的过程。

数据挖掘在很多方面都是大数据流程的真正核心。数据挖掘解决方案通常非常复杂，但力求提供一个令人关注和用户友好的用户界面，这说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们的确需要工作人员开发查询，所以数据挖掘工具的能力并不比使用它的专业人员强。

四

数据可视化

数据可视化是企业的数据以可读的格式显示的方式。这是企业查看图表和图形以及将数据放入透视图中的方法。

数据的可视化与科学一样，是一种艺术形式。而大数据公司将拥有越来越多的数据科学家和高级管理人员，很重要的一点是可以为员工提供更加广泛的可视化服务。销售代表、IT支持、中层管理等这些团队中的每一个成员都需要理解它，因此重点在于可用性。但是，易于阅读的可视化有时与深度特征集的读取不一致，这成为了数据可视化工具的一个主要挑战。

大数据的就业前景了解

由于大数据所创造的价值非常大，也将让企业更加愿意为相关的人才付出更高的薪资。目前，具备一年工作经验的从业者月薪已经达到15k左右。具备3-5年经验的从业者年薪已经达到30-50万左右。大数据的就业前景非常值得期待，入行大数据也需要趁早。

大数据的就业方向有许多，主要可分为三大类：

1.大数据开发方向：大数据工程师，大数据开发工程师，大数据维护工程师，大数据研发工程师，大数据架构师等

2.数据挖掘，数据分析和机器学习方向：大数据分析师，大数据高级工程师，大数据分析师专家，大数据挖掘师，大数据算法师等

3.大数据运维和云计算方向：大数据运维工程师等

当下正是金九银十的求职季，作为高薪的大数据行业，以下就业岗位与相对薪酬可作为有意愿从事大数据行业人员的从业参考。

1、ETL研发

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

所需技能：ETL工程师是从事系统编程、数据库编程与设计，要掌握各种常用的编程语言的专业技术人员。因此从事ETL研发首先一定要具有优秀的编程能力，其次要熟悉主流数据库技术，如oracle、Sql server、PostgeSQL等。并且得会数据etl开发工具，如Datastage,Congos,Kettle等。

2、Hadoop开发

Hadoop的核心是HDFS和提供了海量数据的存储，MapReduce提供了对数据的计算。Hadoop开发人员利用Hadoop来对数据进行必要的处理。

所需技能：

大数据工程师、大数据维护工程师、数据挖掘师、大数据算法师。

大数据开发方向：涉及的岗位诸如大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等。

数据挖掘、数据分析和机器学习方向：涉及的岗位诸如大数据分析师、大数据高级工程师、大数据分析师专家、大数据挖掘师、大数据算法师等。

1、提升程序设计能力。动手实践能力对于本科生的就业有非常直接的影响，尤其在当前大数据落地应用的初期，很多应用级岗位还没有得到释放，不少技术团队比较注重学生程序设计能力，所以具备扎实的程序设计基础还是比较重要的。

2、掌握一定的云计算知识。大数据本身与云计算的关系非常紧密，未来不论是从事大数据开发岗位还是大数据分析岗位，掌握一定的云计算知识都是很有必要的。掌握云计算知识不仅能够提升自身的工作效率，同时也会拓展自身的技术边界。

大数据工程师需要具备以下能力：