商丘报考数据工程师

大数据是众多学科与统计学交叉产生的一门新兴学科。大数据牵扯的数据挖掘、云计算一类的，所以是计算机一类的专业。分布比较广，应用行业较多。

零售业：主要集中在客户营销分析上，通过大数据技术可以对客户的消费信息进行分析。获知客户的消费习惯、消费方向等，以便商场做好更合理商品、货架摆放，规划市场营销方案、产品推荐手段等。

金融业：在金融行业里头，数据即是生命，其信息系统中积累了大量客户的交易数据。通过大数据可以对客户的行为进行分析、防堵诈骗、金融风险分析等。

医疗业：通过大数据可以辅助分析疫情信息，对应做出相应的防控措施。对人体健康的趋势分析在电子病历、医学研发和临床试验中，可提高诊断准确性和药物有效性等。

制造业：该行业对大数据的需求主要体现在产品研发与设计、供应链管理、生产、售后服务等。通过数据分析，在产品研发过程中免除掉一些不必要的步骤，并且及时改善产品的制造与组装的流程。

1.大数据工程师工作中会做什么？集群运维：安装、测试、运维各种大数据组件数据开发：细分一点的话会有ETL工程师、数据仓库工程师等数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。2.集群运维数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。因此这就要求数据工程师了解各种大数据的组件。由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力： Linux 。要对Linux比较熟悉，能各种自己折腾着玩。由于现在的大数据生态系统基本上是 JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。3. ETLETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。4.系统开发我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是 Java Web这一套了，当然Python也是挺方便的。需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下， Sql就跑不掉了，老老实实学一下Sql很必要。如何入门？前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。1.了解行业情况刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。2.选择学习途径如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。在选择具体的学习途径时，要慎重一点，有几个选择：自学报班找人指点别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。3.学习路线学习路线，下面是一个大致的建议：第一阶段先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。第二阶段到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。用户画像和特征工程：这一部分越早了解越好。一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。第三阶段下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。

大数据工程师的前景是很可观的，大数据的发展顺应了时代的需求，因为岗位需求量大，所以在求职方面是比较有优势的，人才的紧缺决定了大数据职位薪资水平，平均8K起步。

大数据工程师的前途还是很明朗的，成为大数据工程师如果有相关方面的经验的话还是比较简单的。目前长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师方面的工程师，以及任何在工作中需要通过数据来进行判断决策的管理者，比如某些领域的运营经理等，都可以尝试该职位，而各个领域的达人只要学会运用数据，也可以成为大数据工程师。

大数据工程师在薪酬待遇也是很有优势的，可以说，大数据工程师在IT类职业中比较稀缺的，大数据工程师的收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中，有10％都是和大数据相关的，且比例还在上升。

大数据时代的到来很突然，在国内发展势头激进，而人才却非常有限，现在完全是供不应求的状况。在美国，大数据工程师平均每年薪酬高达万美元，而据了解，在国内顶尖互联网类公司，同一个级别大数据工程师的薪酬可能要比其他职位高很多。

由于目前大数据人才匮乏，对于公司来说，很难招聘到合适的人才。因此很多企业会通过部挖掘，所以薪资高那就不足为奇了。

大数据职业是现在均匀收入最高的职业，其从业人员均匀年薪已逾十万元，有经验的大数据工程师均匀年薪一般在12万元以上。现在刚毕业学员的起薪基本是在8k-15k元的水平，有大数据相关工作经验的学员，薪酬基本是15k-25k元的水平。

薪酬方面，以北京为例：北京2017年的薪酬，北京数据挖掘工程师工资中位数为：￥15166元/月，最低工资8K-10K，最高工资工资30-50K；北京数据工程师工资中位数：￥13156元/月，最高工资20K-30K；北京数据架构师工资中位数：￥23700元/月，最低工资10K-15K，最高工资无法确定。

大数据前景是很不错的，像大数据这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学习大数据可以按照路线图的顺序，

学大数据关键是找到靠谱的大数据培训机构，你可以深度了解机构的口碑情况，问问周围知道这家机构的人，除了口碑再了解机构的以下几方面：

1. 师资力量雄厚

要想有1+1>2的实际效果，很关键的一点是师资队伍，你接下来无论是找个工作还是工作中出任哪些的人物角色，都越来越爱你本身的技术专业大数据技术性，也许的技术专业大数据技术性则绝大多数来自你的技术专业大数据教师，一个好的大数据培训机构必须具备雄厚的师资力量。

2. 就业保障完善

实现1+1>2效果的关键在于能够为你提供良好的发展平台，即能够为你提供良好的就业保障，让学员能够学到实在实在的知识，并向大数据学员提供一对一的就业指导，确保学员找到自己的心理工作。

3. 学费性价比高

一个好的大数据培训机构肯定能给你带来1+1>2的效果，如果你在一个由专业的大数据教师领导并由大数据培训机构自己提供的平台上工作，你将获得比以往更多的投资。

希望你早日学有所成。

大数据基础知识：

有三个主要部分，分别是数学、统计学和计算机等学科。大数据基础知识往往决定了开发人员未来的成长高度，所以要重视基础知识的学习。

大数据平台知识：

是大数据开发的基础，在学习期间，往往以搭建Hadoop、Spark平台为主，一方面Hadoop对机器的硬件要求不高，另一方面Hadoop的使用也非常普遍，很多商业大数据平台都是基于Hadoop构建的。大数据的核心是数据价值化。

大数据场景知识：

是目前大数据的重要应用，这些场景包括很多领域，比如金融大数据、交通大数据、教育大数据、餐饮大数据等等，这些场景应用的背后也需要对行业知识有一定的了解。