大数据系统工程师考试

对国内就业市场而言，本科学历是大数据相关职位的一个基本要求，从各个职位上看需求量都是最大的。高端人才要求硕士以上的学历也很普遍，显示出这个行业的进入的确是有一定门槛的。对于学历这个问题，一般来说，当你没有任何基础的时候，能拿得出手的只有学历，本科生当然竞争不过研究生。但是随着工作时间久了，你的能力达到了这个职位的要求，学历就不重要了。尤其是对业务能力要求比较高的数据分析师、数据挖掘师这些职位，你的行业知识和业务理解能力在很多情况下比学历更加重要。当然，高端人才(如算法工程师、数据科学家)对学历也比较高，如果各方面条件允许，选择计算数学/概率论/模式识别/计算机方面的研究生深造也是有必要的，一些大公司的确会在初筛的时候根据学历筛选人，这个也很正常。当然，你也可以在工作几年后，当觉得到基础瓶颈的时候，可以再去读书，这个时候可能你更清楚自己需要的是什么。对于进入这个行业的同学而言，你可以选择提升学历后再进入这个行业，也可以先就业，用你的工作经验弥补你的学历不足。大数据是一个实践性很强的学科，从实际工作中获取的知识和能力是你在学校里面无法学习到的，企业最终也是看重你的实际工作能力。

18张最有含金量的证书其中就有数据分析师证。你说的金融的那个证书，在国际上也是很知名的。这两个证书侧重点不同。

1.大数据架构的工具与组件

数据工程师更关注分析基础架构，因此所需的大部分技能都是以架构为中心的。

2.深入了解SQL和其它数据库解决方案

数据工程师需要对数据库管理系统有比较熟悉的了解，而且深入了解SQL非常重要。同样其它数据库解决方案，例如Cassandra或BigTable也须熟悉，因为不是每个数据库都是由可识别的标准来构建。

3.数据仓库和ETL工具

数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案，以及ETL工具，比如StitchData或Segment都非常有用。另外，数据存储和数据检索经验同样重要，因为处理的数据量是个天文数字。

4.基于Hadoop的分析(HBase，Hive，MapReduce等)

对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求，一般情况下HBase，Hive和MapReduce的知识存储是必需的。

5.编码

说到解决方案，编码与开发能力是一个重要的优点(这也是许多职位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它语言，这会非常有价值。

6.机器学习

虽然数据工程师主要关注的是数据科学，但对数据处理技术的理解会加分，比如一些统计分析知识和基础数据建模。

学习大数据技术对学历没有具体要求，但是要想考初级大数据工程师至少要具备一些基本知识。

CDA 是一套科学化，专业化，国际化的人才考核标准，共分为CDA LEVELⅠ ，LEVEL Ⅱ，LEVEL Ⅲ三个等级，涉及行业包括互联网、金融、咨询、电信、零售、医疗、旅游等，涉及岗位包括大数据、数据分析、市场、产品、运营、咨询、投资、研发等。该标准符合当今全球数据科学技术潮流，可以为各行业企业和机构提供数据人才参照标准。

LevelI:无要求,皆可报考

LevelII:需通过LEVEL I认证

LevelIII:需通过LEVEL II认证

CDA数据分析师等级标准是根据过内各大企业对人才技术的需求而设立旨在为国内数据分析发展阶段提供一个权威、科学、专业的标准规范,说明究竟什么人才是优秀的数据分析师?CDA数据分析师的就业前景可选择于通讯、医疗、银行、证券、保险、制造、商业、市场研究、科研、教育等多个行业和领域.根据三个不同的等级胜任不同的数据分析工作任务。

CDA数据分析师的含金量取决于要做什么,因为CDA数据分析师证书是由中国成人教育协会数据分析教育培训专业委员会监制,考试通过拿到的证书代表了你的技能水平,可做为企、事业单位选拔和聘用专业人才的参考依据.

考大数据分析师CDA值得选择。CDA（Certified Data Analyst），是大数据和人工智能时代面向国际范围全行业的数据分析专业人才职业简称，具体指在互联网、金融、咨询、电信、零售、医疗、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据人才。

本科学历从企业方面来说，大数据人才大致可以分为产品和市场分析、安全和风险分析以及商业智能三大领域。产品分析是指通过算法来测试新产品的有效性，是一个相对较 新的领域。在安全和风险分析方面，数据科学家们知道需要收集哪些数据、如何进行快速分析，并最终通过分析信息来有效遏制网络入侵或抓住网络罪犯。一、ETL研发随着数据种类的不断增加，企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道，从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要。ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。目前，ETL行业相对成熟，相关岗位的工作生命周期比较长，通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL。二、Hadoop开发Hadoop的核心是HDFS和提供了海量数据的存储，MapReduce提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是抢手的大数据人才。三、可视化（前端展现）工具开发海量数据的分析是个大挑战，而新型数据可视化工具如Spotifre，Qlikview和Tableau可以直观高效地展示数据。可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数 据，经过时间考验，完全可扩展的，功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合，以用来构建极其丰富的用户界面。过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。四、信息架构开发大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。五、数据仓库研究数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。六、OLAP开发随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节过渡到现在的兆兆（T）字节和千兆兆（P）字节，同时，用户的查询需求也越来越复杂，涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而且要对多张表中千万条记录的数据进行数据分析和信息综合。联机分析处理（OLAP）系统就负责解决此类海量数据处理的问题。OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。

大数据工程师的主要工作是：分析历史、预测未来、优化选择。1、分析历史，找出过去事件的特征：大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。2、预测未来，预测未来可能发生的事情：通过引入关键因素，大数据工程师可以预测未来的消费趋势。3、优化选择，找出最优化的结果：根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。在工作岗位上，大数据工程师需要基于Hadoop，Spark等构建数据分析平台，进行设计、开发分布式计算业务。负责大数据平台(Hadoop，HBase，Spark等)集群环境的搭建，性能调优和日常维护。负责数据仓库设计，数据ETL的设计、开发和性能优化。参与构建大数据平台，依托大数据技术建设用户画像。扩展资料：大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘，并对这些数据加以利用、管理、维护和服务的相关技术工作。大数据工程师专业技术水平等级培训考试分初级、中级、高级三个级别。大数据工程师培养人群：有志于从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。大数据工程师初、中、高三个级别考试均设《大数据理论基础》、《大数据技能实操》两个科目。参考资料：百度百科-大数据工程师

大数据从事的是开源工作，更倾向于“研发”，能够重新激起程序员研发程序的热情，职业生涯有了新的追求，这意味着大数据会成为值得程序员长期奋斗不断突破的工作；其次，由于大数据属新兴领域，专业人才比较缺乏，高端人才更是企业争抢的对象，薪资上升容易，职业发展潜力巨大。二、大数据人才薪资如何？做技术编程也是不错的，不过目前大数据是个趋势，稍微有实力点的企业都在上大数据项目，而Hadoop本身又是编程开发的，再加上Hadoop工程师普遍比纯技术编程开发要高30%以上，所以有很多搞技术编程的都在往hadoop大数据方向转。做技术编程的人已经比较多了，很多人工作4~5年月薪也难上2万，能上万的更是寥寥。但Hadoop很多人只1年经验就拿2万以上了。所以很多现在待遇还不错的人也在学大数据，主要也是考虑未来发展天花板的问题。大数据工程师的工作难度大吗?首先我们先了解一下大数据工程师们需要处理哪些工作，根据工作内容，大家就能够在心中有个基本的概念。在工作岗位上，大数据工程师需要分析优化系统，解决系统运行中的稳定性问题;负责大数据基础设施框架的维护及二次开发，如kafka、flink、hbase等，负责进行数据采集、处理、分析、统计、挖掘工作等等。大数据工程师的工作累吗?除开以上工作之外，大数据工程师还需要负责数据仓库、数据集市建设，通过离线、实时方式接入各数据源数据;根据业务需求对数据、清洗、处理、计算，建模等工作，负责 即时查询工具、固定报表、运营数据产品、Dashboard等产品的设计、研发及应用等等。

可以选择阿里云等大厂的相关认证，比较有含金量。

大数据作为一项前沿互联网技术，目前被各互联网大厂的项目部门大量需求，是不错的选择。

随着鸿蒙系统的发布，物联网时代将会催生更多大数据岗位。大数据技术在现在，以及可预见的将来，都是比较吃香的。大数据是一门交叉学科，很多大学没有为大数据单独设置专业，主要有自学和报班学习两种途径。

大数据学习内容主要有：

①JavaSE核心技术；

②Hadoop平台核心技术、Hive开发、HBase开发；

③Spark相关技术、Scala基本编程；

④掌握Python基本使用、核心库的使用、Python爬虫、简单数据分析；理解Python机器学习；

⑤大数据项目开发实战，大数据系统管理优化等。

云计算学习主要内容有：

①网络基础与linux系统的管理；

②优化及高可用技能；

③虚拟化与云平台技术；

④开发运维。

互联网行业目前还是最热门的行业之一，学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。

想要系统学习，你可以考察对比一下开设有相关专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，能够在校期间取得大专或本科学历，中博软件学院、南京课工场、南京北大青鸟等开设相关专业的学校都是不错的，建议实地考察对比一下。

祝你学有所成，望采纳。