数据挖掘工程师培训课程

大数据开发学习的时间大约半年，大数据前景是很不错的，像大数据这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学习大数据可以按照路线图的顺序，

培训时间要根据每位同学的吸收情况来看，能力强的会比较快，一般来说3-6个月。大数据挖掘工程师的课程内容涉猎很多，包括JavaSE 开发、JavaEE开发、并发编程实战开发、Linux精讲、Hadoop 生态体系、Python 实战开发、Storm 实时开发、Spark 生态体系、ElasticSearc、Docker容器引擎、机器学习、超大集群调优、大数据项目实战等。如果想要全部掌握以上的知识，必须要进行系统的学习，建议报名相关的专业机构进行线上或者线下课程的学习。同时，学成之后大数据工程师的就业前景还是很明朗的，在薪酬待遇也是很有优势的，因为大数据工程师在IT类职业中比较稀缺的，收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中，有10％都是和大数据相关的，且比例还在上升。想了解数据挖掘工程师的相关内容课程，推荐上CDA数据分析师的课程。课程培养学员硬性的数据挖掘理论与Python数据挖掘算法技能的同时，还兼顾培养学员软性数据治理思维、商业策略优化思维、挖掘经营思维、算法思维、预测分析思维，全方位提升学员的数据洞察力。点击预约免费试听课。

大数据分析偏产品职位，一般不是技术岗位。技术岗位叫数据挖掘，又分为做模型和用模型的。做模型对数据要求非常高，如果自己不是这块料那就别去做，又痛苦又做不出东西来；绝大多数数据挖掘都是用模型，这个门槛就低多了。另外还有专门做大数据平台的，比如hadoop,spark这些，偏工程。

老男孩教育的大数据培训课程内容包括：Java、Linux、Hadoop、Hive、Avro与Protobuf、ZooKeeper、HBase、Phoenix、Redis、Flume、SSM、Kafka、Scala、Spark、azkaban、Python与大数据分析等

数据挖掘领域是一个独特的行业，通常的招聘面试方法可能不大适用于本行业的特点。在招聘一个合格的数据挖掘工程师时，公司一般关注以下三个方面：他聪明吗？聪明意味着能透过复杂的信息建构问题并以正确的方式加以解决。聪明人还能从失败中获取经验。他能否专注于项目？专注意味着在各种困难的环境内，仍能独立或合作完成项目。他是否能与团队一起工作。团队合作需要很好的沟通能力，工作中涉及到的概念、问题、模型、结论等都需要成员之间正确的沟通方能加以明确。为了解候选人是否具有数据挖掘工程师的潜质，需要一小时的面试，主要通过以下五个环节：1、简介如同交谈之初的寒暄一样，简介是使候选人放松下来。可以先介绍一下公司本身的情况，再回答对方的一些疑问。如果问题很复杂，可以将回答放到面试的最后阶段再处理。2、关于数据挖掘项目这是最为重要且耗时的面试阶段，询问候选人最近接手的数据挖掘项目的情况和处理方式。要提问的方面包括：他一开始是如何描述这个项目的项目持续了多长时间这个项目的关键问题是什么问题是如何得到解决的在数据挖掘项目中最为困难的阶段是什么最有趣的阶段又是什么在他眼里，客户是怎么样的团队的其他成员又是如何表现的从中获得了什么样的经验在这个面试阶段，不仅要提问关于“what”的问题，还要很多关于“why”的问题。因为优秀的数据挖掘工程师要能面对客户，清晰的论证并支持其提出的观点。3、关于数据挖掘的流程考察候选人对于工作流程的认识是必要的，如果他谈到了跨行业数据挖掘流程规范（CRISP-DM）意味着好兆头。有很多时候，候选人对这些规范不以为然。虽然说从不同的角度来看待问题是一种创新，但是创新也需要建立在坚实在流程标准之上。因为它可以保证我们不会出现大的纰漏。必要的时候，可以用白板让候选人画出流程图。并让他评价这些工作中最为重要或需要反思的地方。因为建模工作不可能一次完成，反复的提炼问题、建立模型的情况是经常遇到的。另外可以在某个挖掘流程进行深入考查，例如询问对方如何避免过度拟合，如何从大量的候选变量中进行筛选，如何评价或比较模型的效果。4、解决问题软件公司的面试一般会包括“编码测试”，考查数据挖掘工程师也应该如此。一种可以参考的作法是提供一份存在缺陷的分析报告。让候选人对报告进行研究，表达报告中结论的意义，提出其中所存在的问题或不足，提出改进或补救的方法。5、收尾在面试的最后阶段，需要回答候选人的其它提问，并使之相信本公司在本行业中的优势地位，以及在职业生涯中的作用。在完成面试后，需要立即将面试记录进行整理存档。面试是一件苦差事，但也是一个交流学习的机会。通过面试可以了解到其它人遇到的问题，以及他们是如何解决的。

1.大数据工程师工作中会做什么？集群运维：安装、测试、运维各种大数据组件数据开发：细分一点的话会有ETL工程师、数据仓库工程师等数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。2.集群运维数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。因此这就要求数据工程师了解各种大数据的组件。由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力： Linux 。要对Linux比较熟悉，能各种自己折腾着玩。由于现在的大数据生态系统基本上是 JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。3. ETLETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。4.系统开发我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是 Java Web这一套了，当然Python也是挺方便的。需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下， Sql就跑不掉了，老老实实学一下Sql很必要。如何入门？前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。1.了解行业情况刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。2.选择学习途径如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。在选择具体的学习途径时，要慎重一点，有几个选择：自学报班找人指点别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。3.学习路线学习路线，下面是一个大致的建议：第一阶段先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。第二阶段到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。用户画像和特征工程：这一部分越早了解越好。一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。第三阶段下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。

这东西还能考证呢？具体说说