数据工程师认证考试

全国计算机4级为数据库工程师。全国计算机等级考试（National Computer Rank Examination，以下简称 NCRE），是经原国家教育委员会（现教育部）批准，由教育部考试中心主办，面向社会，用于考查非计算机专业应试人员计算机应用知识与技能的全国性计算机水平考试体系。4级：科目：网络工程师、数据库工程师、软件测试工程师、信息安全工程师与嵌入式系统开发工程师五个考核项目。形式：无纸化考试。四级考试科目由五门专业基础课程中指定的两门课程组成，总分 100 分，两门课程各占 50 分。专业基础课程为计算机专业核心课程，包括：操作系统原理、计算机组成与接口、计算机网络、数据库原理、软件工程。考试总时间为 90 分钟，单课程考试没有时间要求。获证条件：两门课程分别达到 30 分及以上，并已经（或同时）获得三级相关证书。2013 年 3 月及以前获得的三级各科目证书，不区分科目，可以作为四级任一科目的获证条件。

一、认识大数据大数据本质其实也是数据，不过也包括了些新的特征，数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可能是PB级别);数据增长速度快。二、大数据所需技能要求Python语言：编写一些脚本时会用到。Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。Ozzie，azkaban：定时任务调度的工具。Hue，Zepplin：图形化任务执行管理，结果查看工具。Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。必须掌握的技能：、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)。

数据挖掘领域是一个独特的行业，通常的招聘面试方法可能不大适用于本行业的特点。在招聘一个合格的数据挖掘工程师时，公司一般关注以下三个方面：

他聪明吗？聪明意味着能透过复杂的信息建构问题并以正确的方式加以解决。聪明人还能从失败中获取经验。

他能否专注于项目？专注意味着在各种困难的环境内，仍能独立或合作完成项目。

他是否能与团队一起工作。团队合作需要很好的沟通能力，工作中涉及到的概念、问题、模型、结论等都需要成员之间正确的沟通方能加以明确。

为了解候选人是否具有数据挖掘工程师的潜质，需要一小时的面试，主要通过以下五个环节：

1、简介

如同交谈之初的寒暄一样，简介是使候选人放松下来。可以先介绍一下公司本身的情况，再回答对方的一些疑问。如果问题很复杂，可以将回答放到面试的最后阶段再处理。

2、关于数据挖掘项目

这是最为重要且耗时的面试阶段，询问候选人最近接手的数据挖掘项目的情况和处理方式。要提问的方面包括：

他一开始是如何描述这个项目的

项目持续了多长时间

这个项目的关键问题是什么

问题是如何得到解决的

在数据挖掘项目中最为困难的阶段是什么

最有趣的阶段又是什么

在他眼里，客户是怎么样的

团队的其他成员又是如何表现的

从中获得了什么样的经验

在这个面试阶段，不仅要提问关于“what”的问题，还要很多关于“why”的问题。因为优秀的数据挖掘工程师要能面对客户，清晰的论证并支持其提出的观点。

3、关于数据挖掘的流程

考察候选人对于工作流程的认识是必要的，如果他谈到了跨行业数据挖掘流程规范（CRISP-DM）意味着好兆头。有很多时候，候选人对这些规范不以为然。虽然说从不同的角度来看待问题是一种创新，但是创新也需要建立在坚实在流程标准之上。因为它可以保证我们不会出现大的纰漏。

必要的时候，可以用白板让候选人画出流程图。并让他评价这些工作中最为重要或需要反思的地方。因为建模工作不可能一次完成，反复的提炼问题、建立模型的情况是经常遇到的。

另外可以在某个挖掘流程进行深入考查，例如询问对方如何避免过度拟合，如何从大量的候选变量中进行筛选，如何评价或比较模型的效果。

4、解决问题

软件公司的面试一般会包括“编码测试”，考查数据挖掘工程师也应该如此。一种可以参考的作法是提供一份存在缺陷的分析报告。让候选人对报告进行研究，表达报告中结论的意义，提出其中所存在的问题或不足，提出改进或补救的方法。

5、收尾

在面试的最后阶段，需要回答候选人的其它提问，并使之相信本公司在本行业中的优势地位，以及在职业生涯中的作用。在完成面试后，需要立即将面试记录进行整理存档。

数据挖掘领域是一个独特的行业，通常的招聘面试方法可能不大适用于本行业的特点。在招聘一个合格的数据挖掘工程师时，公司一般关注以下三个方面：他聪明吗？聪明意味着能透过复杂的信息建构问题并以正确的方式加以解决。聪明人还能从失败中获取经验。他能否专注于项目？专注意味着在各种困难的环境内，仍能独立或合作完成项目。他是否能与团队一起工作。团队合作需要很好的沟通能力，工作中涉及到的概念、问题、模型、结论等都需要成员之间正确的沟通方能加以明确。为了解候选人是否具有数据挖掘工程师的潜质，需要一小时的面试，主要通过以下五个环节：1、简介如同交谈之初的寒暄一样，简介是使候选人放松下来。可以先介绍一下公司本身的情况，再回答对方的一些疑问。如果问题很复杂，可以将回答放到面试的最后阶段再处理。2、关于数据挖掘项目这是最为重要且耗时的面试阶段，询问候选人最近接手的数据挖掘项目的情况和处理方式。要提问的方面包括：他一开始是如何描述这个项目的项目持续了多长时间这个项目的关键问题是什么问题是如何得到解决的在数据挖掘项目中最为困难的阶段是什么最有趣的阶段又是什么在他眼里，客户是怎么样的团队的其他成员又是如何表现的从中获得了什么样的经验在这个面试阶段，不仅要提问关于“what”的问题，还要很多关于“why”的问题。因为优秀的数据挖掘工程师要能面对客户，清晰的论证并支持其提出的观点。3、关于数据挖掘的流程考察候选人对于工作流程的认识是必要的，如果他谈到了跨行业数据挖掘流程规范（CRISP-DM）意味着好兆头。有很多时候，候选人对这些规范不以为然。虽然说从不同的角度来看待问题是一种创新，但是创新也需要建立在坚实在流程标准之上。因为它可以保证我们不会出现大的纰漏。必要的时候，可以用白板让候选人画出流程图。并让他评价这些工作中最为重要或需要反思的地方。因为建模工作不可能一次完成，反复的提炼问题、建立模型的情况是经常遇到的。另外可以在某个挖掘流程进行深入考查，例如询问对方如何避免过度拟合，如何从大量的候选变量中进行筛选，如何评价或比较模型的效果。4、解决问题软件公司的面试一般会包括“编码测试”，考查数据挖掘工程师也应该如此。一种可以参考的作法是提供一份存在缺陷的分析报告。让候选人对报告进行研究，表达报告中结论的意义，提出其中所存在的问题或不足，提出改进或补救的方法。5、收尾在面试的最后阶段，需要回答候选人的其它提问，并使之相信本公司在本行业中的优势地位，以及在职业生涯中的作用。在完成面试后，需要立即将面试记录进行整理存档。面试是一件苦差事，但也是一个交流学习的机会。通过面试可以了解到其它人遇到的问题，以及他们是如何解决的。

这东西还能考证呢？具体说说