大数据工程师培训路线规划

大大数据开发工程师要学习哪些课程大数据开发工程师要学习哪些大数据开发工程师要学习哪些课程

数据分析师的职业发展非常的宽泛 ，非常的广，提供给我们很多发展的机遇，那么作为一个数据分析师，他会了解到企业经营或者一个组织的管理，非常非常深入地或者很细地各个方面的一些情况，因为我们日常都会对企业经营和组织管理方面的问题进行分析，来提供一些建议。因此我们对决明企业管理和经营会随着数据分析职业发展越来越了解，在了解了职业和业务的情况下，作为一个九道门数据分析师，他是有很多方向可以走。

01

一个方向是我个人比较内向不希望和人做更多地沟通，我也不希望去管理别人的时候他可以做数据科学家，我们对企业的运营和经营在非常了解的情况下，能够学习一些高端的数据挖掘的技术或者数据分析的技术包括一些深度学习之类的，包括把自己的编程能力和系统的控制都提高之后我们可以在数据分析地领域走到我们领域地最高峰就是数据科学家。

02

有些同学在数据分析的学习过程中，发现自己乐于分享也乐于沟通、管理别人，并对业务更有兴趣的时候，他可以走向业务管理的职业，为什么我们会说数据分析更适合做业务管理，因为在企业经营中，我们其实都在管理一些指标，也就是我们日常打交道的都是数据，数据分析师每天都在和数据打交道，对企业经营能够做到非常精细化的去理解并知道如何进行优化的情况下，他更适合去做一些管理的岗位，因此数据分析师如果了解到自己有具备这样的能力，他的职业规划可以向CXO，这样的职业阶层层面发展，随着工作年龄的增长，他是可以走到管理的岗位，甚至是比较高的管理岗位。

省事儿的话，就去学校，比如这边，互联网it学校

大数据方向的工作目前分为三个主要方向: 01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）一、大数据工程师的技能要求二、大数据学习路径三、学习资源推荐（书籍、博客、网站）一、大数据工程师的技能要求总结如下:必须技能10条:高级编程(虚拟机、并发) 基本操作（此处指HDFS+MapReduce+Yarn ）（JavaAPI操作+Phoenix ） 、 (Core+sparksql+Spark streaming ）进阶技能6条:11.机器学习算法以及mahout库加语言 架构架构二、学习路径第一阶段:学习（跟鸟哥学就ok了） 高级学习（《深入理解Java虚拟机》、《Java高并发实战》第二阶段: （董西成的书）（《HBase权威指南》）（《Hive开发指南》）（《快学Scala》） （《Spark 快速大数据分析》） （跟着廖雪峰的博客学习就ok了）第三阶段:对应技能需求，到网上多搜集一些资料就ok了，我把最重要的事情(要学什么告诉你了)，剩下的就是你去搜集对应的资料学习就ok了当然如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。这个完全根据自己情况决定,如果看书效率不高就上网课，相反的话就自己看书。三，学习资源推荐: 官网官网官网05.过往的记忆（技术博客），51CTO 07.至于书籍当当、京东一搜会有很多，其实内容都差不多 那么如何从零开始规划大数据学习之路！ 大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。

不同公司对数据分析师的职位划分稍有不同。在一些中小型企业，在没有成立独立的数据中心前，数据分析的相关职位往往是在市场部、运营部的管辖之下，人数通常在2－4人不等。对于一些大型企业，有独立的数据分析部门，团队成员也在数十人到百余人不等。对于职位头衔，有的按行政级别划分，如专员、主管、经理、总监等；也有的按专业水平划分，如助理、高级、资深、专家等。数据分析职位整体上分为两大类：1、数据分析师：专业能力成长路径：助理数据分析师－数据分析师－资深数据分析师－高级数据分析师行政职位晋升路径：数据分析专员－数据分析主管－数据分析经理－数据分析总监主要专业技能要求：数据库知识（SQL）、基本的统计分析知识、熟练掌握Excel，了解SPSS/SAS，良好的PPT展示能力。2、数据分析工程师：算法工程师、建模工程师。（以上内容来自第一职场网“教练式”职业规划咨询报告）

大数据工程师要学什么课程？没接触过大数据的人也许不知道大数据工程师是什么，更别说知道大数据工程师要学什么课程了。我们先来说下大数据工程师是做什么的吧。是负责公司互联网数据分析的一个职位，对数据库进行开发和(或)维护，需要具备超强的逻辑思维，精通各种语言，需要有相当好的毅力和耐心。光环大数据的大数据培训课程分为如下几个阶段：第一阶段：java核心学习学习内容：Java核心内容学习目标：掌握数据类型与运算符，数组、类与对象；掌握IO流与反射、多线程、JDBC。完成目标：Java多线程模拟多窗口售票，Java集合框架管理。第二阶段: JavaEE课程大纲学习内容：JavaEE核心内容学习目标：Mysql数据基础知识，Jdbc 基础概念和操作掌握HTML和CSS语法、Java核心语法完成目标：京东电商网站项目、2048小游戏。第三阶段：Linux精讲学习内容：Linux命令、文件、配置，Shell、Awk、Sed学习目标：搭建负载均衡、高可靠的服务器集群，可大网站并发访问量，保证服务不间断完成目标：Linux环境搭建、shell脚本小游戏 贪吃蛇。第四阶段：Hadoop生态体系学习内容：HDFS、MapReduce、Hive、Sqoop、Oozie学习目标：掌握HDFS原理、操作和应用开发，掌握分布式运算、Hive数据仓库原理及应用。完成目标：微博数据大数据分析、汽车销售大数据分析第五阶段：Storm实时开发学习内容：Zookeeper、HBase、Storm实时数据学习目标：掌握Storm程序的开发及底层原理，具备开发基于Storm的实时计算程序的能力。完成目标：实时处理新数据和更新数据库，处理密集查询并行搜索处理大集合的数据。

首先你要有自己职业规划，知道数据分析和大数据是做什么的、能解决什么问题，给自己定一个小目标。一个有经验的数据科学家：最少要有2到3年工作经验，而工作经验体现在运用数据科学处理各种商业问题的能力上，同时需要具备以下技能：一流的分析技巧：探索凌乱的数据集并提取洞察的能力；在SQL运用能力方面是一名内行；能很好的掌握假设检验、分配、回归分析和贝叶斯方法；有与商业方面的机器学习经验；对于Python语言和Jupyter环境有经验；对于pandas、numpy、sk-learn和NLTK有一定操作经验；具备写编写Latex格式文档的能力；在统计学，运筹学，经济学，计算机科学，或其它相关领域具有本科或硕士学历。未来数据分析是一种工具，在金融、互联网、电子商务、公共服务、医疗健康等领域非常广泛，职位上面偏业务的有数据分析师、数据产品经理、数据规划师等职位，偏技术的有大数据工程师、大数据架构师、算法工程师等职位。你需要了解自己的兴趣和特长并选择合适的职业通道。在大学本科阶段，没有什么比学好数学更为重要的了：先关课程包括《高等数学》《线性代数》《概率与数理统计》《数值分析》《多元分析》《泛函分析》。数学是一门基础学科，需要长时间的学习和知识积累，而且数学课程离开学校是没地方补的。其他能力大部分是可以通过其他渠道学习的：一、数据分析技能：数据清洗建立数学模型运用合适的统计方法来分析数据运用机器学习算法检验模型的正确与否实现数据可视化二、编程技能：精通一种或多种数据分析工具（R/Matlab/SPSS/SAS)精通一种或多种面向对角编程语言（Python、C++、Java、C#、perl 等）其他IT公司经常需要的技能（熟悉HTML/CSS，互联网公司可能会要求)三、数据管理技能（尤其是针对大规模数据）：hadoop（尤其是hive/HBase、HDFS和MapRdeuce)SQLNoSL其他IT公司常用的数据管理技能四、商业知识：熟悉瀑布模型和敏捷模型等软件开发模式理解公司运行规则对于产业所属领域有所了解其他公司常用商业技巧五、交流技巧（软实力）：做演讲和PPT演示来展示产品撰写报名懂得倾听重点信息能够将用户的需求转换为实际产品其他公司常用交流交往技能作为第一批“数据科学与大数据技术”的科班学生，你们无疑是幸运的，仰望星空，你们已经走在数据科学的大路上，前途一片光明。希望你们能想老一辈统计学家和人工智能专家学习，继往开来，早日成才！

不同公司对数据分析师的职位划分稍有不同。在一些中小型企业，在没有成立独立的数据中心前，数据分析的相关职位往往是在市场部、运营部的管辖之下，人数通常在2－4人不等。对于一些大型企业，有独立的数据分析部门，团队成员也在数十人到百余人不等。对于职位头衔，有的按行政级别划分，如专员、主管、经理、总监等；也有的按专业水平划分，如助理、高级、资深、专家等。数据分析职位整体上分为两大类：1、数据分析师：专业能力成长路径：助理数据分析师－数据分析师－资深数据分析师－高级数据分析师行政职位晋升路径：数据分析专员－数据分析主管－数据分析经理－数据分析总监主要专业技能要求：数据库知识（SQL）、基本的统计分析知识、熟练掌握Excel，了解SPSS/SAS，良好的PPT展示能力。2、数据分析工程师：算法工程师、建模工程师。

目前我们正处在大数据时代，掌握大数据相关技术对提高自己的职场竞争力一定是有帮助的。

大数据学习建议：

1、0基础小白从Java语言开始学习

因为当前的大数据技术主要是用 Java 实现的或者是基于 Java 的，想入行大数据，Java基础是必备的；

2、Java开发能力需要通过实际项目来锻炼

在学习完Java语言之后，往往只是掌握了Java语言的基本操作，只有通过真正的项目锻炼才能进一步提高Java开发能力。

3、大数据开发有明显的场景要求

大数据开发是基于目前已有信息系统的升级改造，是一个系统的过程，包括平台的搭建、数据的存储、服务的部署等都有较大的变化，要想真正理解大数据需要有一个积累的过程。对于初学者来说，应该先建立一个对开发场景的认知，这样会更好的理解大数据平台的价值和作用。

4、从基础开发开始做起

对于初级程序员来说，不管自己是否掌握大数据平台的开发知识，都是从基础的开发开始做起，基于大数据平台开发环境。

从就业的角度来说，大数据开发是一个不错的选择。但我并不建议脱离实际应用来学习大数据，最好要结合实际的开发任务来一边学习一边使用。