大数据技术培训

Sqoop：(发音：skup)作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库(MySql,PostgreSQL)间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中，也可以将HDFS中的数据导入关系型数据库中。

Flume：实时数据采集的一个开源框架，它是Cloudera提供的一个高可用用的、高可靠、分布式的海量日志采集、聚合和传输的系统。目前已经是Apache的顶级子项目。使用Flume可以收集诸如日志、时间等数据并将这些数据集中存储起来供下游使用(尤其是数据流框架，例如Storm)。和Flume类似的另一个框架是Scribe(FaceBook开源的日志收集系统，它为日志的分布式收集、统一处理提供一个可扩展的、高容错的简单方案)大数据分析培训课程内容有哪些

Kafka：通常来说Flume采集数据的速度和下游处理的速度通常不同步，因此实时平台架构都会用一个消息中间件来缓冲，而这方面最为流行和应用最为广泛的无疑是Kafka。它是由LinkedIn开发的一个分布式消息系统，以其可以水平扩展和高吞吐率而被广泛使用。目前主流的开源分布式处理系统(如Storm和Spark等)都支持与Kafka 集成。

Kafka是一个基于分布式的消息发布-订阅系统，特点是速度快、可扩展且持久。与其他消息发布-订阅系统类似，Kafka可在主题中保存消息的信息。生产者向主题写入数据，消费者从主题中读取数据。浅析大数据分析技术

作为一个分布式的、分区的、低延迟的、冗余的日志提交服务。和Kafka类似消息中间件开源产品还包括RabbiMQ、ActiveMQ、ZeroMQ等。

MapReduce：MapReduce是Google公司的核心计算模型，它将运行于大规模集群上的复杂并行计算过程高度抽象为两个函数：map和reduce。MapReduce最伟大之处在于其将处理大数据的能力赋予了普通开发人员，以至于普通开发人员即使不会任何的分布式编程知识，也能将自己的程序运行在分布式系统上处理海量数据。

Hive：MapReduce将处理大数据的能力赋予了普通开发人员，而Hive进一步将处理和分析大数据的能力赋予了实际的数据使用人员(数据开发工程师、数据分析师、算法工程师、和业务分析人员)。大数据分析培训课程大纲

Hive是由Facebook开发并贡献给Hadoop开源社区的，是一个建立在Hadoop体系结构上的一层SQL抽象。Hive提供了一些对Hadoop文件中数据集进行处理、查询、分析的工具。它支持类似于传统RDBMS的SQL语言的查询语言，一帮助那些熟悉SQL的用户处理和查询Hodoop在的数据，该查询语言称为Hive SQL。Hive SQL实际上先被SQL解析器解析，然后被Hive框架解析成一个MapReduce可执行计划，并按照该计划生产MapReduce任务后交给Hadoop集群处理。

Spark：尽管MapReduce和Hive能完成海量数据的大多数批处理工作，并且在打数据时代称为企业大数据处理的首选技术，但是其数据查询的延迟一直被诟病，而且也非常不适合迭代计算和DAG(有限无环图)计算。由于Spark具有可伸缩、基于内存计算能特点，且可以直接读写Hadoop上任何格式的数据，较好地满足了数据即时查询和迭代分析的需求，因此变得越来越流行。

Spark是UC Berkeley AMP Lab(加州大学伯克利分校的 AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，它拥有Hadoop MapReduce所具有的优点，但不同MapReduce的是，Job中间输出结果可以保存在内存中，从而不需要再读写HDFS ，因此能更好适用于数据挖掘和机器学习等需要迭代的MapReduce算法。

Spark也提供类Live的SQL接口，即Spark SQL，来方便数据人员处理和分析数据。

Spark还有用于处理实时数据的流计算框架Spark Streaming,其基本原理是将实时流数据分成小的时间片段(秒或几百毫秒)，以类似Spark离线批处理的方式来处理这小部分数据。

Storm：MapReduce、Hive和Spark是离线和准实时数据处理的主要工具，而Storm是实时处理数据的。

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。Storm对于实时计算的意义相当于Hadoop对于批处理的意义。Hadoop提供了Map和Reduce原语，使对数据进行批处理变得非常简单和优美。同样，Storm也对数据的实时计算提供了简单的Spout和Bolt原语。Storm集群表面上和Hadoop集群非常像，但是在Hadoop上面运行的是MapReduce的Job,而在Storm上面运行的是Topology(拓扑)。

Storm拓扑任务和Hadoop MapReduce任务一个非常关键的区别在于：1个MapReduce Job最终会结束，而一个Topology永远运行(除非显示的杀掉它)，所以实际上Storm等实时任务的资源使用相比离线MapReduce任务等要大很多，因为离线任务运行完就释放掉所使用的计算、内存等资源，而Storm等实时任务必须一直占有直到被显式的杀掉。Storm具有低延迟、分布式、可扩展、高容错等特性，可以保证消息不丢失，目前Storm, 类Storm或基于Storm抽象的框架技术是实时处理、流处理领域主要采用的技术。

Flink：在数据处理领域，批处理任务和实时流计算任务一般被认为是两种不同的任务，一个数据项目一般会被设计为只能处理其中一种任务，例如Storm只支持流处理任务，而MapReduce, Hive只支持批处理任务。

Apache Flink是一个同时面向分布式实时流处理和批量数据处理的开源数据平台，它能基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。Flink在实现流处理和批处理时，与传统的一些方案完全不同，它从另一个视角看待流处理和批处理，将二者统一起来。Flink完全支持流处理，批处理被作为一种特殊的流处理，只是它的数据流被定义为有界的而已。基于同一个Flink运行时，Flink分别提供了流处理和批处理API，而这两种API也是实现上层面向流处理、批处理类型应用框架的基础。大数据分析要学什么

Beam：Google开源的Beam在Flink基础上更进了一步，不但希望统一批处理和流处理，而且希望统一大数据处理范式和标准。Apache Beam项目重点在于数据处理的的编程范式和接口定义，并不涉及具体执行引擎的实现。Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。

Apache Beam主要由Beam SDK和Beam Runner组成，Beam SDK定义了开发分布式数据处理任务业务逻辑的API接口，生成的分布式数据处理任务Pipeline交给具体的Beam Runner执行引擎。Apache Flink目前支持的API是由Java语言实现的，它支持的底层执行引擎包括Apache Flink、Apache Spark和Google Cloud Flatform。

相关推荐：

《大数据分析方法》、《转行大数据分析师后悔了》、《大数据分析师工作内容》、《学大数据分析培训多少钱》、《大数据分析培训课程大纲》、《大数据分析培训课程内容有哪些》、《大数据分析方法》、《大数据分析十八般工具》

简单来讲是学习Java、数据结构、关系型数据库、linux系统操作、hadoop离线分析、Storm实时计算、spark内存计算以及实操课程。复杂的话，就是每个大的知识点里都包含着很多小的知识点，这可以参考（青牛的课程）。

想到参加大数据培训学习开发技术知识，我们小伙伴比较关心的就是培训时间和培训费用的问题。在这里我想说的是：在大数据培训市场对于培训费用并没有一个标准的收费标准，不同的大数据培训班，由于培训模式、培训成本的不同，相应的收取的培训费用不同，有高有低，小伙伴在选择大数据培训班的时候，培训费用是其中一个因素，但并不是重要的选择因素，其重要因素还是培训课程内容的性价比。一般比较靠谱的大数据培训班培训费用大约在2W左右，其培训周期是5-6个月的时间。小伙伴在大数据培训班进行学习开发技术知识的时候，自己要根据培训班课程内容来制定适合自己的学习计划，要根据大数据培训班课程内容的学习来完成自己每天定制的学习计划，这是其一。其二呢，就是小伙伴不要只学习基础理论知识，还需要结合相应的项目实战案例去练习深入理解大数据开发技术知识。这样理论实践互相兼顾，可以锻炼小伙伴在项目开发过程中解决问题的能力，而且还能在学习大数据开发技术知识的过程中，积累更多的项目实战经验。

一般来说大数据培训就是5个月左右的时间，

大数据学习内容

第1阶段Java

第2阶段JavaEE核心

第3阶段Hadoop生态体系

第4阶段大数据spark生态体系

大数据学习内容

大数据学习分以下3种情况一、自学。学习能力强有一定开发基础的可以尝试自学，虽然有点难，但是还是有一些学习能力强的学生可以通过自学成材的，自学一般都是根据自身碎片化时间进行学习，时间会拉的比较长。自学的优点：是可以省下一笔学费，而且不占用自己的工作时间。自学的缺点：遇到问题难以解决，无老师辅导。无真实企业项目可以实训二、企业内部学习。企业内部培养可造之材，由技术人员带，学习时间视企业情况而定。优点：上手快，有人带，无需支付费用缺点：机会少，大多数学生没有这样的机会三、线下培训学习。线下培训学习时间5-6个月。可能有学生问为什么没有线上培训学习呢？对于学习大数据技术目前线上培训无法保证学生的学习质量，如果你能够在线上学会大数据技术的话，那么你就不需要培训了，通过自学就可以了！因为你属于学习能力强的那一小部分人

可以参考一下以道教育的课程体系第一阶段 WEB 开发基础HTML基础1、Html基本介绍2、HTML语法规范3、基本标签介绍4、HTML编辑器/文本文档/WebStrom/elipse5、HTML元素和属性6、基本的HTML元素 标题 段落 样式和style属性 链接 图像 表格 列表 ul/ol/dl7、 HTML注释8、表单介绍9、Table标签10、DIV布局介绍11、HTML列表详解HTML布局和Bootstrap1、 HTML块元素（block）和行内元素(inline)2、使用div实现网页布局3、响应式WEB设计（Responsive Web Design）4、使用bootstrap实现响应式布局HTML表单元素1、HTML表单 form2、HTML表单元素3、 HTML input的类型 type4、 Html input的属性CSS基础1、CSS简介及基本语法2、在HTML文档中使用CSS3、CSS样式4、CSS选择器5、盒子模型6、布局及定位CSS高级/CSS31、尺寸和对齐2、分类（clear/cursor/display/float/position/visibility）3、导航栏4、图片库5、图片透明6、媒介类型 @media7、CSS38、CSS3动画效果JavaScript基础1、JavaScript简介2、基本语法规则3、在HTML文档中使用JS4、JS变量5、JS数据类型6、JS函数7、JS运算符8、流程控制9、JS错误和调试JavaScript对象和作用域1、数字 Number2、字符串String3、日期 Date4、数组5、数学 Math6、DOM对象和事件7、BOM对象8、Window对象9、作用域和作用域链10、JSONJavascript库1、Jquery2、Prototype3、Ext JsJquery1、Jquery基本语法2、Jquery选择器3、Jquery事件4、Jquery选择器5、Jquery效果和动画6、使用Jquery操作HTML和DOM7、Jquery遍历8、Jquery封装函数9、Jquery案例表单验证和Jquery Validate1、用Js对HTML表单进行验证2、Jquery Validata基本用法3、默认校验规则和提示信息4、debug和ignore5、更改错误信息显示位置和样式6、全部校验通过后的执行函数7、修改验证触发方式8、异步验证9、自定义校验方法10、radio 和 checkbox、select 的验证Java基础1、关于Java2、Java运行机制3、第一个Java程序，注释4、Javac,Java,Javadoc等命令5、标识符与关键字6、变量的声明，初始化与应用7、变量的作用域8、变量重名9、基本数据类型10、类型转换与类型提升11、各种数据类型使用细节12、转义序列13、各种运算符的使用流程控制1、选择控制语句if-else2、选择控制语句switch-case3、循环控制语句while4、循环控制语句do-while5、循环控制语句for与增强型for6、break，continue，return7、循环标签8、数组的声明与初始化9、数组内存空间分配10、栈与堆内存11、二维（多维）数组12、Arrays类的相关方法13、main方法命令行参数面向对象1、面向对象的基本思想2、类与对象3、成员变量与默认值4、方法的声明，调用5、参数传递和内存图6、方法重载的概念7、调用原则与重载的优势8、构造器声明与默认构造器9、构造器重载10、this关键字的使用11、this调用构造器原则12、实例变量初始化方式13、可变参数方法访问权限控制1、包 package和库2、访问权限修饰符private/protected/public/包访问权限3、类的访问权限4、抽象类和抽象方法5、接口和实现6、解耦7、Java的多重继承8、通过继承来扩展接口错误和异常处理1、概念：错误和异常2、基本异常3、捕获异常 catch4、创建自定义异常5、捕获所有异常6、Java标准异常7、使用finally进行清理8、异常的限制9、构造器10、异常匹配11、异常使用指南数据库基础（MySQL）数据库基础（MySQL）JDBC1、Jdbc基本概念2、使用Jdbc连接数据库3、使用Jdbc进行crud操作4、使用Jdbc进行多表操作5、Jdbc驱动类型6、Jdbc异常和批量处理7、Jdbc储存过程Servlet和JSP1、Servlet简介2、Request对象3、Response对象4、转发和重定向5、使用Servlet完成Crud6、Session和Coolie简介7、ServletContext和Jsp8、El和Jstl的使用Ajax1、什么是Ajax2、XMLHttpRequest对象（XHR）3、XHR请求4、XHR响应5、readystate/onreadystatechange6、Jquery Ajax7、JSON8、案例：对用户名是否可用进行服务器端校验综合案例1、项目开发一般流程介绍2、模块化和分层3、DButils4、QueryRunner5、ResultSetHandle6、案例：用户登录/注册，从前端到后端第二阶段 Java SE访问权限和继承1、包的声明与使用2、import与import static3、访问权限修饰符4、类的封装性5、static（静态成员变量）6、final（修饰变量，方法）7、静态成员变量初始化方式8、类的继承与成员继承9、super的使用10、调用父类构造器11、方法的重写与变量隐藏12、继承实现多态和类型转换13、instanceof抽象类与接口1、抽象类2、抽象方法3、继承抽象类4、抽象类与多态5、接口的成员6、静态方法与默认方法7、静态成员类8、实例成员类9、局部类10、匿名类11、eclipse的使用与调试12、内部类对外围类的访问关系13、内部类的命名Lambda表达式与常用类1、函数式接口2、Lambda表达式概念3、Lambda表达式应用场合4、使用案例5、方法引用6、枚举类型（编译器的处理）7、包装类型（自动拆箱与封箱）8、String方法9、常量池机制10、String讲解11、StringBuilder讲解12、Math，Date使用13、Calendars使用异常处理与泛型1、异常分类2、try-catch-finally3、try-with-resources4、多重捕获multi-catch5、throw与throws6、自定义异常和优势7、泛型背景与优势8、参数化类型与原生类型9、类型推断10、参数化类型与数组的差异11、类型通配符12、自定义泛型类和类型擦出13、泛型方法重载与重写集合1 、常用数据结构2 、Collection接口3 、List与Set接口4 、SortedSet与NavigableSet5 、相关接口的实现类6 、Comparable与Comparator7、Queue接口8 、Deque接口9 、Map接口10、NavigableMap11、相关接口的实现类12、流操作（聚合操作）13、Collections类的使用I/O流与反射1 、File类的使用2 、字节流3 、字符流4 、缓存流5 、转换流6 、数据流7、对象流8、类加载，链接与初始化9 、ClassLoader的使用10、Class类的使用11、通过反射调用构造器12、安全管理器网络编程模型与多线程1、进程与线程2、创建线程的方式3、线程的相关方法4、线程同步5、线程死锁6、线程协作操作7、计算机网络（IP与端口）8、TCP协议与UDP协议9、URL的相关方法10、访问网络资源11、TCP协议通讯12、UDP协议通讯13、广播 MVC2.创建Spring MVC项目 MVC执行流程和参数 MVC2.创建Spring MVC项目 MVC执行流程和参数 MVC2.创建Spring MVC项目 MVC执行流程和参数简介配置文件3.用MyBatis完成的使用关联查询6.动态缓冲编程1.网络通信和协议2.关于 类型函数 MVC/WebSocket AjaxIO/异步window对象全局作用域窗口关系及框架窗口位置和大小打开窗口间歇调用和超时调用（灵活运用）系统对话框location对象navigator对象screen对象history对象NIO/AIO1.网络编程模型.同步阻塞4.同步非阻塞5.异步阻塞6.异步非阻塞与AIO基本操作8.高性能IO设计模式第三阶段 Java 主流框架框架原理分析框架入门程序编写和hibernate的本质区别和应用场景开发dao方法配置文件讲解6.输入映射-pojo包装类型的定义与实现7.输出映射-resultType、resultMap8.动态sql9.订单商品数据模型分析10.高级映射的使用11.查询缓存之一级缓存、二级缓存与spring整合13. mybatis逆向工程自动生成代码Spring/Spring MVC1. springmvc架构介绍2. springmvc入门程序3. spring与mybatis整合4. springmvc注解开发—商品修改功能分析5. springmvc注解开发—RequestMapping注解6. springmvc注解开发—Controller方法返回值7. springmvc注解开发—springmvc参数绑定过程分析8. springmvc注解开发—springmvc参数绑定实例讲解9. springmvc与struts2的区别10. springmvc异常处理11. springmvc上传图片12. springmvc实现json交互13. springmvc对RESTful支持14. springmvc拦截器第四阶段 关系型数据库/MySQL/NoSQLSQL基础及主流产品的下载与安装（sinux/windows）的基本配置/配置文件4.基本的SQL操作 DDL5.基本的SQL操作 DML6.基本的SQL操作 客户端工具帮助文档MySQL数据类型和运算符1 数值类型2 日期时间类型3 字符串类型4 CHAR 和 VARCHAR 类型5 BINARY 和 VARBINARY 类型6 ENUM 类型7 SET 类型8 算术运算符9 比较运算符10 逻辑运算符11 位运算12 运算符的优先级MySQL函数1 字符串函数2 数值函数3 日期和时间函数4 流程函数5 其他常用函数MySQL存储引擎支持的存储引擎及其特性.选择合适的存储引擎选择合适的数据类型1 CHAR 与 VARCHAR2 TEXT 与 BLOB3 浮点数与定点数4 日期类型选择字符集1 字符集概述2 Unicode字符集3 汉字及一些常见字符集4 选择合适的字符集 5 MySQL 支持的字符集6 MySQL 字符集的设置 .索引的设计和使用1.什么是索引2.索引的类型3.索引的数据结构 BTree B+Tree Hash4.索引的存储索引6.查看索引的使用情况7.索引设计原则视图/存储过程/函数/触发器1. 什么是视图2. 视图操作3. 什么是存储过程4. 存储过程操作5. 什么是函数6. 函数的相关操作7. 触发器事务控制/锁1. 什么是事务2. 事务控制3. 分布式事务4. 锁/表锁/行锁5. InnoDB 行锁争用6. InnoDB 的行锁模式及加锁方法77 InnoDB 行锁实现方式78 间隙锁（Next-Key 锁）9 恢复和复制的需要，对 InnoDB 锁机制的影响10 InnoDB 在不同隔离级别下的一致性读及锁的差异11 表锁12 死锁SQL Mode和安全问题1. 关于SQL Mode2. MySQL中的SQL Mode3. SQL Mode和迁移4. SQL 注入5. 开发过程中如何避免SQL注入SQL优化1.通过 show status 命令了解各种 SQL 的执行频率2. 定位执行效率较低的 SQL 语句3. 通过 EXPLAIN 分析低效 SQL 的执行计划4. 确定问题并采取相应的优化措施5. 索引问题6.定期分析表和检查表7.定期优化表8.常用 SQL 的优化MySQL数据库对象优化1. 优化表的数据类型2 散列化3 逆规范化4 使用中间表提高统计查询速度5. 影响MySQL性能的重要参数6. 磁盘I/O对MySQL性能的影响7. 使用连接池8. 减少MySQL连接次数9. MySQL负载均衡MySQL集群MySQL管理和维护MemCacheRedis在Java项目中使用MemCache和Redis第五阶段：操作系统/Linux、云架构Linux安装与配置1、安装Linux至硬盘2、获取信息和搜索应用程序3、进阶：修复受损的Grub4、关于超级用户root5、依赖发行版本的系统管理工具6、关于硬件驱动程序7、进阶：配置Grub系统管理与目录管理1、Shell基本命令2、使用命令行补全和通配符3、find命令、locate命令4、查找特定程序：whereis5、Linux文件系统的架构6、移动、复制和删除7、文件和目录的权限8、文件类型与输入输出9、vmware介绍与安装使用10、网络管理、分区挂载用户与用户组管理1、软件包管理2、磁盘管理3、高级硬盘管理RAID和LVM4、进阶：备份你的工作和系统5、用户与用户组基础6、管理、查看、切换用户7、/etc/...文件8、进程管理9、linux VI编辑器，awk，cut，grep，sed，find，unique等Shell编程1、 SHELL变量2、传递参数3、数组与运算符4、SHELL的各类命令5、SHELL流程控制6、SHELL函数7、SHELL输入/输出重定向8、SHELL文件包含服务器配置1、系统引导2、管理守护进程3、通过xinetd启动SSH服务4、配置inetd5、Tomcat安装与配置6、MySql安装与配置7、部署项目到Linux第六阶段：Hadoop生态系统Hadoop基础1、大数据概论2、 Google与Hadoop模块3、Hadoop生态系统4、Hadoop常用项目介绍5、Hadoop环境安装配置6、Hadoop安装模式7、Hadoop配置文件HDFS分布式文件系统1、认识HDFS及其HDFS架构2、Hadoop的RPC机制3、HDFS的HA机制4、HDFS的Federation机制5、 Hadoop文件系统的访问6、JavaAPI接口与维护HDFS7、HDFS权限管理8、hadoop伪分布式Hadoop文件I/O详解1、Hadoop文件的数据结构2、 HDFS数据完整性3、文件序列化4、Hadoop的Writable类型5、Hadoop支持的压缩格式6、Hadoop中编码器和解码器7、 gzip、LZO和Snappy比较8、HDFS使用shell+Java APIMapReduce工作原理1、MapReduce函数式编程概念2、 MapReduce框架结构3、MapReduce运行原理4、Shuffle阶段和Sort阶段5、任务的执行与作业调度器6、自定义Hadoop调度器7、 异步编程模型8、YARN架构及其工作流程MapReduce编程1、WordCount案例分析2、输入格式与输出格式3、压缩格式与MapReduce优化4、辅助类与Streaming接口5、MapReduce二次排序6、MapReduce中的Join算法7、从MySQL读写数据8、Hadoop系统调优Hive数据仓库工具1、Hive工作原理、类型及特点2、Hive架构及其文件格式3、Hive操作及Hive复合类型4、Hive的JOIN详解5、Hive优化策略6、Hive内置操作符与函数7、Hive用户自定义函数接口8、Hive的权限控制Hive深入解读1 、安装部署Sqoop2、Sqoop数据迁移3、Sqoop使用案例4、深入了解数据库导入5、导出与事务6、导出与SequenceFile7、Azkaban执行工作流Sqoop与Oozie1 、安装部署Sqoop2、Sqoop数据迁移3、Sqoop使用案例4、深入了解数据库导入5、导出与事务6、导出与SequenceFile7、Azkaban执行工作流Zookeeper详解1、Zookeeper简介2、Zookeeper的下载和部署3、Zookeeper的配置与运行4、Zookeeper的本地模式实例5、Zookeeper的数据模型6、Zookeeper命令行操作范例7、storm在Zookeeper目录结构NoSQL、HBase1、HBase的特点2、HBase访问接口3、HBase存储结构与格式4、HBase设计5、关键算法和流程6、HBase安装7、HBase的SHELL操作8、HBase集群搭建第七阶段：Spark生态系统Spark1.什么是大数据处理框架的特点与应用场景 SQL原理和实践 Streaming原理和实践 SparkR入门的监控和调优Spark部署和运行准备开发环境编程接口体系结构通信协议4.导入Hadoop的JAR文件代码的实现6.打包、部署和运行7.打包成JAR文件Spark程序开发1、启动Spark Shell2、加载text文件3、RDD操作及其应用4、RDD缓存5、构建Eclipse开发环境6、构建IntelliJ IDEA开发环境7、创建SparkContext对象8、编写编译并提交应用程序Spark编程模型1、RDD特征与依赖2、集合（数组）创建RDD3、存储创建RDD4、RDD转换 执行 控制操作5、广播变量6、累加器作业执行解析1、Spark组件2、RDD视图与DAG图3、基于Standalone模式的Spark架构4、基于YARN模式的Spark架构5、作业事件流和调度分析6、构建应用程序运行时环境7、应用程序转换成DAGSpark SQL与DataFrame1、Spark SQL架构特性2、DataFrame和RDD的区别3、创建操作DataFrame4、RDD转化为DataFrame5、加载保存操作与Hive表6、Parquet文件JSON数据集7、分布式的SQL Engine8、性能调优 数据类型深入Spark Streaming1、Spark Streaming工作原理2、DStream编程模型3、Input DStream4、DStream转换 状态 输出5、优化运行时间及内存使用6、文件输入源7、基于Receiver的输入源8、输出操作Spark MLlib与机器学习1、机器学习分类级算法2、Spark MLlib库3、MLlib数据类型4、MLlib的算法库与实例5、ML库主要概念6、算法库与实例GraphX与SparkR1、Spark GraphX架构2、GraphX编程与常用图算法3、GraphX应用场景4、SparkR的工作原理5、R语言与其他语言的通信6、SparkR的运行与应用7、R的DataFrame操作方法8、SparkR的DataFrameScala编程开发1、Scala语法基础2、idea工具安装3、maven工具配置4、条件结构、循环、高级for循环5、数组、映射、元组6、类、样例类、对象、伴生对象7、高阶函数与函数式编程Scala进阶1、 柯里化、闭包2、模式匹配、偏函数3、类型参数4、协变与逆变5、隐式转换、隐式参数、隐式值6、Actor机制7、高级项目案例Python编程1、Python编程介绍2、Python的基本语法3、Python开发环境搭建4、Pyhton开发Spark应用程序第八阶段：Storm生态系统storm简介与基本知识1、storm的诞生诞生与成长2、storm的优势与应用3、storm基本知识概念和配置4、序列化与容错机制5、可靠性机制—保证消息处理6、storm开发环境与生产环境7、storm拓扑的并行度8、storm命令行客户端Storm拓扑与组件详解1、流分组和拓扑运行2、拓扑的常见模式3、本地模式与stormsub的对比4、 使用非jvm语言操作storm5、hook、组件基本接口6、基本抽象类7、事务接口8、组件之间的相互关系spout详解 与bolt详解1、spout获取数据的方式2、常用的spout3、学习编写spout类4、bolt概述5、可靠的与不可靠的bolt6、复合流与复合anchoring7、 使用其他语言定义bolt8、学习编写bolt类storm安装与集群搭建1、storm集群安装步骤与准备2、本地模式storm配置命令3、配置hosts文件、安装jdk4、zookeeper集群的搭建5、部署节点6、storm集群的搭建7、zookeeper应用案例8、Hadoop高可用集群搭建Kafka1、Kafka介绍和安装2、整合Flume3、Kafka API4、Kafka底层实现原理5、Kafka的消息处理机制6、数据传输的事务定义7、Kafka的存储策略Flume1、Flume介绍和安装2、Flume Source讲解3、Flume Channel讲解4、Flume Sink讲解5、flume部署种类、流配置6、单一代理、多代理说明7、flume selector相关配置Redis1、Redis介绍和安装、配置2、Redis数据类型3、Redis键、字符串、哈希4、Redis列表与集合5、Redis事务和脚本6、Redis数据备份与恢复7、Redis的SHELL操作

大数据培训需要脱产全日制学习5个月左右的时间，对于有一定难度的大数据课程，这是最短的学习时间，大数据培训主要是指大数据开发工程师培训。

对于0基础学员来说，如果按照加米谷的安排来学习，从第一阶段：静态网页基础到第二十阶段：大数据项目实战，大约要150天左右。

大数据培训面授起码要半年的时间，机构和机构学习的时间可以能有差异大体上都是半年，希望对你有所帮助。

1、北京千锋教育

北京千锋教育开设HTML5前端、Java、Python、全链路设计、云计算、软件测试、大数据、智能物联网、Unity游戏开发、Go语言开发、网络安全、互联网营销学科，并推出软考、Adobe认证、PMP认证、红帽RHCE认证课程。

2、万和计算机培训中心

江苏万和计算机培训中心，始于1993年，经过20年坚持不懈的努力，通过规范化、标准化、专业化服务流程实施，江苏万和计算机培训中心已发展成为华东地区最大的专业IT培训机构。

3、烟台大数据培训

依托于大数据世界论坛（BDWF | Big Data World Forum），大数据培训学院拥有丰富的师资资源、国际同步的课程体系与优质的服务流程。

4、光环大数据

光环国际创办于2001年，至今已成立18年，上市机构（股票代码：838504），主要业务在IT培训，旗下设有Java、PMP、软考、敏捷、项目管理、大数据、Python、前端开发。

5、上海千锋教育

千锋教育全称北上海千锋互联科技有限公司一直“用良心做教育”，是中国移动互联网研发人才一体化服务的领导者，打造移动互联网高端研发人才服务。