数据工程师培训目录

1.大数据工程师工作中会做什么？集群运维：安装、测试、运维各种大数据组件数据开发：细分一点的话会有ETL工程师、数据仓库工程师等数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。2.集群运维数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。因此这就要求数据工程师了解各种大数据的组件。由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力： Linux 。要对Linux比较熟悉，能各种自己折腾着玩。由于现在的大数据生态系统基本上是 JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。3. ETLETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。4.系统开发我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是 Java Web这一套了，当然Python也是挺方便的。需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下， Sql就跑不掉了，老老实实学一下Sql很必要。如何入门？前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。1.了解行业情况刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。2.选择学习途径如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。在选择具体的学习途径时，要慎重一点，有几个选择：自学报班找人指点别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。3.学习路线学习路线，下面是一个大致的建议：第一阶段先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。第二阶段到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。用户画像和特征工程：这一部分越早了解越好。一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。第三阶段下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。

1阶段：Java2阶段：JavaEE核心3阶段：Hadoop生态体系4阶段：大数据spark生态体系

网络工程师培训内容：1 、硬件知识、计算机结构·计算机组成（运算器、控制器、存储器、I/O部件）· 指令系统（指令、寻址方式、CISC、RISC）· 多处理器（紧耦合系统、松耦合系统、阵列处理机、双机系统、同步）· 处理器性能、 存储器· 存储介质（半导体存储器、磁存储器、光存储器）·存储系统· 主存与辅存· 主存类型，主存容量和性能· 主存配置（主存奇偶校验、交叉存取、多级主存、主存保护系统）·高速缓存· 辅存设备的性能和容量计算 、输入输出结构和设备· I/O接口（中断、DMA、通道、SCSI、并行接口、通用接口总线、RS-232、USB、IEEE1394、红外线接口、输入输出控制系统、通道）·输入输出设备类型和特性、 嵌入式系统基础知识、操作系统知识 、基本概念· 操作系统定义、特征、功能及分类(批处理、分时、实时、网络、分布式)·多道程序· 内核和中断控制· 进程和线程、 处理机管理、存储管理、设备管理、文件管理、作业管理· 进程的状态及转换· 进行调度算法（分时轮转、优先级、抢占）· 死锁· 存储管理方案（分段与分页、虚存、页面置换算法）· 设备管理的有关技术（Spooling、缓冲、DMA、总线、即插即用技术）· 文件管理· 共享和安全（共享方式、可靠性与安全性、恢复处理、保护机制）· 作业的状态及转换·作业调度算法（先来先服务、短作业优先、高响应比优先）、系统配置方法 、系统配置技术· 系统架构模式（2层、3层及多层C/S和B/S系统）· 系统配置方法（双机、双工、热备份、容错、紧耦合多处理器、松耦合多处理器）· 处理模式（集中式、分布式、批处理、实时系统、Web计算、移动计算）、 系统性能· 性能设计（系统调整、响应特性）· 性能指标、性能评估（测试基准、系统监视器）、系统可靠性· 可靠性计算(MTBF、MTTR、可用性、故障率)· 可靠性设计（失效安全、软失效、部件可靠性及系统可靠性的分配及预估）· 可靠性指标和可靠性评估，RAS（可靠性、可用性和可维护性）2、系统开发基础、系统开发基础知识、需求分析和设计方法· 需求分析· 结构化分析设计·面向对象设计· 模块设计、I/O设计、人机界面设计 、开发环境· 开发工具（设计工具、编程工具、测试工具、CASE）· 集中开发环境 、测试评审方法· 测试方法· 评审方法· 测试设计和管理方法（注入故障、系统测试） 、项目管理基础知识· 制定项目计划· 质量计划、管理和评估· 过程管理（PERT图、甘特图、工作分解结构、进度控制、关键路径）· 配置管理· 人员计划和管理· 文档管理（文档规范、变更手续）· 开发组织和作用（开发组成员、项目经理）· 成本管理和风险管理 、系统可审计性· 审计方法、审计跟踪· 在系统中纳入和可审计性、系统运行和维护知识 、系统运行· 系统运行管理（计算机系统、网络）· 系统成本管理· 系统运行（作业调度、数据I/O管理、操作手册）· 用户管理（ID注册和管理）· 设备和设施管理（电源、空调设备、设备管理、设施安全和管理）· 系统故障管理（处理手续、监控，恢复过程、预防措施）· 安全管理· 性能管理· 系统运行工具（自动化操作工具、监控工具、诊断工具）·系统转换（转入运行阶段、运行测试、版本控制）· 系统运行服务标准、系统维护· 维护的类型（完善性维护、纠错性维护、适应性维护、预防性维护）· 维护的实施（日常检查、定期维护、预防性维护、事后维护、远程维护）· 硬件维护，软件维护，维护合同3、网络技术 、网络体系结构·网络拓扑结构· OSI/RM· 应用层协议（FTP、TELNET、SNMP、DHCP、POP、SMTP、HTTP）·传输层协议（TCP、UDP）· 网络层协议IP（IP地址、子网掩码）· 数据链路层协议（ARP、RARP、PPP、SLIP）·物理地址（单播、广播、组播）、编码和传输、调制和编码· AM、FM、PM、QAM· PCM、抽样、传输技术· 通信方式（单工/半双工/全双工、串行/并行、2线/4线）· 差错控制（CRC、海明码、奇偶校验、比特出错率）· 同步控制（起停同步、SYN同步、标志同步、帧同步）· 多路复用（FDM、TDM、WDM）· 压缩和解压方法（JPEG、MPEG、MH、MR、MMR、游程长度）、传输控制· 竞争系统· 轮询/选择系统· 基本规程、多链路规程、传输控制字符、线路控制· 、 交换技术（电路交换、存储转发、分组交换、ATM交换、帧中继）、 公用网络和租用线路、 网络、 网络分类· 按地域分类（LAN、MAN、WAN）· 按服务分类（因特网、企业内部网）· 按传输媒体分类（电话、数据、视像）· 按电信网分类（驻地、接入、骨干）、LAN· LAN拓扑（总线型、星型、环型）· 访问控制系统（CSMA/CD、令牌环、令牌总线）· LAN间的连接、LAN－WAN的连接、对等连接、点对点连接· 高速LAN技术（千兆以太网）· 、MAN常用结构、WAN与远程传输服务· 租用线路服务、线路交换服务、分组交换服务· ISDN、VPN、帧中继、ATM、IP连接服务· 卫星通信服务、移动通信服务、国际通信服务、 因特网· 因特网概念（网际互联设备、TCP/IP、IP路由、DNS、代理服务器）·电子邮件（协议、邮件列表）· Web（HTTP、浏览器、URL、HTML、XML）·文件传输（FTP）·搜索引擎（全文搜索、目录搜索、智能搜索）· QoS、CGI、、 接入网与接入技术、 网络性能· 有关线路性能的计算（传输速度、线路利用率、线路容量、通信量、流量设计）· 性能评估·排队论的应用、 网络通信设备、 传输介质和通信电缆· 有线/无线介质（双绞线、同轴电缆、光纤；无线电波、光、红外线）· 分配线架（IDF）、主配线架（MDF）、各类通信设备· 线路终端设备、多路设备、交换设备、转接设备· 线路连接设备（调制解调器、DSU、NCU、TA、CCU、PBX）5、网络连接设备· 网际连接设备（网关、网桥、生成树网桥、源路由网桥、路由器、中继器、集线器、交换机）6、 网络软件系统、 网络操作系统· 网络操作系统的功能、分类和特点· 网路设备驱动程序（ODL、NDIS）· 网络通信的系统功能调用（套接字API）· RPC· TP Monitor·分布式文件系统· 网络设备功能、 网络管理· 网络管理的功能域（安全管理、配置管理、故障管理、性能管理、计费管理）·网络管理协议（CMIS/CMIP、SNMP、RMON、MIB-II）· 网络管理工具（ping、traceroute、NetXray、Analyzer、Sniffer）· 网络管理平台（OpenView、NetView、SunNet Manager）· 分布式网络管理、 网络应用与服务· WWW· FTP文件传输· 电子邮件· Telnet·信息检索· 视频点播· 网络会议· 远程教育·电子商务· 电子政务· CSCW和群件4、网络安全1 、安全计算、 保密性和完整性· 私钥和公钥加密标准（DES、IDEA、RSA）· 认证（数字签名、身份认证）· 完整性（SHA、MD5）· 访问控制（存取权限、口令）、 非法入侵和病毒的防护·防火墙· 入侵检测· VPN、VLAN· 安全协议（IPSec、SSL、ETS、PGP、S-HTTP、TLS）· 硬件安全性·计算机病毒防护、 可用性· 文件的备份和恢复、 安全保护· 个人信息控制· 匿名· 不可跟踪性、LAN安全· 网络设备可靠性· 应付自然灾害· 环境安全性· 、 风险管理、 风险分析和评估、 应付风险的对策· 风险预防（风险转移、风险基金、计算机保险）· 意外事故预案（意外事故类别、应付意外事故的行动预案）、 内部控制· 安全规章制度· 安全策略和安全管理5、标准化知识1、 标准的制订和获取、 标准的制订和获取过程、 环境和安全性评估标准化、信息系统基础设施标准化 、标准· 国际标准（ISO、IEC）与美国标准（ANSI）· 国家标准（GB）· 行业标准与企业标准、开放系统（X/Open、OSF、POSIX）、 数据交换标准（EDIFACT、STEP、XML）、 安全性标准· 信息系统安全措施标准· 计算机防病毒标准· 计算机防非法访问标准· CC标准·BS7799标准、标准化组织·国际标准化组织（ISO、IEC、IETF、IEEE、IAB、W3C）· 美国标准化组织· 欧洲工业标准化组织·中国国家标准化委员会6、信息化基础知识· 信息化意识· 全球信息化趋势，国家信息化战略，企业信息化战略和策略· 企业信息资源管理基础知识· 互联网相关的法律、法规知识· 个人信息保护规则7、计算机专业英语· 掌握计算机技术的基本词汇· 能正确阅读和理解计算机领域的英文资料8、系统设计要求、 网络系统的需求定义、 应用需求分析· 应用需求的调研（应用系统性能、信息产生和接收点、数据量和频度、数据类型和数据流向）· 网络应用的分析、 现有网络系统分析· 现有网络体系结构调研（服务器的数量和位置、客户机的数量和位置、同时访问的数量、每天的用户数，每次s使用的时间、每次数据传输的数据量、网络拥塞的时间段、采用的协议、通信模式）· 现有网络体系结构分析、需求定义· 功能需求（待实现的功能）· 通信需求（期望的通信模式）· 性能需求（期望的性能）· 可靠性需求（期望的可靠性）· 安全需求（安全性标准）· 维护和运行需求（运行和维护的费用）· 管理需求（管理策略）、网络系统的设计、 技术和产品的调研和评估· 收集信息· 采用的技术和产品的比较研究· 采用的技术和设备的比较要点、 网络系统的设计· 确定协议· 确定拓扑结构· 确定连接（链路的通信性能）· 确定结点（结点的处理能力）· 确定网络的性能（性能模拟）· 确定可靠性措施· 确定安全性措施（安全措施的调研，实现安全措施的技术和设备的评估）· 网络设备的选择，制订选择标准（成本、性能、容量、处理量、延迟），性能指标的一致性，高级测试的必要性，互连性的确认、 新网络业务运营计划· 业务过程的确认· 安装计划· 转换到新网络的计划、 设计评审、 网络系统的构建和测试、 安装工作· 事先准备· 过程监督、 测试和评估· 连接测试· 安全性测试· 性能测试、 转换到新网络的工作计划9、网络平台运行管理、 网络系统的运行和维护、 用户措施· 用户管理、用户培训、用户协商、 制定维护和升级的策略和计划· 确定策略· 设备的编址· 审查的时间· 升级的时间、 维护和升级的实施· 外部合同要点· 内部执行要点、 备份与数据恢复· 数据的存储与处置· 备份· 数据恢复、 网络系统的配置管理· 设备管理· 软件· 网络配置图、网络系统的管理、 网络系统的监视· 网络管理协议（SNMP 、MIB-2、RMON）· 利用工具监视网络性能（LAN监控器）· 利用工具监视网络故障· 利用工具监视网络安全（入侵检测系统）·性能监视的检查点· 线路故障检查点· 安全监视的检查点、故障恢复分析· 故障分析要点（LAN监控程序）· 排除故障要点· 故障报告撰写要点、 系统性能分析· 系统性能分析要点、危害安全的对策· 危害安全情况分析（调查损失情况，收集安全信息，查找原因）· 入侵检测要点· 对付计算机病毒的要点（查杀病毒措施）、 网络系统的评价、系统评价· 系统能力的限制· 潜在问题分析· 系统评价要点、 改进系统的建议· 系统生命周期· 系统经济效益· 系统的可扩充性· 建议改进系统的要点10、网络系统实现技术、网络协议· 商用网络协议（SNA/APPN、IPX/SPX、AppleTalk、TCP/IP）· 商务协议（XML、CORBA、COM/DCOM、EJB）· Web 服务（WSDL、SOAP、UDDI）、可靠性设计· 硬件高可靠性技术· 软件高可靠性技术· 系统维护高可靠性技术· 容错技术· 通信质量、 网络设施、xDSL调制解调器、 ISDN路由器· 接口· 功能（非通信控制功能、NAT功能）、 FRAD（帧装配/拆装）、CLAD（信元装配/拆装）· 接口· 功能、远程访问服务器· 功能和机制、 办公室个人手持系统（PHS）· 数字无绳电话的功能特性、 中继式HUB· 倍速集线器（功能和机制）、 L2、L3、L4及多层交换机功能和机制、 IP路由器功能和控制、 虚拟网（功能与机制）、 与其他协议的共存（多协议路由器、IP隧道）、 网络应用服务、地址服务· 机制、DHCP、IPv6（机制和传输技术）、 DNS（功能、机制）·域名、、 电子邮件（功能、机制）· SMPT、POP、MIME、IMAP4、LDAP· 邮件列表· Web 、 电子新闻（功能和机制、NNTP）、 Web服务（功能和机制、HTTP）、 负载分布（Web交换）、 电子身份验证（功能、机制、认证授权、电子证书）、 服务机制· 服务供应商、供应商漫游服务、拨号IP连接、CATV连接、IP电话、因特网广播和组播、电子商务、电子政务、移动通信、EZweb、主机服务提供者、EDI（规则、表单、Web EDI）、B2B、B2C、ASP、数据中心11、网络新技术1、 光纤网· ATM-PDS、STM-PDS· 无源光网PON（APON、EPON）2、 无线网· 移动电话系统（WLL、WCDMA、CDMA2000、TD-SCDMA）· 高速固定无线接入（FWA）·、、· 微波接入（MMDS LMDS）· 卫星接入·蓝牙接入3、 主干网· IPoverSONET/SDH· IpoverOptical· IpoverDWDM4、 通信服务· 全天候IP连接服务（租用线路IP服务）· 本地IP网（NAPT）· Ipv65、 网络管理· 基于TMN的网络管理· 基于CORMBA的网络管理6、 网格结算

什么是网络工程师？网络工程师是通过学习和训练，掌握网络技术的理论知识和操作技能的网络技术人员。网络工程师能够从事计算机信息系统的设计、建设、运行和维护工作。网络工程师都学习哪些课程内容？网络工程师技能培训课程由11个知识模块组成，分别为1、网络技术基础(操作系统的安装、配置和管理)2、Win dows2003网络服务器操作系统3、网络设备技术4、网络基础架构的实现和管理5、linux操作系统6、网络设计7、网络安全与代理服务器应用8、企业级数据库管理的安装、配置和管理9、目录服务的实现和管理10、互动网站设计11、网络应用开发。全面了解网络规划设计、安装调试、系统管理、网络管理、网络安全、数据库与操作系统等技术知识，掌握建立有效网络安全机制的方法及WEB编程技术，具备了计算机网络构建与运行维护所需的技能，以及在网络环境下进行应用的基本技能。什么样的人适合学习网络工程师？网络工程师培训适合从事或希望从事IT技术管理岗位的企业信息主管，以及非IT企业中运行维护岗位的数据库管理员、系统管理员、网络管理员、设备管理员。此外，需要加强系统理论基础的IT企业工程技术人员，如网络工程师、软件工程师、数据库工程师也适合参加培训。

大数据开发程序员根据不同具体岗位，需要掌握以下技能,参考下

课纲不一样，看是大数据开发还是大数据分析了，我学的大数据分析可视化，学的主要有Python入门、sql、oracle、tableau、帆软、Informatica、Excel等等我刚出来半年，视频录播可能还不算落后，有视频可***

大数据学习课程图

第1阶段 Java

第2阶段 JavaEE核心

第3阶段 Hadoop生态体系

第4阶段 大数据spark生态体系

简单来讲是学习Java、数据结构、关系型数据库、linux系统操作、hadoop离线分析、Storm实时计算、spark内存计算以及实操课程。复杂的话，就是每个大的知识点里都包含着很多小的知识点，这可以参考（青牛的课程）。