关键词：杭州大数据培训 大数据学习

从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，完成电商行为日志分析项目，让你轻松入门大数据！

什么人可以学

想转行特点：不满意目前的待遇、职业前景，想转行从事 IT 行业

IT 管理、销售特点：技术不精，只停留在了解层面，在提供技术方案时，存在致命短板

应届及往届大学生应届及往届大学生

IT 基础开发工作特点：技术含量低，做的事情杂，未来提升空间小，期待改变现状，提升待遇空间

大数据开发课程定位

课程定位

整套课程由尚观多位Java架构师，国内**Java大数据技术专家、500百强企业技术总监共同研发设计，采用真实企业级开发部署环境，提供热门企业级实战项目，沉浸式项目开发体验。本课程全面覆盖目前热门的企业级框架，包括Spring框架、Spring MVC、MyBatis框架、Struts框架，Hibernate框架，SSM和 SSH实战整合技术，贯穿数据库开发及大量实战项目课程。课程主要针对有一定编程基础的学员，零基础的学员可以先参加免费预科班。学完全套可达到Java大数据开发工程师水平，能胜任的职位包括Java开发工程师、大数据开发工程师、Java高级工程师、大数据高级工程师、Java系统架构师等。学完可进入电信、银行、医疗、邮箱、物流、保险专业软件开发公司等从事软件设计和开发工作。

大数据发展前景

前沿技术的基石

推动大数据企业创新发展，培育新技术、新业态、新模式、新产业。坚持以大数据为突破口，大力推进核心技术创新，坚持以应用为中心，推动大数据在各行业应用。

高新产业发展需要

数据产业链逐步形成。许多企业开始参与大数据产业链，形成了一定的产业规模。数据领域的未来发展仍然很大，但目前还需要对大数据进行更深入的研究。

**政策支持

数据开发日新月异。分析我国大数据发展的成果和问题，推动**大数据战略的实施改善数字基础设施，加快数字中国建设。十八届五中全会提出实施**大数据战略发展。

大数据

大数据为什么火

人才稀缺

未来3至5年，中国需要150万左右的大数据相关人才，目前大数据从业人数不足50万，市场需求远远得不到满足。

高薪纳贤

2018年大数据行业起薪突破20万每年，高出互联网普通技术开发人员134%，且招聘人数扩大为7.8倍。

行业需求

大数据对接金融、电商、医疗、新零售、物联网、工业、农业、交通和能源等行业，人才需求量持续扩大。

一将难求

前有万达集团60万年薪聘请大数据人才，后有大数据专业毕业生20w年薪就职，大数据人才“重金难觅”。

大数据的优势

不愁找工作

大数据人才对企业的各种决策提供了的数据支撑，对企业关系重大。几乎所有的互联网巨头公司都在花重金招聘大数据人才。

1

薪资会更高

通过上述分析也能看到，大数据的薪资是整个互联网的领头羊。在互联网领域的平均薪资**中，云计算、大数据稳居前三

2

没有年龄制约划

在大数据行业，从业越久其经验也会越得到肯定，这也是大多数**IT人士猜测大数据或将带来50、60岁的“老”专家的原因。

3

Java程序员优势大

大数据的架构基本都是用Java语言完成，作为熟悉Java语言的开发者，在学习大数据方面具有天然的优势！是时候转型大数据进军BAT了

4

课程大纲

课程内容 Zebra 项目实战 "NIO 入门、Buffer、Channel_Selector、NIO 通信实现、NIO 粘包问；

序列化实现 RPC、GoogleProtobuf 实现 RPC、BlockingQueue、Concurrent；

Zebra 项目介绍、单机实现 Zebra、Zebra 文件收集；

Zebra 数据收集、Zebra 网络模块开发、ZebraRPC 实现、二级引擎开发 _ 一级引

擎测试、二级引擎开发 _ 数据聚合 _ 数据持久化、多机演示、ZooKeeper 在 Zebra

中的应用。"

Hadoop " 基于 Hadoop 的 RPC 通信机制、Hadoop 的配置；Hadoop 的启动、 shell 脚本操作 HDFS、Java API 操作 HDFS、HDFS 的 CRUD 的原理； SecondaryNameNode、MapReducer 的概念、MapReducer 之 WordCount； 解析电信流量实例：Sort、Partition、Combiner；InputFormat、Split 组件、 RecordReader、RecordWrite 组件 跨Split的数据处理、Hadoop的性能统计工具Counter、Hadoop小文件的处理方式。 " 电商数据分析 Hive、Pig、Flume、Sqoop、Ooize、电商项目数据分析。 Scala 语言 "1） scala 表达式，def 定义方法，如何返回值，Unit 类型，函数的定义，函数与方 法的区别，函数的本质；2）class，object 定义，继承，trait 语法，实现原理，case class，match case 语法，偏函数，闭包，Currying 化，StringContext，Option Some None，Tuple；3） 集合方法和运算，隐式参数，隐式转换，future 对象 同步处理和异步处理返回结果，并发集合，串行 future 结果，并行 future 结果。" Spark 1） SparkCore：单机 Spark，Spark-shell 的使用，Spark-submit 提交应用， RDD，RangePartitioner 和 HashPartitioner，优选位置（数据本地化），全依赖、 部分依赖，函数，调试工具类； 2）RDD 的常见高阶函数，Action 方法，cache，persist，coalesce， reparation，cartesian； 3）DataFrame，Colume，列式存储，注册临时表，创建长期表，使用 sqlContext 执行查询，缓存中间结果，分区处理，数据落地，与 Hive 结合； 4）创建 DStream，流式 WordCount，有状态 DStream； 5）窗口 DStream，Transform，Spark 的优化手段，以及相关的配置参数，Spark 案例应用。