关键词：杭州大数据培训 大数据分析

大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据工程师能做什么？

全栈开发

数据分析

人工智能

爬虫

认识大数据 赶上时代的风口

对于“大数据”（Big data），研究机构Gartner给出了这样的定义：“大数据”是需要 新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长 率和多样化的信息资产。 麦肯锡全球研究所给出的定义是：一种规大到在获取、存储、管理、分析方面大大超 出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、数据流 转、多样的数据类型和价值密度低四大特征。

未来的企业与社会无法离开大数据的支持

人才稀缺 未来3至5年，中国需要150万+，大数据人才，目前大数据从业人数不足50万，市场需求远远得不到满足

行业需求 大数据对接金融、电商、医疗、新零售、物联网、工业、农业、交通和能源等行业，人才需求量持续扩大

高薪纳贤 任何公司的核心都离不开数据，数据分析师也是公司的重要决策人员，大数据行业起薪高。

一将难求 前有万达集团高薪聘请大数据人才，后有大数据专业毕业生高薪就职，大数据人才“重金难觅”

大数据工程师就业方向

一

大数据数据管理

二

大数据架构师

三

大数据分析师

四

Etl开发工程师

达内大数据云计算课程

课程介绍 课程主题 课程内容 课程目标 基础阶段(Java基础) Java语言的高级特性 静态导入、自动封箱拆箱、可变参数、增强for、枚举、类加载器、反射、内省、泛型、注解、动态代理回 掌握Java语言的高级特性 Java多线程 多线程加强、线程池、Thread Local 掌握Java线程池技术,掌握线程的Join、notify、notifyAll等机制 XML Dom解析、Sax解析、Pull解析、Schema 基于Xml的解析与维护 Web Html,Css,Js 掌握简单的Html , Css , Js的编写 第二阶段(Web阶段，实训项目1——易买网) JAVA WEB前端技术 项目介绍、项目开发流程、Html、CSS、JS

了解真实项目开发流程掌握前端开发基本技术

JAVA WEB基础技术 Tomcat、HTTP协议、Servlet、Jsp、EL、JSTL、自定义标签、MVC、JAVAWEB三层架构、软件分层、耦合、解耦、AJAX 掌握JAVAWEB基础知识深入理解软件分层思想AJAX实现异步刷新 JAVA WEB高级技术 Filter、Listener、文件上传、下载、在线支付 过滤器、监听器及常见应用场景文件上传、下载在线支付功能实现aa JAVA WEB框架加强 面向切面编程、通过注解控制事务、java基础加强、框架加强 JAVA高级特性熟悉常见设计模式通过模拟实现框架功能,为后续学习SSH打基础 第三阶段(Struts,Hibernate,Spring,SSH项目，实训项目2：国际物流) Struts2 分析Servlet缺点，进行重构、Struts.xml配置文件、ValueStack、Ognl表达式、属性驱动、模型驱动、拦截器、文件上传、token机制等 掌握Struts2在项目开发时用到的各种知识点，能够应用该框架熟练的开发 Hibernate ORM的概念、CRUD的完成、Hibernate常用的配置、API详细的分析、对象的三种状态、关联关系、检索、优化、缓存机制 熟练掌握利用Hibernate框架完成项目的开发，深入理解ORMapping的概念,深入理解缓存机制 Spring IOC、DI、动态代理模式、AOP、基于Spring的数据库编程、Spring的声明式事务处理，Struts2与Hibernate与Spring的整合 深入理解SpringIOC、DI在软件架构中的作用,深入理解SpringAOP的实现机制和应用场景，Struts2的高级特性(对象工厂、静态注入、插件机制、ThreadL ocal针对ActionContext的封装、Struts2的核心流程、结果集架构)、深入理解SSH整合的原理 JQuery JQuery常见选择器的应用 利用JQuery控制Web界面 JS高级 JS面向对象的特征 对象、原型、闭包、JQuery内部结构解析等 Maven Maven的概念、使用、原理、Module的概念、仓库 能用Maven搭建项目环境熟练使用Maven的依赖和继承机制 SSH项目-国际物流 项目背景、系统USE CASE图、系统功能结构图、系统框架图、国际物流核心业务货运管理、购销合同业务、购销合同下货物、出口报运单、装箱单、委托书、财务统计、海量数据导出、出口报运、装箱业务、Shiro安全框架、工作流Activiti5 掌握画USECASE图、系统结构图、系统框架图。能顺畅讲述国际物流核心业务,包括:购销合同、出口报运、装箱、委托、财务。了解大型数据库设计思路, 及数据库在设计上如何优化。熟练实现合同、货物、附件两级主从结构。熟练POI制式表单应用。熟练应用Shiro安全框架。熟练应用工作流Activiti5实现货运管理流程控制。 第四阶段(SpringMVC,Mybaties,SSM项目，实训项目3：易买电商) SpringMVC 模拟SpringMVC的核心部件写一个例子、核心分发器、处理器映射、适配器、控制器、注解开发实例、标签机制、拦截器机制、AJAX与JSON调用 熟练掌握SpringMVC的各个组件, 理解SpringMVC的架构原理,利用SpringMVC开发项目 MyBaties CRUD操作、SqlSessionFactory对象、SqlSession对象、集合参数、动态SQL语句、代码优化、Mapper的接口、关联关系、缓存机制、拦截器、MyEclipse插件的使用 熟练掌握SpringMVC的各个组件,理解SpringMVC的架构原理,利用SpringMVC开发项目 SSM项目-易买电商 项目需求讲解、环境的搭建、后台系统实现、前台系统搭建、内容管理实现、Redis缓存解决前台访问性能问题、单点登录、异步订单系统处理、Lucene与Solor实现文件的检索、ActivityMQ实现消息的异步通信、MySQL的数据库的读写分离、分布式环境的部署和实施 了解电商项目的需求分析,掌握用pom.xml文件构建项目, 实现电商项目的前台的内容管理、菜单管理、购物等。掌握Redis缓存如何提供性能、利用Solor做全文检索、 利用ActivityMQ的异步机制把缓存中的改动同步到各个环节、掌握MySQL 的主从复制和读写分离。利用Ivs , keepalived , nginx，tomcat搭建高并发的web环境 第五阶段(分布式、高并发、集群、电信项目，实训项目4：电信) 网络编程 Socket、Io、Nio、Mina、RPC技术、多线程、线程池 把电信项目的部分环节利用mina、RPC技术实现 数据仓库 数据仓库基础知识、ETL、MySQL的导入工具、分表，分区、读写分离、存储过程级多维分析 掌握数据仓库的知识内容,这是云计算分析的基础 分布式缓存 学习MemoryCache与Redis两种缓存 掌握两种缓存的原理、以及操作 Zookeeper Zookeeper的选举、数据的同步、Zookeeper的部署、Follow与Leader 了解Zookeeper的选举算法、同步机制、掌握Zookeeper的集群的搭建 集群 Keepalived的Loadblancing机制、Nginex反向代理服务器、Tomcat集群、Lvs 利用Lvs、Keepalived、Nginx、 Tomcat搭建高并发、分布式的Web服务器 SOA Rest风格的服务架构、基于Rest风格的WebService的使用、dubbo服务框架的使用 利用服务性框架使得系统的耦合性更弱,扩展性更强 云计算 云计算的概念、Iaas、 Paas、Saas的理解、虚拟化的概念 理解云计算 电信项目 把上面所学的知识点全部结合起来做电信行业的日志分析系统 通过项目掌握MySQL的集群、读写分离、优化、掌握Mina框架的通信机制、掌握Zookeeper的高可用机制、利用MySq|掌握数据仓库的概念、利用分布式缓存提高系统的性能 第六阶段(Hadoop,Spark,电信项目，实训项目5：电信) Hadoop的分布式文件系统HDFS HDFS的概念、HDFS的API的应用、NameNode与SecondaryNameNode与DataNode的原理与通信机制、数据块Block的概念、NameNode的文档目录树、NameNode与DataNode的关联 Hadoop伪分布式的搭建、利用HDFS的API对分布式文件系统进行操作、掌握NameNode与SecondaryNameNode的通信原理、掌握NameNode与DataNode的通信原理 Hadoop的计算框架MapReduce 利用MapReducer的计算框架实现电信日志的分析、深入理解Shuffle机制、FileOutPutFormat、FileInPutFormat 熟练Map、Reducer、 Sort、 Partition的编程、深入理解Shuffle机制、深入理解OutPutFormat与InputFormat、基于Hadoop的对象序列化机制 Hadoop的资源管理与资源调度-Yarn框架 深入理解MapReducer的通信机制：利用Yarn的资源管理和资源调度机制。理解进程ResourceManager，NodeManager，ApplicationMaster等进程的作用 深入理解Yarn的资源管理与资源调度机制。掌握整个MapReducer的计算流程和资源调度流程 HBase 搭建NOSQL数据库HBase的集群、利用Zookeeper做HBase的HA机制 掌握HBase的集群的的搭建 HIVE 数据仓库基础知识、Hive定义、Hive体系结构简介、Hive集群、客户端简介、 HiveQL定义、HiveQL与SQL的比较、数据类型、外部表和分区表、表的操作与CLI客户端演示、数据导入与CLI客户端演示、查询数据与CLI 客户端演示、数据的连接与CLI客户端演示、用户自定义函数（UDF）的开发与演示 利用HIVE做日志分析的查询 Spark Spark介绍-Spark应用场景、Scala编程语言、Scala高级编程、Spark集群部署等 利用Spark流式编程做日志的分析 电信项目 把第五阶段的电信项目用Hadoop与Spark实现 熟练应用Hadoop的MapReducer，Hive与Spark