大数据课程培训 

　　Linux系统做为大数据平的企业级操作系统，本部分是基础课程，帮大家打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。这是进入大数据领域的必须掌握的基础技术因为企业中的项目基本上都是使用Linux环境下搭建或部署的。

　　1）Linux系统概述

　　2）系统安装及相关配置

　　3）Linux网络基础

　　4）OpenSSH实现网络安全连接

　　5）vi文本编辑器

　　6）用户和用户组管理

　　7）磁盘管理

　　8）Linux文件和目录管理

　　9）Linux终端常用命令

　　10）linux系统监测与维护

本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数据，无论是Hive、HBase或者Spark分析的数据是存储在HDFS里面；其二是分布式资源管理框架YARN是用来在Hadoop 云操作系统（也称数据系统）管理集群资源和分布式数据处理框架MapReduce、Spark应用的资源调度与监控的；分布式并行计算框架MapReduce目前是海量数据并行处理的一个最常用的框架。Hadoop 2.x的编译、环境搭建、HDFS Shell使用，YARN 集群资源管理与任务监控，MapReduce编程，分布式集群的部署管理（包括高可用性HA）必须要掌握的。

• 一、初识Hadoop 2.x
  1）大数据应用发展、前景
  2）Hadoop 2.x概述及生态系统
  3）Hadoop 2.x环境搭建与测试
• 二、深入Hadoop 2.x
  1）HDFS文件系统的架构、功能、设计
  2）HDFS Java API使用
  3）YARN 架构、集群管理、应用监控
  4）MapReduce编程模型、Shuffle过程、编程调优
• 三、高级Hadoop 2.x
  1）分布式部署Hadoop 2.x
  2）分布式协作服务框架Zookeeper 
  3）HDFS HA架构、配置、测试
  4）HDFS 2.x中高级特性
  5）YARN HA架构、配置
  6）Hadoop主要发行版本（CDH、HDP、Apache）
• 四、实战应用
  1）以【CSDN网用户浏览日志】数据进行实际的分析
  2）原数据采集
  3）数据的预处理（ETL）
  4）数据的分析处理（MapReduce）

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供基本的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

• 一、Hive 初识入门
  1）Hive功能、体系结构、使用场景
  2）Hive环境搭建、初级使用 
  3）Hive原数据配置、常见交互方式
• 二、Hive深入使用
  1）Hive中的内部表、外部表、分区表
  2）Hive 数据迁移
  3）Hive常见查询（select、where、distinct、join、group by）
  4）Hive 内置函数和UDF编程
• 三、Hive高级进阶
  1）Hive数据的存储和压缩
  2）Hive常见优化（数据倾斜、压缩等）
• 四、结合【CSDN用户浏览日志】实际案例分析
  1）依据业务设计表
  2）数据清洗、导入（ETL）
  3）使用HiveQL，统计常见的网站指标

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库mysql、Oracle、SQLServer、postgresql等RDBMS数据间进行数据的传递，可以将一个关系型数据库，例如 ： MySQL 、Oracle 、SQLServer、Postgres等RDBMS中的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

• 一、数据转换工具Sqoop
  1）Sqoop功能、使用原则
  2）将RDBMS数据导入Hive表中（全量、增量） 
  3）将HDFS上文件导出到RDBMS表中
• 二、文件收集框架Flume
  1）Flume 设计架构、原理（三大组件）
  2）Flume初步使用，实时采集数据 
  3）如何使用Flume监控文件夹数据，实时采集录入HDFS中
  4）任务调度框架Oozie
• 三、Oozie功能、安装部署
  1）使用Oozie调度MapReduce Job和HiveQL
  2）定时调度任务使用
  

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。

• 1）Hue架构、功能、编译
  5）Hue集成Oozie
• 2）Hue集成HDFS 
• 3）Hue集成MapReduce
• 4）Hue集成Hive、DataBase

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群；

• 一、HBase初窥使用
  1）HBase是什么、发展、与RDBMS相比优势、企业使用
  2）HBase Schema、表的设计
  3）HBase 环境搭建、shell初步使用（CRUD等）
• 二、HBase 深入使用
  1）HBase 数据存储模型
  2）HBase Java API使用（CRUD、SCAN等）
  3）HBase 架构深入剖析
  4）HBase 与MapReduce集成、数据导入导出
• 三、HBase 高级使用
  1）如何设计表、表的预分区（依据具体业务分析讲解）
  2）HBase 表的常见属性设置（结合企业实际）
  3）HBase Admin操作（Java API、常见命令）
• 四、【CSDN用户浏览日志】进行分析
  1）依据需求设计表、创建表、预分区
  2）进行业务查询分析 
  3）对于密集型读和密集型写进行HBase参数调优

Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等， 大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流式计算技术中的佼佼者和主流。 按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map + reduce的原语，使我们的批处理程序变得简单和高效。 同样，Storm也为实时计算提供了一些简单高效的原语，而且Storm的Trident是基于Storm原语更高级的抽象框架，类似于基于Hadoop的Pig框架， 让开发更加便利和高效。本课程会深入、全面的讲解Storm，并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界，业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”，一起来学习吧！

• 1）Storm简介和课程介绍
  2）Storm原理和概念详解 
  3）Zookeeper集群搭建及基本使用 
  4）Storm集群搭建及测试 
  5）API简介和入门案例开发 
  6）Spout的Tail特性、storm-starter及maven使用、Grouping策略 
  7）实例讲解Grouping策略及并发 
• 8）并发度详解、案例开发（高并发运用）
  9）案例开发——计算网站PV，通过2种方式实现汇总型计算。 
  10）案例优化引入Zookeeper锁控制线程操作 
  11）计算网站UV(去重计算模式) 
  12）【运维】集群统一启动和停止shell脚本开发
  13）Storm事务工作原理深入讲解
  14）Storm事务API及案例分析
• 15）Storm事务案例实战之 ITransactionalSpout 
  16）Storm事务案例升级之按天计算 
  17）Storm分区事务案例实战 
  18）Storm不透明分区事务案例实战 
  19）DRPC精解和案例分析 
  20）Storm Trident 入门
  21）Trident API和概念
• 22）Storm Trident实战之计算网站PV
  23）ITridentSpout、FirstN(取Top N)实现、流合并和Join
  24）Storm Trident之函数、流聚合及核心概念State
  25）Storm Trident综合实战一（基于HBase的State）
  26）Storm Trident综合实战二
  27）Storm Trident综合实战三
  28）Storm集群和作业监控告警开发

为什么要学习Scala？源于Spark的流行，Spark是当前最流行的开源大数据内存计算框架，采用Scala语言实现，各大公司都在使用Spark：IBM宣布承诺大力推进Apache Spark项目，并称该项目为：在以数据为主导的，未来十年最为重要的新的开源项目。这一承诺的核心是将Spark嵌入IBM业内领先的分析和商务平台，Scala具有数据处理的天然优势，Scala是未来大数据处理的主流语言；

• 1)-Spark的前世今生
  2)-课程介绍、特色与价值
  3)-Scala编程详解：基础语法 
  4)-Scala编程详解：条件控制与循环
  5)-Scala编程详解：函数入门 
  6)-Scala编程详解：函数入门之默认参数和带名参数  
• 7)-Scala编程详解：函数入门之变长参数
  8)-Scala编程详解：函数入门之过程、lazy值和异常
  9)-Scala编程详解：数组操作之Array、ArrayBuffer以及遍历数组
  10)-Scala编程详解：数组操作之数组转换
  11)-Scala编程详解：Map与Tuple
• 12)-Scala编程详解：面向对象编程之类
  13)-Scala编程详解：面向对象编程之对象
  14)-Scala编程详解：面向对象编程之继承
  15)-Scala编程详解：面向对象编程之Trait
  16)-Scala编程详解：函数式编程 
• 17)-Scala编程详解：函数式编程之集合操作
  18)-Scala编程详解：模式匹配
  19)-Scala编程详解：类型参数
  20)-Scala编程详解：隐式转换与隐式参数
  21)-Scala编程详解：Actor入门