大数据学习路线（2018年最新整理）

星期

课程内容

内容安排

“领会平台”实验文档

第一阶段（java基础+MySql数据库+爬虫+java web可视化）

1

Java环境搭建+数据类型

Java数据类型

2

运算符+流程控制（if-else、switch）

Java运算符1

Java运算符2

3

流程控制（循环）

Java流程控制

4

Java数组（定义、遍历、二维数组）

Java基础训练-数组

图书管理系统

5

面向对象：类和对象、方法定义、重载、方法传参

封装:Pricate

访问修饰符：static、this、final

Java封装Private

1

继承和多态

抽象类和接口

继承和多态

Java抽象类和接口

2

Java常用类+异常处理

Java常用类实现双色球功能

Java异常处理

3

集合：

List：ArrayList、LinkedList

Set：HashSet、TreeSet

Map：HashMap、TreeMap

集合-list

集合-map

4

IO流处理：

文件处理：File类（递归算法）

字节流：InputStream、OutputStream

字符流：BufferedReader、BufferedWriter

高级打印流：PrintWriter

序列化和反序列化：

IO流--File类

IO流--字节流

IO流--字符流

5

垃圾回收机制

Java多线程：购票

总结回顾Java内容体系

Java--线程的创建和启动

1

MySql数据库安装

创建数据库、表等命令

删除表、数据增删改查、

MySql常用操作--DDL

MySql常用操作--DML

2

JDBC连接数据库

JavaWeb-JDBC连接数据库

3

Html+css选择器

Html制作网页

CSS网页样式--选择器

CSS网页样式--DIV盒子模型

CSS网页样式--常用样式

4

Js：语法+事件

javaScript基础语法

javaScript HTML DOM事件

5

爬虫：Jsoup

Java网络连接  URLConnection

XPath数据解析

Java爬虫--Jsoup内容解析

Java爬虫--Xpath解析
Java爬虫--网络请求

1

WebMagic框架爬虫：

智联+豆瓣电影

WebMagic之网页采集

WebMagic之爬取各网站首页并存储到HBase

2

JavaWeb：tomcat配置、环境介绍

Jsp+servlet

3

Echarts可视化

• WebMagic之采集日剧电影信息存储MySql数据库

Web+Echarts日剧电影信息可视化--柱状图

4

综合练习：爬取数据并可视化
智联、豆瓣、当当、天气网

• Web+Echarts日剧电影信息可视化--饼状图

5

综合练习：爬取数据并可视化
智联、豆瓣、当当、天气网

四、Web+Echarts日剧电影信息可视化--折线图

第二阶段：Hadoop大数据生态系统

1

大数据概述：由来、发展、特点

Hadoop组成、原理、特性

Hadoop Shell操作

Yarn

大数据概述：由来、发展、特点

Hadoop生态系统介绍

Hadoop三种安装模式介绍

Hadoop伪分布模式安装

Hadoop开发插件安装

2

HDFS原理

Hadoop Shell操作

HDFS Java API

HDFS JAVA API

Hadoop Shell基本操作

3

MapReduce原理（map、reduce、shuffle）

MapReduce程序代码结构

Mapreduce实例-wordcount

Mapreduce实例——去重

Mapreduce实例—求平均值

4

MapReduce常见案例原理

资源调度工具Yarn

Mapreduce实例——排序

Mapreduce实例——二次排序

Mapreduce实例——倒排索引

Mapreduce实例——Map端join

Mapreduce实例——Reduce端join

Mapreduce实例——单表join

Mapreduce实例——ChainMapReduce

开发YARN客户端应用

5

MapReduce实战算法实现

MapReduce 最优路径算法

MapReduce 社交好友推荐算法

MapReduce实战PageRank算法

MapReduce 互联网精准广告推送算法

1

数据仓库Hive

原理、作用、环境搭建、基本操作

Hive安装部署

Hive基本操作

2

数据仓库Hive

查询、分组排序

Hive查询

Hive分组排序

3

数据仓库Hive

JDBC连接Hive、Hive自定义函数

Hive JDBC连接

Hive UDF

4

数据迁移工具Sqoop安装

数据导入导出

Sqoop安装

Sqoop数据导入导出（Mysql，HDFS，Hive，HBase）

5

Sqoop增量数据导入

综合案例

Sqoop增量数据导入

综合案例—基本流程图

1

Zookeeper开发

Zookeeper安装

2

分布式数据库Hbase概述

HBase基本操作及表操作

HBase安装

HBase Shell基本操作

3

HBase数据库操作

HBase JAVA API

4

HBase过滤器

自定义过滤器

HBase的过滤器

5

分布式数据库Hbase

Sqoop导入数据到HBase

1

Kafka基本介绍

Kafka安装及测试

2

Kafka和Java API

Kafka Java API

Kafka分布式消息队列

3

Flume分布式日志框架

Flume配置文件

Flume安装部署

Flume配置Source、Channel、Sink

4

Flume分布式日志框架

自定义来源

传输数据到kafka

Flume自定义来源

Flume多source多sink组合搭建框架

Flume传输数据到kafka

5

Flume分布式日志框架

Flume Interceptors相关配置

Flume AVRO Client开发

Flume Sink Processors相关配置

Flume selector相关配置

综合案例-大数据平台

1

项目实战一

电商评论数据分析与展示

• 采集电商网站交易及评论数据
• 电商评论数据清洗

三、利用HiveSql语句离线分析评论数据

四、利用Sqoop导出Hive数据到MySQL库

五、开发JavaWeb+ECharts完成数据图表展示过程

2

3

项目实战二

北京市政信件项目开发

电商实战一：北京市政百姓信件内容分析

电商实战二：编写MapReduce程序清洗信件内容数据

电商实战三：利用HiveSql语句离线分析信件内容数据

电商实战四：利用Sqoop导出Hive数据到MySQL库

电商实战五：开发JavaWeb+ECharts完成数据图表展示过程

电商实战六：利用IKAnalyzer分词&词频统计算法（TF-IDF）分析信件内容关键词

4

5

第三阶段：Python编程+数据分析库+机器学习

1

Python环境搭建

数据类型：数字、字符串

变量

注释、运算符

Python安装

Python解释器介绍

Python基本数据类型：数字、字符串

Python输入输出

Python运算符与表达式

2

流程控制：

分支结构

循环结构

Python分支结构

Python循环结构

3

序列：

列表、元组、字符串

Python基本数据类型：集合、字典

Python数据结构：字典语法及应用

Python

Python字符串数据结构：集合语法及应用

4

列表切片和推导式

迭代器和生成器

Python数据结构：列表切片操作

Python数据结构：列表推导式

Python迭代器与生成器

5

字典、集合

Python基本数据类型：集合、字典

Python数据结构：字典语法及应用

Python数据结构：集合语法及应用

1

内置函数

函数（自定义、lambda）

Python内置函数

Python函数设计与使用

2

内建模块：

Math、sys、random等

Python模块的使用

Python标准库

Python日期和时间

3

面向对象编程

Python面向对象：入门

Python面向对象：类的成员

Python面向对象：三大特性

4

Python文件操作

异常处理

Python文件操作

Python异常处理

5

数据分析模块Numpy

numpy——基本操作(一)

numpy——基本操作(二)

numpy——linalg线性代数

numpy——random类

1

数据分析模块Pandas

pandas——DataFrame基本操作(一)

pandas——DataFrame基本操作(二)

Pandas——Series操作

Pandas——字符串处理

Pandas——groupby操作

Pandas——基本函数

Pandas——可视化

2

绘图模块Matplotlib  seaborn  pyecharts

matplotlib——条形图matplotlib——饼状图

matplotlib——直方图

matplotlib——散点图

matplotlib——绘制多个子图

matplotlib——3D图

matplotlib——文本说明（一）

matplotlib——文本说明（二）

3

机器学习sk-learn：
线性回归

多元线性回归

逻辑回归

机器学习--线性回归

机器学习--多元线性回归

机器学习--逻辑回归

4

机器学习sk-learn：

朴素贝叶斯

支持向量机

KNN算法

机器学习--朴素贝叶斯

机器学习--支持向量机(SVM)

机器学习--KNN算法

5

机器学习sk-learn：

1. Means

PCA数据降维

随机森林

机器学习--KMeans算法

机器学习--Random Forest算法

机器学习--PCA数据降维

1

Spark介绍

Spark RDD介绍

Spark Local模式安装

Spark Standalone伪分布模式安装

Spark Shell操作

2

Spark SQL

SparkSQL，创建表，查询数据

SparkSQL，加载文件，处理文件，存储文件

3

Spark Streaming

Spark Streaming Wordcount

综合案例—Kafka传输数据给Spark Streaming处理

4

PySpark开发

pyspark安装

在IPython Notebook中使用Spark

详解PySpark SQL、DataFrame、RDD

5

PySpark MLlib

PySpark Mllib 逻辑回归

PySpark Mllib 随机森林

PySpark MLlib决策树二元分类

PySpark MLlib决策树回归分析--Bike Sharing