课程模块

内容提要

授课详细内容

模块一

Spark ML基础入门

1.1 Spark介绍

1.2 Spark ML介绍

1.3 课程的基础环境

1.4 Spark SparkSession

1.5 Spark Datasets操作

1.6 Datasets操作的代码实操

模块二

Spark ML

Pipelines（ML管道）

2.1 Pipelines的主要概念

2.2 Pipelines实例讲解

2.3 ML操作的代码实操

2.4 使用 ML Pipeline 构建机器学习工作流案例展示

2.5 实例的代码实操声

模块三

Spark ML数学基础

3.1 ML矩阵向量计算

3.2 分类效果评估指标及ML实现详解

3.3 交叉-验证方法及ML实现详解

3.4 实例的代码实操

3.5 特征的提取及ML实现详解

3.6特征的转换及ML实现详解

3.7 特征的选择及ML实现详解

3.8 实例的代码实操

模块四

Spark ML特征的提取、转换和选择

4.1 线性回归算法

4.2 逻辑回归算法

4.3 ML回归算法参数详解

4.4 ML实例

4.5 实例的代码实操

模块五

Spark ML线性回归/逻辑回归算法 

5.1 决策树算法

5.2 随机森林算法

5.3 GDBT算法

5.4 ML树模型参数详解

5.5 ML实例

5.6 实例的代码实操

模块六

Spark ML决策树/随机森林/GBDT算法

6.1 KMeans聚类算法

6.2 ML KMeans模型参数详解

6.3 ML实例

6.4 实例的代码实操

模块七

Spark ML KMeans聚类算法

7.1 LDA主题聚类算法

7.2 ML LDA主题聚类模型参数详解

7.3 ML实例

7.4 实例的代码实操

模块八

Spark ML LDA主题聚类算法

8.1 协同过滤推荐算法

8.2 ML协同过滤分布式实现逻辑

8.3 ML协同过滤源码开发

8.4 实现实例

8.5 实例的代码实操

模块九

Spark ML协同过滤推荐算法

9.1 案例背景

9.2 架构设计

9.3 数据准备

9.4 模型训练

9.5 模型预测

9.6 脚本封装

模块十

项目实践

大型案例：基于Spark的推荐模型开发

模块十一

培训总结

项目方案的课堂讨论，讨论实际业务中的分析需求，剖析各个环节的难点、痛点、瓶颈，启发出解决之道；完成讲师布置的项目案例，巩固学过的大数据分析挖掘处理平台技术知识以及应用技能