【课程目标】

Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C /C#外**受欢迎的语言。

本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项目的每一步操作，从数据预处理、数据建模、数据可视化，到**终数据挖掘结束，帮助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力。

**本课程的学习，达到如下目的：

1、 全面掌握Python语言以及其编程思想。

2、 掌握常用扩展库的使用，特别是数据挖掘相关库的使用。

3、 学会使用Python完成数据挖掘项目整个过程。

4、 掌握利用Python实现可视化呈现。

5、 掌握数据挖掘常见算法在Python中的实现。

【授课时间】

2-5天时间

（要根据学员的实际情况调整重点内容及时间）

【授课对象】

业务支持部、IT系统部、大数据系统开发部、大数据分析中心、网络运维部等相关技术人员。

【学员要求】

课程为实战课程，要求：

1、 每个学员自备一台便携机(必须)。

2、 便携机中事先安装好Python 3.6版本及以上。

3、 安装好Numpy,Pandas,sklearn等常用库。

注：讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源。

【授课方式】

语言基础 挖掘模型 案例演练 开发实践 可视化呈现

采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

【课程大纲】**部分： 数据对象基本操作目的：掌握数据集结构及基本处理方法，进一步巩固Python语言

1、 数据挖掘常用扩展库介绍

Ø Numpy数组处理支持

Ø Scipy矩阵计算模块

Ø Matplotlib数据可视化工具库

Ø Pandas数据分析和探索工具

Ø StatsModels统计建模库

Ø Scikit-Learn机器学习库

Ø Keras深度学习（神经网络）库

Ø Gensim文本挖掘库

2、 数据集构建

Ø Index, Series, DataFrame对象

Ø 手工构建（创建索引、序列、数据集）

Ø 读取文件（CSV文件、Excel文件）

Ø 读取数据库

Ø 数据集保存（CSV、Excel）

3、 数据集基本操作

Ø 基本属性访问

² shape,ndim,index,columns,values,empty,size

Ø 数据类型处理：查看、修改、转换

Ø 排序

² 排序依据：标题、索引、字段

² 排序顺序：升序、降序

² 自定义排序：按标题、索引、字段、有序类别变量排序

Ø 基本访问

² 行访问、列访问、值访问

² 访问方式：标签、位置

² 访问类型：单行列、多行列、连续行列

² 布尔数组访问

Ø 字段管理、新增、删除、修改、替换、移位

Ø 数据筛选：条件筛选、多值筛选、筛选空值/非空值

演练：用Python实现数据的基本访问

第二部分： 大数据预处理目的：掌握数据预处理的基本环节，以及Python的实现。

1、 预处理任务

Ø 数据清洗

Ø 数据集成

Ø 数据处理

Ø 变量处理

2、 数据清洗

Ø 重复值处理

² 重复字段、重复标题、重复索引

² 处理方式：查找、删除、修改

Ø 错误值处理

² 查找错误值

² 置空/删除

² 重新编码/替换

Ø 离群值处理：

² 检测标题：3σ准则，IQR准则，K均值

² 处理方式：查找、置空、截尾、缩尾

² 基于K均值的离群值检测

Ø 缺失值处理：

² 查找、删除

² 插补(固定值/均值/向下填充/向上填充/插入法/拉格朗日)

3、 数据集成

Ø 数据追加

Ø 变量合并（连接类型）

4、 数据处理

Ø 数据筛选

Ø 数据抽样

² 简单抽样（有放回、无放回）

² 分层抽样

Ø 离散化/分箱

² 等宽

² 等频

² 自定义间隔

² K均值

5、 变量处理

Ø 处理方式：变量变换、变量派生

Ø 规范化：min-max /mean-std/exp-max

Ø 哑变量化

案例：用Python实现数据预处理

第三部分： 数据可视化处理目的：掌握作图扩展库，实现数据可视化

1、 统计基础

Ø 数值变量：描述统计

Ø 类别变量：分类计数

Ø 分类统计：分类汇总

2、 常用的Python作图库

Ø Matplotlib库

Ø Pygal库

3、 各种图形的画法

Ø 柱状图

Ø 直方图

Ø 饼图

Ø 折线图

Ø 散点图

Ø …

演练：用Python库作图来实现产品销量分析，并可视化第四部分： 影响因素分析/特征选择目的：掌握判断事物间相关性的常用方法，熟悉建模前如何进行属性筛选/特征选择，以实现降维的目的。

1、 影响因素分析常用方法

2、 相关分析

Ø 相关分析原理

Ø 相关系数公式种类

² Pearson相关系数

² Spearman等级相关系数

² Kendall等级相关系数

3、 方差分析

Ø 方差分析原理

Ø 方差分析种类

² 单因素方差分析

² 多因素方差分析

² 协方差分析

4、 列联分析/卡方检验

Ø 列联分析原理

Ø 计数与期望值

Ø 卡方检验公式

5、 主成分分析：降维

Ø PCA方法原理

第五部分： 回归预测模型实战1、 常用数值预测的模型

Ø 通用预测模型：回归模型

Ø 季节性预测模型：相加、相乘模型

Ø 新产品预测模型：珀尔曲线与龚铂兹曲线

2、 回归分析概念

3、 常见回归分析类别

4、 回归分析常见算法

Ø 普通**小二乘法OLS

Ø 岭回归（RR）

Ø 套索回归Lasso

Ø ElasticNet回归

5、 回归模型的评估

Ø 判定系数R^2

Ø 平均误差率MAPE第六部分： 分类预测模型实战1、 常见分类预测的模型与算法

2、 如何评估分类预测模型的质量

Ø 正确率、查准率、召回率、F1

Ø ROC曲线

3、 逻辑回归分析模型

Ø 逻辑回归的原理

Ø 逻辑回归建模的步骤

案例：用sklearn库实现银行贷款违约预测

4、 决策树模型

Ø 决策树分类的原理

Ø 决策树的三个关键问题

Ø 决策树算法与实现

案例：电力窃漏用户自动识别

5、 决策树算法

Ø **优属性选择算法：ID3、ID4.0、ID5.0

Ø 连续变量分割算法

Ø 树剪枝：预剪枝、后剪枝

6、 人工神经网络模型（ANN）

Ø 神经网络概述

Ø 神经元工作原理

Ø 常见神经网络算法（BP、LM、RBF、FNN等）

案例：神经网络预测产品销量

7、 支持向量机（SVM）

Ø SVM基本原理

Ø 维灾难与核心函数

案例：基于水质图像的水质评价

8、 贝叶斯分析

Ø 条件概率

Ø 常见贝叶斯网络

第七部分： 聚类分析（客户细分）实战1、 客户细分常用方法

2、 聚类分析（Clustering）

Ø 聚类方法原理介绍及适用场景

Ø 常用聚类分析算法

Ø 聚类算法的评价

案例：使用SKLearn实现K均值聚类

案例：使用TSNE实现聚类可视化

3、 RFM模型分析

Ø RFM模型，更深入了解你的客户价值

Ø RFM模型与市场策略

案例：航空公司客户价值分析

第八部分： 关联规则分析实战1、 关联规则概述

2、 常用关联规则算法

Ø Apriori算法

² 发现频繁集

² 生成关联规则

Ø FP-Growth算法

² 构建FP树

² 提取规则

3、 时间序列分析

案例：使用apriori库实现关联分析

案例：中医证型关联规则挖掘

第九部分： 案例实战1、 客户流失预测和客户挽留模型

2、 银行欠贷风险预测模型

结束：课程总结与问题答疑。