您好,欢迎来到诺达名师!
客服热线:18898361497

当前位置: 首页 > 职业素养 > 办公技能 > Python实现大数据挖掘技术培训

傅一航

Python实现大数据挖掘技术培训

傅一航 / 数据分析和数据挖掘讲师

课程价格: 具体课酬和讲师商量确定

常驻地: 深圳

预定该课 下载课纲

咨 / 询 / 热 / 线 18898361497

在线咨询

课程目标

1、全面掌握Python语言以及其编程思想。 2、掌握常用扩展库的使用,特别是数据挖掘相关库的使用。 3、学会使用Python完成数据挖掘项目整个过程。 4、掌握利用Python实现可视化呈现。 5、掌握数据挖掘常见算法在Python中的实现。

课程大纲

【课程大纲】

**部分:Python语言基础

目的:掌握基本的Python编程思想与编程语句,熟悉常用数据结构的操作

1、 Python简介

2、 开发环境搭建

Ø Python的安装

Ø 扩展库的安装

3、 掌握Python的简单数据类型

Ø  字符串的使用及操作

Ø 整数、浮点数

4、 掌握基本语句:

Ø if、while、for、print等

Ø 基本运算:

Ø 函数定义、参数传递、返回值

5、 掌握复杂的数据类型:列表/元组

Ø 列表操作:访问、添加、修改、删除、排序

Ø 列表切片、复制等

Ø 列表相关的函数、方法

Ø 元组的应用

6、 复杂数据类型:字典

Ø 创建、访问、修改、删除、遍历

Ø 字典函数和方法

7、 复杂数据类型:集合

8、 掌握面向对象编程思想

Ø 创建类、继承类

Ø 模块

9、 函数定义、参数传递、返回值

10、 标准库与扩展库的导入

11、 异常处理:try-except块

演练:基本的Python编程语句


第二部分:Python语言与数据挖掘库

目的:掌握数据集结构及基本处理方法,进一步巩固Python语言

1、 数据挖掘常用扩展库介绍

Ø Numpy数组处理支持

Ø Scipy矩阵计算模块

Ø Matplotlib数据可视化工具库

Ø Pandas数据分析和探索工具

Ø StatsModels统计建模库

Ø Scikit-Learn机器学习库

Ø Keras深度学习(神经网络)库

Ø Gensim文本挖掘库

2、 数据集读取与操作:读取、写入

Ø 读写文本文件

Ø 读写CSV文件

Ø 读写Excel文件

Ø 从数据库获取数据集

3、 数据集的核心数据结构(Pandas数据结构)

Ø DataFrame对象及处理方法

Ø Series对象及处理方法

演练:用Python实现数据的基本统计分析功能


第三部分:数据可视化处理

目的:掌握作图扩展库,实现数据可视化

1、 常用的Python作图库

Ø Matplotlib库

Ø Pygal库

2、 实现分类汇总

演练:按性别统计用户人数

演练:按产品 日期统计各产品销售金额

3、 各种图形的画法

Ø 直方图

Ø 饼图

Ø 折线图

Ø 散点图

4、 绘图的美化技巧

演练:用Python库作图来实现产品销量分析,并可视化


第四部分:数据挖掘基础

目的:掌握数据挖掘标准流程

1、 数据挖掘概述

2、 数据挖掘的标准流程(CRISP-DM)

Ø 商业理解

Ø 数据准备

Ø 数据理解

Ø 模型建立

Ø 模型评估

Ø 模型应用

3、 数据挖掘常用任务与算法

案例:用大数据实现精准营销的项目过程


第五部分:数据理解和数据准备

目的:掌握数据预处理的基本环节,以及Python的实现

1、 数据预处理

Ø 异常值处理:3σ准则,IQR准则

Ø 缺失值插补:均值、拉格朗日插补

Ø 数据筛选/抽样

Ø 数据的离散化处理

Ø 变量变换、变量派生

2、 数据的基本分析

Ø 相关分析:原理、公式、应用

Ø 方差分析:原理、公式、应用

Ø 卡方分析:原理、公式、应用

Ø 主成分分析:降维

案例:用Python实现数据预处理及数据准备


第四部分:分类预测模型实战

1、 常见分类预测的模型与算法

2、 如何评估分类预测模型的质量

Ø 查准率

Ø 查全率

Ø ROC曲线

3、 逻辑回归分析模型

Ø 逻辑回归的原理

Ø 逻辑回归建模的步骤

Ø 逻辑回归结果解读

案例:用sklearn库实现银行贷款违约预测

4、 决策树模型

Ø 决策树分类的原理

Ø 决策树的三个关键问题

Ø 决策树算法与实现

案例:电力窃漏用户自动识别

5、 人工神经网络模型(ANN)

Ø 神经网络概述

Ø 神经元工作原理

Ø 常见神经网络算法(BP、LM、RBF、FNN等)

案例:神经网络预测产品销量

6、 支持向量机(SVM)

Ø SVM基本原理

Ø 维灾难与核心函数

案例:基于水质图像的水质评价

7、 贝叶斯分析

Ø 条件概率

Ø 常见贝叶斯网络


第五部分:数值预测模型实战

1、 常用数值预测的模型

Ø 通用预测模型:回归模型

Ø 季节性预测模型:相加、相乘模型

Ø 新产品预测模型:珀尔曲线与龚铂兹曲线

2、 回归分析概念

3、 常见回归分析类别


第六部分:聚类分析(客户细分)实战

1、 客户细分常用方法

2、 聚类分析(Clustering)

Ø 聚类方法原理介绍及适用场景

Ø 常用聚类分析算法

Ø 聚类算法的评价

案例:使用SKLearn实现K均值聚类

案例:使用TSNE实现聚类可视化

3、 RFM模型分析

Ø RFM模型,更深入了解你的客户价值

Ø RFM模型与市场策略

案例:航空公司客户价值分析


第七部分:关联规则分析实战

1、 关联规则概述

2、 常用关联规则算法

3、 时间序列分析

案例:使用apriori库实现关联分析

案例:中医证型关联规则挖掘


第八部分:案例实战(学员主导,老师现场指导)

1、 电商用户行为分析及服务推荐

2、 基于基站定位数据的商圈分析


结束:课程总结与问题答疑。



上一篇: Hadoop大数据解决方案平台技术培训 下一篇:《岗位分析和微流程岗位说明书编写》

下载课纲

X
""