课程目标

Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C++/C#外最受欢迎的语言。

本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项目的每一步操作，从数据预处理、数据建模、数据可视化，到最终数据挖掘结束，帮助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力。

通过本课程的学习，达到如下目的：

1、 全面掌握Python语言以及其编程思想。

2、 掌握常用扩展库的使用，特别是数据挖掘相关库的使用。

3、 学会使用Python完成数据挖掘项目整个过程。

4、 掌握利用Python实现可视化呈现。

5、 掌握数据挖掘常见算法在Python中的实现。

【授课时间】

2-5天时间

（要根据学员的实际情况调整重点内容及时间）

学员要求

课程为实战课程，要求：

1、 每个学员自备一台便携机(必须)。

2、 便携机中事先安装好Python 3.6版本及以上。

3、 安装好Numpy,Pandas,sklearn等常用库。

注：讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源。

授课方式

语言基础 + 挖掘模型 + 案例演练 + 开发实践 + 可视化呈现

采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

课程大纲

第一部分： 数据对象基本操作

目的：掌握数据集结构及基本处理方法，进一步巩固Python语言

1、 数据挖掘常用扩展库介绍

Ø Numpy数组处理支持

Ø Scipy矩阵计算模块

Ø Matplotlib数据可视化工具库

Ø Pandas数据分析和探索工具

Ø StatsModels统计建模库

Ø Scikit-Learn机器学习库

Ø Keras深度学习（神经网络）库

Ø Gensim文本挖掘库

2、 数据集构建

Ø Index, Series, DataFrame对象

Ø 手工构建（创建索引、序列、数据集）

Ø 读取文件（CSV文件、Excel文件）

Ø 读取数据库

Ø 数据集保存（CSV、Excel）

3、 数据集基本操作

Ø 基本属性访问

² shape,ndim,index,columns,values,empty,size

Ø 数据类型处理：查看、修改、转换

Ø 排序

² 排序依据：标题、索引、字段

² 排序顺序：升序、降序

² 自定义排序：按标题、索引、字段、有序类别变量排序

Ø 基本访问

² 行访问、列访问、值访问

² 访问方式：标签、位置

² 访问类型：单行列、多行列、连续行列

² 布尔数组访问

Ø 字段管理、新增、删除、修改、替换、移位

Ø 数据筛选：条件筛选、多值筛选、筛选空值/非空值

演练：用Python实现数据的基本访问

第二部分： 大数据预处理

目的：掌握数据预处理的基本环节，以及Python的实现。

1、 预处理任务

Ø 数据清洗

Ø 数据集成

Ø 数据处理

Ø 变量处理

2、 数据清洗

Ø 重复值处理

² 重复字段、重复标题、重复索引

² 处理方式：查找、删除、修改

Ø 错误值处理

² 查找错误值

² 置空/删除

² 重新编码/替换

Ø 离群值处理：

² 检测标题：3σ准则，IQR准则，K均值

² 处理方式：查找、置空、截尾、缩尾

² 基于K均值的离群值检测

Ø 缺失值处理：

² 查找、删除

² 插补(固定值/均值/向下填充/向上填充/插入法/拉格朗日)

3、 数据集成

Ø 数据追加

Ø 变量合并（连接类型）

4、 数据处理

Ø 数据筛选

Ø 数据抽样

² 简单抽样（有放回、无放回）

² 分层抽样

Ø 离散化/分箱

² 等宽

² 等频

² 自定义间隔

² K均值

5、 变量处理

Ø 处理方式：变量变换、变量派生

Ø 规范化：min-max /mean-std/exp-max

Ø 哑变量化

案例：用Python实现数据预处理

第三部分： 数据可视化处理

目的：掌握作图扩展库，实现数据可视化

1、 统计基础

Ø 数值变量：描述统计

Ø 类别变量：分类计数

Ø 分类统计：分类汇总

2、 常用的Python作图库

Ø Matplotlib库

Ø Pygal库

3、 各种图形的画法

Ø 柱状图

Ø 直方图

Ø 饼图

Ø 折线图

Ø 散点图

Ø …

演练：用Python库作图来实现产品销量分析，并可视化

第四部分： 影响因素分析/特征选择

目的：掌握判断事物间相关性的常用方法，熟悉建模前如何进行属性筛选/特征选择，以实现降维的目的。

1、 影响因素分析常用方法

2、 相关分析

Ø 相关分析原理

Ø 相关系数公式种类

² Pearson相关系数

² Spearman等级相关系数

² Kendall等级相关系数

3、 方差分析

Ø 方差分析原理

Ø 方差分析种类

² 单因素方差分析

² 多因素方差分析

² 协方差分析

4、 列联分析/卡方检验

Ø 列联分析原理

Ø 计数与期望值

Ø 卡方检验公式

5、 主成分分析：降维

Ø PCA方法原理

第五部分： 回归预测模型实战

1、 常用数值预测的模型

Ø 通用预测模型：回归模型

Ø 季节性预测模型：相加、相乘模型

Ø 新产品预测模型：珀尔曲线与龚铂兹曲线

2、 回归分析概念

3、 常见回归分析类别

4、 回归分析常见算法

Ø 普通最小二乘法OLS

Ø 岭回归（RR）

Ø 套索回归Lasso

Ø ElasticNet回归

5、 回归模型的评估

Ø 判定系数R^2

Ø 平均误差率MAPE

第六部分： 分类预测模型实战

1、 常见分类预测的模型与算法

2、 如何评估分类预测模型的质量

Ø 正确率、查准率、召回率、F1

Ø ROC曲线

3、 逻辑回归分析模型

Ø 逻辑回归的原理

Ø 逻辑回归建模的步骤

案例：用sklearn库实现银行贷款违约预测

4、 决策树模型

Ø 决策树分类的原理

Ø 决策树的三个关键问题

Ø 决策树算法与实现

案例：电力窃漏用户自动识别

5、 决策树算法

Ø 最优属性选择算法：ID3、ID4.0、ID5.0

Ø 连续变量分割算法

Ø 树剪枝：预剪枝、后剪枝

6、 人工神经网络模型（ANN）

Ø 神经网络概述

Ø 神经元工作原理

Ø 常见神经网络算法（BP、LM、RBF、FNN等）

案例：神经网络预测产品销量

7、 支持向量机（SVM）

Ø SVM基本原理

Ø 维灾难与核心函数

案例：基于水质图像的水质评价

8、 贝叶斯分析

Ø 条件概率

Ø 常见贝叶斯网络

第七部分： 聚类分析（客户细分）实战

1、 客户细分常用方法

2、 聚类分析（Clustering）

Ø 聚类方法原理介绍及适用场景

Ø 常用聚类分析算法

Ø 聚类算法的评价

案例：使用SKLearn实现K均值聚类

案例：使用TSNE实现聚类可视化

3、 RFM模型分析

Ø RFM模型，更深入了解你的客户价值

Ø RFM模型与市场策略

案例：航空公司客户价值分析

第八部分： 关联规则分析实战

1、 关联规则概述

2、 常用关联规则算法

Ø Apriori算法

² 发现频繁集

² 生成关联规则

Ø FP-Growth算法

² 构建FP树

² 提取规则

3、 时间序列分析

案例：使用apriori库实现关联分析

案例：中医证型关联规则挖掘

第九部分： 案例实战

1、 客户流失预测和客户挽留模型

2、 银行欠贷风险预测模型

结束：课程总结与问题答疑。

培训师介绍：

傅一航

华为系大数据专家

计算机软件与理论硕士研究生

（研究方向：数据挖掘、搜索引擎）

在华为工作十年，五项国家专利，在华为工作期间

获得华为数项奖项，曾在英国、日本、荷兰和比利

时等海外市场做项目，对大数据有深入的研究。

傅老师专注于大数据分析与挖掘、机器学习等应用技术，以及大数据系统部署解决方案。旨在将大数据的数据分析、数据挖掘、数据建模应用于行业及商业领域，解决行业实际的问题。

1、让决策更科学：将大数据应用于运营决策，用大数据探索领域发展规律和行业发展趋势，有效分析用户需求，并预测用户行为，最终实现市场变化预测，提升企业科学决策能力。

2、让管理更高效：将大数据应用于企业管理，用大数据呈现企业整体运营情况，诊断企业管理问题和风险，全面理解组织、产品、人员、营销、财务等要素间的相关性，实现企业资源的最优化配置，提升企业管理效率。

3、让营销更精准：将大数据应用于市场营销，解决营销中的用户群细分和品牌定位，客户价值评估，产品设计优化，产品最优定价等实际问题，实现精准营销和精准推荐，以最小的营销成本实现最大化的营销效果。

傅老师目前致力于将大数据技术应用于通信、金融、航空、电商、互联网、政府等领域。傅老师的课程最大特色：实战性强！“围绕业务问题+搭建分析框架+运用分析方法+建立分析模型+熟悉分析工具+形成业务策略”。以商业问题为起点，基于实际的业务应用场景（明确目的），搭建全面系统的业务框架和分析维度（分析思路），选择最合适的方法（分析方法），深入浅出的理论讲解（分析模型），使用简单实用的工具操作（分析工具），对分析结果进行有效的解读（数据可视化），最终形成具体的业务建议，实现业务分析/数据分析的闭环。

培训课题设计:

应用类：

《大数据分析与数据挖掘综合能力提升实战》

《“数”说营销----大数据营销实战与沙盘》

《市场营销大数据分析实战培训》

《大数据建模与模型优化实战培训》

《大数据分析与挖掘之SPSS工具入门与提高》

《金融行业风险预测模型实战培训》

理论/认知/战略类：

《大数据产业现状及应用创新》

《大数据思维与应用创新》

《大数据时代的精准营销》

技术类：

《Hadoop大数据解决方案开发技术基础培训》

《Python开发基础实战》

《大数据分析与挖掘之Python开发实战》

《Python机器学习算法原理及优化实现》

服务客户:

傅老师曾提供过培训咨询服务的客户遍及通信、金融、交通、制造、政府等行业，包括华为、富士康、平安集团、中国银行、招商银行、光大银行、中信银行、交通银行、广电银通、西部航空、海南航空、中国移动、中国联通、中国电信、西部航空、安能物流、广州地铁、富维江森、东风日产、神南矿业、公交集团、广州税务、良品铺子等单位和公司。

部分信息如下所示：

通信行业培训客户：

联通研究院：《大数据预测建模优化》

广州电信：《大数据时代的精准营销》两期

北京电信：《大数据分析综合能力提升》

香港电信：《大数据精准营销实战》

上海电信：《渠道大数据分析与挖掘思路及方法》两期

河北电信：《数据化运营下的大数据分析综合能力提升实战》

南京电信：《大数据视图支撑精准化营销》

佛山电信：《数据挖掘技术及其应用培训》

泉州电信：《大数据挖掘、信息分析及应用培训》

湖北联通：《大数据分析与商业智能》

广东联通：《数据分析与数据挖掘实战培训》两期

江苏联通：《大数据分析综合能力提升》

吉林联通：《大数据分析综合能力提升-中级》

乌鲁木齐联通：《大数据分析综合能力提升》

上海移动：《大数据分析与挖掘、建模及优化》叁期

浙江移动：《大数据分析与数据挖掘应用实战》

江苏移动：《大数据精准营销技能提升实战》

深圳移动：《大数据分析综合能力提升》

广西移动：《大数据发展趋势及在公司营销领域的应用》

辽宁移动2期：《数据分析方法与经营分析技巧》

泉州移动3期：《数说营销—市场营销数据分析与挖掘应用》

德阳移动2期：《大数据挖掘与建模优化实战培训》

浙江移动：《大数据产品营销能力提升》

四川移动：《大数据分析与挖掘综合能力提升》

吉林移动：《数据分析与数据挖掘培训》；

贵州移动：《“数”说营销----大数据营销实战与沙盘》

海南移动：《基于大数据运营的用户行为分析与精准定位》

山东移动：《大数据分析综合能力提升》

深圳移动：《大数据在行业内外的应用》

中国移动终端公司：《大数据分析综合能力提升培训》

中山移动：《“数”说营销----大数据营销实战与沙盘》

东莞移动：《“数”说营销----大数据营销实战与沙盘》

成都移动：《数字化运营下的数据分析与数据挖掘》

眉山移动2期：《大数据分析综合能力提升》

云浮移动：《大数据挖掘和信息提炼专项培训》

阳江移动：《小数据·大运营--运营数据的分析与挖掘》

德阳移动：《电信运营商市场营销数据挖掘应用典型案例》

陕西在线：《“数”说营销----大数据营销实战与沙盘》

四川在线：《“数”说营销----大数据营销实战与沙盘》

大连移动：《“数”说营销----大数据营销实战与沙盘》

内蒙古移动：《大数据分析与Hadoop大数据解决方案》

贵州中移通信：《SPSS数据分析与数据挖掘应用实战》

华为技术：《话务量预测与排班管理》

……

金融行业培训客户：

中国银行：《大数据变革与商业模式创新》《大数据时代的精准营销》

广发银行：《大数据下的精准营销实战》四期

中信银行：《大数据分析与挖掘综合能力提升实战》叁期

交通银行：《大数据时代的精准营销》

安信证券：《大数据时代下的金融发展》

平安集团：《大数据思维与应用创新》

平安产险：《大数据分析综合能力提升》

平安寿险：《大数据分析与应用实战》

平安银行：《大数据思维与应用创新》

农业银行：《Python大数据分析与挖掘》叁期

建设银行：《大数据思维与应用创新》两期

光大银行：《大数据分析与数据挖掘应用实战》四期

招商银行：《“数”说营销----大数据营销实战与沙盘》四期

杭州银货通科技：《大数据产业发展及应用创新》

广电银通：《大数据综合能力提升》

平安普惠金融：《Hadoop解决方案技术培训》

浦发银行：《大数据精准营销》

金融壹帐通：《大数据分析与挖掘综合能力提升实战》

中金所：《大数据思维与应用创新》

……

能源汽车交通行业培训客户：

一汽解放锡柴：《大数据思维与应用创新》

广东邮政：《大数据分析综合能力提升实战》

深圳水务：《大数据思维与应用创新》

宁夏国电：《大数据思维与应用》两期

柳州上汽五菱：《大数据下的精准营销实战》

东风商用：《数说营销实战》

东风日产：《大数据分析与数据挖掘应用实战》两期

富维江森（汽车）：《数字化运营下的数据分析与数据挖掘应用培训》

广州地铁：《大数据分析与数据挖掘培训》两期

广州地铁：《数据分析与数据建模实战》两期

西部航空：《数字化运营下的数据分析与数据挖掘应用培训》

海南航空：《利用大数据营销提升航线收益》

南方航空：《大数据精准营销实战》两期

北京机场贵宾公司：《市场营销数据的分析》

深圳公交集团：《大数据与智慧交通》

延长壳牌：《大数据分析与挖掘综合能力提升》

神南矿业：《大数据产业发展与应用创新》

宝鸡国电：《大数据分析与挖掘》两期

顺丰快递：《大数据分析综合能力提升实战》

……

其它行业培训客户：

岭南集团：《大数据时代下的精准营销》

ABB：《大数据分析实战培训》

顶新国际：《大数据思维与应用创新》

索菲亚：《大数据分析实战培训》

玫琳凯：《大数据思维与应用》叁期

西部数据：《大数据分析综合能力提升》

无限极：《大数据分析综合能力提升》两期

雅图仕：《大数据分析综合能力提升》

施耐德：《大数据分析综合能力提升》叁期

广州税务：《大数据分析与挖掘实战》叁期

YKK吉田拉链：《大数据分析综合能力提升培训》

富士康：《数据分析综合能力提升培训》

贵州中烟：《互联网+时代的大数据思维》

深圳欣盛商：《电商大数据分析》

安能物流：《大数据挖掘分析及应用实战》

良品铺子：《大数据分析综合能力提升》两期

新时代集团：《问题的挖掘、分析—数据分析技巧》两期培训

挑战牧业：《大数据分析综合能力提升》

易鑫集团：《大数据分析综合能力提升》

赣州监狱：《大数据时代的营销》共三期培训

贺州学院：《大数据时代的人才培养》

……