傅一航,傅一航讲师,傅一航联系方式,傅一航培训师-【讲师网】
大数据 数据分析 数据挖掘 数据建模
傅一航:大数据模型与数据挖掘应用实战(高级)
2017-03-22 2400
对象
业务支撑部、数据分析部、IT系统部、信息化部对数据挖掘有较高要求的专职人员
目的
掌握数据挖掘标准过程、数据建模、以及模型优化
内容

第一部分:数据挖掘基础知识(基础,决定你的高度)

1、数据挖掘工具简介

Ø  EXCEL规划求解(数据建模工具)

Ø  SAS统计分析系统

Ø  SPSS统计产品与服务解决方案(Modeler数据流处理)


2、数据挖掘概述

案例:宜家IKE如何通过数据挖掘来降低营销成本提升利润?


3、数据挖掘的标准流程(CRISP-DM)

Ø  商业理解

Ø  数据准备

Ø  数据理解

Ø  模型建立

Ø  模型评估

Ø  模型应用

案例:通信客户流失分析及预警模型


4、数据建模示例

案例:客户匹配度建模—找到你的准客户


第二部分:数据理解与数据准备(Modeler实操)

1、数据挖掘处理的一般过程

Ø  数据源-->数据理解-->数据准备-->探索分析-->数据建模-->模型评估

2、数据读入

Ø  读入文本文件

Ø  读入Excel电子表格

Ø  读入SPSS格式文件

Ø  读入数据库数据

3、数据集成

Ø  变量合并(增加变量)

Ø  数据追加(添加记录)

4、数据理解

Ø  取值范围限定

Ø  重复数据处理

Ø  缺失值处理

Ø  无效值处理

Ø  离群点和极端值的修正

Ø  数据质量评估

5、数据准备:数据处理

Ø  数据筛选:数据抽样/选择(减少样本数量)

Ø  数据精简:数据分段/离散化(减少变量的取值)

Ø  数据平衡:正反样本比例均衡

Ø  其它:排序、分类汇总

6、数据准备:变量处理

Ø  变量变换:原变量值更新

Ø  变量派生:生成新的变量

Ø  变量精简:降维,减少变量个数

7、基本分析

Ø  单变量:数据基本描述分析

Ø  双变量:相关性分析

Ø  变量精简:特征选择、因子分析

8、特征选择

Ø  特征选择方法:选择重要变量,剔除不重要的变量

Ø  从变量本身考虑

Ø  从输入变量与目标变量的相关性考虑

9、因子分析(主成分分析)

Ø  因子分析的原理

Ø  因子个数如何选择

Ø  如何解读因子含义

案例:提取影响电信客户流失的主成分分析


第三部分:因素影响分析(特征重要性分析)

问题:如何判断一个因素对另一个因素有影响?

比如营销费用是否会影响销售额?产品价格是否会影响销量?产品的陈列位置是否会影响销量?

1、常用特征重要性分析的方法

Ø  特征选择(减少变量个数):相关分析、方差分析、卡方检验

Ø  因子分析(减少变量个数):主成分分析

Ø  确定变量个数参考表

2、相关分析(数值+数值,相关程度计算)

问题:这两个属性是否会相互影响?影响程度大吗?

Ø  相关分析概述

Ø  相关系数计算公式

Ø  相关性假设检验

案例:通信基本费用与开通月数的相关分析


3、方差分析(分类+数值,影响因素分析)

问题:哪些才是影响销量的关键因素?

Ø  方差分析原理

Ø  方差分析的步骤

Ø  方差分析适用场景

案例:开通月数对客户流失的影响分析


4、列联分析(分类+分类,影响因素分析)

Ø  列联表的原理

Ø  卡方检验的步骤

Ø  列联表分析的适用场景

案例:套餐类型对对客户流失的影响分析


第四部分:分类预测模型分析

1、分类概述

Ø  分类的基本过程

Ø  常见分类预测模型

2、逻辑回归分析模型

问题:如果评估用户是否购买产品的概率?

Ø  逻辑回归分析

Ø  逻辑回归的原理

案例:客户购买预测分析(二元逻辑回归)


3、决策树分类

问题:如何提取客户流失者、拖欠货款者的特征?如何预测其流失的概率?

Ø  决策树分类的原理

Ø  决策树的三个关键问题

Ø  决策树算法

Ø  如何评估分类模型的性能(查准率、查全率)

案例:识别银行欠货风险,提取欠货者的特征

案例:客户流失预警与客户挽留模型


4、神经网络

Ø  神经网络概述

Ø  神经元工作原理

Ø  神经网络的建立步骤

Ø  B-P反向传播网络(MLP)

Ø  径向基函数网络(RBF)

5、支持向量机

Ø  SVM基本原理

Ø  维灾难与核函数

6、朴素贝叶斯分类

Ø  条件概率

Ø  朴素贝叶斯

Ø  TAN贝叶斯网络

Ø  马尔科夫毯网络


第五部分:市场细分与客户细分

1、客户细分常用方法

2、聚类分析(Clustering)

问题:如何对市场进行细分?如何提取客户特征,从而对产品进行市场定位?

Ø  聚类方法原理介绍

Ø  聚类方法适用场景

Ø  如何细分客户群,并提取出客户群的特征?

Ø  K均值聚类(快速聚类)

Ø  两步聚类

案例:移动三大品牌细分市场合适吗?

演练:宝洁公司如何选择新产品试销区域?


3、RFM模型分析

Ø  RFM模型,更深入了解你的客户价值

Ø  RFM模型与市场策略

Ø  RFM模型与活跃度

案例:淘宝客户价值评估与促销名单


第六部分:关联分析(Association)

问题:购买面包的人是否也会购买牛奶?他们同时购买哪些产品?

Ø  关联规则原理介绍

Ø  关联规则适用场景:交叉销售、捆绑营销、产品布局

案例:超市商品交叉销售与布局优化(关联分析)


结束:课程总结与问题答疑。


Copyright©2008-2024 版权所有 粤ICP备2023139143号-5 浙公网安备 33010802003509号 杭州讲师云科技有限公司
讲师网 www.jiangshi.com 直接对接10000多名优秀讲师-省时省力省钱
讲师网常年法律顾问:浙江麦迪律师事务所 梁俊景律师 李小平律师