A31 大数据分析与数据挖掘能力提升实战(5天)_数据挖掘与分析实战

A31 大数据分析与数据挖掘能力提升实战(5天)由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“数据挖掘与分析实战”。

大数据分析与数据挖掘能力提升实战

【课程目标】

本课程为综合课程，包含基本的数据分析，到高级的数据挖掘，数据建模，以及大数据在市场营销方面的应用，帮助企业的相关人员提升数据分析的综合能力，解决业务问题和企业决策问题。

本课程从实际的业务需求出发（特别是市场营销领域的业务），结合行业的典型应用特点，围绕实际的商业问题，对数据分析及数据挖掘技术进行了全面的介绍（从数据收集与处理，到数据分析与挖掘，再到数据可视化和报告撰写），通过大量的操作演练，帮助学员掌握数据分析和数据挖掘的思路、方法、表达、工具，从大量的企业经营数据中进行分析，挖掘客户行为特点，帮助运营团队深入理解业务运作，以达到提升学员的数据综合分析能力，支撑运营决策的目的。

通过本课程的学习，达到如下目的：

1、了解大数据的核心理念，以及大数据思维。

2、掌握数据分析的基础知识，掌握数据分析的基本过程。

3、学会数据分析的框架和思路，掌握常用数据分析方法来分析问题。

4、掌握数据挖掘，数据建模，以及模型优化，能够解决商业问题。

5、掌握常用分析和挖掘工具，学习使用Excel、SPSS、Modeler工具来做数据分析、数据挖掘，以及数据预处理和建模。

【授课时间】

5天时间

【授课对象】

市场营销部、业务支撑、经营分析部、网管/网优中心、数据分析部等对业务数据分析有要求的相关人员。

【学员要求】

1、每个学员自备一台便携机(必须)。

2、便携机中事先安装好Excel 2010版本及以上（常规分析）。

3、便携机中事先安装好IBM SPSS Statistics v19版本及以上（数据挖掘）。

4、便携机中事先安装好IBM SPSS Modeler v19版本及以上（数据预处理和建模）。注：讲师可以提供试用版本软件及分析数据源。

【授课方式】

数据分析/挖掘基础 + 思路分解 + 方法讲解 + 实际业务问题分析 + 工具操作 采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

不空谈理论，不空谈方法，以业务分析为核心，以解决问题为目的。

一切不以解决业务问题的数据分析/挖掘都是耍流氓！

【课程大纲】

第一部分：解构大数据

1、大数据时代已经来临

2、大数据的三层理解

 理论层：以数据为基础  技术层：以平台为手段  应用层：以应用为导向

3、大数据的4V特征

4、大数据的核心价值

 发现业务运行规律  预测事物未来

5、大数据在各行业是如何应用的 医疗卫生  政治军事  行政执法  金融银行  ……

6、数据分析的核心理念

 数据变化意味着业务变化  数据间关系意味着因素间的关系

7、大数据战略  大数据成为企业的核心资产  大数据成为业务创新的核心引擎  从数据化运营到运营数据

8、大数据的思维变革

 定量思维  相关思维  实验思维  ……

9、大数据的商业模式分析

10、大数据的人才培养

第二部分：数据分析篇

问题：数据分析是神马?数据分析基本过程？

1、数据分析面临的常见问题

2、认识数据分析

 什么是数据分析  数据分析的三大作用  数据分析的三大类别 案例：喜欢赚“差价”的营业员

3、数据分析的六步曲

 明确目的  收集数据

 处理数据（预处理） 分析数据

 呈现数据（可视化） 撰写报告

案例：终端精准营销项目过程讨论

4、数据分析师需要什么样的能力  懂业务、懂管理、懂分析、懂工具、懂呈现

5、大数据应用系统的四层结构

 数据基础层、数据模型层、业务模型层、业务应用层

6、数据分析方法的层次

 基本分析法（对比/分组/结构/趋势/…） 综合分析法（交叉/综合评价/杜邦/漏斗/…） 高级分析法（相关/方差/验证/回归/时序/…） 数据挖掘法（聚类/分类/关联/RFM模型/…）

7、基本分析方法及其适用场景

 对比分析（查看数据差距）

演练：按性别、省份、产品进行分类统计  分组分析（查看数据分布）演练：银行信用卡月消费分析（银行）演练：呼叫中心接听电话效率分析（呼叫中心）演练：客服中心科学排班人数需求分析（客服中心）演练：客户年龄分布分析 案例：排班后面隐藏的猫腻  结构分析（评估事物构成）案例：用户市场占比结构分析

案例：物流费用占比结构分析（物流） 趋势分析（发现变化规律）案例：破解零售店销售规律

8、综合分析方法及其适用场景

 交叉分析（两维分析）演练：用户性别+地域分布分析  综合评价法（多维指标归一）演练：人才选拔评价分析（HR）案例：南京丈母娘选女婿分析表格

 杜邦分析法（关键因素分析-财务数据分析）案例：电信市场占有率分析

演练：服务水平提升分析（呼叫中心）案例：销售额的影响因素分析（零售店/电商）

 漏斗分析法（关键流程环节分析-流失率与转化率分析）演练：终端销售流程分析（电信营业厅）案例：业务办理流程优化分析（银行营业厅）案例：物流配送效率分析（物流）

 矩阵分析法（产品策略分析-象限图分析法）案例：工作安排评估 案例：HR人员考核与管理 案例：波士顿产品策略分析

9、最合适的分析方法才是硬道理。

10、数据分析思路（如何细化业务问题）

案例：利用5W2H来分析产品销售情况

第三部分：概率与数理统计篇

1、数据统计指标

 集中程度：平均数/中位数/众数

 离散程度：全距/四分位距/标准差/四分位  分布形态：偏度/峰度  正确理解各指标的含义 案例：如何用Excel计算统计指标 案例：如何用Excel画直方图

2、概率论基本知识

 随机事件与概率  古典概率与条件概率  全概率公式与贝叶斯公司  概率分布函数  数学期望与方差  大数定律与中心极限定理

3、参数检验分析

 假设检验概述  假设检验步骤

 样本T检验（单样本、两独立样本、两配对样本）及适用场景 案例：电信运营商ARPU值评估分析（单样本）案例：营销活动前后分析（两配对样本）案例：吸烟与胆固醇升高的分析（两独立样本）

4、非参数检验分析

 非参数检验概述

 样本检验（单样本、两独立样本、两相关样本）案例：产品合格率检验（单样本-二项分布）

案例：训练新方法有效性检验（两配对样本-符号/秩检验）案例：促销方式效果检验(多相关样本-Friedman检验)案例：客户满意度差异检验(多相关样本-Cochran Q检验)

第四部分：高级数据分析

本篇包含三大内容：影响因素分析，数值预测模型。

1、相关分析（衡量变量间的的相关性）

问题：营销费用会影响销售额吗？影响程度大吗？  什么是相关关系

 相关系数：衡量相关程度的指标  相关分析的步骤与计算公式  相关分析应用场景 演练：体重与腰围的关系 演练：营销费用与销售额的关系

2、方差分析 问题：哪些才是影响销量的关键因素？  方差分析解决什么问题

 方差分析种类：单因素/双因素可重复/双因素无重复  方差分析的应用场景  如何解决方差分析结果

演练：产品摆放位置与销量有关吗？（单因素方差分析）案例：2015年大学生工资与父母职业的关系

3、回归分析（预测）

问题：如何预测未来的销售量（定量分析）？  回归分析的基本原理和应用场景

 回归分析的种类（一元/多元、线性/曲线） 回归分析的几种常用方法  回归分析的五个步骤与结果解读

 回归预测结果评估（如何评估预测质量，如何选择最佳回归模型）演练：散点图找推广费用与销售额的关系（一元线性回归）演练：推广费用、办公费用与销售额的关系（多元线性回归）演练：最佳选择的预测销售额的回归模型（一元曲线回归） 回归分析（带分类变量）案例：汽车销量的季度预测

演练：工龄、性别与终端销量的关系 讨论：终端销售预测分析（营业厅）

4、时序分析（预测）

问题：随着时间变化，未来的销量变化趋势如何？  时序分析的应用场景（基于时间的变化规律） 移动平均的预测原理  指数平滑的预测原理

案例：销售额的时序预测及评估 演练：产品销量预测及评估 第五部分：建立预测模型与模型优化（Excel工具）

本篇包含内容：数值预测建模、模型优化，季节性预测模型、S曲线预测模型。

1、常见预测模型类别

 数值预测  分类预测

2、回归分析建模

 寻找最佳回归拟合线来判断和预测

 模型优化七步法（因素、异常值、相互作用、非线性关系…）案例：汽车销量预测分析

案例：工龄、性别与销量的回归分析

3、季节性预测模型

 季节性预测模型的参数

 常用季节性预测模型（相加模型、相乘模型）案例：美国航空旅客里程的季节性趋势分析 案例：产品销售季节性趋势预测分析

4、新产品销量预测与S曲线

 如何评估销量增长的拐点

 常用模型（珀尔曲线、龚铂兹曲线）

案例：预测IPad产品的销售增长拐点，以及销量上限

5、规划求解与自定义模型 案例：大数据下的产品定价方法

案例：如何对客流量进行建模及模型优化

第五部分：数据挖掘篇（SPSS工具使用）

1、数据挖掘概述

2、数据挖掘的标准流程

 商业理解  数据准备  数据理解  模型建立  模型评估  模型应用

案例：通信客户流失分析及预警模型

3、聚类分析（市场细分与客户细分）

问题：如何实现客户细分，开发符合细分市场的新产品？  聚类分析及其作用  聚类分析的种类  层次聚类：发现多个类别  R型聚类与Q型聚类的区别

演练：中国省市经济发展情况分析（Q型聚类）演练：裁判评分的标准衡量（R型聚类） K均值聚类

演练：宝洁公司如何选择新产品试销区域？ 演练：如何评选优秀员工？

4、分类分析

案例：美国零售商（Target）如何预测少女怀孕

问题：如何提取客户流失者、拖欠货款者的特征？如何预测其流失的概率？

 分类与聚类  决策树分类的原理  如何评估分类性能

演练：识别银行欠货风险，提取欠货者的特征

5、关联分析

案例：啤酒与尿布、飓风与蛋挞

问题：购买面包的人是否也会购买牛奶？他们同时购买哪些产品？  关联分析解决什么样的问题  如何提取关联规则  关联规则的应用场景

案例：超市商品交叉销售与布局优化（关联分析）

6、RFM模型

问题：如何评估客户的价值？如何针对不同客户采取不同的营销策略？  RFM模型介绍

 RFM的客户细分框架理解 演练：淘宝客户选择促销客户的方式

演练：结合响应模型，宜家IKE实现最大化营销利润

第六部分：数据挖掘实战篇（Modeler工具实操）

1、数据挖掘处理的一般过程

 数据源数据理解数据准备探索分析数据建模模型评估

2、数据读入

3、数据集成 变量合并（增加变量） 数据追加（添加记录）

4、数据理解

 取值范围限定  重复数据处理  缺失值处理  无效值处理

 离群点和极端值的修正  数据质量评估

5、数据准备：数据处理

 数据筛选：数据抽样/选择（减少样本数量） 数据精简：数据分段/离散化（减少变量的取值） 数据平衡：正反样本比例均衡  其它：排序、分类汇总

6、数据准备：变量处理

 变量变换：原变量值更新  变量派生：生成新的变量  变量精简：降维，减少变量个数

7、基本分析

 单变量：数据基本描述分析

 双变量：相关分析、方差分析、卡方检验（列联检验） 变量精简：特征选择、因子分析 案例：通信基本费用与开通月数的相关分析 案例：开通月数对客户流失的影响分析 案例：套餐类型对对客户流失的影响分析

8、特征选择

 特征选择方法：选择重要变量，剔除不重要的变量  从变量本身考虑

 从输入变量与目标变量的相关性考虑

9、因子分析（主成分分析）

 因子分析的原理  因子个数如何选择  如何解读因子含义

案例：提取影响电信客户流失的主成分分析

10、常见分类预测模型  分类预测基本过程

 如何评估分类模型的性能（查准率、查全率）

11、决策树分类  决策树分类原理

 决策树构建的三个关键问题  决策树算法

案例：识别银行欠货风险，提取欠货者的特征 案例：客户流失预警与客户挽留模型

12、神经网络  神经网络概述  神经元工作原理  BP反向传播网络（MLP） 径向基函数网络（RBF）13、14、实战：电信客户流失分析与预警模型 支持向量机 贝叶斯分类

结束：课程总结与问题答疑。