怎样提升数据分析能力 怎样提升数据分析能力 我们正在迎来一个数据爆炸的时代：各类设备和互动产生的数据量正以年均大于50%的速度增长，那么，如何提高提升数据分析能力呢？ 第一步：数据准备：(70%时间) 1.获取数据(爬虫，数据仓库) 2.验证数据 3.数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集) 4.使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理，逗号分隔) 5.抽样(大数据时。关键是随机) 6.存储和归档 第二步：数据观察(发现规律和隐藏的关联) 1.单一变量：点图、抖动图;直方图、核密度估计;累计分布函数 2.两个变量：散点图、LOESS平滑、残差分析、对数图、倾斜 3.多个变量：假色图、马赛克图、平行左边图 第三步：数据建模 1.推算和估算(均衡可行性和成本消耗) 2.缩放参数模型(缩放维度优化问题) 3.建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比) 第四步：数据挖掘 1.选择合适的机器学习算法(蒙特卡洛模拟，相似度计算，主成分分析) 2.大数据考虑用Map/Reduce 3.得出结论，绘制最后图表 循环到第二步到第四步，进行数据分析，根据图表得出结论完成文章。 以业务为核心做数据分析 “无尺度网络模型”的作者艾伯特-拉斯洛・巴拉巴西认为――人类93%的行为是可以预测的。数据作为人类活动的痕迹，就像金矿等待发掘。但是首先你得明确自己的业务需求，数据才可能为你所用。 数据为王，业务是核心 1.了解整个产业链的结构 2.制定好业务的发展规划 3.衡量的核心指标有哪些 本文来源：https://www.wddqw.com/doc/92bcea5cf28583d049649b6648d7c1c708a10b89.html