编辑导读：企业每天生产众多的数据，这些数据要经过分析才能对业务、运营等产生价值。而大数据平台就是了满足企业对于数据的各种要求而产生的。如何构建一个大数据平台，取决于企业的数据化程度和面临的数据问题。本文作者将以在线教育为例，分析如何从0到1构建大数据平台，与你分享。 第一篇文章，按照惯例先做个自我介绍。本人目前在一家在线教育公司担任大数据营销产品负责人，由于一些机缘巧合，我同时负责了数据产品线和营销CRM产品线，因此给了我更多的机会去思考和实践如何把数据与营销业务深入融合，将大数据的势能赋予营销平台，从而实现业务的精细化运营和数据驱动。 接下来，针对在线教育业务场景下的大数据营销平台实战，我会用一个系列的文章进行系统化阐述。文章可能会涉及：大数据平台搭建、用户画像服务体系、CRM线索动态评分模型及分配算法、数据产品实施推广方案、客户数据中台（CDP）等多个方向。 本篇主要来讲解如何从0到1构建在线教育业务场景下的大数据平台。 产品是为了满足需求，是否需要构建大数据平台？以及构建什么样的大数据平台？取决于企业的数据化程度和面临的数据问题。因此在构建大数据平台之前，需要进行充分地调研，找准问题才能对症下药。对企业数据化程度的评估方法，可以参考下图所示的数据管理能力成熟度模型(DMM)。 通过前期的调研和分析，我们公司当时处于L2等级，面临的主要数据问题如下： 1）数据源分散 2）数据指标不统一 3）数据分析效率低 4）数据管理问题 上一部分已经对企业内部数据问题进行了全面诊断和问题剖析，接下来我们针对这些问题给出解决的架构方案和路线图。 从业务视角给出了如下的数据服务体系蓝图，数据服务体系的规划需要满足三点：数据服务体系需要覆盖完整的公司业务、贯穿业务的各个阶段、伴随企业发展。 在此数据服务体系中，处于核心环节的是数据整体建模和数据资产管理，也就是我们熟悉的统一化数仓建设。结合在线教育业务特点，数仓建设需要满足三个核心数据体系建设： 数据仓库的层次划分采用业界通用的层级划分方式，包括：ODS、DWD、DWS、ADS层，如下图所示： 1）ODS层 2）CDM层 3）ADS层 数据处理流程主要包括源数据同步清洗、数据处理加工、模型运算和数据应用。基于在线在线教育公司的业务特点，源数据主要包括：渠道数据、用户数据、交易数据、营销过程数据、学习数据、外部第三方数据等。 模型引擎包括离线计算引擎和实时计算引擎两类，需要满足算法（或规则）部署、模型训练和上线、以及对其他业务系统提供接口服务的能力，比如为CRM系统提供多算法的线索实时分配、用户画像分层等服务。在数据的汇聚、加工生产、应用的全流程中，全生命周期的数据治理不能忽视，因为数据的准确定、完整性、一致性直接影响业务对数据系统的可信度。 笔者结合自身在推进大数据平台建设过程中的经验，给出以下路线图供大家参考。 维度建模常见的模型有星型模型、雪花模型和星座模型三种，数据仓库设计一般采用星型模型。 星型模型是一种多维的数据关系，它由一个事实表（Fact Table）和一组维表（Dimension Table）组成。每个维表都有一个维作为主键，所有这些维的主键组合成事实表的主键。事实表的非主键属性称为事实（Fact），它们一般都是数值或其他可以进行计算的数据。 事实表：表示对分析主题所属类型的描述。比如“昨天早上张三在环球网校花费1000元购买了一个一建零基础畅学班课程”。那么以购买为主题进行分析，可从这段信息中提取三个维度：时间维度(昨天早上)，地点维度(环球网校), 商品维度(一建零基础畅学班课程)。通常来说维度表信息比较固定，且数据量小。 维度表：表示对分析主题的度量。比如上面那个例子中，1000元就是事实信息。事实表包含了与各维度表相关联的外码，并通过JOIN方式与维度表关联。事实表的度量通常是数值类型，且记会不断增加，表规模迅速增长录数。 1）表命名规范 数仓各层表命名规范如下图所示。 2）字段级规范 新增指标的命名参考已有字段命名方式，避免出现同一个字段，10个人有10个命名方法。 字段分类包括：明细，维度，指标，时间，代码，标志位，命名规范如下： 在大数据平台的建设过程中，笔者和公司大数据架构师共同研究探讨后给出的技术架构如下图所示。 1）安全模块 作为数据平台来讲，保障数据安全始终是第一要素。 安全体系的建立主要包含以下几个方面： 2）监控模块 数据安全之外，服务的稳定性算是平台的第二级指标。好的监控体系可以帮助预测风险定位问题。例如： 3）存储模块 存储模块属于基础组件模块，主要采用hadoop生态系统的相关组件。面向不同的应用场景选择一种组件，例如： 4）计算模块 Yarn做统一资源管理，Spark或者Flink都可以作为统一流、批处理框架。或者阶段性允许两者并存。 5）管理模块 数据治理： 数仓管理数据的主要平台，包括： 任务管理： 离线任务管理、调度： 流式任务管理： 本文来源：https://www.wddqw.com/doc/2092858fa3116c175f0e7cd184254b35eefd1a1b.html