总公司KPI项目数据仓库维度建模培训课件

总公司KPI项目数据仓库维度建模培训课件数据仓库维度建模培训总公司KPI项目数据仓库维度建模培训课件议程议程 09:0010:00 维度建模的基本步骤维度建模的基本步骤 10:0010:10 休息休息 10:1011:30 建模步骤的实例解析建模步骤的实例解析总公司KPI项目数据仓库维度建模培训课件数据仓库维度建模总公司KPI项目数据仓库维度建模培训课件学习目的学习目的 在课程结束后应该知道：在课程结束后应该知道：数据仓库维度建模分哪几个步骤？数据仓库维度建模分哪几个步骤？每个步骤都有哪些原则，和哪些误区？每个步骤都有哪些原则，和哪些误区？掌握维度建模方法掌握维度建模方法？维度表属性在维度模型中起到什么样的作用？维度表属性在维度模型中起到什么样的作用？Kimball极力反对哪些建模方法？极力反对哪些建模方法？总公司KPI项目数据仓库维度建模培训课件一个比喻一个比喻比喻：比喻：如果将数据仓库建设看作是一个高楼大厦建造过程的话如果将数据仓库建设看作是一个高楼大厦建造过程的话 数据仓库维度建模就是大厦的框架建设工作数据仓库维度建模就是大厦的框架建设工作 数据仓库数据仓库ETL过程，就是为大厦添砖加瓦的过程过程，就是为大厦添砖加瓦的过程 优秀数据访问工具则是大厦整体装修的最佳工具优秀数据访问工具则是大厦整体装修的最佳工具框架的框架的重要性重要性 地基打多深决定大厦能做多高。

地基打多深决定大厦能做多高钢筋混凝土结构还是刚结构决定了大厦的稳定性钢筋混凝土结构还是刚结构决定了大厦的稳定性 维度建模是数据仓库框架建设的重要技术维度建模是数据仓库框架建设的重要技术总公司KPI项目数据仓库维度建模培训课件维度建模四步曲维度建模四步曲 四步维度建模步骤：四步维度建模步骤：1.选取要建模的业务流程选取要建模的业务流程 2.定义业务流程中的数据粒度定义业务流程中的数据粒度 3.选定用于每个事实表行的维度选定用于每个事实表行的维度 4.确定用于形成每个事实表行的数字型事实确定用于形成每个事实表行的数字型事实总公司KPI项目数据仓库维度建模培训课件四步曲四步曲1.选取业务流程选取业务流程 误区：误区：不针对业务流程而针对业务部门进行维度建模不针对业务流程而针对业务部门进行维度建模 将注意力放在业务部门身上，而不关注业务流程将注意力放在业务部门身上，而不关注业务流程 为某个部门建立单独的维度模型为某个部门建立单独的维度模型 原则：原则：针对业务流程进行维度建模针对业务流程进行维度建模 确保某个业务流程中的核心数据只被抽取一次确保某个业务流程中的核心数据只被抽取一次 保证数据仓库中业务数据一致性保证数据仓库中业务数据一致性总公司KPI项目数据仓库维度建模培训课件四步曲四步曲2.定义粒度定义粒度(1)粒度的解释：粒度的解释：粒度传递了同事实表度量值相联系的细节所达到的程度方粒度传递了同事实表度量值相联系的细节所达到的程度方面的信息。

面的信息简单的说，反映了事实表的明细程度简单的说，反映了事实表的明细程度粒度举例：粒度举例：超市小票上的购物清单超市小票上的购物清单 医生的处方药品清单医生的处方药品清单 仓库每种产品库存值的月快照仓库每种产品库存值的月快照误区：误区：数据仓库团队经常绕过这个看似不必要的步骤数据仓库团队经常绕过这个看似不必要的步骤 一个不合适的粒度定义将会使维度建模感觉无从下手一个不合适的粒度定义将会使维度建模感觉无从下手总公司KPI项目数据仓库维度建模培训课件四步曲四步曲2.定义粒度定义粒度(2)原则：原则：优先考虑具有优先考虑具有原子粒度原子粒度的业务信息，这些数据不的业务信息，这些数据不能再做进一步的细分能再做进一步的细分 数据仓库中存储汇总的、概要性的数据主要是基数据仓库中存储汇总的、概要性的数据主要是基于数据库性能上的考虑于数据库性能上的考虑 汇总数据不能成为最底层细节数据的替代品汇总数据不能成为最底层细节数据的替代品总公司KPI项目数据仓库维度建模培训课件四步曲四步曲3.选定维度选定维度 误区：误区：没有定义粒度就开始选定维度没有定义粒度就开始选定维度 原则：原则：在粒度确认后，选取能从各个角度，充分描述问在粒度确认后，选取能从各个角度，充分描述问题的维度题的维度 为每个维度添加丰富的维度属性为每个维度添加丰富的维度属性 示例：示例：常见维度包括日期、产品、顾客、事务类型和状常见维度包括日期、产品、顾客、事务类型和状态态总公司KPI项目数据仓库维度建模培训课件四步曲四步曲4.确定事实确定事实 误区：误区：没有第没有第2步的粒度确认，就开始确定事实步的粒度确认，就开始确定事实 将含有不同粒度的事实放在了同一个事实表中将含有不同粒度的事实放在了同一个事实表中 原则：原则：确定用于形成每个事实表行的确定用于形成每个事实表行的数字可加型数字可加型事实事实 在需求调研时我们可以通过提出在需求调研时我们可以通过提出“您需要对哪些您需要对哪些指标进行统计？指标进行统计？”这样的问题来确定事实。

这样的问题来确定事实具有不同粒度的事实具有不同粒度的事实必须必须放在不同的事实表中放在不同的事实表中 事实一般在各维度上都有良好的事实一般在各维度上都有良好的可加性可加性总公司KPI项目数据仓库维度建模培训课件四步曲总结四步曲总结 维度建模总原则：维度建模总原则：数据驱动和需求驱动相结合数据驱动和需求驱动相结合总公司KPI项目数据仓库维度建模培训课件零售业案例背景零售业案例背景 背景：背景：设想一下在一家大型杂货连锁店，其业务覆盖分设想一下在一家大型杂货连锁店，其业务覆盖分布在美国布在美国5个州范围内的个州范围内的100多家杂货店多家杂货店每个商店都有完整的配套部门，包括各类人员，每个商店都有完整的配套部门，包括各类人员，并有大致并有大致60000多个品种的产品放在货架上多个品种的产品放在货架上各杂货店的各杂货店的POS系统记录了每位顾客交易详的细系统记录了每位顾客交易详的细信息信息 定价与促销是管理层重要决策之一定价与促销是管理层重要决策之一 如何使各种形式的促销活动所产生的效能清晰可如何使各种形式的促销活动所产生的效能清晰可见？见？总公司KPI项目数据仓库维度建模培训课件实例实例1.选取业务流程选取业务流程 选取业务流程：选取业务流程：你能列出该连锁店急待解决的问题吗？你能列出该连锁店急待解决的问题吗？是否有系统能提供解决问题所需要的数据？是否有系统能提供解决问题所需要的数据？该系统对应的业务流程你清楚吗？该系统对应的业务流程你清楚吗？注意：注意：建立的第一个维度模型应该是一个最有影响的模建立的第一个维度模型应该是一个最有影响的模型，即它应该能对最紧迫的业务问题做出正面回型，即它应该能对最紧迫的业务问题做出正面回答，并且要保证有足够的操作型数据源的支持。

答，并且要保证有足够的操作型数据源的支持总公司KPI项目数据仓库维度建模培训课件实例实例2.定义粒度定义粒度 定义粒度：定义粒度：你还记得刚才的粒度定义原则吗？你还记得刚才的粒度定义原则吗？在这个连锁店我们应该使用什么样的粒度？即事在这个连锁店我们应该使用什么样的粒度？即事实表要详细到什么程度？实表要详细到什么程度？总公司KPI项目数据仓库维度建模培训课件实例实例3.选定维度选定维度选定维度：选定维度：如何得出基本维度？如何得出基本维度？什么是附加维度？什么是附加维度？通过粒度的判断我们可以得出事实表的基本维度为：日期、通过粒度的判断我们可以得出事实表的基本维度为：日期、产品、商店与促销产品、商店与促销日期维度日期关键字日期关键字(PK)(PK)待定日期属性待定日期属性商场维度商场关键字商场关键字(PK)(PK)待定商场属性待定商场属性产品维度产品关键字产品关键字(PK)(PK)待定产品属性待定产品属性促销维度促销关键字促销关键字(PK)(PK)待定促销属性待定促销属性POS零售营销事务事实日期关键字日期关键字(FK)(FK)产品关键字产品关键字(FK)(FK)商场关键字商场关键字(FK)(FK)促销关键字促销关键字(FK)(FK)POSPOS事务编号事务编号待定事实待定事实总公司KPI项目数据仓库维度建模培训课件实例实例4.确定事实确定事实确定事实：确定事实：是否还记得确定事实的基本原则？是否还记得确定事实的基本原则？按照基本原则你认为事实表中应该包含哪些事实？按照基本原则你认为事实表中应该包含哪些事实？是否应该在事实表中存放计算列？是否应该在事实表中存放计算列？实例中事实应包括销售量、销售额与成本价，当然也实例中事实应包括销售量、销售额与成本价，当然也可以包括毛利润可以包括毛利润日期维度日期关键字日期关键字(PK)(PK)待定日期属性待定日期属性商场维度商场关键字商场关键字(PK)(PK)待定商场属性待定商场属性产品维度产品关键字产品关键字(PK)(PK)待定产品属性待定产品属性促销维度促销关键字促销关键字(PK)(PK)待定促销属性待定促销属性POS零售营销事务事实日期关键字日期关键字(FK)(FK)产品关键字产品关键字(FK)(FK)商场关键字商场关键字(FK)(FK)促销关键字促销关键字(FK)(FK)POSPOS事务编号事务编号销售量销售量销售额销售额成本额成本额毛利润金额毛利润金额总公司KPI项目数据仓库维度建模培训课件维度表属性维度表属性 添加维度表属性添加维度表属性 这是维度建模的最后修补工作这是维度建模的最后修补工作 增加的维度属性会为用户带来更多的查询条件增加的维度属性会为用户带来更多的查询条件 丰富的维度属性将使查询变得更加灵活丰富的维度属性将使查询变得更加灵活总公司KPI项目数据仓库维度建模培训课件维度表属性日期维度维度表属性日期维度 日期维度属性日期维度属性 是否还可以列出其它属性是否还可以列出其它属性日期维度日期关键字日期关键字(PK)(PK)日期日期星期星期日历周结束日期日历周结束日期日历月日历月日历年月日历年月日历季度日历季度日历年季度日历年季度日历半年度日历半年度节假日指示符节假日指示符。

及其它及其它总公司KPI项目数据仓库维度建模培训课件维度表属性产品维度维度表属性产品维度 产品维度属性产品维度属性 是否还可以列出其它属性是否还可以列出其它属性产品维度产品关键字产品关键字(PK)(PK)产品描述产品描述SKUSKU编号编号商标描述商标描述子类描述子类描述分类描述分类描述部门描述部门描述包装类型包装类型包装尺寸包装尺寸含脂量含脂量及其它总公司KPI项目数据仓库维度建模培训课件维度表属性商场维度维度表属性商场维度 商场维度属性商场维度属性 是否还可以列出其它属性是否还可以列出其它属性商场维度商场关键字商场关键字(PK)(PK)商场名称商场名称商场编号商场编号商场所在行政区商场所在行政区商场所在地区商场所在地区首次开业日首次开业日最后重修日最后重修日及其它总公司KPI项目数据仓库维度建模培训课件维度表属性促销维度维度表属性促销维度 促销维度属性促销维度属性 是否还可以列出其它属性是否还可以列出其它属性促销维度促销关键字促销关键字(PK)(PK)促销名称促销名称促销媒体类型促销媒体类型促销开始日期促销开始日期促销结束日期促销结束日期及其它总公司KPI项目数据仓库维度建模培训课件Kimbal极力反对的做法极力反对的做法 极力反对的做法极力反对的做法 维度模型的规范化处理（雪花模型）维度模型的规范化处理（雪花模型）事实表拥有太多的维度事实表拥有太多的维度总公司KPI项目数据仓库维度建模培训课件谢谢大家！。