维度建模读书笔记_数学建模读书笔记
维度建模读书笔记由刀豆文库小编整理,希望给你工作、学习、生活带来方便,猜你可能喜欢“数学建模读书笔记”。
维度建模读书笔记
1.概念
数据仓库受业务驱动的最终目标 数据仓库体系的主要构件 维度建模在数据仓库展示环节方面的重要性 事实表和维度表术语 有关维度建模的讹传 数据仓库构建需要避免的常见错误
2.业务问题
公司有堆积如山的数据,可就是不能访问 需要以各种方式随心所欲的切割数据 如何使业务人员能够简单快捷地得到所需形式的数据 将什么是重要内容显示出来 同样的业务运作机理却以不同的编号展示出来 希望用信息来支持更有事实依据的决策制定过程
3.数据仓库的目标
数据仓库必须是组织机构的信息变得容易存取
标识方面容易易懂
永无止境的组合方式
数据的分离和合并
数据仓库必须一致地展示组织机构的信息
数据的完整性
数据的一致性
数据仓库必须具有广泛的适应性和便于修改
新增、修改、老化不会导致现有数据或应用无效 描述性数据修改必须考虑适当性
数据仓库必须发挥安全壁垒作用以保护信息资产 数据仓库必须在推进有效决策方面承担最基本的角色 数据仓库可为业务群体接受
4.数据仓库建造者的职责
在业务范围、工作职责和计算机性能等方面多为用户考虑 确定业务用户想在数据仓库帮助下想要做出什么样的决策
标定那些使用数据仓库进行效能高而作用大的决策制定的最佳用户 寻找潜在的新用户并让他们了解数据仓库 选取那些从机构海量数据中挑出的最有成效和最富有实际意义的数据子集在数
据仓库中进行展示
适应用户对相关处理概况的感性认识,将用户接口和应用做的简单并且是模板驱动的跨部门一致性地标注数据,确保数据是准确的、可信的持续不断的对数据的准确性和提交报告的内容进行监控
搜罗新的数据来源,持续不断地调整数据仓库以适应数据概况修改、需求支持和业务优先权的调整等方面的需要
抽取一部分在使用数据仓库进行业务决策方面具有良好声誉的实现,并用这些成功的例子对人员、软件和硬件配备与选购是否合理做出评判
按通行的方式发布数据
5.数据聚集 Extact Transformation Load
同时创建聚集用的规范化结构和展示用的维度,意味着数据要被处理两次
一次用于规范化数据库
一次用于针对维度模型
6.规范化数据库应该出现么
为支持聚集过程而创建一个规范化数据库是可以接受的,但这不是我们的最终目的,规范化结构必须远离用户查询,这些结构会对可理解性和性能造成损害,只要数据库支持查询和展示服务,就应该作为数据仓库展示环节的一部分加以考虑,但默认情况下,规范化数据库被排除在展示环节之外,数据展示环节应该被严格限定是维度的7.展示环节
数据应该以维度形式进行展示、存储和访问
“在不同的市场销售我们的产品,随时对销售业绩进行评估”=时间、市
场、产品、业绩--从业务需求中探索维度
将设计目标放在用户的易理解性、查询的高性能性和修改的灵活性等方面
对数据进行封装
原子数据对于经受住无法预期的特殊用户的查询攻击考验是必需的数据中心可能含有用于提高性能的概要数据或聚合值,但如果没有维度形
式的基本粒度数据的支持,则提交这些概要数据的效率是不高的仅仅在维度模型中存储概要数据,而将原子数据固定在规范化模型中,这
样的做法完全不可接受
所有数据中心必须采用共同的维度和实施来建造,即要求它们是一致的。这是
数据仓库总线的基础
没有可共享的一致性维度和事实,数据中心只能是孤立的直通应用
8.数据仓库可查询展示环节的数据必须是维度的、原子的和依附子数据仓库总线结构的9.数据存取工具
特定的查询工具只能被所有潜在数据仓库业务用户人群中的一个小比率的人员
所理解和进行有效地使用
大约80%的潜在用户通过使用封装起来而无需自己直接构造关系查询语句的模板
更为复杂的数据存取工具,可以将结果逆向上载到数据仓库的操作型源系统或者聚集/展示环节
10.元数据
操作型源系统
源方案
书写器
聚集环节
引导转换和加载处理的聚集元数据
聚集文件与目标表格布局
转换与清理规则
一致的维度
事实定义
集合定义
ETL传输规划
运行日志结果
自定义编程代码
DBMS
系统表格
分区设置
索引
视图定义
安全权限
数据存取
表格
列项业务名字与定义
过滤条件
应用模板
存取与使用情况统计
11.在各维度值(日期、产品与商店)的交点处可以得到一个度量值。维度值的列表给出了事实表的粒度定义,并确定出度量值的取值范围是什么
事实表的一行对应一个度量值 事实表中最有用的事实是数字类型与可加型事实 维度模型中,事实表表示维度间多对多的关系
12.聚合起来的原子数据是最有表现力的数据,原子数据应该成为每个事实表设计的基础。
13.维度建模的错误想法
维度模型与数据中心都只是应用于概要性数据方面 维度模型与数据中心是针对部门而不是针对企业的解决方案 维度模型与数据中心是不可升级的 维度模型与数据中心仅当存在可预见的使用模式时才适合维度模型所应持的正确的出发点是,在最有可能提供灵活性和可扩展性的最细微的层面上描述数据
维度模型与数据中心是不能集成的,从而只能形成直通的解决方案
只要它们符合数据仓库的总线结构体系
14.避免常见错误
过多的心思放在技术和数据上,而不关注业务的要求和目标 未能实现或再现看起来有影响、易访问而又合乎情理的管理功能梦想而耿耿于
怀
制定一个庞大的多年工程,而不是追求一个更易处理的可能也是更急迫的可以进行迭代开发的方案
将精力全部投入到构造规范化数据结构中去了,而在建造一个基于维度模型的可行的展示环节时,却已经用光了给定的投入
把注意力放在了后台的作业性能和容易开发上,而不是放在前台的查询性能与
容易使用上
把展示环节中假定为可查询的数据做的过于复杂。应该去建立一个突出简明性的需要方面更为人们所欣赏的解决方案
在孤立应用的基础上建立维度模型,而没有考虑采用共享的一致性维度将这些模型捆绑在一起的数据体系结构
仅仅将总结性数据加入到展示环节的维度中
把业务、业务需求与分析内容以及基本数据与支持技术等都看成是静态的 忽视了数据仓库的成功直接系于用户的接受程度这样的认识