数据仓库是一种特殊的数据库，也是按数据库形式存储数据的，但是目的不同:数据库经过长时间的运行，里面的数据会保存的越来越多，就会影响系统运行效率，对于某些程序而言，很久之前的数据并非必要的，因此，可以删除掉以减少数据，增加效率，考虑到删除这些数据比较可借，因此,一般都将这些数据从数据库中提取出来保存到另外一个数据库中，称为数据仓库。

数据仓库四大特点

面向主题:按照一定的主题域进行组织的。

集成的:数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

相对稳定的:数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

反映历史变化:数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

数据仓库的结构通常包含四个层次，如下图所示:

1.数据源:是数据仓库系统的基础，是整个系统的数据源泉

2.数据的存储与管理:是整个数据仓库系统的核心。

3.0LAP(联机分析处理)服务器:对分析需要的数据进行有效集成，按多维模型组织，以便进行多角度、多层次的分析，并发现趋势。

4.前端工具:主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。

 

数据挖掘的分析方法

关联分析:关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另一个事件也经常发生。

序列分析:序列分析主要用于发现一定时间间隔内接连发生的事件，这些事件构成一个序列，发现的序列应该具有普遍意义。

分类分析:分类分析通过分析具有类别的样本特点，得到决定样本属于各种类别的规则或方法.分类分析时首先为每个记录赋予一个标记(一组具有不同特征的类别)，即按标记分类记录，然后检查这些标定的记录，描述出这些记录的特征。

聚类分析:聚类分析是根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，并且对每个这样的组进行描述的过程。

商业BI

BI 系统主要包括数据预处理、建立数据仓库、数据分析和数据展现四个主要阶段。数据预处理是整合企业原始数据的第一步，它包括数据的抽取 (Extraction)、转换(Transformation)和加载(Load)三个过程(ETL 过程);

建立数据仓库则是处理海量数据的基础;

数据分析是体现系统智能的关键，一般采用联机分析处理 (OLAP和数据挖掘两大技术。联机分析处理不仅进行数据汇总/聚集，同时还提供切片、切块、下钻、上卷和旋转等数据分析功能，用户可以方便地对海量数据进行多维分析。数据挖掘的目标则是挖掘数据背后隐藏的知识，通过关联分析聚类和分类等方法建立分析模型，预测企业未来发展趋势和将要面临的问题;

在海量数据和分析手段增多的情况下，数据展现则主要保障系统分析结果的可视化。

9反规范化技术

由前面介绍可知，规范化操作可以防止插入异常、更新、删除异常和数据冗余，一般是通过模式分解，将表拆分，来达到这个目的。

但是表拆分后，解决了上述异常，却不利于查询，每次查询时，可能都要关联很多表，严重降低了查询效率，因此，有时候需要使用反规范化技术来提高查询效率。

技术手段包括:增加派生性冗余列，增加冗余列，重新组表，分割表。

主要就是增加冗余，提高查询效率，为规范化操作的逆操作。

10 大数据

特点:大量化、多样化、价值密度低、快速化。