欢迎投稿

今日深度:

北美数据仓库的四大常用技术(1)(4)

数据仓库的商业应用技术之四:数据仓库的优化技术

数据仓库优化包括很多内容,包括数据库实例优化、数据库的设计优化、数据仓库设计(建模)优化、数据存储优化、存储过程优化、中间层支持优化、应用支持优化(智能报表、即时查询、数据挖掘等应用)。

数据仓库的客户有两个常见要求,一个要求是快,还有一个要求是稳定。快有很多方面,在核心的数据库,有太多的因素影响速度,所以优化时要各个方面都要考虑。

1. 数据仓库设计(建模)优化

在设计的时候有很多的情况发生,在这里重点提一点,数据仓库还要考虑一个时间的因素,有的时候开始设计的时候性能非常好,但随着系统长时间的运行,发生了很多无法解决的、由设计造成的问题,如性能问题。曾经有欧洲的一家汽车企业,设计师对数据仓库的模型设计想法非常好,但是不适宜一个长时间的运行,数据增长以后性能大幅下降,数据运行可能会非常的慢,到了无法容忍的地步,结果导致运行两年以后就不行了。想要再进行结构修改也不可行了,必须要全部重来。

2. 数据存储优化

数据存储优化主要是如何尽量减小存储空间和提升性能。这点很重要,数据仓库往往都是牺牲空间来提升速度。但是也需要优化,很多问题在一些小的数据仓库系统可能都不存在,但是在比较大型的数据仓库系统中就会出现了。数据仓库数据不断增加,当使用时间比较长之后就会造成数据量过大、性能会大幅下降,为了避免这样的情况,我们在开始设计时,就要考虑到后续的使用,需要进行数据存储优化,主要包括:

Data Block Design:基本存储单位的设计。

Table Spacing:表空间的设计。

Table Partitioning:表空间的优化。

Indexing:索引的设计。

Index Partitioning:索引优化。

Data Compressing:数据压缩(同时会牺牲一些性能)。

3. 存储过程优化:就是后台的一些存储过程的优化。

4. 中间层支持优化:WEB SERVER之类的系统优化。

5. 应用支持优化:主要有智能报表、即时查询、数据挖掘等应用,也就是前台的一些应用也是需要优化的。一个REQUEST发出去,返回的RESULT,这个过程是有很多的步骤,也是需要进行优化处理的。

另外,还需要在一些方面对数据仓库进行优化,如:异构数据库互联优化。异构数据库互联,做数据仓库第一步就会碰到,数据仓库肯定有很多不同的数据源。具体如下图所示。

上述例子就比较复杂,既有不同数据库,又有不同操作系统。异构数据库互联优化的案例:

A、文件导出导入 -〉开放数据库互联

由文件导出导入方案改为开放数据库互联方案,可优化异构数据库互联的性能。例如:Windows ODBC, Unix ODBC,性能和可控性上肯定会比较好一点,但是有的时候并不是这样简单的要求,还需要考虑数据安全性的要求。例如某些情况下,条件不允许做数据库的互联。还有业务系统的健壮性能也要考虑。

B、通用ODBC -〉第三方专用ODBC

由ODBC方案改为第三方专用ODBC方案,可优化异构数据库互联的性能。例如: MS ODBC -> Data Direct ODBC。

C、开放数据库互联-〉专用数据网关

由ODBC方案改为专用数据网关方案,可优化异构数据库互联的性能。例如: MS ODBC -> Transparent Gateway。
 




www.htsjk.Com true http://www.htsjk.com/shujukukf/17669.html NewsArticle 数据仓库的商业应用技术之四:数据仓库的优化技术 数据仓库优化包括很多内容,包括数据库实例优化、数据库的设计优化、数据仓库设计(建模)优化、数...
评论暂时关闭