Oracle Logminer性能测试
Oracle Logminer性能测试
1 测试介绍
1.1 测试目的
通过模拟不同环境下LogMiner解析联机/归档日志文件运行情况，通过测试所获取的数据分析，通过对以下两点的验证来确定通过LogMiner技术技术可行性：
1、在日志文件不同大小、不同数据压力情况下对数据库服务器内存、CPU的影响；
2、并通过查询LogMiner的动态表和实际物理表中数据数目是否一致，验证其准确性。
1.2 测试环境
用途及说明
硬件配置
软件配置
其它说明
数据库服务器
型号：T420i
处理器：Intel(R)core(TM) i5 CPU M430
主频：2.2G
内存：2G
硬盘：300G
操作系统：WindowXP
数据库及版本：Oracle10.2g
IP地址：10.88.54.83
测试机
型号：T420i
处理器：Intel(R)core(TM) i5 CPU M430
主频：2.2GHz
内存：1.8 GB
显示器：1280*800 宽屏
操作系统：windows xp
浏览器及版本：ie8
1.3 测试方案
1.3.1 性能影响(针对目标一)
为了模拟实际运行环境，加入了Logminer运行背景环境，分别测试数据库在无操作、300个插入/秒操作、500个插入/秒操作情况下运行情况，并且对比日志文件50M、100M大小下运行情况
1.3.2 准确性(针对目标二)
1、数据类型
序号
数据类型
是否支持
问题处理
1
BINARY_DOUBLE
8.1及以上
2
BINARY_FLOAT
8.1及以上
3
CHAR
8.1及以上
4
DATE
8.1及以上
需设置时间格式，否则只能同步日期
alter system set nls_date_format='yyyy-MM-dd HH24:mi:ss' scope=spfile;
5
INTERVAL DAY
8.1及以上
6
INTERVAL YEAR
8.1及以上
7
NUMBER
8.1及以上
8
NVARCHAR2
8.1及以上
9
RAW
8.1及以上
10
TIMESTAMP
8.1及以上
11
TIMESTAMP
WITH LOCAL
TIME ZONE
8.1及以上
12
VARCHAR2
8.1及以上
13
LONG
9.2及以上
14
CLOB
10.1及以上
需要设置如下：
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
插入时分为两条语句，另外插入二进制数据未进行测试
15
BLOB
10.0及以上
2、DDL语句测试（未测试完毕）
序号
类型
是否支持
1
创建表（Create table）
支持
2
删除表（Drop table）
支持，出现两个语句，首先修改表名为临时表名，然后删除该临时表
监控该类型需要进行合并处理
3
创建作业（Create job）
不支持
4
创建序列（Create sequence）
支持
5
创建存储过程（Create pocedure）
支持
6
增加字段（alter table TABLE add column）
支持
7
删除字段（alter table emp drop column）
支持
8
修改字段（alter table emp modify column）
支持
9
修改列名（alter table rename column）
支持
10
修改表名（rename emp to TABLE）
支持
11
清除表数据（truncate table TABLE）
支持
12
删除表（drop table TABLE）
支持
13
恢复被删除的表（Flashback table TABLE to before drop）
支持
14
NOT NULL约束（alter table TABLE modify COLUMN not null）
支持
15
UNIQUE约束
支持
16
PRIMARY KEY约束
支持
17
FOREIGN KEY 约束
支持
18
CKECK 约束
支持
19
禁用/激活约束
支持
20
删除约束
支持
21
创建不唯一索引
支持
22
创建唯一索引
支持
23
创建位图索引
支持
24
创建反序索引
支持
25
创建函数索引
支持
26
修改索引
支持
27
合并索引
支持
28
重建索引
支持
29
删除索引
支持
30
创建视图（CREATE VIEW）
支持
31
修改视图（CREATE OR REPLACE VIEW）
支持
32
删除视图（DROP VIEW）
支持
33
创建序列（CREATE SEQUENCE）
支持
34
修改序列（ALTER SEQUENCE）
支持
35
删除序列（DROP SEQUENCE）
支持
3、其他问题测试
序号
问题
现象及处理方式
1
主子表插入数据测试
能够正常插入及同步
2
事务提交(commit、rollback)
能够看到提交和未提交的内容，考虑在产品设计中加入DBMS_LOGMNR.COMMITTED_DATA_ONLY
参数，该参数只读取已经提交事务
3
批量更新时，影响多条数据，在联机日志中每一条更新数据对应生成一条语句
不影响，可同步获取再执行
4
更新和删除语句中带rowid
加入去除rowid参数dbms_logmnr.NO_ROWID_IN_STMT
5
2 测试结论
2.1 测试初步结论
1. 从性能影响测试中可以看出：
a) logminer加载分析过程随机器根据负载不同在6~21秒完成；
b) 加载分析过程并不随日志文件个数增加在时间、CPU、内存有较大变化；
c) 加载分析过程中受分析日志文件个数最大是内存，其次是CPU，耗时应影响较小；
2. 从准确性测试来看
a) 通过设置基本上能够获取DML语句（其中LOB字段还需要进行测试）；
b) 从现有情况来看，DDL支持并不充分，需要进一步测试；
附测试数据：
联机日志大小
读取文件个数
运行作业数目
插入数据量
生成字典文件
加载处理
分析处理
log_contents
数据量
大小(M)
时间(秒)
耗时(秒)
CPU(%)
内存(M)
耗时(秒)
CPU(%)
内存(M)
方案一
50M
1个
0个
0笔/秒
47.5
12.7
1
1
309
5.5
25
438
600
3个
0个
0笔/秒
1
1
309
5.7
25
444
222,236
5个
0个
0笔/秒
1
1
326
5.6
25
445
492,606
10个
0个
0笔/秒
1
1
326
5.6
25
445
1,149,284
方案二
50M
1个
500个
估计300笔/秒
47.5
20
1
26
391
6.7
35
530
111,328
3个
500个
估计300笔/秒
1
21
473
6.4
37
619
372,389
5个
500个
估计300笔/秒
1
25
534
6.8
44
692
622,390
10个
500个
估计300笔/秒
1
30
624
6.7
39
780
1,254,748
方案三
50M（未运行CPU80%,680M）
1个
1000个
估计500笔/秒
47.5
54.7
3.5
71
688
15
80
806
35,892
3个
1000个
估计500笔/秒
1.5
41
688
14.4
78
777
384,743
5个
1000个
估计500笔/秒
1
68
687
75
805
652,148
10个
1000个
估计500笔/秒
10
80
689
13.2
79
806
1,295,158
方案四
50M（未运行CPU80%,667M）
1个
2000个
估计1000笔/秒
47.5
73.7
5.5
84
691
14.6
78
808
133,844
3个
2000个
估计1000笔/秒
11.4
70
691
12
75
809
390,029
5个
2000个
估计1000笔/秒
5.5
76
690
13.6
76
806
668,013
10个
2000个
估计1000笔/秒
6.1
40
690
15.4
88
809
1,335,587
方案五
100M（未运行CPU25%,464M）
1个
500个
估计300笔/秒
23.8
8.7
0.8
26
484
4.1
30
573
268,715
3个
500个
估计300笔/秒
0.9
25
534
3.2
36
622
768,989
5个
500个
估计300笔/秒
0.9
27
581
3.2
35
662
1,324,447
10个
500个
估计300笔/秒
1.1
29
690
5.2
35
763
2,619,322
本站文章为和通数据库网友分享或者投稿，欢迎任何形式的转载，但请务必注明出处.
同时文章内容如有侵犯了您的权益，请联系QQ：970679559，我们会在尽快处理。