SQLite 大批量数据 新增 / 修改 提升效率的办法,sqlite效率
一、新增
SQLite中的新增默认是单个事务控制的,一次新增就是一次数据库操作,一次事务。如果几千次for循环操作,必然存在效率问题。下面代码是通过事务控制的方式提升效率:
publicvoid addList(List<GroupMember> listMember) { StringBuffer sbSQL = newStringBuffer(); SQLiteDatabase db = super.getDatabase(); db.beginTransaction(); for(inti = 0; i < listMember.size(); i++) { GroupMember groupMember = listMember.get(i); if(i == 0) { // 根据当前用户id和圈子id删除圈子成员 del(groupMember.getUserId(), groupMember.getGroupId());// 第一次新增的时候删除历史数据 } if(i != 0) { sbSQL.delete(0, sbSQL.length()); } sbSQL.append(" INSERT INTO ").append(TABLE).append(" (user_id, group_id, member_id, role_id) VALUES"); sbSQL.append(" (").append(groupMember.getUserId()) .append(",").append(groupMember.getGroupId()) .append(",").append(groupMember.getMemberId()) .append(",").append(groupMember.getRole()) .append(");"); db.execSQL(sbSQL.toString()); } db.setTransactionSuccessful(); db.endTransaction();}尽量别用下面的SQL语法,在部分机型上面会报错。(小米、三星S3)。上面的写法已经可以满足需要了……
INSERTINTOtable(column1, column2) VALUES(val1, val2), (val1, val2)
二、批量修改
需求的出现:比如存在N个聊天圈子,圈子中有N个成员。每次进入圈子的时候后台线程下载圈子成员最新数据,并更新数据库。这时候存在三个表:圈子,圈子-成员关系表,用户表。
用户表是所有圈子的用户,保存的时候需要判断是否存在,存在就新增,否则修改部分数据。(因为用户带有详细资料,而圈子成员返回的只有名字、账号、头像三个字段,不能用上面的方法先删除所有数据,然后批量新增)
SQL关键写法如下(重点是SQLiteDatabase.insertWithOnConflict的用法):
publicvoid insertOrReplace(List<GroupMember> listMember) { SQLiteDatabase db = super.getDatabase(); db.beginTransaction(); for(inti = 0; i < listMember.size(); i++) { BaseUserInfo baseUserInfo = listMember.get(i).getBaseUserInfo(); ContentValues cv = newContentValues(); cv.put("user_id", baseUserInfo.getUserId()); cv.put("name", baseUserInfo.getName()); cv.put("logo", baseUserInfo.getLogo()); // 生成的sql是 INSERT INTRO OR REPLACE INTO 这样的 (如果存在就替换存在的字段值. 存在的判断标准是主键冲突, 这里的主键是userId). 下面会介绍这个地方的方法 db.insertWithOnConflict(TABLE,null, cv, SQLiteDatabase.CONFLICT_REPLACE); } db.setTransactionSuccessful(); db.endTransaction();}关键的一个地方:
insertWithOnConflict(String table, String nullColumnHack, ContentValues initialValues, intconflictAlgorithm)
部分参数介绍(忽略参数table和initialValues了,这个大家都知道吧 - -):
1) nullColumnHack:当values参数为空或者里面没有内容的时候,我们insert是会失败的(底层数据库不允许插入一个空行),为了防止这种情况,我们要在这里指定一个列名,到时候如果发现将要插入的行为空行时,就会将你指定的这个列名的值设为null,然后再向数据库中插入。(实际开发中一般设置为null就好。)
比如:如果values为空,最后生成的SQL大概是"INSERT INTO table"这样的,那么这是一个错误的SQL,肯定插入失败。但是如果指定了nullColumnHack,最终会生成SQL"INSERT INTO TABLE("+nullColumnHack+")" VALUES (null)"; 这样会插入一行没数据的行,但是SQL不会报错了。
实际android源码如下:
publiclong insertWithOnConflict(String table, String nullColumnHack, ContentValues initialValues,intconflictAlgorithm) { acquireReference(); try{ StringBuilder sql = newStringBuilder(); sql.append("INSERT"); sql.append(CONFLICT_VALUES[conflictAlgorithm]); // 注意这里, 等下介绍 sql.append(" INTO "); sql.append(table); sql.append('('); Object[] bindArgs = null; intsize = (initialValues != null&& initialValues.size() > 0) ? initialValues.size() : 0; if(size > 0) { bindArgs = newObject[size]; inti = 0; for(String colName : initialValues.keySet()) { sql.append((i > 0) ? ",": ""); sql.append(colName); bindArgs[i++] = initialValues.get(colName); } sql.append(')'); sql.append(" VALUES ("); for(i = 0; i < size; i++) { sql.append((i > 0) ? ",?": "?"); } }else{ sql.append(nullColumnHack + ") VALUES (NULL"); } sql.append(')'); SQLiteStatement statement = newSQLiteStatement(this, sql.toString(), bindArgs); try{ returnstatement.executeInsert(); }finally{ statement.close(); } }finally{ releaseReference(); }}
2) conflictAlgorithm:
该参数是一个int值,上面源码中也用到了(CONFLICT_VALUES[conflictAlgorithm]),那么CONFLICT_VALUES的值是什么?Android源码中如下:
publicstatic final int CONFLICT_ROLLBACK = 1; publicstatic final int CONFLICT_ABORT = 2; publicstatic final int CONFLICT_FAIL = 3; publicstatic final int CONFLICT_IGNORE = 4; publicstatic final int CONFLICT_REPLACE = 5; publicstatic final int CONFLICT_NONE = 0; privatestatic final String[] CONFLICT_VALUES = newString[]{""," OR ROLLBACK "," OR ABORT "," OR FAIL "," OR IGNORE "," OR REPLACE "};