欢迎投稿

今日深度:

Sqlite数据库多线程并发问题,sqlite数据库多线程

Sqlite数据库多线程并发问题,sqlite数据库多线程


(7) 多个应用程序或者同一个应用程序的多个例程能同时存取同一个数据库文件吗?

多进程可以同时打开同一个数据库,也可以同时 SELECT 。但只有一个进程可以立即改数据库。

SQLite使用读/写锁定来控制数据库访问。(Win95/98/ME 操作系统缺乏读/写锁定支持,在低于 2.7.0 的版本中,这意味着在 windows 下在同一时间内只能有一个进程读数据库。在版本 2.7.0 中 这个问题通过在 windows 接口代码中执行一个用户间隔几率读写锁定策略解决了。) 但如果数据库文件在一个 NFS 文件系统中,控制并发读书的锁定机制可以会出错。因为 NFS 的fcntl() 文件锁定有时会出问题。如果有多进程可能并发读数据库则因当避免把数据库文件放在 NFS 文件系统中。根据微软的文档,如果不运行 Share.exe 后台程序则 FAT 文件系统中的锁定可能不工作。对 Windows 非常有经验的人告诉我网络文件的锁定有许多问题并且不可靠。如果是这样,在2个或以上 Windows 系统中共享一个 SQLite 数据库文件会导致不可预知的问题。

我们知道没有其他的嵌入式 SQL数据库引擎比SQLite支持更多的并发性。 SQLite允许多进程同时打开和读取数据库。任何一个进程需要写入时,整个数据库将在这一过程中被锁定。但这一般仅耗时几毫秒。其他进程只需等待然后继续其他事务。其他嵌入式SQL数据库引擎往往只允许单进程访问数据库。

但是,client/server型的数据库引擎 (如 PostgreSQL, MySQL, 以及 Oracle) 通常支持更高的并发度,并支持多进程同时写入同一个数据库。由于总有一个控制良好的服务器协调数据库的访问,这才保证了以上特性的实现。如果你的应用需要很高的并发度,你应该考虑使用client/server数据库。事实上,经验告诉我们大多数应用所需要的并发度比他们的设计者们想象的要少得多。

当 SQLite 尝试操作一个被另一个进程锁定的文件时,缺省的行为是返回 SQLITE_BUSY。你可以用 C代码更改这一行为。 使用 sqlite3_busy_handler() 或sqlite3_busy_timeout() API函数。

如果两个或更多进程同时打开同一个数据库,其中一个进程创建了新的表或索引,则其它进程可能不能立即看见新的表。其它进程可能需要关闭并重新连结数据库。


--------------------------------------------------------------------------------

(8) SQLite是线程安全的吗?

有时候是的。为了线程安全,SQLite 必须在编译时把 THREADSAFE 预处理宏设为1。在缺省的发行的已编译版本中 Windows 版的是线程安全的,而 Linux 版的不是。如果要求线程安全,Linux 版的要重新编译。

“线程安全”是指二个或三个线程可以同时调用独立的不同的sqlite3_open() 返回的"sqlite3"结构。而不是在多线程中同时使用同一个 sqlite3 结构指针。

一个sqlite3结构只能在调用 sqlite3_open创建它的那个进程中使用。你不能在一个线程中打开一个数据库然后把指针传递给另一个线程使用。这是因为大多数多线程系统的限制(或 Bugs?)例如RedHat9上。在这些有问题的系统上,一个线程创建的fcntl()锁不能由另一个线程删除或修改。由于SQLite依赖fcntl()锁来进行并发控制,当在线程间传递数据库连接时会出现严重的问题。

也许在Linux下有办法解决fcntl()锁的问题,但那十分复杂并且对于正确性的测试将是极度困难的。因此,SQLite目前不允许在线程间共享句柄。

在UNIX下,你不能通过一个 fork() 系统调用把一个打开的 SQLite 数据库放入子过程中,否则会出错。

因此可以肯定,系统出现lock错误是因为同时2个或者2个以上的线程对数据库执行写操作,本来数据库写入应该在很短的时间内完成,而其他进程也可以顺序写入数据,但是某些时候老f的服务器可能会资源不够用导致某个写入进程老半天没写入完成而导致其他写入进程超时错误,从而出现了lock的错误.

--------------------------------------------------------------------------------

对于SQLiite支持多线程的问题,我找到一片很不错的文章:
http://www.keakon.net/2011/10/25/SQLite%E5%9C%A8%E5%A4%9A%E7%BA%BF%E7%A8%8B%E7%8E%AF%E5%A2%83%E4%B8%8B%E7%9A%84%E5%BA%94%E7%94%A8 。
文章很长,需要有耐心的读一下。
1. 对于多个进程可以同时打开一个数据库,可以同时去读,但是只能有一个进程去写。所以需要在代码中添加读写锁。另外,由于fcntl()函数在NFS和FAT文件系统上面的限制,导致在NFS和FAT文件系统中多进程并发时会出现错误。 参考:http://www.sqlite.org/faq.html#q5
2. 对于threadsafe,官方文档给的解释是从3.3.1版本以后SQLite是支持多线程并发访问数据库, 但是要求SQLite设置成 SQLITE_THREADSAFE ,默认是Serialized模式(参考:http://www.sqlite.org/threadsafe.html)。 另外,一个数据库连接(Each open SQLite database is represented by a pointer to an instance of the opaque structure named "sqlite3")只能在一个线程中使用,不可多个线程共用一个数据库连接。 参考:http://www.sqlite.org/faq.html#q6
3. 关于事务, 对于每个INSERT语句都会默认生成一个事务去执行, 而一秒中执行事务的次数是有限的(几十次左右),但是单个的INSERT语句在普通的Desktop computer可以执行50,000次左右,所以,对于多个相近的INSERT我们可以显式的放进一个事务中进行处理,来提高效率。 参考:http://www.sqlite.org/faq.html#q19

很重要的两句话:
数据库只有在事务中才能被修改。 所有更改数据库的SQL命令(除SELECT以外的所有SQL命令)都会自动开启一个新的事务,并且当最后一个查询完成时自动提交。
threadsafe就是指在设置正确的前提下,多线程同时访问SQLite并不会影响数据库的完整性,而不是说每个线程对数据库所有的操作都可以保证正确执行!!!经过实际测试我才意识到这个问题。

不论是设置成SQLITE_CONFIG_SERIALIZED还是SQLITE_CONFIG_MULTITHREAD,多个线程(每个线程使用一个数据库连接)执行的时候,三个步骤(prepare_v2、step、finalize)都会出现SQLITE_BUSY(5)的错误。 虽然,不会影响数据库中的数据完整性, 但是,一旦在程序中操作失败,而我们又没有检查返回值,直接会影响程序逻辑的正确性(简单说,本意为会插入的数据并没有插进数据库)。 所以,显然不可以直接让多线程去操作数据库。
解决方法:
1.在每个线程操作数据库时,手动加锁
2.形成一个操作队列,统一去操作数据库
对于第一个方式,由于直接才有sqlite的C API,所以,如果才有加锁的话会导致临界代码过于臃肿,所以不仅行考虑。
对于第二中方式,已经有第三方的封装类(比如FMDB)来实现。但是,为保证代码的质量和灵活性,自己采用的是GCD的方式,维护一个串行的queue,然后结合Block语法来提交相应的DB操作。
主要示例代码:
//Config Sqlite and create a databaseint glOpenDataBase(NSString* dbName){int ret = -1;glDatabase = NULL;if ((ret=sqlite3_config(SQLITE_CONFIG_SINGLETHREAD)) != SQLITE_OK) {NSLog(@"%s:%d ERROR: config sqlite failed, error code:%d", __FUNCTION__, __LINE__, ret);return ret;}NSString *dbPath = [[NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) objectAtIndex:0] stringByAppendingPathComponent:dbName];if ((ret=sqlite3_open([dbPath UTF8String], &glDatabase)) != SQLITE_OK) {NSLog(@"%s:%d ERROR: open database failed, error code:%d", __FUNCTION__, __LINE__, ret);return ret;}return ret;}

//Create a serial queueglOpreateDBQueue = dispatch_queue_create(OPERATE_DB_QUEUE, DISPATCH_QUEUE_SERIAL);

//Call database operate function in queuedispatch_async(glOpreateDBQueue, ^(void){[self newRaceStoreDB];});

如果需要影响前端的UI,可以编写类似于下面的语法:

//Affect the UI using dispatch_get_main_queue()dispatch_async(glOpreateDBQueue, ^(void){dispatch_async(dispatch_get_main_queue(), ^(void){self.title = [NSString stringWithFormat:@"第%u局-第%u口", glCurrentDimianIndex, glCurrentRoundIndex];});});
如果我们需要循环的插入多条记录的话,一定要开启事务,因为,每个INSERT语句默认都会创建一个事务,在1秒中之内最多可以执行几十次事务,但是,可以执行最多5000次左右的INSERT插入操作。
char *errorMsg = NULL;if (sqlite3_exec(glDatabase, "BEGIN TRANSACTION", NULL, NULL, &errorMsg) != SQLITE_OK) {NSLog(@"%s:%d ERROR: when begine transaction error:%s", __func__, __LINE__, errorMsg);}//End a transactionif (sqlite3_exec(glDatabase, "COMMIT TRANSACTION", NULL, NULL, &errorMsg) != SQLITE_OK) {NSLog(@"%s:%d ERROR:%s", __func__, __LINE__, errorMsg);}
要保证写入数据的完整性,必须保证所有访问sqlite的操作都在我们创建的串行队列里面进行。

转自:http://www.51laifu.cn/archives/2012/118/article-71713.html

http://hkaimin.blog.163.com/blog/static/1996970522012108105647766/

www.htsjk.Com true http://www.htsjk.com/SQLite/34935.html NewsArticle Sqlite数据库多线程并发问题,sqlite数据库多线程 (7) 多个应用程序或者同一个应用程序的多个例程能同时存取同一个数据库文件吗? 多进程可以同时打开同一个数据库,也可以同时 SE...
相关文章
    暂无相关文章
评论暂时关闭