多线程下不重复读取SQL Server 表的数据,多线程sql
在进行一些如发送短信、邮件的业务时,我们经常会使用一个表来存储待发送的数据,由后台多个线程不断的从表中读取待发送的数据进行发送,发送完成后再将数据转移到历史表中,这样保证待发送表的数据一般情况下不会太多。如待发送表结构为:
Create Table SMS(ID int not null identity(1,1),Content varchar(1024),Status int not null,CreateTime datetime);
Status 取值:0未读取 1已读取
这样设计的好处是,不会因为后端有时发送过慢导致前端接收发送消息的请求出现问题,如发送短信的业务,有时由于运营商的网关原因发送太慢,这样前端可以先将用户的发送请求全部放在待发送表中,由后端进行慢慢发送。
在后端发送进程一般使用
Select top 100 * From SMS Where Status=0;这样的SQL取出未被读取的数据。
为了提高后端发送能力,需要部署多个进程同时从待发送表中取出数据进行发送,这样有时就会造成同一个记录被多个进程同时取出来,并发送的情况。
今天查了一下SQL Server 的MSDN,发现可以通过先更新同时通过deleted表(就像是在触发器中使用一样)取出的方式,来保证每条记录只会被读取一次。
declare @Rowid table(rowid int);
BEGIN
set rowcount 100; --一次读取的行数
--先将要读取的记录状态更新
update Sms set [status]= 1 output deleted.ID into @Rowid Where [status] = 0;
--读取刚更新状态的记录
select * from Sms where ID in (select Rowid from @Rowid);
END
这个可以通过修改数据的时间来判断。
例如:
表中有个字段 读取时间。
当这个客户读取10条数据的时候,更新读取时间为当前时间。
然后下个客户读取的时候,判断时间在半个小时内,没有更新的数据。就OK了。
不过这个也有一点不好的地方就是 很可能半小时后 第一个客户还在使用这十条数据。
如果是修改数据的话 楼主可以 把数据库表使用锁定功能,把锁住 这样就不担心重复提交的情况。
希望楼主早日解决问题~~~
不明白你到底要实现什么...
补充:
select replyorder.*,revisitlist.* from replyorder
inner join (select 单据编号,回访编号=min(回访编号) from revisitlist group by 单据编号)as a on a.单据编号=replyorder.单据编号
inner join revisitlist on revisitlist.单据编号=replyorder.单据编号 and revisitlist.回访编号=a.回访编号
大数据量下不建议使用这种方式,最好部分数据冗余