数据库分表和分库的原理及基于thinkPHP的实现方法

数据库分表和分库的原理及基于thinkPHP的实现方法，分库thinkphp

当我们的数据表数据量，访问量很大，或者是使用频繁的时候，一个数据表已经不能承受如此大的数据访问和存储，所以，为了减轻数据库的负担，加快数据的存储，就需要将一张表分成多张，及将一类数据存入不同的几张表，当分表已经不能满足需求是，我们还可以分库，及用几个数据库存储。

分表会随着需求和功能的不同有不同的实现方法，下面是我做项目中的一个例子：

需求：product，product_price两张表是一对多的关系，及产品和产品每日的价格，一个产品对应几种价格，现在由于产品表数据量很大，每天多有上百万条数据，就以天为单位对表进行分表，以月为单位对数据库进行分库，表的命名为‘product_price2014-07-20’表格式：前面是原数据库表名，后面是日期（年-月-日）.

创建数据库和表的代码如下：

function get_product_price_table(){
    $db_info=array();   
    
    //这个月
    $newmot_time=date("Y-m");
    //今天日期
    $newday_time=date("Y-m-d");
    //本月数据库，今天的表
    $db_name = 'acbooking'.$newmot_time;
    $table_name = "product_price".$newday_time;
    
    //昨天的日期
    $yesday_time = date("Y-m-d",strtotime("-1 day"));
    
    //取出昨天的数据,获取 product_price的最后id,作为新表id的起始值
    $last_one_product_price = get_info('product_price_table_id',array('time'=>$yesday_time));
    if($last_one_product_price['table_id_end']>0){
        $table_id = $last_one_product_price['table_id_end']+1;
    }else{
        $table_id = 1;
    }    
    
    //创建数据库	

	$Db_string_line = C('DB_TYPE').'://'.C('DB_USER').':'.C('DB_PWD').'@'.C('DB_HOST').'/'.$new_db_database;
	$DB_P=C('DB_PREFIX');
	$Model=M($table,$DB_P,$Db_string_line);
	$db_name=$Model->execute($sql)；//通过sql语句配置创建新数据库新标,此处省略了sql语句
    

    //创建数据表
	$Db_string_line = C('DB_TYPE').'://'.C('DB_USER').':'.C('DB_PWD').'@'.C('DB_HOST').'/'.$new_db_database;
	$DB_P=C('DB_PREFIX');
	$Model=M($table,$DB_P,$Db_string_line);
	$table_name=$Model->execute($sql)；

    //返回新 数据库，新的表
    $db_info['database']=$db_name;
    $db_info['table']=$table_name;
    return $db_info;
}

创建出分表后，即可存储当天的所有数据，每天换一张表，执行效率很高。。。。

1 基本思想之什么是分库分表？
从字面上简单理解，就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。
2 基本思想之为什么要分库分表？

数据库中的数据量不一定是可控的，在未进行分库分表的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大；另外，由于无法进行分布式式部署，而一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。
3 分库分表的实施策略。

分库分表有垂直切分和水平切分两种。
3.1 何谓垂直切分，即将表按照功能模块、关系密切程度划分出来，部署到不同的库上。例如，我们会建立定义数据库workDB、商品数据库payDB、用户数据库userDB、日志数据库logDB等，分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等。
3.2 何谓水平切分，当一个表中的数据量过大时，我们可以把该表的数据按照某种规则，例如userID散列，进行划分，然后存储到多个结构相同的表，和不同的库上。例如，我们的userDB中的用户数据表中，每一个表的数据量都很大，就可以把userDB切分为结构相同的多个userDB：part0DB、part1DB等，再将userDB上的用户数据表userTable，切分为很多userTable：userTable0、userTable1等，然后将这些表按照一定的规则存储到多个userDB上。
3.3 应该使用哪一种方式来实施数据库分库分表，这要看数据库中数据量的瓶颈所在，并综合项目的业务类型进行考虑。
如果数据库是因为表太多而造成海量数据，并且项目的各项业务逻辑划分清晰、低耦合，那么规则简单明了、容易实施的垂直切分必是首选。
而如果数据库中的表并不多，但单表的数据量很大、或数据热度很高，这种情况之下就应该选择水平切分，水平切分比垂直切分要复杂一些，它将原本逻辑上属于一体的数据进行了物理分割，除了在分割时要对分割的粒度做好评估，考虑数据平均和负载平均，后期也将对项目人员及应用程序产生额外的数据管理负担。
在现实项目中，往往是这两种情况兼而有之，这就需要做出权衡，甚至既需要垂直切分，又需要水平切分。我们的游戏项目便综合使用了垂直与水平切分，我们首先对数据库进行垂直切分，然后，再针对一部分表，通常是用户数据表，进行水平切分。
4 分库分表存在的问题。

4.1 事务问题。
在执行分库分表之后，由于数据存储到了不同的库上，数据库事务管理出现了困难。如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担。
4.2 跨库跨表的join问题。
在执行了分库分表之后，难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上，这时，表的关联操作将受到限制，我们无法join位于不同分库的表，也无法join分表粒度不同的表，结果原本一次查询能够完成的业务，可能需要多次查询才能完成。
4.3 额外的数据管理负担和数据运算压力。
额外的数据管理负担，最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题，这些都可以通过应用程序解决，但必然引起额外的逻辑运算，例如，对于一个记录用户成绩的用户数据表userTable，业务要求查出成绩最好的100位，在进行分表之前，只需一个order by语句就可以搞定，但是在进行分表之后，将需要n个order by语句，分别查出每一个分表的前1......余下全文>>
 

分表的话一般不自增主键，为了保持跟主表的主键一致