hbase hbck，
https://issues.apache.org/jira/browse/HBASE-5128
https://github.com/jmhsieh/hbase-repair-scripts
HBASE-5128之前版本的HBCK：
检查master、regionserver内存中的状态以及hdfs上面数据的状态之间的一致性
（1）获取所有region的信息（regioninfo）：通过zk获得-ROOT-地址，通过扫描-ROOT-表和.META.表，就获得了所有region的信息
（2）遍历所有的region，获得所有表信息
（3）通过ClusterStatus获得regionserver信息
（4）多线程连接每个regionserver，获得这个regionserver上面online的region信息。记录下region是在那个regionserver上面
（5）遍历hbase.rootdir，获得所有的table，多线程遍历各个table的目录，记录下region是在那个目录下面
（6）通过zk获得所有disabled的tables
（7）检查一致性，检查每一个region
正常的状态是：
【1】在META表中，hdfs上面有，表不是disabled的， region在某个regionserver的online region集合中，META表中记录的server信息和open了这个region的regionserver一致，并且没有被多个regionserver同时服务
【2】在META表中，region是split完的Parent region，没有被某个regionserver服务
【3】在META表中，表是disabled的，并且没有被某个regionserver服务
异常的状态是：
（7.1）如果一个region即不在META表中，又不在hdfs上面，但是在regionserver的online region集合中，那么输出NOT_IN_META_HDFS错误信息
（7.2）如果一个region不在META表中，又不在regionserver的online region集合中，但是在hdfs上面，输出NOT_IN_META_OR_DEPLOYED错误信息
（7.3）如果一个region不在META表中，但是在hdfs上面有，并且在regionserver的online region集合中，那么输出NOT_IN_META错误信息
（7.4）如果一个region在META表中，但是在hdfs上面没有，并且也不在regionserver的online region集合中，那么输出NOT_IN_HDFS_OR_DEPLOYED错误信息
（7.5）如果一个region在META表中，并且在regionserver的online region集合中有，但是在hdfs上面没有，那么输出NOT_IN_HDFS错误信息
（7.6）如果一个region在META表中，在hdfs上面也有，但是不再online region集合中，并且这个region所在的table不是Disabled的，那么输出NOT_DEPLOYED错误信息。 可以修复
（7.7）如果一个region在META表中，在hdfs上面有，在online region集合中，如果这个region所在的table是Disabled的，那么输出SHOULD_NOT_BE_DEPLOYED错误信息。
（7.8）如果一个region在META表中，在hdfs上面有，但是被在多个regionserver的online region集合中，那么输出MULTI_DEPLOYED错误信息。可以修复
（7.9）如果一个region在META表中，在hdfs上面也有，也应该被服务，但是META表中记录的regionserver和实际所在的regionserver不相符，那么输出SERVER_DOES_NOT_MATCH_META错误信息。可以修复
（7.10）如果是其他情况，输出UNKNOWN
（8）检查完整性，以table为单位，遍历每个table
（8.1）table的第一个region的startKey必须是EMPTY_BYTE_ARRAY，否则输出FIRST_REGION_STARTKEY_NOT_EMPTY信息
（8.2）如果这个table有（startKey=endKey）的region，输出DEGENERATE_REGION信息
（8.3）如果两个region的区间有重叠，startKey相同输出DUPE_STARTKEYS信息，不相同输出OVERLAP_IN_REGION_CHAIN信息
（8.4）如果某个区间没有region，输出HOLE_IN_REGION_CHAIN信息（空洞）
（9）打印table的总结信息
hbck加上 -fix 可以自己修复下面三种情况：
（7.6）如果一个region在META表中，在hdfs上面也有，但是不再online region集合中，并且这个region所在的table不是Disabled的，那么输出NOT_DEPLOYED错误信息。
（7.8）如果一个region在META表中，在hdfs上面有，但是被在多个regionserver的online region集合中，那么输出MULTI_DEPLOYED错误信息。
（7.9）如果一个region在META表中，在hdfs上面也有，也应该被服务，但是META表中记录的regionserver和实际所在的regionserver不相符，那么输出SERVER_DOES_NOT_MATCH_META错误信息。
原先的hbck检测region的一致性和table的完整性，但是需要管理员自己修复，修复后，如果一致性和完整性没有问题，通过OfflineMetaRepair来构造新的META表
HBASE-5128 中的hbck能够检测region的一致性和table的完整性，并且可以修复完整性和一致性相关的问题
所以有了新版的hbck，这个github上面的脚本用途不是特别大
新版的hbck
新版本的 hbck 可以修复各种错误，修复选项是：
（1）-fix，向下兼容用，被-fixAssignments替代
（2）-fixAssignments，用于修复region assignments错误
（3）-fixMeta，用于修复meta表的问题，前提是HDFS上面的region info信息有并且正确。
（4）-fixHdfsHoles，修复region holes（空洞，某个区间没有region）问题
（5）-fixHdfsOrphans，修复Orphan region（hdfs上面没有.regioninfo的region）
（6）-fixHdfsOverlaps，修复region overlaps（区间重叠）问题
（7）-fixVersionFile，修复缺失hbase.version文件的问题
（8）-maxMerge <n> （n默认是5），当region有重叠是，需要合并region，一次合并的region数最大不超过这个值。
（9）-sidelineBigOverlaps ，当修复region overlaps问题时，允许跟其他region重叠次数最多的一些region不参与（修复后，可以把没有参与的数据通过bulk load加载到相应的region）
（10）-maxOverlapsToSideline <n> （n默认是2），当修复region overlaps问题时，一组里最多允许多少个region不参与
由于选项较多，所以有两个简写的选项
（11） -repair，相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps
（12）-repairHoles，相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans
新版本的 hbck
（1）缺失hbase.version文件
加上选项 -fixVersionFile 解决
（2）如果一个region即不在META表中，又不在hdfs上面，但是在regionserver的online region集合中
加上选项 -fixAssignments 解决
（3）如果一个region在META表中，并且在regionserver的online region集合中，但是在hdfs上面没有
加上选项 -fixAssignments -fixMeta 解决，（ -fixAssignments告诉regionserver close region），（ -fixMeta删除META表中region的记录）
（4）如果一个region在META表中没有记录，没有被regionserver服务，但是在hdfs上面有
加上选项 -fixMeta -fixAssignments 解决，（ -fixAssignments 用于assign region），（ -fixMeta用于在META表中添加region的记录）
（5）如果一个region在META表中没有记录，在hdfs上面有，被regionserver服务了
加上选项 -fixMeta 解决，在META表中添加这个region的记录，先undeploy region，后assign
（6）如果一个region在META表中有记录，但是在hdfs上面没有，并且没有被regionserver服务
加上选项 -fixMeta 解决，删除META表中的记录
（7）如果一个region在META表中有记录，在hdfs上面也有，table不是disabled的，但是这个region没有被服务
加上选项 -fixAssignments 解决，assign这个region
（8）如果一个region在META表中有记录，在hdfs上面也有，table是disabled的，但是这个region被某个regionserver服务了
加上选项 -fixAssignments 解决，undeploy这个region
（9）如果一个region在META表中有记录，在hdfs上面也有，table不是disabled的，但是这个region被多个regionserver服务了
加上选项 -fixAssignments 解决，通知所有regionserver close region，然后assign region
（10）如果一个region在META表中，在hdfs上面也有，也应该被服务，但是META表中记录的regionserver和实际所在的regionserver不相符
加上选项 -fixAssignments 解决
（11）region holes
需要加上 -fixHdfsHoles ，创建一个新的空region，填补空洞，但是不assign 这个 region，也不在META表中添加这个region的相关信息
（12）region在hdfs上面没有.regioninfo文件
-fixHdfsOrphans 解决
（13）region overlaps
需要加上 -fixHdfsOverlaps
说明：
（1）修复region holes时，-fixHdfsHoles 选项只是创建了一个新的空region，填补上了这个区间，还需要加上-fixAssignments -fixMeta 来解决问题，（ -fixAssignments 用于assign region），（ -fixMeta用于在META表中添加region的记录），所以有了组合拳 -repairHoles 修复region holes，相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans
（2） -fixAssignments，用于修复region没有assign、不应该assign、assign了多次的问题
（3）-fixMeta，如果hdfs上面没有，那么从META表中删除相应的记录，如果hdfs上面有，在META表中添加上相应的记录信息
（4）-repair 打开所有的修复选项，相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps
新版本的hbck从（1）hdfs目录（2）META（3）RegionServer这三处获得region的Table和Region的相关信息，根据这些信息判断并repair
分享到：