HBase 相关,
水平扩展测试用3个节点和1个节点做比较,3反而小于1
不过由于数据量小,虚拟机无法说明问题
hbase org.apache.hadoop.hbase.PerformanceEvaluation --nomapred --rows=10000 sequentialWrite 1
hbase org.apache.hadoop.hbase.PerformanceEvaluation --nomapred --rows=10000 sequentialRead 1
===3 nodes=======
[SequentialWriteTest] Min: 3879ms Max: 3879ms Avg: 3879ms
[SequentialReadTest] Min: 6646ms Max: 6646ms Avg: 6646ms
===1 nodes=======
[SequentialWriteTest] Min: 2470ms Max: 2470ms Avg: 2470ms
[SequentialReadTest] Min: 5325ms Max: 5325ms Avg: 5325ms
-------------------
hbase 大数据统计时 15w
count 'TestTable' 150000 row(s) in 126.0820 seconds
count 'TestTable',CACHE=>1000, INTERVAL => 100000 150000 row(s) in 8.3270 seconds
调试hbase的PerformanceEvaluation源代码
在bin/hbase中对client启动增加远程调试参数
if [[ $server ]]; then
echo "this is a server"
HBASE_OPTS="$HBASE_OPTS $SERVER_GC_OPTS"
else
echo "this is a client"
#HBASE_OPTS="$HBASE_OPTS $HBASE_MASTER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10444"
HBASE_OPTS="$HBASE_OPTS $CLIENT_GC_OPTS"
fi
echo "this is a war"
发现需要有参数--nomapred才能使用本地的, 不然会使用mapred的所以日志结果出不来。
-----------
slave上停止不了hbase相关进程,可以用一下命令
hbase-daemon.sh stop regionserver
hbase-daemon.sh stop zookeeper
shell 命令
hbase shell
create 'mytable', 'cf'
put 'mytable','first','cf:info','patience and courage'
list
scan "users"
get "users","TheRealMT"
count "users"
scan "follows",{COLUMNS=>"f:from"}
第一步 disable '表名称' 第二步 drop '表名称'
scan 'TestTable',{LIMIT=>10}
Linux 命令
start-hbase.sh
hbase shell
------------------------
eclipse
hbase 0.96.2 匹配hadoop2.2
maven找不到hbase0.96的jar包(只有pom包), 将server中hbase的lib包拷贝到本地
------------
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.InitTables -f
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool add "TheRealMT" "Mark Twain" "samul@ss.com" "abc123"
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool list
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.mapreduce.TimeSpent src/test/resource/listing\ 3.3.txt ./out
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.LoadUsers 100
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.LoadTwits 100
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.TwitsTool list ayant68
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool get ayant68
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.RelationsTool list follows tristan
java -cp target/twitbase-async-1.0.1.jar HBaseIA.TwitBase.AsyncUsersTool update
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。