欢迎投稿

今日深度:

elasticsearch hbase,

elasticsearch hbase,


elasticsearch hbase

接下来是学习时间

hbase 是一个分布式的数据库

主要作用:海量数据的存储和准实时查询

一.Hbase的应用场景和特点

大数据类的场景、容量大、列式存储 多版本 扩展性

HBase 设计目标(特点):
海量数据存储:如果预估到记录最多只有上百万行,那么传统的RDBMS完全就可以解决,没必要使用 HBase 了,HBase 被设计用来存储海量数据。
实时查询:支持随机、实时读取/写入大规模数据集。
列式存储:根据数据的不同结构,每行数据可以有不同数量的列,这个列是随数据动态伸缩的。
多版本:每一列的数据存储有多个版本
稀疏性:为空的列并不占用存储空间
易扩展:底层依赖于 Hadoop HDFS
高可靠性:HDFS 的多副本存储机制,还有日志 ,宕机可以恢复
高性能:基于LSM-tree,读写性能能够达到毫秒级别

进入hbase 命令:bin/hbase shell

create 创建表 

create 表名,列簇名 | create ‘test’,'info'

enable  激活表

describe 对表查看整个结构说明

is_disables  is_enabled 查看表的状态

disable 禁用表

drop 删除表

删除前要先disable禁用一下

list 查看库里有多少张表

count 求和

行数求各

delete 删除某一行

delete表名,行,“列簇:列名”,"值" | delete "test","0001","info:username"

get 获取某一列的数据

get 表名,行,“列簇:列名”,"值" | get "test","0001","info:username"

truncate 删除一个表之后重新又创一个表的初始化

过程:屏蔽->删除掉->新建=====全新的数据初始化,相当于mysql 的删减表

scan 查看全表数据

sacn  表名|scan  'test'

put 添加数据

put 表名,行,“列簇:列名”,"值" | put "test","0001","info:username","zimuxing"    put "test","0001","info:age","28"

 

安装ElasticSearch

1、安装前提

windows下已经安装好了jdk8的版本

2、下载ElasticSearch

https://www.elastic.co/cn/downloads/elasticsearch#ga-release ------下载zip包,将下载的zip文件解压后,直接运行bin下的elasticsearch.bat这个文件,然后访问本机的127.0.0.1:9200,出现以下图说明es安装成功。

图一:

3、安装nodejs

 3.1下载地址:https://nodejs.org/en/download/    根据自己系统下载相应的msi,双击安装。

问题说明:第一次尝试的时候将nodejs安装在了es的安装目录之外(同级目录),在安装head插件时,执行npm - install的时候发现npm这个目录异常消失了,然后重新安装nodejs,安装过程中如果将安装目录直接放在es目录中会报文件名路径过长的问题,导致安装失败 

 解决办法:现在某个盘将nodejs安装,然后打成压缩包的形式,在es目录中重新解压(目录见图二)

图二:

小插曲:此处安装出现的问题:win10 the error code is 2502

导致这个问题的原因:对系统的操作权限不足,只要我们获得超级管理员权限,或者管理员权限后问题就会解决

解决办法:打开任务管理器,找到explorer.exe这个进程---然后右键结束这个进程----点击文件-运行新任务,按照图四创建任务,并且勾选以系统管理权限创建此任务。再次安装或者卸载文件的时候就不会报权限不足的问题了

说明:explorer.exe是Windows程序管理器或者文件资源管理器,它用于管理Windows图形壳,包括桌面和文件管理

图三:

                                                                                                      

图四:

3.2使用node -v查看自己nojs的版本,使用npm -v查看npm的版本,执行 npm install -g grunt-cli命令,

安装grunt

 Grunt 是基于 Node.js 的项目构建工具。它可以自动运行你所设定的任务

图五:

4、安装head

 4.1 修改elasticsearch.yml文件

因为head跟es是两个独立的进程,是有跨越问题的,帮修改下面文件,在config文件里

在文件最后加入

http.cors.enabled: true 
http.cors.allow-origin: "*"
node.master: true
node.data: true

放开network.host: 192.168.0.1的注释并改为network.host: 0.0.0.0

放开cluster.name;node.name;http.port的注释

双击elasticsearch.bat重启es

4.2 https://github.com/mobz/elasticsearch-head 下载zip文件,然后解压到制定目录,见图二

4.3修改E:\elasticsearch-5.4.1\elasticsearch-head-master\Gruntfile.js

图六:

进入E:\elasticsearch-5.4.1\elasticsearch-head-master\_site修改app.js 中下文内容为服务器地址,如果是本机部署不修改也可以。

4.4进入到如下目录,执行npm install命令

最后,在head源代码目录下启动nodejs:

安装完成执行grunt server 或者npm run start(以后每次),出现下图证明安装成功,如果还不成功,退出es再执行一次npm install -g grunt-cli

出现如下图所示则证明安装成功:

访问localhost:9100

状态

绿色green 很健康,可以正常运行

黄色yellow 健康不是很好,但可以正常使用

红色 red 健康很差,虽然可以正常搜索数据但出现丢失数据的情况

 

www.htsjk.Com true http://www.htsjk.com/hbase/42310.html NewsArticle elasticsearch hbase, elasticsearch hbase 接下来是学习时间 hbase 是一个分布式的数据库 主要作用:海量数据的存储和准实时查询 一.Hbase的应用场景和特点 大数据类的场景、容量大、列式存储...
相关文章
    暂无相关文章
评论暂时关闭