第二章 HBase课件.pptxVIP免费

第二章Hbase高级目录ContentsHBase的高可用HBase的架构说明HBase底层原理HBase读写流程与相关机制HBase批量加载操作HBase与Hive的集成HBase的协处理器HBase的表结构设计HBase的调优学习目标LearningObjectives1)理解HBase底层原理2)理解Hbase读写流程及相关重要机制3)能够掌握HBase的批量加载操作4)能够掌握HBase如何与Hive集成5)理解HBase的表结构设计6)了解HBase的调优HBase的高可用01Hbase的高可用考虑关于HBase集群的一个问题，在当前的HBase集群中，只有一个Master，一旦Master出现故障，将会导致HBase不再可用。所以，在实际的生产环境中，是非常有必要搭建一个高可用的HBase集群的。HBASE高可用的简介HBase的高可用配置其实就是HMaster的高可用。要搭建HBase的高可用，只需要再选择一个节点作为HMaster，在HBase的conf目录下创建文件backup-masters，然后再backup-masters添加备份Master的记录。一条记录代表一个backupmaster，可以在文件配置多个记录搭建HBase高可用1)在hbase的conf文件夹中创建backup-masters文件cd/export/server/hbase-2.1.0/conftouchbackup-mastersHbase的高可用搭建HBase高可用2)将node2.itcast.cn和node3.itcast.cn添加到该文件中vimbackup-mastersnode2.itcast.cnnode3.itcast.cn3)将backup-masters文件分发到所有的服务器节点中scpbackup-mastersnode2.itcast.cn:$PWDscpbackup-mastersnode3.itcast.cn:$PWD4)重新启动hbasestop-hbase.shstart-hbase.sh5)查看webui，检查BackupMasters中是否有node2.itcast.cn、node3.itcast.cnhttp://node1.itcast.cn:16010/master-statusHBase的架构02Hbase的架构Hbase的架构client客户端，例如：发出HBase操作的请求。例如：之前我们编写的JavaAPI代码、以及HBaseshell，都是CLientMasterServer在HBase的WebUI中，可以查看到Master的位置监控RegionServer,处理RegionServer故障转移处理元数据的变更,处理region的分配或移除在空闲时间进行数据的负载均衡通过Zookeeper发布自己的位置给客户端Hbase的架构RegionServer处理分配给它的Region,负责存储HBase的实际数据刷新缓存到HDFS,维护HLog执行压缩,负责处理Region分片RegionServer中包含了大量丰富的组件，如下：Write-Aheadlogs,HFile(StoreFile),Store,MemStore,RegionHbase的架构逻辑结构模型Hbase的架构RegionMemStore与缓存内存类似当往HBase中写入数据时，首先是写入到...