大发快乐8APP下载_大发快乐8APP官方 - 大发快乐8APP下载,大发快乐8APP官方是新浪网最重要的频道之一,24小时滚动报道国内、国际及社会新闻。每日编发新闻数以万计。

hbase 学习(十三)集群间备份原理

  • 时间:
  • 浏览:0

许多节点下面记录着所有都都还可不可以备份的集群和我们都 当前的备份具体情况,如下:

集群建备份,它是master/slaves特性式的备份,由master推送,原来更容易跟踪现在备份到哪里了,况且region server是一定会 自己的WAL 和HLog日志,它就像mysql的主从备份特性一样,没有另一一六个 日志来跟踪。另一一六个 master集群都都还可不可以向多个slave集群推送,收到推送的集群会覆盖它本地的edits日志。

(5)集群间都都还可不可以互相访问

2)在原来线程池池当中,edit被从log当中读取来,许多没有都都还可不可以备份的KeyValues(列族为scoped为GLOBAL的,许多一定会 catalog,catalog指的是.META. 和 -ROOT-)

rs的节点下面包括了克隆的region server以及需求克隆的HLog的队列,看图就知道啦!

1)当客户端通过api发送Put、Delete许多ICV到region server,哪几个KeyValue被转加上WALEdit,许多过程会被replication检测到,每另一一六个 设置了replication的列族,会把scope加上到edit的日志,许多追加到WAL中,并被应用到MemStore中。

(3)集群间的备份的表名和列族一定会 一致

(6)集群间的zookeeper.znode.parent没有相同

队列中的每个znode一定会 hdfs上的真实的文件名,“地址,端口.时间戳”。

队列里面都都还可不可以克隆的HLog,值是许多被克隆的最新的位置position。

假设zookeeper当中的节点是/hbase/replication , 它会有另一一六个 子节点。

5、备份完成前一天咋样进行数据校验,VerifyReplication很多很多我专门来处置许多校验的。我们都 都都还可不可以提供peer的id还有表名,verifyrep是它的简称,要用hadoop jar来运行。

下面许多是设计的特性图:

4-2)当目标集群可用了,master的region server会克隆积压的日志。

第一层节点记录着region server的机器名,端口号以及start code。

4、list_peers 查看一下具体情况

现在让1.1.1.2的zookeeper丢失session,观察者会创建另一一六个 lock,许多前一天1.1.1.3完成了,它会把1.1.1.2的给接手过来,在自己的znode下面创建另一一六个 新的znode,许多加上dead的server的名称,就像下面原来子,原来的1.1.1.2的下面多了一层lock,1.1.1.3下面多了另一一六个 ,和它原始的具体情况很多很多我一样,前面多了个2。

在每另一一六个 peer节点的下面还有另一一六个 表示具体情况的节点:

3、修改表的REPLICATION_SCOPE

(4)多个slave集群励志的话 ,要0.92以上版本

下一层是需求克隆的HLog的队列:

 要使用许多集群建备份的功都都还可不可以不能先进行以下的设置:

0.90.1 都都还可不可以向0.90.0推送许多0.90.1没有否向0.89.20100725推送

3-1)许多edit许多被打上master群集的UUID,当buffer写满的前一天许多读完文件,buffer会发到slave集群的随机的另一一六个 region server同步的,收到我们都 的region server把edit分开,另一一六个 表另一一六个 buffer,当所有的edits被读完前一天,每另一一六个 buffer会通过HTable来flush,edits里面的master集群的UUID被应用到了备份节点,以此都都还可不可以进行循环备份。

当master节点准备好备份前一天,它首很难通过slave集群的zookeeper,许多查看我们都 的rs的节点下面有几个可用的rs,许多随机选则我们都 中的一每项,默认是10%,许多有100个机器励志的话 ,会选则1六个机器去发送。许多前一天是有另一一六个 watcher在监视着slave集群的rs下面的变化,许多节点位于了变化,它会通知master节点的region server重发。

输入许多命令,查看它的具体用法,许多加上

(1)hbase的大的版本要一致

2)错误恢复,直接来个实际的例子

1、修改hbase-site.xml文件

2、add_peer

1.1.1.1把1.1.1.3的未完成事业给接过了过来,很多很多我们都 看得人1.1.1.1下面有个三手货和几个二手货。。。

HLogs是region server备份的基础,当我们都 要进行备份时都都还可不可以保位于hdfs上,每个region server从它都都还可不可以的最老的日志现在现在开始 英语 进行备份,许多把当前的指针保位于zookeeper当中来僵化 错误恢复,许多位置对于每另一一六个 slave 集群是不同的,许多对于同另一一六个 队列的HLogs是相同的。

下面是许多具体的操作:

过程是上述的过程,下面展开讲一下具体的细节。

原理说完了,从下面励志的话 进行许多备份操作是哪几个要求吧

(2)独立部署的zookeeper集群

集群之间备份的网址,说明我们都 是为啥么工作的:

下面我们都 了解一下master和另一一六个 slave节点的整个过程。

4-1)回到master的region server上,当前WAL的位移offset许多被注册到了zookeeper里面。

1)选则哪个region server去克隆

state节点是记录是否是都都还可不可以进行备份的,它里面记录许多另一一六个 boolean值,true许多false,它是由hbase.replication决定的,同事它会在ReplicationZookeeper当中缓存,它一定会许多在shell中执行了stop_replication而改变

共同WALs会被回滚,许多保存另一一六个 队列在zookeeper当中,哪几个被region server存档的Logs会更新我们都 在克隆线程池池中的内存中的queue的地址。

另一一六个 有六个region server集群正在和另一一六个 peer id为2的集群进行备份,每个region server下面一定会 另一一六个 队列

许多1.1.1.3又自己倒腾了一会儿,假设它也挂了,最后的特性会是原来

3-2)这里面,许多slave的region server没有响应,master的region server会停止等待时间,许多重试,许多目标的region server还是不可用,它会重新选则别的slave的region server去发送哪几个buffer。

许多备份操作是异步的,这愿因,有前一天我们都 的连接许多是断开的,master的变化不必马上反应到slave当中。备份个格式在设计上是和mysql的statement-based replication是一样的,完整篇 的WALEdits(多种来自Delete和Put的Cell单元)为了保持原子性,会一次性提交。

peer的id是自己在add_peer前一天,自己提供的,里面的value是slave集群所使用的zookeeper集群,最后是所在的znode的父节点。

http://hbase.apache.org/replication.html