表有几个CF呢? split log生成的文件个数等于 WAL个数 * region个数, 而split生成HFile的时候是WAL个数 * region个数 * CF个数的, 在CF多的时候写出去的文件会比之前多. 另外还有一个问题是, hbase.split.writer.creation.bounded这个是否有开启? split生成HFile是默认是用了bounded这个feature的
mintao <mintaoisj...@163.com> 于2020年2月28日周五 下午4:46写道： > > 我大概测试了十来次，在wal的数据量为12GB左右，100个wal文件情况下，没有开启writeToHFile时，split平均需要40s，assign平均需要30s，开启writeToHFile之后，split平均需要54s，assign需要4s。 > > > > > | | > mintao > | > | > mintaoisj...@163.com > | > 签名由网易邮箱大师定制 > 在2020年2月28日 16:23，Guanghao Zhang<zghao...@gmail.com> 写道： > 1. 可以贴下具体数据看看? > 2. 目前还没有修复, 欢迎提PR > > mintao <mintaoisj...@163.com> 于2020年2月28日周五 下午4:19写道： > > 大家好： > 在HBase社区上看到HBase-23286这个jira，这里我有一些关于HBase-23286 Improve MTTR: Split WAL > to HFile的想法： > （1）我自己拉了代码测试了一下，发现开启writeToHFile之后整体恢复时间是有所缩短，特别是region > assgin消耗的时间，但是split阶段花费的时间还是有所增加了。 > 具体测试的环境和测试流程： > 测试环境是两个节点，每个节点2个regionserver，集群内总共300个region，故障RS上有77个region， > 100个wal，每个wal大概120MB，测试过程是通过kill -9 故障RS宕掉之后，通过观察master日志来确定恢复服务的时间。 > 测试结果： > 测试环境是两个节点，每个节点2个regionserver，集群内总共300个region，故障RS上有77个region， > 100个wal，每个wal大概120MB，测试过程是通过kill -9 故障RS宕掉之后，通过观察master日志来确定恢复服务的时间； > 是不是我测试的过程中遗漏了什么步骤？跟jira上的测试结果有一些差异。 > （2）这个功能在社区中反映是存在一些问题的，比如说存在数据丢失（ > https://issues.apache.org/jira/browse/HBASE-23741 > ），这个bug是否已经修复了，我这边已经定位到问题，应该是跟sequenceId有关，我这边本地已经复现并修复了，是否可以将该修复提交到社区？ > > > > > | | > mintao > | > | > mintaoisj...@163.com > | > 签名由网易邮箱大师定制 >
