On Mon, Feb 24, 2020 at 8:20 PM Kang Minwoo wrote:
> Hello Users.
>
> Is there any way to check the system stop is requested in
> performCompaction over time?
>
> When the region got a close request, the region should wait there is no
> compaction and flush.
> However, in performCompaction
1.测试表只有1个cf；
2. hbase.split.writer.creation.bounded没有配置，但是我配置了
（1）hbase.regionserver.hlog.splitlog.writer.threads=20
（2）hbase.regionserver.wal.maxsplitters=10
| |
mintao
|
|
mintaoisj...@163.com
|
签名由网易邮箱大师定制
在2020年2月28日 16:53，Guanghao Zhang 写道：
表有几个CF呢? split log生成的文件个数等于 WAL个数 * region个数,
表有几个CF呢? split log生成的文件个数等于 WAL个数 * region个数, 而split生成HFile的时候是WAL个数 *
region个数 * CF个数的, 在CF多的时候写出去的文件会比之前多.
另外还有一个问题是, hbase.split.writer.creation.bounded这个是否有开启?
split生成HFile是默认是用了bounded这个feature的
mintao 于2020年2月28日周五 下午4:46写道：
>
>
我大概测试了十来次，在wal的数据量为12GB左右，100个wal文件情况下，没有开启writeToHFile时，split平均需要40s，assign平均需要30s，开启writeToHFile之后，split平均需要54s，assign需要4s。
| |
mintao
|
|
mintaoisj...@163.com
|
签名由网易邮箱大师定制
在2020年2月28日 16:23，Guanghao Zhang 写道：
1. 可以贴下具体数据看看?
2. 目前还没有修复, 欢迎提PR
mintao 于2020年2月28日周五 下午4:19写道：
大家好：
1. 可以贴下具体数据看看?
2. 目前还没有修复, 欢迎提PR
mintao 于2020年2月28日周五 下午4:19写道：
> 大家好：
> 在HBase社区上看到HBase-23286这个jira，这里我有一些关于HBase-23286 Improve MTTR: Split WAL
> to HFile的想法：
> （1）我自己拉了代码测试了一下，发现开启writeToHFile之后整体恢复时间是有所缩短，特别是region
> assgin消耗的时间，但是split阶段花费的时间还是有所增加了。
> 具体测试的环境和测试流程：
>
大家好：
在HBase社区上看到HBase-23286这个jira，这里我有一些关于HBase-23286 Improve MTTR: Split WAL to
HFile的想法：
（1）我自己拉了代码测试了一下，发现开启writeToHFile之后整体恢复时间是有所缩短，特别是region
assgin消耗的时间，但是split阶段花费的时间还是有所增加了。
具体测试的环境和测试流程：
测试环境是两个节点，每个节点2个regionserver，集群内总共300个region，故障RS上有77个region，
100个wal，每个wal大概120MB，测试过程是通过kill -9
