盲猜GC影响比较大 replication.source.size.capacity默认值是64M，对于GC的压力其实不小
有输出GC日志吗？看看停顿情况？ Guanghao Zhang <zghao...@gmail.com> 于2020年7月21日周二 下午2:41写道： > 是A集群replication到B集群, A集群自身被Replication影响? > > zheng wang <18031...@qq.com> 于2020年7月21日周二 下午1:46写道： > > > replication确实是异步的，影响主要是在资源上，比如GC暂停、IO等待这些。 > > > > > > > > > > ------------------ 原始邮件 ------------------ > > 发件人: > > > > "user-zh@hbase.apache.orgww112...@sina.com" > > <ww112...@sina.com > > >; > > 发送时间: 2020年7月21日(星期二) 中午1:37 > > 收件人: "user-zh"<user-zh@hbase.apache.org>; > > > > 主题: 回复：Re: 开启replication后，hbase读写性能下降问题 > > > > > > > > 写入每秒3万，只有一个peer。 看了下磁盘的写入每秒在4-5M，读取在1M，这个写入量对ssd应该没什么压力吧。 > > 我理解replication的过程应该是异步的，为什么会对读取和写入造成那么大的影响。 > > 该怎么看瓶颈在哪？ > > > > ----- 原始邮件 ----- > > 发件人：张铎(Duo Zhang) <palomino...@gmail.com> > > 收件人：user-zh <user-zh@hbase.apache.org> > > 主题：Re: 开启replication后，hbase读写性能下降问题 > > 日期：2020年07月21日 12点19分 > > > > 写入的很猛吗？需要看看瓶颈在哪，我们之前遇到过peer很多的情况下，replication对HDFS的压力很大，因为每个peer都要读一遍WAL。 > > 你这个是SSD的话，看起来是replication本身对region server的压力很大？ > > zheng wang <18031...@qq.com> 于2020年7月21日周二 下午12:05写道： > > > 可以考虑对replication限速。 > > > > > > > > > > > > > > > ------------------ 原始邮件 ------------------ > > > 发件人: > > > > > > "user-zh@hbase.apache.orgww112...@sina.com" > > > > > > <ww112...@sina.com > > > &gt;; > > > 发送时间: 2020年7月21日(星期二) 中午11:51 > > > 收件人: "user-zh"<user-zh@hbase.apache.org&gt;; > > > > > > 主题: 开启replication后，hbase读写性能下降问题 > > > > > > > > > > > > > > > 在开启hbase的replication后，集群的slowGetCount和slowPutCount都会大幅增长。请问这种情况怎么解决。 > > > 开启复制之后，日志里边还有大量的slow sync日志。日志如下： > > > 2020-07-21 11:08:11,314 INFO > > > org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL: Slow sync > > cost: 635 > > > ms, current pipeline: > > > > > > [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD], > > > > > > DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD], > > > > > > DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21 > > > 11:08:11,315 INFO > > org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL: > > > Slow sync cost: 564 ms, current pipeline: > > > > > > [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD], > > > > > > DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD], > > > > > > DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21 > > > 11:08:11,315 INFO > > org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL: > > > Slow sync cost: 535 ms, current pipeline: > > > > > > [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD], > > > > > > DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD], > > > > > > DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]] >
