Re: flink 背压问题

2021-04-29 文章 datayangl
背压只是负责调节数据传输的大小，不会导致数据丢失。计算公式主要是通过计算上下游的允许发送的数据量(backlog)除以申请的buffer大小。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 背压问题

2021-04-28 文章 HunterXHunter
中间有错误数据或者其他错误原因，背压不会导致数据丢失 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink 背压问题

2021-04-28 文章 Bruce Zhang
我的数据源每一秒发送一条数据，下游算子每六秒才能处理完成入库，我测试时使用的是一个并行度，数据发送完毕后，在库里只有前三条发送和后两条发送的数据，中间的数据全部丢失了。应该是背压机制的问题，这是什么原因呢

回复： flink背压问题

2020-04-28 文章 阿华田
好的 感谢 | | 王志华 | | a15733178...@163.com | 签名由网易邮箱大师定制 在2020年04月29日 10:29，Junzhong Qin 写道： 可以试一下Jsoniter, https://jsoniter.com/index.cn.html 阿华田 于2020年4月29日周三 上午10:07写道： 这个确实排查到了，主要是json解析那块耗时，老版本用的gson，现在改成fastjson了，解析速度提升了不少。看来大数据量的json解析还得是fastjson | | 王志华 | | a15733178...@163.com |

Re: flink背压问题

2020-04-28 文章 Junzhong Qin
可以试一下Jsoniter, https://jsoniter.com/index.cn.html 阿华田 于2020年4月29日周三 上午10:07写道： > > 这个确实排查到了，主要是json解析那块耗时，老版本用的gson，现在改成fastjson了，解析速度提升了不少。看来大数据量的json解析还得是fastjson > > > | | > 王志华 > | > | > a15733178...@163.com > | > 签名由网易邮箱大师定制 > > > 在2020年04月29日 10:02，LakeShen 写道： > Hi 阿华, > >

回复： flink背压问题

2020-04-28 文章 阿华田
这个确实排查到了，主要是json解析那块耗时，老版本用的gson，现在改成fastjson了，解析速度提升了不少。看来大数据量的json解析还得是fastjson | | 王志华 | | a15733178...@163.com | 签名由网易邮箱大师定制 在2020年04月29日 10:02，LakeShen 写道： Hi 阿华, 数据延迟有可能是逻辑中某个环节比较耗时，比如查询 mysql，或者某处逻辑较复杂等等。 可以看看自己代码中，有么有比较耗时的逻辑。同时可以将自己认为比较耗时的地方，加上日志，看下处理时间。 Best, LakeShen 阿华田

Re: flink背压问题

2020-04-28 文章 LakeShen
Hi 阿华, 数据延迟有可能是逻辑中某个环节比较耗时，比如查询 mysql，或者某处逻辑较复杂等等。 可以看看自己代码中，有么有比较耗时的逻辑。同时可以将自己认为比较耗时的地方，加上日志，看下处理时间。 Best, LakeShen 阿华田 于2020年4月29日周三 上午9:21写道： > 好的 感谢大佬 > > > > | | > 王志华 > | > | > a15733178...@163.com > | > 签名由网易邮箱大师定制 > > > 在2020年04月29日 09:08，zhisheng 写道： > hi, > >

回复： flink背压问题

2020-04-28 文章 阿华田
好的 感谢大佬 | | 王志华 | | a15733178...@163.com | 签名由网易邮箱大师定制 在2020年04月29日 09:08，zhisheng 写道： hi, 数据延迟不一定会产生背压，举个例子，Flink 写 HBase 的作业，Source 并行度为 5，Sink 并行度 10，这种情况下游写入速度很快的，可能写入速度超过 Flink 消费 Kafka 的速度，这种情况就不会出现背压的问题。 1、建议排查一下作业的并行度（可以设置和 Kafka 分区数一样）； 2、背压监控是通过 Flink Web UI 监控查看的，还是通过指标来判断的？

Re: flink背压问题

2020-04-28 文章 zhisheng
hi, 数据延迟不一定会产生背压，举个例子，Flink 写 HBase 的作业，Source 并行度为 5，Sink 并行度 10，这种情况下游写入速度很快的，可能写入速度超过 Flink 消费 Kafka 的速度，这种情况就不会出现背压的问题。 1、建议排查一下作业的并行度（可以设置和 Kafka 分区数一样）； 2、背压监控是通过 Flink Web UI 监控查看的，还是通过指标来判断的？ 3、对于数据延迟建议还是得对 Kafka 消费的 Topic 进行消费组的监控，加上 Lag 告警，这样可以及时知道数据延迟情况 Best ！ zhisheng 阿华田

flink背压问题

2020-04-27 文章 阿华田
线上任务对背压进行了监控，背压一直正常，任务却出现了大量的数据延迟，数据延迟不会产生背压吗？ | | 王志华 | | a15733178...@163.com | 签名由网易邮箱大师定制