Re: flink sql streaming情况如何解决数据倾斜问题

[Shuo Cheng]

可以参考下针对 AGG 的调优指南
https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/tuning/

On Wed, Sep 8, 2021 at 11:05 AM yidan zhao  wrote:

> 我们流量大概4w的qps，如何根据key1+key2进行pv统计（SQL任务比较简单）。
>
> 但是key2的分布比较极端，有些可能90%集中的。
>
> Shuo Cheng  于2021年9月7日周二 下午7:30写道：
>
> > 最好具体描述下什么场景的倾斜, sql 上也有一些解倾斜的手段
> >
> > On 9/7/21, yidan zhao  wrote:
> > > 如题，目前非sql情况本身实现灵活，有很多方案。
> > > 但是SQL情况下，倾斜严重，同时无解。有没有小伙伴解决过类似问题。
> > >
> > > 注意：sql，流任务，数据倾斜。
> > >
> >
>

?????? flink sql streaming????????????????????????

[??????]

??


--  --
??: 
   "user-zh"

Re: flink sql streaming情况如何解决数据倾斜问题

[yidan zhao]

我stream方式倒是简单，我会基于统计结果，即key => pv的情况，根据pv大小记录key，pv/1000 进入kafka
topic（skew）。
然后任务会读取 skew 数据，根据这个数据将key进行拆分，然后做2层汇总统计。就是做了个动态倾斜key的发现和分拆。

yidan zhao  于2021年9月8日周三 上午11:04写道：

> 我们流量大概4w的qps，如何根据key1+key2进行pv统计（SQL任务比较简单）。
>
> 但是key2的分布比较极端，有些可能90%集中的。
>
> Shuo Cheng  于2021年9月7日周二 下午7:30写道：
>
>> 最好具体描述下什么场景的倾斜, sql 上也有一些解倾斜的手段
>>
>> On 9/7/21, yidan zhao  wrote:
>> > 如题，目前非sql情况本身实现灵活，有很多方案。
>> > 但是SQL情况下，倾斜严重，同时无解。有没有小伙伴解决过类似问题。
>> >
>> > 注意：sql，流任务，数据倾斜。
>> >
>>
>

Re: flink sql streaming情况如何解决数据倾斜问题

[yidan zhao]

我们流量大概4w的qps，如何根据key1+key2进行pv统计（SQL任务比较简单）。

但是key2的分布比较极端，有些可能90%集中的。

Shuo Cheng  于2021年9月7日周二 下午7:30写道：

> 最好具体描述下什么场景的倾斜, sql 上也有一些解倾斜的手段
>
> On 9/7/21, yidan zhao  wrote:
> > 如题，目前非sql情况本身实现灵活，有很多方案。
> > 但是SQL情况下，倾斜严重，同时无解。有没有小伙伴解决过类似问题。
> >
> > 注意：sql，流任务，数据倾斜。
> >
>

Re: <无主题>

[Caizhi Weng]

Hi！

退订中文邮件列表请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org，其他邮件列表退订邮箱参见
https://flink.apache.org/community.html#mailing-lists

戴巍(R&D)  于2021年9月7日周二 下午2:36写道：

> 退订
>

Re: flink sql streaming情况如何解决数据倾斜问题

[Shuo Cheng]

最好具体描述下什么场景的倾斜, sql 上也有一些解倾斜的手段

On 9/7/21, yidan zhao  wrote:
> 如题，目前非sql情况本身实现灵活，有很多方案。
> 但是SQL情况下，倾斜严重，同时无解。有没有小伙伴解决过类似问题。
>
> 注意：sql，流任务，数据倾斜。
>

flink sql streaming情况如何解决数据倾斜问题

[yidan zhao]

如题，目前非sql情况本身实现灵活，有很多方案。
但是SQL情况下，倾斜严重，同时无解。有没有小伙伴解决过类似问题。

注意：sql，流任务，数据倾斜。