Re:Re: Re: 1.19自定义数据源

[熊柱]

退订

















在 2024-03-28 19:56:06，"Zhanghao Chen"  写道：
>如果是用的 DataStream API 的话，也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。
>
>
>[1] 
>https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/
>
>Best,
>Zhanghao Chen
>
>From: ha.fen...@aisino.com 
>Sent: Thursday, March 28, 2024 15:34
>To: user-zh 
>Subject: Re: Re: 1.19自定义数据源
>
>我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？
>
>发件人： gongzhongqiang
>发送时间： 2024-03-28 15:05
>收件人： user-zh
>主题： Re: 1.19自定义数据源
>你好：
>
>当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
>版本考虑，可以将这些SourceFunction用Source重新实现。
>
>ha.fen...@aisino.com  于2024年3月28日周四 14:18写道：
>
>>
>> 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？
>>

Re:flink写kafka时，并行度和分区数的设置问题

[熊柱]

退订

















在 2024-03-13 15:25:27，"chenyu_opensource"  写道：
>您好：
> flink将数据写入kafka【kafka为sink】，当kafka 
> topic分区数【设置的60】小于设置的并行度【设置的300】时，task是轮询写入这些分区吗，是否会影响写入效率？【是否存在遍历时的耗时情况】。
> 此时，如果扩大topic的分区数【添加至200，或者直接到300】，写入的效率是否会有明显的提升？
>
> 是否有相关的源码可以查看。
>期待回复，祝好，谢谢！
>
>
>

退订

[熊柱]

退订