Re: FileSystem Connector如何优雅的支持同时写入多个路径

2023-12-29 Thread ying lin
从同一个source里select,在flink sql中用statement set 执行两条insert语句到不同的sink表即可 Jiabao Sun 于2023年12月29日周五 16:55写道: > Hi, > > 使用 SQL 的话不太好实现写入多个路径, > 使用 DataStream 的话可以考虑自己实现一个 RichSinkFunction。 > > Best, > Jiabao > > On 2023/12/29 08:37:34 jinzhuguang wrote: > > Flink版本:1.16.0 > > > > 看官网上的案例: > > CREATE

Re: flink sql如何处理脏数据问题?

2023-10-29 Thread ying lin
还有一种做法就是使用datastream,datastream支持sideoutput,但 flink sql不支持,不过有一种迂回的做法就是flinksql -> datastream -> flink sql,可以查一下官网资料,flinksql和datastream可以互相转换。 Xuyang 于2023年10月30日周一 10:17写道: > Flink SQL目前对于脏数据没有类似side output的机制来输出,这个需求用自定义connector应该可以实现。 > > > > > > > > -- > > Best! > Xuyang > > > > >

Re: Flink-Sql Watermarkers问题

2023-03-15 Thread ying lin
Flink SQL 现在只能在create table 语句中指定watermark,另外一种迂回的做法,就是参考一下Flink SQL 把Tabe转成流,然后在流上做清洗后再指定watermark

Re: Dear All,关于State processor API,有一些疑惑

2023-01-18 Thread ying lin
g日志里可以获取到 > > On Wed, Jan 18, 2023 at 2:39 PM ying lin wrote: > > > Flink版本:1.13.6 > > 最近在做一些关于Rocksdb State通过state process api 读写的poc,有一些疑惑想请教一下: > > > > 1. 如果现在已有一个Kafka SourceA -> 自定义有状态算子B -> HDFS File Sink的Flink > > 程序,那么状态主要存在于Kafka Source算子A以及有状态算子op

Dear All,关于State processor API,有一些疑惑

2023-01-17 Thread ying lin
Flink版本:1.13.6 最近在做一些关于Rocksdb State通过state process api 读写的poc,有一些疑惑想请教一下: 1. 如果现在已有一个Kafka SourceA -> 自定义有状态算子B -> HDFS File Sink的Flink 程序,那么状态主要存在于Kafka Source算子A以及有状态算子opereratorB, 是否可以通过state process api