Re: JDBCLookupFunction被缓存导致数据的不及时性

2020-04-14 Thread Dino Zhang
可以考虑调小cache.ttl On Wed, Apr 15, 2020 at 11:22 AM tingli ke wrote: > 是否有其他的方式来对mysql维表数据进行实时join > > > 13122260...@163.com <13122260...@163.com> 于2020年4月15日周三 上午11:08写道: > > > 有个setCacheMaxSize(1000),可以改成 -1 表示不使用cache > > org.apache.flink.api.java.io.jdbc.JDBCLookupFunction 这个方法有解释 > > The

Re: jobmanager异常日志

2019-12-18 Thread Dino Zhang
这个只能说明超时,具体原因要看taskmanager日志 On Mon, Dec 16, 2019 at 2:49 PM pengchenglin wrote: > 各位: > > 大家好,在standalone的jobmanager节点的日志中看到的,这个153的taskmanager挂掉了,不知道是不是下面的报错导致的,有知道下面的Error是啥意思不 > > 2019-12-15 17:15:21.999 [flink-metrics-379] ERROR akka.remote.Remoting >

Re: (补充图片链接) 关于直接设置Watermark和flatmap后再设置的疑问

2019-12-18 Thread Dino Zhang
kafka的exactly once是通过checkpoint机制保存消费位点来保证的,和event time没关系。在进入时间窗口前提取event time和设定watermark即可。 On Wed, Dec 18, 2019 at 4:12 PM 猫猫 <16770...@qq.com> wrote: > 图片不能粘贴,放到github上面了。 > https://github.com/maobuji/Blog/blob/master/image/changeEventTime.jpg > > > > >

Re: 关于Async I/O的exactly-once

2019-09-03 Thread Dino Zhang
hi star, exactly-once指flink内部的,要保证end-to-end exactly可以通过两阶段提交,需要实现TwoPhaseCommitSinkFunction,或者做幂等处理 On Wed, Sep 4, 2019 at 8:20 AM star <3149768...@qq.com> wrote: > 看文档我的理解是会将异步的请求保存在检查点中,failover的时候重新触发请求。我的问题是既然是重新触发请求,并没有回滚,那之前的请求已经对外部系统造成影响了,不就是at > least-once了吗? > 比如ck1:发送了a b

Re: Flink 周期性创建watermark,200ms的周期是怎么控制的

2019-09-03 Thread Dino Zhang
hi venn, 基于EventTIme的Watermark间隔默认200ms,可以通过ExecutionConfig的setAutoWatermarkInterval方法进行设置,见StreamExecutionEnvironment: /** * Sets the time characteristic for all streams create from this environment, e.g., processing * time, event time, or ingestion time. * * If you set the