Re: flink proctime error

[了不起的盖茨比]

谢谢各位大佬，我再去官网学学。





-- Original --
From: Jingsong Li 

Re: flink proctime error

[了不起的盖茨比]

意思是虚拟出来的列，如果后面计算要用，需要watermark一下，嗯嗯，这个情况测试了，是可以用的。





-- Original --
From: Jingsong Li 

Re: flink proctime error

[了不起的盖茨比]

我一开始想的是source表采用proctime as proctime() 
这样有了一个列，然后这个时间赋值给sink表的一个timestamp(3)列，group时候直接就可以用了。





-- Original --
From: Benchao Li 

回复：flink barrier对齐 理解

[了不起的盖茨比]

嗯嗯谢谢，我去看看





-- 原始邮件 --
发件人: tison https://ci.apache.org/projects/flink/flink-docs-master/fig/stream_aligning.svg
[2]
https://ci.apache.org/projects/flink/flink-docs-master/concepts/stateful-stream-processing.html




了不起的盖茨比 <573693...@qq.com 于2020年5月17日周日 下午2:50写道：


 
我的理解是一条数据，会经过n个算子，只有这个数据到达最后一个算子计算完毕，才能checkpoint，否则会导致前几个算子state改变，但是这个数据的offset没有被提交，导致了重复消费数据。





 -- 原始邮件 --
 发件人: Benchao Li 

回复：flink barrier对齐 理解

[了不起的盖茨比]

我的理解是一条数据，会经过n个算子，只有这个数据到达最后一个算子计算完毕，才能checkpoint，否则会导致前几个算子state改变，但是这个数据的offset没有被提交，导致了重复消费数据。





-- 原始邮件 --
发件人: Benchao Li 

回复：flink barrier对齐 理解

[了不起的盖茨比]

可以理解成，有多个subtask时候，需要等待不同subtask消费数据完毕，之后做checkpoint





-- 原始邮件 --
发件人: Benchao Li 

flink barrier对齐 理解

[了不起的盖茨比]

请教一下，如果只有一个source，就不需要对齐了吧？只有source多个数据源时候才需要对齐？

回复： 回复：flink1.10 ddl metric 不显示

[了不起的盖茨比]

谢谢老哥 终于明白了





-- 原始邮件 --
发件人: venn 

回复：flink1.10 ddl metric 不显示

[了不起的盖茨比]

为什么chain一起就无法看到了？？？求大佬解释一下。





-- 原始邮件 --
发件人: zhisheng 

flink1.10 ddl metric 不显示

[了不起的盖茨比]

ddl任务，将sql写在代码里面提交运行，web不显示任何指标数据，比如接收了多少数据等。是我哪没有进行配置吗？job正常运行结果的。

回复： 在使用flink1.7.2写入ES6的时候，有时会报错：request retries exceeded max retry timeout [30000]

[了不起的盖茨比]

log展示超时，如果确认不是超时问题，再次查看taskmanager的log，是否有内存溢出导致无法连接es问题，或者插入时候有bug，导致了不断新类产生，metaspace溢出。





-- 原始邮件 --
发件人: aven.wu https://www.elastic.co/guide/en/elasticsearch/reference/master/tune-for-indexing-speed.html
另外，es写入失败可以自定义一个 ActionRequestFailureHandler，你可以加入失败队列或者重试等等。
希望可以帮助到你。

Best
Aven

发件人: Yangze Guo
发送时间: 2020年5月13日 16:21
收件人: user-zh@flink.apache.org
主题: Re: 在使用flink1.7.2写入ES6的时候，有时会报错：request retries exceeded max retry timeout 
[3]

您好，请问您的日志中有没有如语句

- Failed Elasticsearch bulk request:
- Failed Elasticsearch item request:
如果有，可以提供一下

从错误上看，应该是和es交互超时了，检查一下网络连通情况，或者将timeout调大，具体方法见文档[1]

esSinkBuilder.setRestClientFactory(
 restClientBuilder - {
 restClientBuilder.setDefaultHeaders(...)
 restClientBuilder.setMaxRetryTimeoutMillis(...)
 restClientBuilder.setPathPrefix(...)
 restClientBuilder.setHttpClientConfigCallback(...)
 }
);

[1] 
https://ci.apache.org/projects/flink/flink-docs-master/dev/connectors/elasticsearch.html#elasticsearch-sink


Best,
Yangze Guo

On Wed, May 13, 2020 at 2:53 PM Jim Chen 

回复：flink 内存设置问题-metaspace 溢出

[了不起的盖茨比]

谢谢大佬，我再去看看gc log





-- 原始邮件 --
发件人: Xintong Song