Re: flink job自动checkpoint是成功,手动checkpoint失败

2020-06-20 文章 Congxian Qiu
Hi 这里手动 Checkpoint 是指 Savepoint 吧。从栈看是因为超时了,有可能是 savepoint 比较慢导致的。 这个你可以看一下 JM log,看看是否 savepoint 很久才完成。 另外,可以描述下你们使用 savepoint 的主要场景吗? 1. 为什么要使用 savepoint 2. 在你们的场景中能否用 checkpoint 代替 savepoint 呢? Best, Congxian Zhou Zach 于2020年6月19日周五 下午3:25写道: > > > > > 2020-06-19 15:11:18,361 INFO

Re: Re: Re: flink run from checkpoit failed

2020-06-20 文章 Congxian Qiu
Hi 这个作业的 application 有起来吗?起来了的话,可以看看 JM log,如果没有起来,可以从提交客户端的那看看有没有更详细的提交日志。日志目录默认在 `/opt/flink-1.10.0/log` 下面 Best, Congxian Zhou Zach 于2020年6月19日周五 下午8:15写道: > 我是per job模式,不是yarn session模式啊 > > > > > > > > > > > > > > > > > > At 2020-06-19 20:06:47, "Rui Li" wrote: > >那得重启yarn

Re: Flink SQL 1.10.0窗口计算结果无法sink

2020-06-20 文章 Jark Wu
可以替换成其他 sink 试一下,比如 kafka,验证下是不是 sink 的问题。 Btw,1.11 里面可以非常方便地创建一个测试 sink,比如 CREATE TABLE print_table WITH ('connector' = 'print') LIKE tb_sink (EXCLUDING ALL) Best, Jark On Sat, 20 Jun 2020 at 15:51, Benchao Li wrote: > Hi, > > 根据你的描述,应该是sink这里有问题的可能性比较大。因为正常的query可以输出结果,但是insert到sink就看不到输出。

回复: FileInputFormat 使用问题

2020-06-20 文章 阿华田
解决了 | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制 在2020年06月18日 17:56,john<506269...@qq.com> 写道: 嗨,找到问题了吗?我也遇到了 2020年6月1日 下午2:48,阿华田 写道: //初始化任务参数 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); FileInputFormat fileInputFormat = new TextInputFormat(new

Re: Flink SQL 1.10.0窗口计算结果无法sink

2020-06-20 文章 Benchao Li
Hi, 根据你的描述,应该是sink这里有问题的可能性比较大。因为正常的query可以输出结果,但是insert到sink就看不到输出。 你可以看下你的job的metrics,每个operator的输入输出,看下window operator是否有输出。 此外,也可以看下这个sink的实现,是否有攒batch的一些逻辑,比如要打到多少条数据才会输出等。 王超 <1984chaow...@gmail.com> 于2020年6月20日周六 下午1:18写道: > 除了pravega connector之外的有没有什么地方有问题呢? > > On Fri, Jun 19, 2020 at