blink(????flink1.5.1????)????????????hadoop????????

flinkhadoop ?? ??blink??flink standalonehadoop hdfs ??kerberos??TM??jobHadoop

Re: Re: flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_000002_0 was removed.

那你看下 TM 那台机器上的 TM 日志，从 JM 端来看 TM 曾经成功起来过并注册了自己，你看看 TM 是怎么挂的或者别的什么情况 Best, tison. 郑 洁锋 于2020年1月22日周三 上午11:54写道： > TM没有起来，服务器本身内存cpu都是够的，还很空闲 > > > zjfpla...@hotmail.com > > 发件人： tison > 发送时间： 2020-01-22 11:25 > 收件人：

Re: Re: flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_000002_0 was removed.

TM没有起来，服务器本身内存cpu都是够的，还很空闲 zjfpla...@hotmail.com 发件人： tison 发送时间： 2020-01-22 11:25 收件人： user-zh 主题： Re: flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_02_0 was removed.

Re: flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_000002_0 was removed.

20/01/22 11:08:49 INFO yarn.YarnResourceManager: Closing TaskExecutor connection container_e10_1579661300080_0005_01_02 because: The heartbeat of TaskManager with id container_e10_1579661300080_0005_01_02 timed out. 你请求资源的时候把 slot 请求发到这台机器上了，然后它心跳超时了，你看看 TM 有没有正常起来，有没有资源不够或者挂了 Best,

flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_000002_0 was removed.

大家好， flink on yarn任务启动时，发现报错了The assigned slot container_e10_1579661300080_0005_01_02_0 was removed. 环境：flink1.8.1，cdh5.14.2，kafka0.10，jdk1.8.0_241 flink版本为1.8.1，yarn上的日志： 20/01/22 11:07:53 INFO entrypoint.ClusterEntrypoint:

Re: java.lang.StackOverflowError

I am using flink 1.6.2 on yarn. State backend is rocksdb. > 2020年1月22日 上午10:15，刘建刚 写道： > > I have a flink job which fails occasionally. I am eager to avoid this > problem. Can anyone help me? The error stacktrace is as following: > java.io.IOException: java.lang.StackOverflowError >

java.lang.StackOverflowError

I have a flink job which fails occasionally. I am eager to avoid this problem. Can anyone help me? The error stacktrace is as following: java.io.IOException: java.lang.StackOverflowError at

Re: Question regarding checkpoint/savepoint and State Processor API

Hi Seth, Thanks for the prompt response! Regarding my second question, once I have converted the existing savepoint to dataset, how can I convert the dataset into BroadcastState? For example, in my BroadcastProcessFunction: @Override public void processBroadcastElement(String key, Context

Re: Re: CountEvictor 与 TriggerResult.FIRE_AND_PURGE 清理窗口数据有区别吗?

你读一下 EvictingWindowOperator 相关代码或者说 Evictor#evictBefore 的调用链，里面关于 window state 的处理是比较 hack 的，用文字说也起不到简练的作用 private void emitWindowContents(W window, Iterable> contents, ListState> windowState) throws Exception { timestampedCollector.setAbsoluteTimestamp(window.maxTimestamp()); // Work

Re:Re: CountEvictor 与 TriggerResult.FIRE_AND_PURGE 清理窗口数据有区别吗?

evict 丢弃掉的数据，在内存或者RocksDB中也会同步删除吗？ 在 2020-01-21 17:27:38，"tison" 写道： >正好看到这一部分，还是有的，你考虑下滑动的计数窗口 > >[1] 会在 fire 之后把整个 windowState 丢掉，[2] 其实会重新计算 evict 之后的 windowState > >Best, >tison. > > >USERNAME 于2020年1月21日周二 下午5:21写道： > >> 大家，新年快乐~ >> >> >> [1] TriggerResult.FIRE_AND_PURGE >> >>

Re: CountEvictor 与 TriggerResult.FIRE_AND_PURGE 清理窗口数据有区别吗?

正好看到这一部分，还是有的，你考虑下滑动的计数窗口 [1] 会在 fire 之后把整个 windowState 丢掉，[2] 其实会重新计算 evict 之后的 windowState Best, tison. USERNAME 于2020年1月21日周二 下午5:21写道： > 大家，新年快乐~ > > > [1] TriggerResult.FIRE_AND_PURGE > >

CountEvictor 与 TriggerResult.FIRE_AND_PURGE 清理窗口数据有区别吗?

大家，新年快乐~ [1] TriggerResult.FIRE_AND_PURGE https://github.com/apache/flink/blob/1662d5d0cda6a813e5c59014acfd7615b153119f/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/windowing/evictors/CountEvictor.java#L74 [2] CountEvictor