Re: Flink 1.10 内存问题

2021-07-27 文章 Ada Luna
:209) > > at > > org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.run(OneInputStreamTask.java:105) > > at > > org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:302) > > at org.apache.flink.runtime.taskmanager.Task.run(Task.java

Re: Flink 1.10 内存问题

2021-07-19 文章 Ada Luna
k.invoke(StreamTask.java:302) > at org.apache.flink.runtime.taskmanager.Task.run(Task.java:711) > at java.lang.Thread.run(Thread.java:748) > > Yun Tang 于2021年7月6日周二 下午4:01写道: > > > > Hi, > > > > 有可能的,如果下游发生了死锁,无法消费任何数据的话,整个作业就假死了。要定位roo

Re: Flink 1.10 内存问题

2021-07-19 文章 Ada Luna
ead.java:748) Yun Tang 于2021年7月6日周二 下午4:01写道: > > Hi, > > 有可能的,如果下游发生了死锁,无法消费任何数据的话,整个作业就假死了。要定位root cause还是需要查一下下游的task究竟怎么了 > > 祝好 > 唐云 > > From: Ada Luna > Sent: Tuesday, July 6, 2021 12:04 > To: user-zh@flink.apache.org >

Re: Flink 1.10 内存问题

2021-07-06 文章 Yun Tang
Hi, 有可能的,如果下游发生了死锁,无法消费任何数据的话,整个作业就假死了。要定位root cause还是需要查一下下游的task究竟怎么了 祝好 唐云 From: Ada Luna Sent: Tuesday, July 6, 2021 12:04 To: user-zh@flink.apache.org Subject: Re: Flink 1.10 内存问题 反压会导致整个Flink任务假死吗?一条Kafka数据都不消费了。持续几天,不重启不恢复的 Yun Tang 于2021年7月6日周二 上午11

Re: Flink 1.10 内存问题

2021-07-05 文章 yidan zhao
LocalBufferPool.requestMemorySegment > > 这个方法并不是在申请内存,而是因为作业存在反压,因为下游没有及时消费,相关buffer被占用,所以上游会卡在requestMemorySegment上面。 > > > > 想要解决还是查一下为什么下游会反压。 > > > > > > 祝好 > > 唐云 > > > > From: Ada Luna > > Sent

Re: Flink 1.10 内存问题

2021-07-05 文章 Ada Luna
> From: Ada Luna > Sent: Tuesday, July 6, 2021 10:43 > To: user-zh@flink.apache.org > Subject: Re: Flink 1.10 内存问题 > > "Source: test_records (2/3)" #78 prio=5 os_prio=0 > tid=0x7fd4c4a24800 nid=0x21bf in Object.wait() > [0x7f

Re: Flink 1.10 内存问题

2021-07-05 文章 Yun Tang
Hi, LocalBufferPool.requestMemorySegment 这个方法并不是在申请内存,而是因为作业存在反压,因为下游没有及时消费,相关buffer被占用,所以上游会卡在requestMemorySegment上面。 想要解决还是查一下为什么下游会反压。 祝好 唐云 From: Ada Luna Sent: Tuesday, July 6, 2021 10:43 To: user-zh@flink.apache.org Subject: Re: Flink 1.10 内存问题

Re: Flink 1.10 内存问题

2021-07-05 文章 Ada Luna
"Source: test_records (2/3)" #78 prio=5 os_prio=0 tid=0x7fd4c4a24800 nid=0x21bf in Object.wait() [0x7fd4d581a000] java.lang.Thread.State: TIMED_WAITING (on object monitor) at java.lang.Object.wait(Native Method) at

Flink 1.10 内存问题

2021-07-05 文章 Ada Luna
下面报错调大TaskManager内存即可解决,但是我不知道为什么Flink内存不够大会出现如下假死情况。申请内存卡住。整个任务状态为RUNNING但是不再消费数据。 "Map -> to: Tuple2 -> Map -> (from: (id, sid, item, val, unit, dt, after_index, tablename, PROCTIME) -> where: (AND(=(tablename, CONCAT(_UTF-16LE't_real', currtime2(dt, _UTF-16LE'MMdd'))), OR(=(after_index,