unsubscribe

[Alex Drobinsky]

Please unsubscribe me

回复： akka.framesize配置问题

[谭家良]

你好，
这个报错其实是一些安全漏洞软件的定时扫描导致的。
可能的解决方案是开启Flink的SSL认证。
相关issue：https://issues.apache.org/jira/browse/FLINK-24923


best，
tanjialiang


| |
谭家良
|
|
tanjl_w...@126.com
|
在2022年8月22日 10:34，杨扬 写道：
您好。
报错没有影响Flink任务正常运行，而且所有作业均在每天固定时间4点30分左右报错，比较符合您所说的情况。
但是还想请教下外部非预期的API请求，必须是访问了Flink服务的相关端口才有可能出现这个问题吧？




在 2022年8月19日，下午4:37，Weihua Hu  写道：

Hi,

看这个报错没有影响 Flink 任务的运行，不太像是 Flink 内部的通信。可以检查下是否有外部非预期的 API 请求（可能是安全的定期扫描？）

Best,
Weihua


On Fri, Aug 19, 2022 at 3:31 PM 杨扬 mailto:yangya...@cupdata.com>> wrote:
各位大佬好！
最近将升级flink至1.14.2版本后出现附件图片中告警，每天固定时间告警几次。
经过初步排查属于akka.framesize设置问题，默认值太小需要调大，但是感觉需要调大的过多了，想请教下直接调教至200M以上是否合理？
PS:使用 flink on yarn 模式，application模式启动。


--
杨扬
银联数据服务有限公司 研究院
电话：021-60269751
邮箱：yangya...@cupdata.com 




===
此邮件已由 Deep Discovery Email Inspector 进行了分析。

Re: akka.framesize配置问题

[杨扬]

您好。
报错没有影响Flink任务正常运行，而且所有作业均在每天固定时间4点30分左右报错，比较符合您所说的情况。
但是还想请教下外部非预期的API请求，必须是访问了Flink服务的相关端口才有可能出现这个问题吧？




> 在 2022年8月19日，下午4:37，Weihua Hu  写道：
> 
> Hi,
> 
> 看这个报错没有影响 Flink 任务的运行，不太像是 Flink 内部的通信。可以检查下是否有外部非预期的 API 请求（可能是安全的定期扫描？）
> 
> Best,
> Weihua
> 
> 
> On Fri, Aug 19, 2022 at 3:31 PM 杨扬  > wrote:
> 各位大佬好！
>   最近将升级flink至1.14.2版本后出现附件图片中告警，每天固定时间告警几次。
>   经过初步排查属于akka.framesize设置问题，默认值太小需要调大，但是感觉需要调大的过多了，想请教下直接调教至200M以上是否合理？
>   PS:使用 flink on yarn 模式，application模式启动。
>   
> 
> --
> 杨扬
> 银联数据服务有限公司 研究院
> 电话：021-60269751
> 邮箱：yangya...@cupdata.com 
> 
> 
> 
> 
> === 
> 此邮件已由 Deep Discovery Email Inspector 进行了分析。

Re: Overwriting watermarks in DataStream

[David Anderson]

If you have two watermark strategies in your job, the
downstream TimestampsAndWatermarksOperator will absorb incoming watermarks
and not forward them downstream, but it will have no effect upstream.

The only exception to this is that watermarks equal to Long.MAX_VALUE are
forwarded downstream, since they are used to signal the end of input.

David

[1]
https://github.com/apache/flink/blob/release-1.15/flink-streaming-java/src/main/java/org/apache/flink/streaming/runtime/operators/TimestampsAndWatermarksOperator.java#L120

On Thu, Aug 18, 2022 at 8:45 AM Peter Schrott  wrote:

> Hi there,
>
> While still struggling with events and watermarks out of order after
> sorting with a buffer process function (compare [1]) I tired to solve the
> issue by assigning a new watermark after the mentioned sorting function.
>
> The Flink docs [2] are not very certain about the impact of assigning
> additional watermarks downstream: "If the original stream had timestamps
> and/or watermarks already, the timestamp assigner overwrites them.”
>
> Does it overwrite the watermark from the point in the stream where its
> assigned or entirely also upstream?
>
> Thanks in advance
> Peter
>
> [1] https://lists.apache.org/thread/wwvpg2qk5v3lb5pxhn4hhkt0xkygg9f3
> [2]
> https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/dev/datastream/event-time/generating_watermarks/#using-watermark-strategies
>
>

unsubscribe

[Venkatesh kalyan]

want to unsubscribe .

Error when run test case in Windows

[hjw]

When I run mvn clean install ,It will run Flink test case .
However , I get Error??
[ERROR] Failures:
[ERROR] 
KubernetesClusterDescriptorTest.testDeployApplicationClusterWithNonLocalSchema:155
 Previous method call should have failed but it returned: 
org.apache.flink.kubernetes.KubernetesClusterDescriptor$$Lambda$839/1619964974@70e5737f
[ERROR] 
AbstractKubernetesParametersTest.testGetLocalHadoopConfigurationDirectoryFromHadoop1HomeEnv:132-runTestWithEmptyEnv:149-lambda$testGetLocalHadoopConfigurationDirectoryFromHadoop1HomeEnv$3:141
Expected: is "C:\Users\10104\AppData\Local\Temp\junit5662202040601670287/conf"
  but: was 
"C:\Users\10104\AppData\Local\Temp\junit5662202040601670287\conf"
[ERROR] 
AbstractKubernetesParametersTest.testGetLocalHadoopConfigurationDirectoryFromHadoop2HomeEnv:117-runTestWithEmptyEnv:149-lambda$testGetLocalHadoopConfigurationDirectoryFromHadoop2HomeEnv$2:126
Expected: is 
"C:\Users\10104\AppData\Local\Temp\junit7094401822178578683/etc/hadoop"
  but: was 
"C:\Users\10104\AppData\Local\Temp\junit7094401822178578683\etc\hadoop"
[ERROR] 
KubernetesUtilsTest.testLoadPodFromTemplateWithNonExistPathShouldFail:110
Expected: Expected error message is "Pod template file /path/of/non-exist.yaml 
does not exist."
  but: The throwable