Re: keyed state重新指定并行度后,比如2->4或者4->2,请问下是不是会丢失部分老的状态?

2021-11-25 文章 yidan zhao
当然不会。 杨浩 于2021年11月25日周四 下午6:09写道: > keyed state重新指定并行度后,比如2->4或者4->2,请问下是不是会丢失部分老的状态?

Re: flink rest 端口是通过什么方法进行认证的

2021-11-25 文章 yidan zhao
可以配置开启SSL认证的,只不过开启之后登陆会很复杂,所以为了方便登陆,推荐用nginx做一层代理,这样可以将认证方式替换为http basic authentication等。然后nginx和flink之间仍然采用SSL双向认证即可。 如果不介意浏览器本身登陆复杂,可以直接开启SSL双向认证,但是需要浏览器安装本地client证书。 Mabin 于2021年11月26日周五 上午10:25写道: > flink web UI无认证登陆问题是怎样解决的呢? > > 官网上写的是:Simple mutual authentication may be enabled by

Re: FlinkSQL kafka2hive每次检查点导致任务失败

2021-11-25 文章 yidan zhao
我认为这个应该是bug。 yidan zhao 于2021年11月26日周五 上午11:18写道: > 如题,注意,非检查点本身失败,而是检查点完成后导致任务失败。 > > 目前跟进报错是PartitionTimeCommitTrigger.committablePartitions部分如下代码报的异常: > > if (!watermarks.containsKey(checkpointId)) { > throw new IllegalArgumentException( > String.format( >

【flink1.12.1版本如何确认minibatch功能已开启】

2021-11-25 文章 lian
同样的代码逻辑,是用flink 1.10.1版本,在flink ui界面可以看到local聚合和global聚合。但是更新为1.12.1版本,则看不到,想了解一下,如何确认开启minibatch功能成功呢?

flink DAY_INTERVAL_TYPES precision is not support:4

2021-11-25 文章 Hui Wang
你好: 我在over窗口中使用了RANGE BETWEEN INTERVAL '1000' SECOND(4),运行时报错,错误如邮件标题,但是官网中这个精度要超过4,有人知道为什么吗?

回复:flink远程调用时环境变量问题

2021-11-25 文章 王健
您好,远程调用这样操作是不行的呢,这样只适合本地调用的。感谢。 | | 王健 | | 13166339...@163.com | 签名由网易邮箱大师定制 在2021年11月26日 11:18,liuyehan 写道: 您好: 可以尝试下在/etc/profile文件里配置 export HADOOP_CLASS PATH=`hadoop classpath` 我是这样解决的。 | | lyh1067341434 | | 邮箱:lyh1067341...@163.com | 发自 网易邮箱大师 回复的原邮件 | 发件人 |

FlinkSQL kafka2hive每次检查点导致任务失败

2021-11-25 文章 yidan zhao
如题,注意,非检查点本身失败,而是检查点完成后导致任务失败。 目前跟进报错是PartitionTimeCommitTrigger.committablePartitions部分如下代码报的异常: if (!watermarks.containsKey(checkpointId)) { throw new IllegalArgumentException( String.format( "Checkpoint(%d) has not been snapshot. The watermark information

回复:flink远程调用时环境变量问题

2021-11-25 文章 liuyehan
您好: 可以尝试下在/etc/profile文件里配置 export HADOOP_CLASS PATH=`hadoop classpath` 我是这样解决的。 | | lyh1067341434 | | 邮箱:lyh1067341...@163.com | 发自 网易邮箱大师 回复的原邮件 | 发件人 | 王健<13166339...@163.com> | | 日期 | 2021年11月26日 10:59 | | 收件人 | user-zh | | 抄送至 | | | 主题 | flink远程调用时环境变量问题 | 大佬们:

回复: flink远程调用时环境变量问题

2021-11-25 文章 王健
您好,ssh远程调用,/etc/profile配置是不起作用的呢 | | 王健 | | 13166339...@163.com | 签名由网易邮箱大师定制 在2021年11月26日 11:12,Mabin 写道: 在/etc/profile里面配的 发自我的iPhone 在 2021年11月26日,上午11:07,王健 <13166339...@163.com> 写道:  大佬们:

Re: flink远程调用时环境变量问题

2021-11-25 文章 Mabin
在/etc/profile里面配的 发自我的iPhone > 在 2021年11月26日,上午11:07,王健 <13166339...@163.com> 写道: > >  > > 大佬们: > > 远程调用flink启动任务,如何解决hadoop的环境变量问题呢,像java,hbase其他的环境变量都可以通过在flink-conf.yaml配置文件里配置,但是hadoop配置env.hadoop.conf.dir不起作用。 >可能是需要增加export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop >

flink远程调用时环境变量问题

2021-11-25 文章 王健
大佬们: 远程调用flink启动任务,如何解决hadoop的环境变量问题呢,像java,hbase其他的环境变量都可以通过在flink-conf.yaml配置文件里配置,但是hadoop配置env.hadoop.conf.dir不起作用。 可能是需要增加export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath`,但是这个是不能在flink-conf.yaml配置吧 急求解决,万分感谢。 | | 王健 | | 13166339...@163.com | 签名由网易邮箱大师定制

flink远程调用时环境变量问题

2021-11-25 文章 王健
大佬们: 远程调用flink启动任务,如何解决hadoop的环境变量问题呢,像java,hbase其他的环境变量都可以通过在flink-conf.yaml配置文件里配置,但是hadoop配置env.hadoop.conf.dir不起作用。 可能是需要增加export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath`,但是这个是不能在flink-conf.yaml配置吧 急求解决,万分感谢 | | 王健 | | 13166339...@163.com | 签名由网易邮箱大师定制

flink远程调用时环境变量问题

2021-11-25 文章 王健
大佬们: 远程调用flink启动任务,如何解决hadoop的环境变量问题呢,像java,hbase其他的环境变量都可以通过在flink-conf.yaml配置文件里配置,但是hadoop配置env.hadoop.conf.dir不起作用。 可能是需要增加export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath`,但是这个是不能在flink-conf.yaml配置吧 急求解决,万分感谢 | | 王健 | | 13166339...@163.com | 签名由网易邮箱大师定制

flink rest 端口是通过什么方法进行认证的

2021-11-25 文章 Mabin
flink web UI无认证登陆问题是怎样解决的呢? 官网上写的是:Simple mutual authentication may be enabled by configuration if authentication of connections to the REST endpoint is required, but we recommend to deploy a “side car proxy”: Bind the REST endpoint to the loopback interface (or the pod-local interface in

keyed state重新指定并行度后,比如2->4或者4->2,请问下是不是会丢失部分老的状态?

2021-11-25 文章 杨浩
keyed state重新指定并行度后,比如2->4或者4->2,请问下是不是会丢失部分老的状态?

Re: 检查点的start-delay、alignment duration理解。

2021-11-25 文章 yidan zhao
我根据webui的task2节点(coordinator)的watermark来看,部分情况会出现task2被反压。 我目前理解是,ckpt完成后,才开始compcat。如果task2出现反压,意味着ckpt2发生时,ckpt1对应的compact可能还未完成。 不清楚理解是否正确呢? yidan zhao 于2021年11月25日周四 下午3:34写道: > Task3就是compact,具体jstack可能有点复杂,本身每个算子在每个机器上都有,jstack也不好分辨具体那个线程。 > >

怎么样构建模拟一些数据倾斜,各类算子反压的场景

2021-11-25 文章 drewfranklin
Hello,all 请教下各位大佬,能不能提供一些思路,能够采用简单的方式去构建一些,数据倾斜,source、sink join 反压的现象。 | | 稚远 | | drewfrank...@163.com 行远自逊,笃行不怠 | 签名由网易邮箱大师定制