当然不会。
杨浩 于2021年11月25日周四 下午6:09写道:
> keyed state重新指定并行度后,比如2->4或者4->2,请问下是不是会丢失部分老的状态?
可以配置开启SSL认证的,只不过开启之后登陆会很复杂,所以为了方便登陆,推荐用nginx做一层代理,这样可以将认证方式替换为http basic
authentication等。然后nginx和flink之间仍然采用SSL双向认证即可。
如果不介意浏览器本身登陆复杂,可以直接开启SSL双向认证,但是需要浏览器安装本地client证书。
Mabin 于2021年11月26日周五 上午10:25写道:
> flink web UI无认证登陆问题是怎样解决的呢?
>
> 官网上写的是:Simple mutual authentication may be enabled by
我认为这个应该是bug。
yidan zhao 于2021年11月26日周五 上午11:18写道:
> 如题,注意,非检查点本身失败,而是检查点完成后导致任务失败。
>
> 目前跟进报错是PartitionTimeCommitTrigger.committablePartitions部分如下代码报的异常:
>
> if (!watermarks.containsKey(checkpointId)) {
> throw new IllegalArgumentException(
> String.format(
>
同样的代码逻辑,是用flink 1.10.1版本,在flink
ui界面可以看到local聚合和global聚合。但是更新为1.12.1版本,则看不到,想了解一下,如何确认开启minibatch功能成功呢?
你好:
我在over窗口中使用了RANGE BETWEEN INTERVAL '1000'
SECOND(4),运行时报错,错误如邮件标题,但是官网中这个精度要超过4,有人知道为什么吗?
您好,远程调用这样操作是不行的呢,这样只适合本地调用的。感谢。
| |
王健
|
|
13166339...@163.com
|
签名由网易邮箱大师定制
在2021年11月26日 11:18,liuyehan 写道:
您好:
可以尝试下在/etc/profile文件里配置
export HADOOP_CLASS PATH=`hadoop classpath`
我是这样解决的。
| |
lyh1067341434
|
|
邮箱:lyh1067341...@163.com
|
发自 网易邮箱大师
回复的原邮件
| 发件人 |
如题,注意,非检查点本身失败,而是检查点完成后导致任务失败。
目前跟进报错是PartitionTimeCommitTrigger.committablePartitions部分如下代码报的异常:
if (!watermarks.containsKey(checkpointId)) {
throw new IllegalArgumentException(
String.format(
"Checkpoint(%d) has not been snapshot. The
watermark information
您好:
可以尝试下在/etc/profile文件里配置
export HADOOP_CLASS PATH=`hadoop classpath`
我是这样解决的。
| |
lyh1067341434
|
|
邮箱:lyh1067341...@163.com
|
发自 网易邮箱大师
回复的原邮件
| 发件人 | 王健<13166339...@163.com> |
| 日期 | 2021年11月26日 10:59 |
| 收件人 | user-zh |
| 抄送至 | |
| 主题 | flink远程调用时环境变量问题 |
大佬们:
您好,ssh远程调用,/etc/profile配置是不起作用的呢
| |
王健
|
|
13166339...@163.com
|
签名由网易邮箱大师定制
在2021年11月26日 11:12,Mabin 写道:
在/etc/profile里面配的
发自我的iPhone
在 2021年11月26日,上午11:07,王健 <13166339...@163.com> 写道:
大佬们:
在/etc/profile里面配的
发自我的iPhone
> 在 2021年11月26日,上午11:07,王健 <13166339...@163.com> 写道:
>
>
>
> 大佬们:
>
> 远程调用flink启动任务,如何解决hadoop的环境变量问题呢,像java,hbase其他的环境变量都可以通过在flink-conf.yaml配置文件里配置,但是hadoop配置env.hadoop.conf.dir不起作用。
>可能是需要增加export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop
>
大佬们:
远程调用flink启动任务,如何解决hadoop的环境变量问题呢,像java,hbase其他的环境变量都可以通过在flink-conf.yaml配置文件里配置,但是hadoop配置env.hadoop.conf.dir不起作用。
可能是需要增加export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop
classpath`,但是这个是不能在flink-conf.yaml配置吧
急求解决,万分感谢。
| |
王健
|
|
13166339...@163.com
|
签名由网易邮箱大师定制
大佬们:
远程调用flink启动任务,如何解决hadoop的环境变量问题呢,像java,hbase其他的环境变量都可以通过在flink-conf.yaml配置文件里配置,但是hadoop配置env.hadoop.conf.dir不起作用。
可能是需要增加export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop
classpath`,但是这个是不能在flink-conf.yaml配置吧
急求解决,万分感谢
| |
王健
|
|
13166339...@163.com
|
签名由网易邮箱大师定制
大佬们:
远程调用flink启动任务,如何解决hadoop的环境变量问题呢,像java,hbase其他的环境变量都可以通过在flink-conf.yaml配置文件里配置,但是hadoop配置env.hadoop.conf.dir不起作用。
可能是需要增加export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop
classpath`,但是这个是不能在flink-conf.yaml配置吧
急求解决,万分感谢
| |
王健
|
|
13166339...@163.com
|
签名由网易邮箱大师定制
flink web UI无认证登陆问题是怎样解决的呢?
官网上写的是:Simple mutual authentication may be enabled by configuration if
authentication of connections to the REST endpoint is required, but we
recommend to deploy a “side car proxy”: Bind the REST endpoint to the loopback
interface (or the pod-local interface in
keyed state重新指定并行度后,比如2->4或者4->2,请问下是不是会丢失部分老的状态?
我根据webui的task2节点(coordinator)的watermark来看,部分情况会出现task2被反压。
我目前理解是,ckpt完成后,才开始compcat。如果task2出现反压,意味着ckpt2发生时,ckpt1对应的compact可能还未完成。
不清楚理解是否正确呢?
yidan zhao 于2021年11月25日周四 下午3:34写道:
> Task3就是compact,具体jstack可能有点复杂,本身每个算子在每个机器上都有,jstack也不好分辨具体那个线程。
>
>
Hello,all
请教下各位大佬,能不能提供一些思路,能够采用简单的方式去构建一些,数据倾斜,source、sink join 反压的现象。
| |
稚远
|
|
drewfrank...@163.com
行远自逊,笃行不怠
|
签名由网易邮箱大师定制
17 matches
Mail list logo