Hi，
这个功能我们之前做过，可以看下这里。
https://issues.apache.org/jira/browse/FLINK-20713
zilong xiao 于2020年12月3日周四 下午7:50写道：
> 想问下社区的大佬，标准输出文件taskmanager.out可以配置成滚动的吗？
>
Hi nick,
Sorry I initially think that the data is also write into Kafka with flink .
So it could be ensured that there is no delay in the write side, right ? Does
the delay in the read side keeps existing ?
Best,
Yun
--Original Mail --
Sender:nick toker
大佬好,我在使用create table if not
exists创建hive表时,对于已存在的hive表,在hive的日志中会抛出AlreadyExistsException(message:Table
bm_tsk_001 already exists异常,查看源码发现if not
exists貌似只是用于判断捕获异常后是否抛出,对于这个问题有建议的解决方案嘛?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
大佬好,我在使用create table if not
exists创建hive表时,对于已存在的hive表,在hive的日志中会抛出AlreadyExistsException(message:Table
bm_tsk_001 already exists异常,查看源码发现if not
exists貌似只是用于判断捕获异常后是否抛出,对于这个问题有建议的解决方案嘛?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Thanks,flink-confhistory
server,??hdfs??,??web ui??,
----
??:
Hi!
在使用flink广播流实现配置定时更新的过程中，出现下游算子并行度大于1时，下游算子获取更新到的广播流卡住的情况，即广播流算子持续发送数据，但下游算子只接收到前一小部分数据，然后就没有接收到新数据的情况，但无报错日志。
但该问题在本地IDEA运行时无法复现，提交到集群上以yarn-cluster模式运行时则会出现。
大家有没有遇到过类似的情况？是什么原因导致这样的问题，有什么解决方案吗？
Hi:
我在Idea里面运行我的flink程序，报了如下异常：
Exception in thread "Thread-22" java.lang.IllegalStateException: Trying to
access closed classloader. Please check if you store classloaders directly
or indirectly in static fields. If the stacktrace suggests that the leak
occurs in a third party library and cannot
通过sql进行左连接查询，sql语句为：
sql = ''' Insert into print_sink select a.id, a.pf_id, b.symbol_id from a \
left join b on b.day_id = a.biz_date where a.ccy_type = 'AC' and \
a.pf_id = '1030100122' and b.symbol_id = '2030004042' and a.biz_date
between '20160701' and '20170307' '''
silence的回答是对的
如果用-t参数，搭配的都是-D来引导的，不需要prefix，文档里面也是[1]
这个和之前-m yarn-cluster是不一样的，以前的方式需要-yD来引导
[1].
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#application-mode
Best,
Yang
silence 于2020年12月21日周一 上午10:53写道：
> 应该是-D不是-yD
>
>
>
> --
> Sent from:
我之前在另一个邮件里面回复过，我再拷贝过来。
目前我已经建了一个JIRA来跟进too old resource version的问题[1]
在Flink里面采用了Watcher来监控Pod的状态变化，当Watcher被异常close的时候就会触发fatal
error进而导致JobManager的重启
我这边做过一些具体的测试，在minikube、自建的K8s集群、阿里云ACK集群，稳定运行一周以上都是正常的。这个问题复现是通过重启
K8s的APIServer来做到的。所以我怀疑你那边Pod和APIServer之间的网络是不是不稳定，从而导致这个问题经常出现。
[1].
Hi Debasish Ghosh,
Thanks for the attention on native K8s integration of Flink.
1. For volumes and volumes mount, it is not supported now. And we are
trying to get it done via pod template. Refer here[1] for more information.
2. Currently, on different deployments, Flink has different cpu
history-server和native
k8s没有关系的，如果你想使用，就需要用一个deployment单独部署history-server在K8s集群内
native k8s覆盖的场景是Flink任务如何原生地提交到K8s集群内
Best,
yang
liujian <13597820...@qq.com> 于2020年12月21日周一 下午8:16写道：
> Thanks, 使用你下面的docker方式我测试确实可以,但是不知道Native K8s如何来操作,可以详细说一下
> 我现在是Dockerfile如下两种情况都试过
>
>
> COPY
对，是的，自动ship hadoop配置是从1.11开始支持的
在1.10的版本你需要把配置打到镜像里面
Best,
Yang
Akisaya 于2020年12月21日周一 下午5:02写道：
> 1.10 版本好像还没有支持，看了下 1.10 代码里创建 cm 的时候没有去读取 hadoop 配置
>
> Yang Wang 于2020年12月19日周六 上午12:18写道：
>
> > 你可以在Flink client端设置HADOOP_CONF_DIR环境变量即可，这样会自动ship
> > hadoop的配置并且挂载给JobManager和TaskManager的
>
是的，如果CA不能直接释放Pod的话，那是会导致它没有办法被驱逐
Flink TaskManager Pod的生命周期都是交给JobManager管理的，并且不会重启，挂了之后就会申请新的
和CA结合起来，是会有你所说的限制。不过如果能够带上annotation标识pod可以被驱逐的话，不清楚CA是否可以work
Best,
Yang
lichunguang 于2020年12月21日周一 下午4:16写道：
> Yang Wang你好：
> 我想表达的意思是:
> Native Flink on K8s采用单Pod的申请资源的方式，和K8s自动伸缩机制有些冲突。
>
>
具体是怎么写hive的呢？
On Mon, Dec 21, 2020 at 11:28 PM 赵一旦 wrote:
> 即使不是flink写入，其他方式写入也需要这样做的哈。
>
> r pp 于2020年12月21日周一 下午9:28写道：
>
> > 程序中，创建表后，执行命令。
> >
> > kingdomad 于2020年12月21日周一 下午4:55写道：
> >
> > >
> >
> flink1.11.2写hive3.12的分区表，flink新创建的分区数据hive无法识别，在hdfs上能看到写入了文件，但是hive读取不了分区。
> > > 需要执行msck
Hi
可以考虑使用yarn的node label特性，将flink的任务提交到特定的node上
Original Message
Sender: r pp
Recipient: user-zh
Date: Monday, Dec 21, 2020 21:25
Subject: Re: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点
嗯，指定几台机子 用于使用flink 运行，为什么 不在yarn 为flink 专门制定 一个队列呢？需要 网络隔离 。。。内网速度多大？
于2020年12月21日周一 下午5:48写道： > 通过yarn
Hi Yuval Itzchakov ~
The thread you paste has a different stake trace with your case.
In the pasted thread, the JaninoRelMetadataProvider was missed because we
only set it once in a thread local variable, when the RelMetadataQuery was
used in a different working thread, the
Hello,
Does numRecordsOutPerSecond metric takes into account number of records send to
side output or it provides rate only for main output?
Thanks,
Alexey
I don't know how to reproduce it but what I've observed are three kinds of
termination when connectivity with zookeeper is somehow disrupted. I don't
think its an issue with zookeeper as it supports a much bigger kafka cluster
since a few years.
1. The first kind is exactly this -
Hi,
While trying to execute a query via TableEnvironment.sqlQuery in Flink
1.12, I receive the following exception:
java.lang.NullPointerException
:114, RelMetadataQuery (org.apache.calcite.rel.metadata)
:76, RelMetadataQuery (org.apache.calcite.rel.metadata)
get:39,
hi
i am confused
the delay in in the source when reading message not on the sink
nick
בתאריך יום ב׳, 21 בדצמ׳ 2020 ב-18:12 מאת Yun Gao <yungao...@aliyun.com
>:
> Hi Nick,
>
> Are you using EXACTLY_ONCE semantics ? If so the sink would use
> transactions, and only commit the
Doh! Yeah, we set the state backend in code and I read the flink-conf.yaml
file and use the high-availability storage dir.
From: Yun Gao
Sent: Monday, December 21, 2020 11:28 AM
To: Colletta, Edward ; user@flink.apache.org
Subject: Re: RE: checkpointing seems to be throttled.
This email is
Hi Edward,
Are you setting the FSStateBackend via code or flink-conf.yaml ? If via code
it requires a path parameter and the path would be the state.checkpoint.dir. If
via flink-conf.yaml, I tried on 1.12 by setting state.backend: filesystem in
config file and enable checkpoint, it indeed
目前来说，按照我讲的方式去实现应该不难。我怕的是flink在恢复keyedState的时候，无法适应我的这种partition机制。
现有的机制，restore的时候实际是 keyGroup 到window并行实例之间的一个重分配。
换成我的partition机制后，能否还正常restore呢？
赵一旦 于2020年12月22日周二 上午12:03写道：
> 如题，目前对于OperatorState来说，API层面有2个接口，即CheckpointedFunction和ListCheckpointed
> 。即UDF中有入口对restore做自定义。
>
>
Hi Nick,
Are you using EXACTLY_ONCE semantics ? If so the sink would use
transactions, and only commit the transaction on checkpoint complete to ensure
end-to-end exactly-once. A detailed description could be find in [1]
Best,
Yun
[1]
Thanks for the quick response.
We are using FsStateBackend, and I did see checkpoint files and directories in
the EFS mounted directory.
We do monitor backpressure through rest api periodically and we do not see any.
From: Yun Gao
Sent: Monday, December 21, 2020 10:40 AM
To: Colletta, Edward
Hello,
We noticed the following behavior:
If we enable the flink checkpoints, we saw that there is a delay between
the time we write a message to the KAFKA topic and the time the flink kafka
connector consumes this message.
The delay is closely related to checkpointInterval and/or
oHi All
Unable to submit job from REST API (Flink-Monitoring API),
*Steps followed:*
1) Load the jar using load api.
2) can see the jar in the /tmp/flink-web folder.
3) Try to run the jar using the following.
*Request*
Hi Puneet,
From the doc it seems submitting a job via rest api should send a post
request to /jars/:jarid/run [1]. The response "Not Found" should means the REST
API server does not know the request type.
Best,
Yun
[1]
Hi Edward,
For the second issue, have you also set the statebackend type? I'm asking
so because except for the default heap statebackend, other statebackends should
throws exception if the state.checkpoint.dir is not set. Since heap
statebackend stores all the snapshots in the JM's memory,
即使不是flink写入，其他方式写入也需要这样做的哈。
r pp 于2020年12月21日周一 下午9:28写道：
> 程序中，创建表后，执行命令。
>
> kingdomad 于2020年12月21日周一 下午4:55写道：
>
> >
> flink1.11.2写hive3.12的分区表，flink新创建的分区数据hive无法识别，在hdfs上能看到写入了文件，但是hive读取不了分区。
> > 需要执行msck repair table修复分区表后，hive才能读取到数据。
> > 求助大佬，要如何解决。
> >
> >
> >
> >
> >
> >
> >
> >
> >
大概懂了，但还不够清晰。
因为tumble window中，如果是5s窗口，则是按照0-5，5-10，10-15这样的。不是基于第一条数据的。
如果你要按照第一条数据到达开始开窗，那就不要使用flink的window机制。
直接基于process function提供的底层功能，自己通过timeservice实现。
再或者如果需要使用window，则使用global
window，自己定义window的trigger触发机制即可（比如进来第一条数据，就设置定时器，定时器到了则触发窗口计算然后清理窗口状态）。
guoliubi...@foxmail.com 于2020年12月21日周一
Thanks for your reply!
What I have seen is that the job terminates when there's intermittent loss
of connectivity with zookeeper. This is in-fact the most common reason why
our jobs are terminating at this point. Worse, it's unable to restore from
checkpoint during some (not all) of these
Thanks for your reply!
What I have seen is that the job terminates when there's intermittent loss
of connectivity with zookeeper. This is in-fact the most common reason why
our jobs are terminating at this point. Worse, it's unable to restore from
checkpoint during some (not all) of these
窗口不会重复？重叠？是否重叠取决于你使用什么窗口。tumble窗口是不重叠的。
三色堇 <25977...@qq.com> 于2020年12月21日周一 上午8:47写道：
> 大佬，按天开窗滑动窗口会重复吗？滚动好像不行。
>
>
>
>
> --原始邮件--
> 发件人:
> "user-zh"
>
What are exactly the problems when the checkpoint recovery does not work?
Even if the ZooKeeper connection is temporarily disconnected which leads to
the JobMaster losing leadership and the job being suspended, the next
leader should continue where the first job left stopped because of the lost
编译问题，大多包没下好，多来几次
mvn clean install -DskipTests -Drat.skip=true
亲测有效
shaoshuai <762290...@qq.com> 于2020年12月21日周一 下午4:53写道：
> [ERROR] Failed to execute goal
> org.apache.maven.plugins:maven-compiler-plugin:3.8.0:testCompile
> (default-testCompile) on project flink-parquet_2.11: Compilation
程序中，创建表后，执行命令。
kingdomad 于2020年12月21日周一 下午4:55写道：
> flink1.11.2写hive3.12的分区表，flink新创建的分区数据hive无法识别，在hdfs上能看到写入了文件，但是hive读取不了分区。
> 需要执行msck repair table修复分区表后，hive才能读取到数据。
> 求助大佬，要如何解决。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> --
>
> kingdomad
>
>
嗯，指定几台机子 用于使用flink 运行，为什么 不在yarn 为flink 专门制定 一个队列呢？需要 网络隔离 。。。内网速度多大？
于2020年12月21日周一 下午5:48写道：
> 通过yarn label可以实现
>
> -邮件原件-
> 发件人: user-zh-return-10095-afweijian=163@flink.apache.org
> 代表 yujianbo
> 发送时间: 2020年12月21日 16:44
> 收件人: user-zh@flink.apache.org
> 主题: Flink on yarn
sql 的本质其实是 让用户不用关心 是流处理 还是 批处理，比如 ，计算 当天某个视频的点击总数。是一个累加结果，可以实时查询出变化。
但flink 不是一个存储系统，就会存在一个问题，使用sql 状态值 怎么办？
官博 都有说明，也说了哪些算子背后 适用于 Streaming or Batch or both。以及存在的使用注意事项
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/
jiangjiguang719 于2020年12月21日周一 下午7:44写道：
>
学习了，感谢回复！
> 在 2020年12月21日，20:39，hailongwang <18868816...@163.com> 写道：
>
>
>
>
> 不是的。在提交运行之后，如果那两个 insert 是从同一张表 select 出来的话，是会分流发送到 table1 和 table2，并没有先后顺序。
>> 在 2020-12-21 10:45:25，"占英华" 写道：
>> 这样是不是第一条select和第二条的select出来的结果会有差异，因为执行第一条有耗时，第二条执行时查询的结果是在耗时后查询得到的
>>
在
不是的。在提交运行之后，如果那两个 insert 是从同一张表 select 出来的话，是会分流发送到 table1 和 table2，并没有先后顺序。
在 2020-12-21 10:45:25，"占英华" 写道：
>这样是不是第一条select和第二条的select出来的结果会有差异，因为执行第一条有耗时，第二条执行时查询的结果是在耗时后查询得到的
>
>> 在 2020年12月21日，11:14，hailongwang <18868816...@163.com> 写道：
>>
>>
>>
>> 可以的，比如将结果写入table1，table2 ……
>> Insert
Thanks, docker??,??Native
K8s??,??
Dockerfile??
COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
/opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
ENTRYPOINT ["/docker-entrypoint.sh"]
EXPOSE 6123 8081
flink1.12版本中，streamAPI 通过 -Dexecution.runtime-mode 指定是批还是流 的执行模式，那么在SQL中如何指定呢
Hi,
正如报错中提示的，with参数里需要的是"url"参数，你可以尝试将connector.url改成url试试看会不会报错了。
> 在 2020年12月21日，13:44，肖越 <18242988...@163.com> 写道：
>
> 在脚本中定义了两个源数据 ddl，但是第二就总会报缺option的问题，pyflink小白，求大神解答？
> #DDL定义
> source_ddl2 = """CREATE TABLE ts_pf_sec_yldrate (id DECIMAL,pf_id VARCHAR,\
>
>symbol_id
Hi，可以看下KafkaTopicPartitionAssigner类的assign方式
是根据Topic名称哈希之后对并行度取余，加上分区值再次对并行度取余
最终的结果分配是存在不均匀
--
发件人：bradyMk
发送时间：2020年12月21日(星期一) 17:40
收件人：user-zh
主 题：请教一个flink消费多kafka topic如何进行数据分配的问题
Hi~想请教一下大家：
现在我用flink消费5个不同的kafka
Hi,
I'm running a long-running flink job in cluster mode and I'm interested in
using the queryable state functionality.
I have the following problem: when I query the flink task managers (i.e.
the queryable state proxy), it is possible to hit a task manager which
doesn't have the requested state,
Using session cluster with three taskmanagers, cluster.evenly-spread-out-slots
is set to true. 13 jobs running. Average parallelism of each job is 4.
Flink version 1.11.2, Java 11.
Running on AWS EC2 instances with EFS for high-availability.storageDir.
We are seeing very high checkpoint times
通过yarn label可以实现
-邮件原件-
发件人: user-zh-return-10095-afweijian=163@flink.apache.org
代表 yujianbo
发送时间: 2020年12月21日 16:44
收件人: user-zh@flink.apache.org
主题: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点
各位大佬好：
请问Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点？
--
Sent from:
Hi~想请教一下大家：
现在我用flink消费5个不同的kafka topic，每个topic都有12个分区，所以我设置了60个并行度；
env.setParallelism(60)
我认为程序设置的并行度是和topic的总分区一一对应的；
但是，程序运行后，我发现只有14个task有从topic消费到数据，其余消费数据量都为0，且有几个是每秒几千条，有几个是每秒几百条。所以现在很疑惑，flink消费多kafka
topic到底是如何进行数据分配的呢？
-
Best Wishes
--
Sent from:
1.10 版本好像还没有支持，看了下 1.10 代码里创建 cm 的时候没有去读取 hadoop 配置
Yang Wang 于2020年12月19日周六 上午12:18写道：
> 你可以在Flink client端设置HADOOP_CONF_DIR环境变量即可，这样会自动ship
> hadoop的配置并且挂载给JobManager和TaskManager的
>
> Best,
> Yang
>
> liujian <13597820...@qq.com> 于2020年12月18日周五 下午5:26写道：
>
> > Hi:
> > 在使用Native Kubernetes
> >
Glad I could help!
On Mon, Dec 21, 2020 at 3:42 AM Ben Beasley wrote:
>
> That worked. Thankyou, Kostas.
>
>
>
> From: Kostas Kloudas
> Date: Sunday, December 20, 2020 at 7:21 AM
> To: Ben Beasley
> Cc: user@flink.apache.org
> Subject: Re: No execution.target specified in your configuration
flink1.11.2写hive3.12的分区表，flink新创建的分区数据hive无法识别，在hdfs上能看到写入了文件，但是hive读取不了分区。
需要执行msck repair table修复分区表后，hive才能读取到数据。
求助大佬，要如何解决。
--
kingdomad
[ERROR] Failed to execute goal
org.apache.maven.plugins:maven-compiler-plugin:3.8.0:testCompile
(default-testCompile) on project flink-parquet_2.11: Compilation failure:
Compilation failure:
[ERROR]
https://issues.apache.org/jira/browse/FLINK-20696
有一定概率发生，提交很多Job，Job结束后，会有个别Blob目录没有清理。我还没Debug出原因。
这个没办法做到吧。想做资源隔离的话，应该只需要分队列就行
在 2020-12-21 16:43:35，"yujianbo" <15205029...@163.com> 写道：
>各位大佬好：
> 请问Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点？
>
>
>
>--
>Sent from: http://apache-flink.147419.n8.nabble.com/
这个问题应该问yarn吧。。。
发件人： yujianbo
发送时间： 2020-12-21 16:43
收件人： user-zh
主题： Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点
各位大佬好：
请问Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
各位大佬好：
请问Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Yang Wang你好：
我想表达的意思是:
Native Flink on K8s采用单Pod的申请资源的方式，和K8s自动伸缩机制有些冲突。
原因：
比如job比较多时，各node负载都比较高；而剩余job比较少时，每个node只有少量pod，但因为【Pods that are not backed
by a controller object】，没法驱逐资源利用率最低的node，导致整体利用率较低。
What types of pods can prevent CA from removing a node?
First off I want to thank the folks in this email list for their help thus far.
I’m facing another strange issue where if I add a window to my stream, the sink
no longer executes. However the sink executes without the windowing. I
described my problem on
60 matches
Mail list logo
