flink 1.12 及以上版本 sql kafka sink 支持参数: sink.parallelism 指定 sink
的并行度
On 2022/1/11 17:06, 许友昌 wrote:
hi,
设置了parallelism=10 ,实际上是分配了 10 个 slot,flink 是会共享 slot 的,所以 sink 会有 10 线程。
在2022年1月11日 16:53,RS 写道:
Hi,
请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
如果source
目前只要部分 sink 算子支持参数: sink.parallelism ,参考
https://cwiki.apache.org/confluence/display/FLINK/FLIP-146%3A+Improve+new+TableSource+and+TableSink+interfaces
On 2022/1/16 14:00, casel.chen wrote:
flink是否支持算子级别资源使用设置?
如果是flink sql 能否根据生成的Graph配置细粒度资源配置?
1ms ,但是在数量不是特别大的场景下,小长度的窗口没有意义,flink
默认的网络缓冲区超时时间是 100ms
应该不怎么影响性能,就跟你在流中直接跟一个
process方法差不多(定时器一直在刷)
On 2021/11/5 12:32, 李航飞 wrote:
滚动窗口最小可开多大,100ms?
对性能有什么影响吗?
各位大佬,在执行flink 流任务的时候,经常会出现,某几台服务器的 CPU比较高(共
用集群,还有很多其他组件),导致在这些机器上的算子的延迟远远高于其他机器上的
算子,
请 flink 是否有动态分区策略或者 Taskmanager 迁移策略,可以完成类似于 spark
在算子执行很慢的情况下,master 会起一个一样的算子,如果后起的算子先完成任
务,任务也可见继续往下游执行。
感谢各位大佬
可以参考下这个:
https://www.cnblogs.com/bethunebtj/p/9168274.html#5-%E4%B8%BA%E6%89%A7%E8%A1%8C%E4%BF%9D%E9%A9%BE%E6%8A%A4%E8%88%AAfault-tolerant%E4%B8%8E%E4%BF%9D%E8%AF%81exactly-once%E8%AF%AD%E4%B9%89
-Original Message-
From: user-zh-return-6980-wxchunjhyy=163@flink.apache.org
On Behalf
默认应该是 Kafka 的自动提交,开了Checkpoint 就 Checkpoint 提交
-Original Message-
From: user-zh-return-6960-wxchunjhyy=163@flink.apache.org
On Behalf Of Dream-底限
Sent: Wednesday, August 26, 2020 10:42 AM
To: user-zh@flink.apache.org
Subject: flink1.11 kafka sql connector
hi
我正在使用DDL语句创建kafka数据源,但是查
如果自己实现 KeySelector ,可以感知 下游节点的反压,动态调整 KeySelector 策
略 就可以
-Original Message-
From: user-zh-return-6979-wxchunjhyy=163@flink.apache.org
On Behalf Of
Sun_yijia
Sent: Wednesday, August 26, 2020 2:17 PM
To: user-zh
Subject: Flink运行时可以转移数据吗?
在做反压相关的代码,想请教各位大佬。
有一个分支节点,分支后面有两个节点A和B。假设A节
可以参考下这个:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/connectors/
kafka.html#kafka-consumers-offset-committing-behaviour-configuration
-Original Message-
From: user-zh-return-6007-wxchunjhyy=163@flink.apache.org
On Behalf Of 小学
生
Sent: 2020年7月30日 10:57
To: user-zh
Kafka Consumer source,一个Process算子和一个Sink算子
那么在这条消息到达Process算子,还未到达Sink算子时,提交offset是100吗?
On Wed, 29 Jul 2020 at 14:51, venn wrote:
> checkpoint成功时就会把它的offset提交,可以看下这个类: FlinkKafkaConsumerBase 的 这个方法:
> notifyCheckpointComplete
>
> -Original Message-
> From: user-zh-return-
checkpoint成功时就会把它的offset提交,可以看下这个类: FlinkKafkaConsumerBase 的 这个方法:
notifyCheckpointComplete
-Original Message-
From: user-zh-return-5976-wxchunjhyy=163@flink.apache.org
On Behalf Of shuwen
zhou
Sent: 2020年7月29日 14:24
To: user-zh@flink.apache.org
Subject: Flink使用Kafka作为source时chec
calcite parse
SQL的时候用到,直接把这些函数识别为具体的某个函数定义。
2.
然后再代码生成阶段,会识别到这些函数,根据不同的函数定义,生成不同的函数实现调用。这部分你可以直接看下`org.apache.flink.table.planner.codegen.calls`这个package下的代码。
3. 上面第2条说的主要是scalar function的生成方式,agg
function还要特殊一点,这部分可以参考下`org.apache.flink.table.planner.functions.aggfunctions`这个package下的代码。
venn 于2020
Subtask 显示的metrics 是整个 算子链的输入、输出的,算子全部 chain
在一起后,对应的输入、输出就是外部系统了,所有看不到。可以去metrics 页面查看具体算子的metrics 指标
-邮件原件-
发件人: user-zh-return-3563-wxchunjhyy=163@flink.apache.org
代表 了不起的盖茨比
发送时间: 2020年5月16日 11:08
收件人: user-zh
主题: 回复:flink1.10 ddl metric 不显示
为什么chain一起就无法看到了???求大佬解释一下。
--
各位大佬,请问下,flink 内置的 udf 的源码在什么位置,还有在哪里完成的函数注
册? 非常感谢各位大佬回复
Thanks a lot !
:08:48,"venn" 写道:
>我们好像zookeeper 没有开安全认证,从Java 代码也没有添加 jaas.conf 文件,而
且
>看 日志里面有 关于 zookeeper 已经建立连接相关的日志。
>
>
>问题其实还没到这一步,我现在的问题是:“Flink on yarn 运行在不用认证的
hadoop
>集群上,是否可以访问带kerberos 认证的hadoop集群的 hbase”
>
>现在是这两种现象:
> 1、直接在不认证的hadoop集群提交 读认证hbase 的任务,可以从日
在 2019-11-27 14:00:15,"venn" 写道:
>我们kafka 可以正常认证、消费数据,认证hbase 和kafka 好像不一样,我们是不认
证
>读不到数据,认证了,任务又提交不到 yarn 上去了
>
>如下:
>>看过对应位置的代码,将 “Hadoop.security.authentication =
>kerberos”
>>参数添加到 Hadoop 的 配置文件中(注: 使用 simple 认证的 hadoop集
>>群使用 amberi 部署
, 2019 1:31 PM
收件人: user-zh@flink.apache.org
主题: Re:flink on yarn 的 kerberos 认证问题
kerberos用户的krb5.conf ,user.keytab文件是否在程序运行时加载到了,我之前遇到
的kerberos问题是flink读kafka获取不到数据,通过yarn-session模式运行,认证阶段是
在yarn-session发布完成的. 最后问题出在kafka通信协议,可以看下hbase端的配置,实
现不行 也可以解耦hbase跟flink中间加一个kafka
在 2019-11-26 14:50:3
各位大佬:
请教一个flink 认证的问题: Flink on yarn 运行在不用认证的 Hadoop
集群上,怎样访问带kerberos 认证集群的 hbase ?
下面是一些我们使用的描述和发现的问题:
我们有两个hadoop 集群,一个使用 Kerberos 认证模式,一个是 simple
认证模式,Flink 1.9.0 部署在 simple 认证的集群上。
最近在使用flink 读取 Kerberos 认证的集群的 hbase 上遇到了问题。配置
flink-conf.yaml 中的配置参数:security.ker
各位大佬:
请问:flink on yarn 模式(standalone 模式下也不行)下 读带
kerberos 认证的 hbase,返回认证成功了,但是还是不能查询,一直报 “Caused by:
GSSExecption: No valid credentials provided (Mechanism level: Failed to find
any Kerberos tgt)”
发现认证之后,当前用户(UserGroupInformation.getLoginUser )和登陆用户
(UserGroupInformation.getCurrentUse
恐怕不行,sideoutput 和 split 都需要先知道要分多少个流
如sideoutput 需要先定义tag:
val late = new OutputTag[LateDataEvent]("late")
-邮件原件-
发件人: user-zh-return-1164-wxchunjhyy=163@flink.apache.org
代表 王佩
发送时间: Tuesday, September 17, 2019 4:25 PM
收件人: user-zh
主题: Re: Split a stream into any number of
-lambdas-and-exceptions
你可以升级 JDK 的小版本吗?我在 8.0.212 上没遇到这个问题。
Best,
tison.
venn 于2019年9月11日周三 上午10:26写道:
> 各位大佬,请教一下编译Flink 1.9 的问题,编译 flink-table-api-java 的时候
> 只
> 要有 “.orElseThrow(() -> new ValidationException("Undefined function: "
> + lookupCall.getUnresolvedN
-plugin:3.8.0:compile
(default-compile) on project flink-table-api-java: Compilation failure
[ERROR]
/home/venn/git/flink/flink-table/flink-table-api-java/src/main/java/org/apac
he/flink/table/operations/utils/factories/CalculatedTableFactory.java:[90,53
] unreported exception X; must be caught or d
各位大佬, 今天看flink 指派Timestamp 和watermark 的源码,发现周期性创建
watermark 确实是周期性的,从打印到控制台的时间可以看到差不多是200毫秒执行一
次, 200毫秒是在哪里控制的,在debug 的调用栈找不到(源码位置)?
周期新创建watermark 方法如下:
.assignAscendingTimestamps(element =>
sdf.parse(element.createTime).getTime)
.assignTimestampsAndWatermarks(new
Bo
可以分离,客户端提交的时候,初始化是在客户端上完成的,JobGraph 提交到
JobManager 之后不需要配置文件了
-邮件原件-
发件人: user-zh-return-797-wxchunjhyy=163@flink.apache.org
代表
jinxiaolong_al...@163.com
发送时间: Saturday, August 10, 2019 12:33 AM
收件人: user-zh
主题: Flink命令提交任务时是否支持配置文件与任务jar包分离
各位社区大佬:
请问使用Flink命令提交任务时是否支持配置文件与
cala asyncFunction can extends
org.apache.flink.streaming.api.functions.async.RichAsyncFunction directly.
venn 于2019年7月8日周一 下午6:47写道:
> 大佬们好:
>
> 在开发Scala 的异步io 的时候遇到点问题,Scala
> 中没有RichAsyncFunction(Rich类有open方法,可以做初始化操作
> ),Scala 版本的 AsyncFunction 与Java 版本的AsyncFunction不是同一个类,所以不能使用Java 的
> RichA
大佬们好:
在开发Scala 的异步io 的时候遇到点问题,Scala 中没有
RichAsyncFunction(Rich类有open方法,可以做初始化操作 ),Scala 版本的
AsyncFunction 与Java 版本的AsyncFunction不是同一个类,所以不能使用Java 的
RichAsyncFunction,请问各位大佬,怎么实现Scala 的RichAsyncFunction ?
详情如下:
Scala中 使用 AsyncDataStream.orderedWait[IN, OUT:
TypeInformation
25 matches
Mail list logo