回复: 回复: flink-SQL1.11版本对map类型中value的空指针异常

Benchao Li的那个方法是对的，avro的一个bug: private static AvroToRowDataConverter createMapConverter(LogicalType type) { final AvroToRowDataConverter keyConverter = createConverter(DataTypes.STRING().getLogicalType()); final AvroToRowDataConverter valueConverter =

????????pyflink wordcount??????????????????????

??: https://paste.ubuntu.com/p/KqpKwTw5zH/ $FLINK_HOME/bin/flink run -py /wordcount.py data.output()

回复: 回复: flink-SQL1.11版本对map类型中value的空指针异常

确定吗？我这边测试还是有问题，这应该是avro 的一个bug。 发件人: 奔跑的小飞袁 发送时间: 2020年10月14日 3:29 收件人: user-zh@flink.apache.org 主题: Re: 回复: flink-SQL1.11版本对map类型中value的空指针异常 我尝试使用MAP来定义我的类型，问题已经解决，谢谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Upgrade to Flink 1.11 in EMR 5.31 Command line interface

Hi Team, I have upgraded to Flink 1.11 (EMR 5.31) from Flink 1.10 (5.30.1). I am facing following Error while running *flink streaming *Job from command line. run command like:*/usr/lib/flink/bin/flink run* *What dependency I might be missing or conflicting ?*

Re: Stateful function and large state applications

Hi, The StateFun runtime is built directly on top of Apache Flink, so RocksDB as the state backend is supported as well as all the features for large state such as checkpointing and local task recovery. Cheers, Gordon On Wed, Oct 14, 2020 at 11:49 AM Lian Jiang wrote: > Hi, > > I am learning

Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上，数据无法输出

hello, stenv.fromDataStream(stream, $"") 请教下，如果stream中数据是org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.node.ObjectNode 类型，field应该如何设置呢? 比如： { a: 1, b: { c: "test" } } Best Wishes. shizk233 于2020年9月28日周一 下午7:15写道： > flink sql似乎不能设置rebalance，在Data Stream API可以设。 > >

Stateful function and large state applications

Hi, I am learning Stateful function and saw below: "In addition to the Apache Flink processes, a full deployment requires ZooKeeper (for master failover ) and bulk

Re: Re:HistoryServer完成任务丢失的问题

hi，我使用 1.10 测试过，发现 history server 查到 cancel job 的时间比较长（超过默认的 10s），但是最终还是会出现的。 如图：http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-10-14-033612.png [image: image.png] 刘建刚 于2020年9月28日周一 下午4:13写道： > 修复方案为：https://issues.apache.org/jira/browse/FLINK-18959 > > xiao cai 于2020年9月27日周日

Re: 回复: flink-SQL1.11版本对map类型中value的空指针异常

我尝试使用MAP来定义我的类型，问题已经解决，谢谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复: flink-SQL1.11版本对map类型中value的空指针异常

好的，我尝试一下 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11加载外部jar包进行UDF注册

hi, everyone 近期有做一个关于从外部路径加载UDF的开发，但报了如下异常：(截取主要的异常信息) org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot load user class: com.xxx.xxx.udf.Uppercase ClassLoader info: URL ClassLoader: file:

回复: flink-SQL1.11版本对map类型中value的空指针异常

所以我的建议是用avro的规范，你可以这样定义你的MAP类型: MAP 发件人: 史 正超 发送时间: 2020年10月14日 2:45 收件人: user-zh 主题: 回复: flink-SQL1.11版本对map类型中value的空指针异常 但是 方法上有这样的一个注释：Creates a runtime converter which assuming input object is not null. 代码这样写的前提是，不允许对象的值为null的。

Re: flink-SQL1.11版本对map类型中value的空指针异常

是的，所以应该用createNullableConverter，而不是createConverter 史 正超 于2020年10月14日周三 上午10:45写道： > > 但是 方法上有这样的一个注释：Creates a runtime converter which assuming input object is > not null. > 代码这样写的前提是，不允许对象的值为null的。 > > 发件人: Benchao Li > 发送时间: 2020年10月14日 2:34 > 收件人: user-zh >

使用最新1.11版本 flink和pyflink连接mysql出现 Required context properties mismatch 错误

我在用 flink最新的版本 (1.11.2) 去连接mysql的数据 下面是我的环境 docker flink 环境 是 flink:scala_2.12-java8 docker pull flink:scala_2.12-java8 jdbc 使用的是最新的 flink-connector-jdbc_2.11-1.11.2.jar，并且已经使用了 flink-connector-jdbc_2.11-1.11.2, mysql-connector-java-8.0.21.jar, postgresql-42.2.17.jar

回复: flink-SQL1.11版本对map类型中value的空指针异常

但是 方法上有这样的一个注释：Creates a runtime converter which assuming input object is not null. 代码这样写的前提是，不允许对象的值为null的。 发件人: Benchao Li 发送时间: 2020年10月14日 2:34 收件人: user-zh 主题: Re: flink-SQL1.11版本对map类型中value的空指针异常 嗯，这应该是一个实现的bug，可以提个issue修复一下~ 史 正超 于2020年10月14日周三

Re: flink-SQL1.11版本对map类型中value的空指针异常

好的，谢谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Rocksdb - Incremental vs full checkpoints

Hi, I have an event-window pipeline which handles a fixed number of messages per second for a fixed number of keys. When i have rocksdb as the state backend with incremental checkpoints, i see the delta checkpoint size constantly increase. Please see

Re: flink-SQL1.11版本对map类型中value的空指针异常

嗯，这应该是一个实现的bug，可以提个issue修复一下~ 史 正超 于2020年10月14日周三 上午10:19写道： > 从你的异常来看，你用的format是 avro, 我看了下源码，他对varchar类型的covert和json不一样，avro的代码是这样的： > > case CHAR: > case VARCHAR: >return avroObject -> StringData.fromString(avroObject.toString()); > > 所以，你的map类型的value值为null，会报空指针异常的。 >

回复: flink-SQL1.11版本对map类型中value的空指针异常

从你的异常来看，你用的format是 avro, 我看了下源码，他对varchar类型的covert和json不一样，avro的代码是这样的： case CHAR: case VARCHAR: return avroObject -> StringData.fromString(avroObject.toString()); 所以，你的map类型的value值为null，会报空指针异常的。 发件人: 奔跑的小飞袁 发送时间: 2020年10月14日 1:46 收件人:

flink sql注册kafka映射表，读取数据实时写入hive报错No operators defined in streaming topology. Cannot generate StreamGraph.

版本：flink1.11 场景描述：flink sql注册kafka映射表，读取数据实时写入hive 报错：No operators defined in streaming topology. Cannot generate StreamGraph. 具体代码： val flinkKafkaSqlSouce: String = s"""create table slog( |`f1` string, |`f2` string, |`f3` string, |`f4` string, |`f5` string, |collect_date string |) with

Re: flink sink kafka过慢问题

建议先确认下瓶颈是不是 kafka sink, 一般来说 kafka 网卡打满都不会到瓶颈的, 猜测有可能其他逻辑导致的瓶颈 hailongwang <18868816...@163.com> 于2020年10月13日周二 下午10:22写道： > > > Hi xyq， > 1. 可以确认下下游 kakfa 6个分区写入数据量都是均匀的吗，看下 Partitioner 有没有设置好。 > 2. 还有 11000 条的数据量大小有多少呢，有没有存在 flink 集群 与 kafka 集群 > 跨机房的限制。（在我们内部多个机房，其中延迟比较大的机房的速率只有 3M/s 单并发） >

Re: 如何获取flink webUI上面的DAG图

plan visualizer 应该是 stream graph, 不是一个图吧 Paul Lam 于2020年10月13日周二 下午9:23写道： > Hi, > > 可以利用 Flink 的 plan visualizer，见[1] > > 1. > > https://ci.apache.org/projects/flink/flink-docs-stable/dev/execution_plans.html > > Best, > Paul Lam > > hailongwang <18868816...@163.com> 于2020年10月12日周一 下午11:38写道：

Re: flink-SQL1.11版本对map类型中value的空指针异常

other_para MAP -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-SQL1.11版本对map类型中value的空指针异常

other_para MAP这是我定义的map类型 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Required context properties mismatch in connecting the flink with mysql database

I am using flink latest (1.11.2) to work with a sample mysql database, which the database is working fine. Additionally, i have added the flink-connector-jdbc_2.11-1.11.2, mysql-connector-java-8.0.21.jar, postgresql-42.2.17.jar to the {FLINK}/lib Here is my code T_CONFIG = TableConfig()

Re: Externally load data into RocksDB backend

I believe you're trying to bootstrap state for an operator. If yes, then it might be worthwhile to check out State Processor API

Re: NPE when checkpointing

Hi, Sorry for the late reply. It took me quite a while to change the JDK version to reproduce the issue. I confirmed that if I upgrade to a newer JDK version (I tried with JDK 1.8.0_265) the issue doesn’t happen. Thank you for helping -Binh On Fri, Oct 9, 2020 at 11:36 AM Piotr Nowojski wrote:

Re: Is MapState tied to Operator Input & Output type?

Hi Arpith I'm afraid that you're totally talking about the wrong thing in previous thread. The root cause is not restoring state from checkpoint but not access the state legally. Have you ever add keyBy before process your function as doc's note [1] said: "If you want to access keyed state and

Re: Externally load data into RocksDB backend

Hi Arpith, You should look into the State Processor API [1], it can be used to bootstrap state, and also for reading and modifying existing state. [1] https://ci.apache.org/projects/flink/flink-docs-stable/dev/libs/state_processor_api.html#writing-new-savepoints Thanks, Akshay Aggarwal On

Re: Flink Kafka offsets

Thanks for the explanation, this was all super helpful. On Tue, Oct 13, 2020 at 2:16 AM Dawid Wysakowicz wrote: > Hey Rex, > > I agree the documentation might be slightly misleading. To get the full > picture of that configuration I'd suggest having a look at the DataStream > Kafka connector

Re: Dynamic file name prefix - StreamingFileSink

*Thanks Ravi. I got following Error:* [ERROR] DynamicOutputFileConfig.scala:21: error: method getPartPrefix overrides nothing [ERROR] override def getPartPrefix: String = if(partPrefixFunction == null) partPrefix else partPrefixFunction.apply() [ERROR]^ [ERROR]

Externally load data into RocksDB backend

Hi, Is it possible to load data to RocksDB backend externally(outside Flink ) using common dbPath, so that it will be available to MapState inside ProcessFunction. I've external data available in JSON format which I want to load to RocksDb. One option is to make Stream from the JSON path and

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

可以参考 https://blog.csdn.net/weixin_41608066/article/details/108557869。“目前flink sql是不支持source/sink并行度配置的，flink sql中各算子并行度默认是根据source的partition数或文件数来决定。” 如果想实现在设置 source 时指定并行度，可以参考该文章对源码做些修改。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re: Flink 1.10.1 checkpoint失败问题

在我们 1.10 版本的生产环境上这个问题也确实出现过，也有几个 issue 在讨论这个，比如： https://issues.apache.org/jira/browse/FLINK-18196 其中说了2个方法，曾经也试过： 1、是换 JDK 版本，这个没有试过，因为需要更新 NodeManeger 的 JDK，代价比较高； 2、重新 new 一个 CheckpointMetaData，通过修改这个，生产环境上确实没有出现过这个问题了，但是本质原因不太清楚。 希望这些可以帮助到你 Best， Hailong Wang 在 2020-10-13

Re:flink sink kafka过慢问题

Hi xyq， 1. 可以确认下下游 kakfa 6个分区写入数据量都是均匀的吗，看下 Partitioner 有没有设置好。 2. 还有 11000 条的数据量大小有多少呢，有没有存在 flink 集群 与 kafka 集群 跨机房的限制。（在我们内部多个机房，其中延迟比较大的机房的速率只有 3M/s 单并发） 3. 可以确认下，Kafka sink 有没有一些耗时的序列化操作的 个人认为，这种问题我们最好分而治之，可以测试下 正常情况下两集群间的传输速率（比如scp），然后再看看 kafka 集群，然后 flink 任务等。 希望可以帮助到你 Best， Hailong

Re: Is MapState tied to Operator Input & Output type?

Hi Yun, Neither state descriptor type or name changed. I did assign an ID as well but it didn't help me. What I'm trying to do is I have two stream A & B which I want to connect/process in C; I eventually want values from stream A to be saved in C's MapState. What I've tried is I used

Re:Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

是的，我误写了，sorry。 在 2020-10-13 16:42:49，"丁浩浩" <18579099...@163.com> 写道： >source应该是没有输入指标吧 > >> 在 2020年10月13日，下午5:39，hailongwang <18868816...@163.com> 写道： >> >> Hi chenxuying, >> >> >> 如果你的算子都是 chain 成一个 operator 的话，那么是没有的。因为 Source 没有 输出指标，Sink 没有输出指标，所以 >> chain在一起是话就没有了。 >>

Re: 如何获取flink webUI上面的DAG图

Hi, 可以利用 Flink 的 plan visualizer，见[1] 1. https://ci.apache.org/projects/flink/flink-docs-stable/dev/execution_plans.html Best, Paul Lam hailongwang <18868816...@163.com> 于2020年10月12日周一 下午11:38写道： > Hi， > 你是想要自己做一个产品，将图显示在Web上？我们是只拿 DAG 中 json 值，然后前端进行处理的。 > 希望能帮助到你～ > > > Best， > Hailong Wang

Re: flink sink kafka过慢问题

Hi 看起来你经确定了是在写入kafka时过慢导致了高峰期sink反压， 生产环境上1万的tps不算高的，可以先确定下是否是kafka集群写入瓶颈问题，kafka 自带的 perf 脚本可以测试下6个分区的topic写入的能力，测试时数据大小和tpoic配置可以和生产一致，如果是kafka写入瓶颈问题，那就需要增加分区，对应修改flink作业的写入并发。 另外，如果开启exactly-once配置，写入速度会慢一些，没有特别的业务需求可以用at-least-once. 祝好 Leonard > 在 2020年10月13日，19:38，xyq 写道： > > kafka

Re: flink点查时态表支持子查询

Hi, 我理解网络开销更多来自于当前的lookup实现每次都需要访问外部系统，如果能做一些cache机制，这样能省掉较多的开销。 你说的点查sql子表可以节省开销，不是很理解，是指同一个key关联多张维表，然后查询外部系统时一个key带出多个表的数据吗？这个应该和目前flink的实现机制不太一致。 > 在 2020年10月13日，10:03，Dream-底限 写道： > > hi、 >

why this pyflink code has no output?

My code is: https://paste.ubuntu.com/p/KqpKwTw5zH/ My step is: $FLINK_HOME/bin/flink run -py /wordcount.py the sentence"data.output()"has no output. where am I wrong in above code? Thanks for your help

Re: flink-SQL1.11版本对map类型中value的空指针异常

Hi, 你的map是什么类型呢？我来复现一下。 奔跑的小飞袁 于2020年10月13日周二 下午6:07写道： > hello > 我在使用flink-sql1.11版本是使用到了map类型，但是我遇到了问题，当map中的value为空时会产生空指针异常，下面附上我的错误以及源代码 > org.apache.flink.runtime.JobException: Recovery is suppressed by > NoRestartBackoffTimeStrategy > at > >

Re: flink-windows-state

Hi 这里涉及到的问题比较多。 1. 为什么心跳会超时？是因为Full GC么，如果是使用的FsStateBackend/MemoryStateBackend，这是比较好解释的，因为数据在JVM堆上。如果使用的是RocksDB，这里是解释不通的。 2. window确实是使用state来存储数据，如果认为自己的state太大的话，是不是因为使用不当呢？可以参考文档 [1] 进行调优 3. 仍在运行的TM里面在做什么呢，为什么没有被JM释放，需要检查相关孤儿TM的日志以及jstack查看进程操作判断。 [1]

Re: Is MapState tied to Operator Input & Output type?

Hi The type of map state is not directly related with input & output type, this is only related with how you define the state descriptor. * Have you ever changed the state descriptor after changing the type of input/output type? * Have you assigned the id [1] to the operator which

flink sink kafka过慢问题

hi，all 我在使用flink处理数据写入kafka的过程中，写入kafka的速度过慢，导致数据高峰期数据有堆积， 在数据达到每秒11000条的时候就开始堆积，处理逻辑很简单，就有坐标点经纬度转换成省市区，其他逻辑不复杂， sink端kafka 6个分区，source端kafka6个分区，每天在晚高峰的时候会堆积30分钟，有没有办法大幅度提高写入能力， 难道只能加大kafka的分区吗？ flink submit 参数如下 p=6（与kafka分区对应） m=yarn-cluster yjm=1024 ytm=4096 ys=6 checkpoint_timeout=3

Is MapState tied to Operator Input & Output type?

Hi, I’ve a *ProcessFunction* which initially was receiving input & output type of String (1) & inside *processElement* I was updating MapState. Now I have changed the Input & Output type to be Map, String (2), but if I restore from the last checkpoint folder MapState is coming in as empty. I’ve

回复: flink-connector-jdbc 落入mysql的时候timestamp 有时差问题

的sink表的 url后面加上 =Asia/Shanghai 发件人: dushang 发送时间: 2020年10月13日 8:38 收件人: user-zh@flink.apache.org 主题: Re: flink-connector-jdbc 落入mysql的时候timestamp 有时差问题 time_zone SYSTEM system_time_zone SYSTEM 我是通过

Re: Flink 1.10.1 checkpoint失败问题

flink版本：Flink1.10.1 部署方式：flink on yarn hadoop版本：cdh5.15.2-2.6.0 现状：Checkpoint CountsTriggered: 9339In Progress: 0Completed: 8439Failed: 900Restored: 7 错误信息: ava.lang.Exception: Could not perform checkpoint 1194 for operator Map (3/3). at

Re: TaskManager takes abnormally long time to register with JobManager on Kubernetes for Flink 1.11.0

Hi Weike, could you try setting kubernetes.jobmanager.cpu: 4 in your flink-conf.yaml? I fear that a single CPU is too low for the JobManager component. Cheers, Till On Tue, Oct 13, 2020 at 11:33 AM Till Rohrmann wrote: > Hi Weike, > > thanks for posting the logs. I will take a look at them.

Re: flink-windows-state

贴代码看看？ 发自我的iPhone -- Original -- From: 熊云昆

Re: flink-windows-state

你的state是用rocksdb存储的吗？ | | 熊云昆 | | 邮箱：xiongyun...@163.com | 签名由 网易邮箱大师 定制 On 10/13/2020 18:20, 宁吉浩 wrote: hi，all 最近在使用flink遇到了问题，问题描述如下: checkpoint失败，jm报tm心跳丢失，然后重新开启tm，不一会yarn上就先后开启了多个tm。 数据量并不大，给的内存也足够，tm的内存都被沾满了，不管给多少运行到一定时间就会满，就会出现上述情况。 正好跑了很多程序，有带windows

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

我好像悟了,试了一下stream api 不同的并行度 , source节点的输出其实就是整个job的输入 sink节点的输入就是整个job的输出 flink在统计这些节点的时候 , 是没有统计开头结尾 但是还不知道flinksql如何设置不同的并发 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink-windows-state

hi，all 最近在使用flink遇到了问题，问题描述如下: checkpoint失败，jm报tm心跳丢失，然后重新开启tm，不一会yarn上就先后开启了多个tm。 数据量并不大，给的内存也足够，tm的内存都被沾满了，不管给多少运行到一定时间就会满，就会出现上述情况。 正好跑了很多程序，有带windows 也有不带的，在这里发现了端倪，带windows的程序checkpoint的文件非常之大，给我的感觉是把窗口内的数据都加入到状态了。 个人推测是state把窗口接收到的元素都落盘了。 windows的半小时一次，滚动，非滑动。 checkpoint是1分钟一次。

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

我理解： 这个Operator的并行度一样，chain成一个Operator，所以它的头尾就是source和sink，是计算的作业内部的，source输入的不会被统计到，只会统计到source输出到下游Operator的，同理，sink输入的可以统计到，输出的不能被统计到 cxydeve...@163.com wrote > 我用的是flinksql , 不过以我的理解, 一个节点不是应该也有输入输出吗, 想问下这有对应的文档吗 > 详细代码 > StreamExecutionEnvironment env = >

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

我用的是flinksql , 不过以我的理解, 一个节点不是应该也有输入输出吗, 想问下这有对应的文档吗 详细代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment

flink-SQL1.11版本对map类型中value的空指针异常

hello 我在使用flink-sql1.11版本是使用到了map类型，但是我遇到了问题，当map中的value为空时会产生空指针异常，下面附上我的错误以及源代码 org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy at

Re: Additional options to S3 Filesystem: Interest?

Great. Thanks. On Tue, Oct 13, 2020 at 4:29 PM Arvid Heise wrote: > Hi Padarn, > > I assigned the ticket to you, so you can start working on it. Here are > some contribution guidelines [1] in case it's your first contribution. > > Basically, you will need to open a PR which contains the ticket

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

source应该是没有输入指标吧 > 在 2020年10月13日，下午5:39，hailongwang <18868816...@163.com> 写道： > > Hi chenxuying, > > > 如果你的算子都是 chain 成一个 operator 的话，那么是没有的。因为 Source 没有 输出指标，Sink 没有输出指标，所以 > chain在一起是话就没有了。 > 如果你想要看的话，可以并发设置成不一样，或者显示的调用 disableChain。 > > > Best， > Hailong Wang > > > 在 2020-10-13

Re: Flink is failing for all Jobs if one job gets failed

Hi, As far as I understand it, it is not a Flink problem. It's your code that is failling to compile the code it gets. It's also quite hard to actually figure out how it is used from within Flink. Best, Dawid On 13/10/2020 10:42, saksham sapra wrote: > > I am working on flink local, i have

Re:flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

Hi chenxuying, 如果你的算子都是 chain 成一个 operator 的话，那么是没有的。因为 Source 没有 输出指标，Sink 没有输出指标，所以 chain在一起是话就没有了。 如果你想要看的话，可以并发设置成不一样，或者显示的调用 disableChain。 Best， Hailong Wang 在 2020-10-13 16:22:41，"chenxuying" 写道： >集群是local Standalone模式,任务可以正常的运行, sink是print,能在Stdout看到数据输出, >但是在任务详情页面没有Bytes Received,

Re: TaskManager takes abnormally long time to register with JobManager on Kubernetes for Flink 1.11.0

Hi Weike, thanks for posting the logs. I will take a look at them. My suspicion would be that there is some operation blocking the JobMaster's main thread which causes the registrations from the TMs to time out. Maybe the logs allow me to validate/falsify this suspicion. Cheers, Till On Mon,

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

如果你的算子全都串在一个节点里面的话，是看不到输入输出的。 > 在 2020年10月13日，下午5:22，chenxuying 写道： > > 集群是local Standalone模式,任务可以正常的运行, sink是print,能在Stdout看到数据输出, > 但是在任务详情页面没有Bytes Received, Records Received, Bytes Sent , Records Sent等实时数据 > 都是0

Re: [DISCUSS] FLIP-147: Support Checkpoints After Tasks Finished

Thanks for starting this discussion Yun Gao, I have three comments/questions: 1) When restarting all tasks independent of the status at checkpoint time (finished, running, scheduled), we might allocate more resources than we actually need to run the remaining job. From a scheduling perspective

flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

集群是local Standalone模式,任务可以正常的运行, sink是print,能在Stdout看到数据输出, 但是在任务详情页面没有Bytes Received, Records Received, Bytes Sent , Records Sent等实时数据 都是0

Re: [DISCUSS] Remove flink-connector-filesystem module.

I think the pertinent question is whether there are interesting cases where the BucketingSink is still a better choice. One case I'm not sure about is the situation described in docs for the StreamingFileSink under Important Note 2 [1]: ... upon normal termination of a job, the last

Re: Flink Kafka offsets

Hey Rex, I agree the documentation might be slightly misleading. To get the full picture of that configuration I'd suggest having a look at the DataStream Kafka connector page[1]. The Table connector is just a wrapper around the DataStream one. Let me also try to clarify it a bit more. In case

Re: [DISCUSS] Remove flink-connector-filesystem module.

Given that it has been deprecated for three releases now, I am +1 to dropping it. On Mon, Oct 12, 2020 at 9:38 PM Chesnay Schepler wrote: > Is there a way for us to change the module (in a reasonable way) that > would allow users to continue using it? > Is it an API problem, or one of

Re: flink-connector-jdbc 落入mysql的时候timestamp 有时差问题

time_zone SYSTEM system_time_zone SYSTEM 我是通过 flink-sql-connector-mysql-cdc获取mysql的binlog。通过flink-connector-jdbc sink到mysql中。 source 中有调节时区的参数。所以读取到的是正确的。但是sink 中没有调节时区的参数。时间就有了时差。 source： CREATE TABLE student ( id INT, name STRING, create_time TIMESTAMP(0), update_time

Flink is failing for all Jobs if one job gets failed

I am working on flink local, i have created one task manager which pushes the request to flink. So if one job gets failed for some function error, then other jobs which were running correctly before the error came for one file , the new jobs fail automatically if configuration for that file is

Re: Additional options to S3 Filesystem: Interest?

Hi Padarn, I assigned the ticket to you, so you can start working on it. Here are some contribution guidelines [1] in case it's your first contribution. Basically, you will need to open a PR which contains the ticket and component. So the prefix should be "[FLINK-19589][s3]" (also for your

Re: flink-connector-jdbc 落入mysql的时候timestamp 有时差问题

感觉是时区的问题 ，是使用ddl做的么 *show* variables *like* '%time_zone%’ 看一下 On Tue, Oct 13, 2020 at 2:56 PM 姬洪超 wrote: > flink-connector-jdbc 获取mysql的timestamp类型的数据后，sink到mysql后时间会晚八个小时。Ex: > 获取到的是2020-05-12T11:53:08，写入mysql后变成2020-05-11 22:53:08

Re: [DISCUSS] FLIP-147: Support Checkpoints After Tasks Finished

Hi Arvid, Very thanks for the comments! >>> 4) Yes, the interaction is not trivial and also I have not completely >>> thought it through. But in general, I'm currently at the point where I >>> think that we also need non-checkpoint related events in unaligned >>> checkpoints. So just keep that

Re: Dynamic file name prefix - StreamingFileSink

Hi Vijayendra, OutputFileConfig provides a builder method to create immutable objects with given 'prefix' and 'suffix'. The parameter which you are passing to '*withPartPrefix*' will only be evaluated at the time of calling this method '*withPartPrefix*'. So if you want to achieve a dynamic

Re: PyFlink 1.11.2 couldn’t configure [taskmanager.memory.task.off-heap.size] property when registering custom UDF function

Hi, >From my point of view, pyflink-shell only provides an interactive tool. Below it, you can choose whether to run the job in minicluster(similar to python xx.py) or submit it to the cluster through flink run. For python xxx.py, it is reasonable to not load the config of flink-conf.yaml. What

回复： why we need keyed state and operate state when we already have checkpoint?

So state: store the result of some operator(such as keyby,map) Checkpoint: store the last result when the program is running OK. Am I right? Thanks for your help~! --原始邮件-- 发件人:

flink-connector-jdbc 落入mysql的时候timestamp 有时差问题

flink-connector-jdbc 获取mysql的timestamp类型的数据后，sink到mysql后时间会晚八个小时。Ex: 获取到的是2020-05-12T11:53:08，写入mysql后变成2020-05-11 22:53:08

Re: PyFlink 1.11.2 couldn’t configure [taskmanager.memory.task.off-heap.size] property when registering custom UDF function

Hi Xingbo, thx a lot, it works ! But I'm still sure that it's not obvious from a user point of view, that *pyflink-shell.sh *doesn't use provided flink-conf.yaml, don't you think that it looks like an issue ? Thx ! вт, 13 окт. 2020 г. в 05:35, Xingbo Huang : > Hi, > > You can use api to set

Re: flink on yarn容器异常退出

hi 先前我是一个container申请四个core，经常遇到分配完applicationid然后任务处于standby后就挂掉了，现在申请四个container，每个container一个core后正常启动任务了 Congxian Qiu 于2020年10月13日周二 下午1:12写道： > Hi > 容易异常退出是指 container 退出吗？可以看下 JM/TM log 是否有相应信息，如果没有，可以尝试从 yarn 侧看下日志为什么 > container 退出了 > Best, > Congxian > > > caozhen 于2020年10月12日周一