回复：容忍checkpoint 失败次数和重启策略冲突吗

你好，Congxian 因为这个是在公司内网，所以没办法把日志拿出来，这个邮件好像收不了图片。我就简单描述下。 我又重新测试这个，第一种方式是setTolerableCheckpointFaliureNumber (0), 没有设置重启策略，结果是checkpoint失败多次，程序还正常运行，查看日志，后边只有触发checkpoint和checkpoint过时未完成的日志，没有报错或异常。 第二种方式是setFailOnCheckpointingErrors(true),结果和第一种方式一样。 不知道这个设置生效是有什么前提吗,还是有什么bug

Heartbeat of TaskManager with id xxx timed out

Hi all： flink standalone模式， 3节点，1master，3slave， 创建了1个job运行到一定时间，有将近5天，就会报错 Heartbeat of TaskManager with id a2d4661d77371163f4c2bad51024df9e timed out，然后有1个节点的taskmanager就用不了了。请问这个是什么原因？如何排查？ 异常信息如下： java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id

Re: registerTableSink方法未来如何变化？

将来这个方法会删除，但社区目前还没有计划在哪个版本删除。在1.13 版本中，社区会引入新的 table api （FLIP-129 [1]）来替代 tEnv.connect() 方法，届时不会调用 registerTableSink. Best, Jark [1]: https://cwiki.apache.org/confluence/display/FLINK/FLIP-129%3A+Refactor+Descriptor+API+to+register+connectors+in+Table+API On Sat, 17 Oct 2020 at 19:59, hua mulan

Re: FlinkSQL 窗口使用问题

目前确实不支持。将来可以结合 FLIP-145 window TVF 语法来支持 [1]。 [1]: https://cwiki.apache.org/confluence/display/FLINK/FLIP-145%3A+Support+SQL+windowing+table-valued+function Best, Jark On Fri, 23 Oct 2020 at 00:35, hailongwang <18868816...@163.com> wrote: > Hi Roc, > 这边涉及到 order by 和 limit 一起使用时如何执行的问题。 > 1.

Re: 容忍checkpoint 失败次数和重启策略冲突吗

Hi smq 这两个东西不相互影响，理论上 checkpoint 允许失败次数这个只会导致 job fail，而重启策略则是在 job fail 的时候判断怎么继续，如果不符合预期，可以看一下 jm 的 log 或者分享一下 jm log 让大家帮忙看看 Best, Congxian smq <374060...@qq.com> 于2020年10月27日周二 上午11:25写道： > 各位大佬好： > 我现在设置容忍checkpoint失败次数是0,重启策略为固定延时重启，重启100次。 >

容忍checkpoint 失败次数和重启策略冲突吗

各位大佬好： 我现在设置容忍checkpoint失败次数是0,重启策略为固定延时重启，重启100次。 经过测试发现，checkpoint连续失败多次，程序还在运行，不知道是什么原因导致容忍checkpoint失败次数这个设置没有生效。

Re: Flink 1.11 SQL作业中调用UDTF 出现“No match found for function signature ”异常

这个问题已经解决了，在1.11.1版本应该就已经修复了。 可以贴下具体的代码和异常栈，看下是不是还有其他问题，还是使用方式的问题。 tonychen 于2020年10月26日周一 下午6:49写道： > 这个问题解决了吗？现在1.11.2仍然有这个问题，或者有什么临时解决方案， > registerFunction已经不好使了，createTemporarySystemFunction 报错 No match found for > function signature > > > > -- > Sent from:

Re: pyflink 如何正确设置高速度？（如何提速）

Hi, >>> 1.但是结果是在output的文件夹内生成8个文件，但是只有文件1有数据，这样是正常的吗？检查了一下，好像顺序没有改变，与原顺序一致，怎样设置可以将其按照原顺序保存为1个文件呢？ flink的table作业目前没法单独为每一个算子设置并发度，所以你设置并发度为8，就会输出8个文件。我觉得你这数据量不大，本质还是from_pandas的问题，你先把它换了，先用一个并发度玩就行。 >>> 2.arrow.batch.size的意思经过您的细心解答我理解了，那么增大arrow.batch.size也是可以加快处理速度吗？ 其实跑pandas

sql-client 连接hive报错 TTransportException

Hi, 请教下 我尝试使用sql-client连接hive, hive正常, 使用beeline -u jdbc:hive2://x.x.x.x:1 可以正常连接 sql-client-defaults.yaml配置内容: tables: [] functions: [] catalogs: - name: myhive type: hive hive-conf-dir: /home/hive/flink-1.11.1/conf default-database: default execution: planner: blink type:

Re: FLINK 1.11 Graphite Metrics

Hi Chesnay, Another log message: 2020-10-26 23:33:08,516 WARN org.apache.flink.runtime.metrics.ReporterSetup - The reporter factory (org.apache.flink.metrics.graphite.GraphiteReporterFactory) could not be found for reporter grph. Available factories:

Re: how to enable metrics in Flink 1.11

This is what I see on the WebUI. 23:19:24.263 [flink-akka.actor.default-dispatcher-1865] ERROR org.apache.flink.runtime.rest.handler.taskmanager.TaskManagerLogFileHandler - Failed to transfer file from TaskExecutor container_1603649952937_0002_01_04. java.util.concurrent.CompletionException:

EMR Logging Woes

Hello, After lots of testing in local environments we're now trying to get our cluster running on AWS EMR. We followed much of the documentation from both AWS and Flink and have gotten to the point of creating a yarn session and submitting jobs. We successfully get back a Job ID and in the Yarn

Getting UnsupportedException in Kyro for proto maps

Hi, I have a proto which has a map field in it. When i try to use it in Flink using Kyro serializer, im getting following error when pushing the output to Kafka Caused by: java.lang.UnsupportedOperationException at java.util.Collections$UnmodifiableCollection.add(Collections.java:1057) at

Re: FLINK 1.11 Graphite Metrics

Hi Chesnay, I have the same, and I am exporting the flinkconf like below, where i have flink-conf.yaml with configuration you have given.What else can I try ? export FLINK_CONF_DIR=${app_install_path}/flinkconf/ regards, Vijay On Sun, Oct 25, 2020 at 8:03 AM Chesnay Schepler wrote: > Ah

Re: Getting UnsupportedException in Kyro for proto maps

Are you registering the protobuf serializer with Kryo? (See https://flink.apache.org/news/2020/04/15/flink-serialization-tuning-vol-1.html#protobuf-via-kryo) From: Sudan S Date: Monday, October 26, 2020 at 11:44 AM To: User-Flink Subject: Getting UnsupportedException in Kyro for proto maps

Re: [SURVEY] Remove Mesos support

Hi Xintong, Do you have any jiras that cover any of the items on 1 or 2? I can reach out to folks internally and see if I can get some folks to commit to helping out. To cover the other qs: * Yes, we’ve not got a plan at the moment to get off Mesos. We use Yarn for some our Flink

Flink checkpointing state

This is from Flink 1.8: "Job Manager keeps some state related to checkpointing in it’s memory. This state would be lost on Job Manager crashes, which is why this state is persisted in ZooKeeper. This means that even though there is no real need for the leader election and -discovery part of

RE: Runtime Dependency Issues Upgrading to Flink 1.11.2 from 1.9.2

Hi Leonard, Chesnay, thanks for having a look. I was able to sort this out -it was because of the change in default Class Loading policy becoming child-first introduced in 1.10 through https://issues.apache.org/jira/browse/FLINK-13749 . Once I changed it back to parent-first, I was able to

RestClusterClient and classpath

Hi to all, I was trying to use the RestClusterClient to submit my job to the Flink cluster. However when I submit the job Flink cannot find the classes contained in the "fat" jar..what should I do? Am I missing something in my code? This is the current client code I'm testing: public static void

Re: Some questions regarding operator IDs

Hey Kevin, setting the uid is not needed for exactly-once guarantees. It is used if you want to restore the operator state manually using a savepoint. This blog blog post (there are probably a lot more explaining this) could be helpful to understand how the checkpointing ensures exactly once

Re: HA on AWS EMR

Hey Averell, you should be able to migrate savepoints from Flink 1.10 to 1.11. Is there a simple way for me to reproduce this issue locally? This seems to be a rare, but probably valid issue. Are you using any special operators? (like the new source API?) Best, Robert On Wed, Oct 21, 2020 at

Re: Dependency vulnerabilities with flink 1.11.1 version

Hey Suchithra, thanks a lot for this report. I'm in the process of closing all the tickets Till has created (by pushing version upgrades to Flink). The fixes will be released with the upcoming Flink 1.12 release. I have decided against backporting the fixes to the 1.11 line of Flink, because they

ValidationException using DataTypeHint in Scalar Function

Hi, I have a column of type *RAW('java.util.Map', ?)* that I want to pass to a scalar function UDF. I'm using DataTypeHints but hitting an exception. What would be the proper DataTypeHint and data type param to achieve this? @FunctionHint( input = {@DataTypeHint("RAW"),

?????? pyflink ????????????????????????????????

??from_pandas 8??400??env.set_parallelism(8)??40012

Feature request: Removing state from operators

We use the feature for removing stateful operators via the allowNonRestoredState relatively often and it works great. However, there doesn’t seem to be anything like that for removing state from an existing operator (that we want to keep). Say my operator defines a MapState and a ValueState.

Re: flinksql 不支持 % 运算

1.11的话通过配置是无法实现的。可以把这个pr[1] cherry-pick到1.11的分支上编译一下来实现1.11上使用% [1] https://github.com/apache/flink/pull/12818 夜思流年梦 于2020年10月26日周一 下午4:16写道： > flink 版本1.11 > 目前flink-sql 好像不支持取余运算，会报错： > 比如：SELECT * FROM Orders WHERE a % 2 = 0 > Percent remainder '%' is not allowed under the current SQL

Re: pyflink 如何正确设置高速度？（如何提速）

Hi， 1. from_pandas性能不太好的，不是用在生产上的。你可以直接用flink的csv的connector来读取你的数据呀。 2. arrow.batch.size，表示的是会把多少条数据变成一个pandas.series，然后作为你的udf的一个列传给你 Best, Xingbo 洗你的头 <1264386...@qq.com> 于2020年10月26日周一 下午4:32写道： > 尊敬的开发者您好， > 我的需求是这样的， > 拥有数据： >

Re:Re: 回复：回复：回复：flinksql指定kafka多topic

Hi s_hongliang, 目前的 Master 分支(1.12) 版本支持一个 source 指定消费多个 topics。 相关issue见：https://issues.apache.org/jira/browse/FLINK-18449 目前你可以拆成多个 Source 消费。 Best, Hailong Wang 在 2020-10-26 13:54:40，"奔跑的小飞袁" 写道： >with ( >'connector'='kafka', >

Re:flinksql 不支持 % 运算

Hi liaobiao, 可以使用 MOD 函数[1]. [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/functions/systemFunctions.html#arithmetic-functions Best, HailongWang. 在 2020-10-26 15:16:16，"夜思流年梦" 写道： >flink 版本1.11 >目前flink-sql 好像不支持取余运算，会报错： >比如：SELECT * FROM Orders WHERE a % 2 = 0

Re:Re:Re:Flink mysqlCDC ,然后jdbc sink 到mysql 乱序问题

Hi, 相同记录的不同操作 的 gwo.order_code 会相同吗。默认 group by 的并行度是最大的并行度，如果不同的话，那么会被 hash 到 不同的并发，就有可能出现你说的那个情况。 在 2020-10-26 10:34:30，"air23" 写道： >这边源数据 就是用cdc读取mysql。cdc不会保证有序吗 ？ Forword 这个是通过什么方式保证的？ 谢谢你的回复 >在 2020-10-26 05:37:45，"hailongwang" <18868816...@163.com> 写道： >>Hi air， >>保证内部是 Forword

Re: Flink 1.11 SQL作业中调用UDTF 出现“No match found for function signature ”异常

这个问题解决了吗？现在1.11.2仍然有这个问题，或者有什么临时解决方案， registerFunction已经不好使了，createTemporarySystemFunction 报错 No match found for function signature -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: KryoException UnsupportedOperationException when writing Avro GenericRecords to Parquet

Hello Till, Adding GenericRecordAvroTypeInfo(schema) does help. Thanks and best regards, Averell -- Sent from: http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/

Re:回复: Flink mysqlCDC ,然后jdbc sink 到mysql 乱序问题

你好 主要流程 见附件 流程就是使用cdc 读取mysql。然后left join 维度表 ，最后写入到mysql 问题是测试的时候。update cdc的源表一条数据。发现结果的数据 有时候有 有时候没有， 使用connect=print 发现两条数据流。一个是delete 一个是insert，这边怀疑是乱序 导致先insert 在delete掉了， 把并行度设置为1的时候。就是正常的。如果沟通不方便 欢迎加钉钉13269166963。 在 2020-10-26 12:11:59，"史 正超" 写道： >Hi, @air23,

Re: 提交pyflink作业到YARN集群报错

看一下目录site-packages/pyflink/opt，里面是否有名为flink-python的jar > 在 2020年10月26日，下午4:38，whh_960101 写道： > > Hi，各位大佬， 想请教一下，我使用flink run -m yarn-cluster -p 4 -py > myjob.py,报错java.lang.RuntimeException: Found 0 flink-python jar. > at >

提交pyflink作业到YARN集群报错

Hi，各位大佬， 想请教一下，我使用flink run -m yarn-cluster -p 4 -py myjob.py,报错java.lang.RuntimeException: Found 0 flink-python jar. at org.apache.flink.client.program.PackagedProgram.getJobJarAndDependencies(PackagedProgram.java:263) at

pyflink ????????????????????????????????

?? ?? ?? ??137824924000??id0??id??

回复：关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题

1.11之前TableEnvironmentImpl与StreamExecutionEnvironment的execute方法实现一致 无论用哪一个都可以 1.11修改了TableEnvironmentImpl中execute的实现逻辑 如果代码中涉及了DataStream的操作,则需要使用StreamExecutionEnvironment的execute方法 简单概述为: StreamTableEnvironment.execute() 只能执行 sqlUpdate 和 insertInto 方法执行作业 Table 转化为 DataStream 后只能通过

Re: Un-ignored Parsing Exceptions in the CsvFormat

Hey Austin, I assigned the ticket, that would be great if you could fix it! Regards, Roman On Thu, Oct 22, 2020 at 5:08 PM Austin Cawley-Edwards < austin.caw...@gmail.com> wrote: > Hey Roman, > > Sorry to miss this -- thanks for the confirmation and making the ticket. > I'm happy to propose a

flinksql 不支持 % 运算

flink 版本1.11 目前flink-sql 好像不支持取余运算，会报错： 比如：SELECT * FROM Orders WHERE a % 2 = 0 Percent remainder '%' is not allowed under the current SQL conformance level 看了下flink 的issue ，已经有人碰到过了，说是要1.12版本修复 想问下：如果再1.11版本，flink-sql 要怎么操作才能支持 % 运算呢？ 可以通过修改配置文件来实现么？比如flink-conf.yaml

Re: flink state.savepoints.dir 目录配置问题

Hi 从报错来看是无法在 "/opt/flink/savepoints" 这个路径下创建目录，这个错误下面应该应该一些异常信息，可以看下具体是啥原因。 另外，使用本地路径存储 checkpoint/savepoint 的话，那么恢复的时候，需要确保该文件能被新的 JM/TM 所访问到 Best, Congxian marble.zh...@coinflex.com.INVALID 于2020年10月26日周一 下午3:32写道： > 你好， > 我在flink jobmanager里的flink-conf.yaml添加了以加三个个关的state配置参数， >

Re: Flink - Kafka topic null error; happens only when running on cluster

Hi Timo, Sure, I have opened this issue on Jira. On Fri, Oct 23, 2020 at 4:09 PM Timo Walther wrote: > Hi Manas, > > that is a good point. Feel free to open an issue for this. It is not the > first time that your question appeared on the

flink state.savepoints.dir 目录配置问题

你好， 我在flink jobmanager里的flink-conf.yaml添加了以加三个个关的state配置参数， state.backend: filesystem state.checkpoints.dir: file:///opt/flink/savepoints state.savepoints.dir: file:///opt/flink/savepoints 但在做./flink savepoint 时还是报以下的错， Caused by: java.io.IOException: Failed to create savepoint directory at

??????kafka broker ????????????????????????????

kafka0.10.1.1??flink1.10.1 ??

Re: 请问flink1.11版本如何设置checkpoint的默认保存个数

是的。不过不是bug。flink将webui显示多少history ckpt以及实际保留多少ckpt当作2个配置。 并且，这2配置的大小无关系。 如果webui（20），retain（10）。那么实际webui的后10个ckpt路径是不存在的，不会保留。 反之，webui（10），retain（20）。虽然部分ckpt在ui上不显示，但实际会保留。 2个参数去flink文档都能找到的哈。 cxydeve...@163.com 于2020年10月26日周一 上午11:34写道： >

Re: 回复：回复：回复：flinksql指定kafka多topic

with ( 'connector'='kafka', 'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs', 'properties.bootstrap.servers'='', 'properties.group.id'='flink_2_hive_and_imei_ncrypy_test', 'format'='avro',

回复：回复：回复：flinksql指定kafka多topic

现在就可以使用，刚查了一下，你可以参考下ShengKai的 The config option `topic` and `topic-pattern` specifies the topics or topic pattern to consume for source. The config option `topic` can accept topic list using semicolon separator like 'topic-1;topic-2'.

Re: 回复：回复：flinksql指定kafka多topic

好的 那我尝试下通过KafkaDynamicTableFactory来实现 -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复：回复：flinksql指定kafka多topic

目前应该没有直接可以使用的方式，但是可以通过重写KafkaDynamicTableFactory来实现你要的结果，不知道社区在之后有没有考虑加上topic-separator -- 发件人：奔跑的小飞袁 发送时间：2020年10月26日(星期一) 14:23 收件人：user-zh 主　题：Re: 回复：flinksql指定kafka多topic 有没有一种更加友好的方式 使用topic-pattern的话在提供给非开发人员使用成本太高 --

Re: 回复：flinksql指定kafka多topic

有没有一种更加友好的方式 使用topic-pattern的话在提供给非开发人员使用成本太高 -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复：flinksql指定kafka多topic

Hi，可以试试用topic-pattern -- 发件人：奔跑的小飞袁 发送时间：2020年10月26日(星期一) 14:08 收件人：user-zh 主　题：flinksql指定kafka多topic hello， 我想问一下目前flinksql支持同时指定kafka的多topic吗，例如

flinksql指定kafka多topic

hello， 我想问一下目前flinksql支持同时指定kafka的多topic吗，例如 'topic'='cloud_behavior,cloud_behavior_other,cloud_behavior_qxb,cloud_behavior_cc,cloud_behavior_cs' -- Sent from: http://apache-flink.147419.n8.nabble.com/