sink.rolling-policy.file-size不生效

Hi all， 使用flink 1.11.1的filesystem connector，配置了sink.rolling-policy.file-size=50MB，结果依然有100+M的文件 DDL如下：Checkpoint间隔1min CREATE TABLE cpc_bd_recall_log_hdfs ( log_timestamp BIGINT, ip STRING, `raw` STRING, `day` STRING, `hour` STRING,`minute` STRING ) PARTITIONED BY (`day` , `hour`

Re: 为什么要关闭calcite的隐式转换功能

我觉得既然社区准备兼容hive，隐式转换和其他hive的语法兼容还是必须的。实际生产环境里运行的hive sql往往都是很复杂的，目前按flink对于hive的兼容程度，大部分的hivesql基本都无法运行成功。（其他欠缺的还有不支持bangEquel, create table as 等等，这边就不一一列举了），希望社区能够对hive这块支持的更完善一点。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink TableAPI Issue: cannot assign instance of org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.util.LRUMap to field

我本地运行是没有问题的，上传到服务器就会出现这个问题，本地跟服务器都是1.11.2版本，flink-shaded-jackson是2.9.8-7.0。不太清楚flink-shaded-jackson跟flink的对应版本选择。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

????hive sql ????flink 11 ????????????????

?? hive sql flink 1.11.2 ??flink 11 ??hive SQL1 ?? ?? 2 != 3 4 split 5??hive ??flink?? 6??join Calcite bug

Re: Re:Re: flinksql1.11长时间没有数据写入mysql，会报ava.sql.SQLException: No operations allowed after statement closed.

1、retry times =1报错日志： [2020-12-02 22:01:00.800] [ERROR] [jdbc-upsert-output-format-thread-1] [org.apache.flink.connector.jdbc.internal.JdbcBatchingOutputFormat] >>> JDBC executeBatch error, retry times = 1 java.sql.SQLException: No operations allowed after statement closed. at

Re: flink 1.11.2写hive 2.1.1 orc 遇到的问题

Hi 如果不支持ACID，那如果监听binlog日志的更新和删除操作需要另外写任务来处理么，如何才能做到真的批流统一 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: taskmanager.out配置滚动

好的，了解了，感谢您的解答 Yang Wang 于2020年12月4日周五 上午10:33写道： > 目前是支持不了的，因为STDOUT/STDERR本身并不是通过slf4j来写的 > 如果要支持是需要在Flink代码里面将Stdout重定向之后，再配置log4j才能解决 > > Best, > Yang > > zilong xiao 于2020年12月3日周四 下午7:50写道： > > > 想问下社区的大佬，标准输出文件taskmanager.out可以配置成滚动的吗？ > > >

Re: taskmanager.out配置滚动

目前是支持不了的，因为STDOUT/STDERR本身并不是通过slf4j来写的 如果要支持是需要在Flink代码里面将Stdout重定向之后，再配置log4j才能解决 Best, Yang zilong xiao 于2020年12月3日周四 下午7:50写道： > 想问下社区的大佬，标准输出文件taskmanager.out可以配置成滚动的吗？ >

Re: flink使用多个keytab

hi, 可以在调用executeSql()或execute()（多SQL）的时候使用ugi认证进行任务提交，以及在run命令中动态传入你所说的两个参数，以-yD的形式。 best, amenhub 发件人： zhengmao776 发送时间： 2020-12-03 17:16 收件人： user-zh 主题： flink使用多个keytab 你好，我在使用flink

Re: flink-cdc 无法读出binlog，程序也不报错

谢谢老哥关注，我是int对应成bigint了，原以为bigint范围更大应该可以兼容，没认真看文档，然后mysql有错误日志但程序没报错，注意力就放mysql那边了。这两天试了下flink-cdc-sql发现有些有错误的场景不报错，比如连不上mysql（密码错误）也是程序直接退出exit 0，没任何报错或提示，是还要设置什么吗？我是java小白，这块不是很懂 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 帮忙推荐下flink是用啥可视化的客户端？

好的，感谢推荐！ > 在 2020年12月3日，21:57，Jark Wu 写道： > > 可以尝试下 Zeppelin, 与 flink sql 的集成做的挺好的。 > > Best, > Jark > >> On Thu, 3 Dec 2020 at 21:55, yinghua...@163.com wrote: >> >> 这个我没说清楚，就是flink sql客户端，我们想弄个客户端给公司其他部门使用，那些部门同事只会一些sql，对于代码编程欠缺 >> 在 2020年12月3日，21:52，Shawn Huang 写道： >>> >>>

Re: flink sql实时计算分位数如何实现

可以看下UDAF的文档： https://ci.apache.org/projects/flink/flink-docs-master/dev/table/functions/udfs.html#aggregate-functions On Thu, 3 Dec 2020 at 12:06, 爱成绕指柔 <1194803...@qq.com> wrote: > 你好： > 目前flink sql实时计算中没有percentile函数吗？如果没有，如何实现这一功能。 > 期待你的答复，谢谢！

Re: 帮忙推荐下flink是用啥可视化的客户端？

可以尝试下 Zeppelin, 与 flink sql 的集成做的挺好的。 Best, Jark On Thu, 3 Dec 2020 at 21:55, yinghua...@163.com wrote: > 这个我没说清楚，就是flink sql客户端，我们想弄个客户端给公司其他部门使用，那些部门同事只会一些sql，对于代码编程欠缺 > > > 在 2020年12月3日，21:52，Shawn Huang 写道： > > > > 你说的客户端是指什么？Flink 默认在 8081 端口提供了 Web UI，可以提交和取消任务，查看日志和一些基础指标。 > > > >

Re: 帮忙推荐下flink是用啥可视化的客户端？

这个我没说清楚，就是flink sql客户端，我们想弄个客户端给公司其他部门使用，那些部门同事只会一些sql，对于代码编程欠缺 > 在 2020年12月3日，21:52，Shawn Huang 写道： > > 你说的客户端是指什么？Flink 默认在 8081 端口提供了 Web UI，可以提交和取消任务，查看日志和一些基础指标。 > > Best, > Shawn Huang > > > yinghua...@163.com 于2020年12月3日周四 下午8:46写道： > >>

Re: 帮忙推荐下flink是用啥可视化的客户端？

你说的客户端是指什么？Flink 默认在 8081 端口提供了 Web UI，可以提交和取消任务，查看日志和一些基础指标。 Best, Shawn Huang yinghua...@163.com 于2020年12月3日周四 下午8:46写道： >

Re: flink-cdc 无法读出binlog，程序也不报错

是不是 unsigned int 惹的祸... On Thu, 3 Dec 2020 at 15:15, chenjb wrote: > 破案了，字段类型没按官网的要求对应起来，对应起来后正常了 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink SQL共享source 问题

1. 是不是共享了 source，看下 web ui 中的拓扑图就知道了 2. 追数据的时候，或者下游消费速度不一的时候，分区之间消费不均衡是很正常的。 3. 你可以调大 sink 的并发，以及增加 buffer size 来缓解这个问题。 Best, Jark On Wed, 2 Dec 2020 at 19:22, zz wrote: > hi各位： > 目前我有一个任务，source table是读取一个topic生成的，但是有6个sink，使用了多条insert > 语句输出到同一张mysql表中，按照我的理解，这些insert语句 > 应该都是共享这个source

Re: I defined a Kafka dynamic table in SQL-Client, but the kafka theme had some elements in the wrong format, so an exception was thrown in SQL-Client. Can we define the Kafka dynamic table with some

我觉得这应该是个 bug，已创建 issue： https://issues.apache.org/jira/browse/FLINK-20470 On Wed, 2 Dec 2020 at 18:02, mr.meng...@ouglook.com wrote: > < > http://apache-flink.147419.n8.nabble.com/file/t1146/QQ%E6%88%AA%E5%9B%BE111.jpg> > > > < >

Re: flink 1.11.2写hive 2.1.1 orc 遇到的问题

Hi， 我会找个hive 2.1.1的环境来复现一下这个问题。不过首先要说明的是，目前flink不支持hive的ACID表，即使你这个例子的数据写成功了也不满足ACID的语义，在hive那边可能也读不了。 On Thu, Dec 3, 2020 at 5:23 PM yang xu <316481...@qq.com> wrote: > Hi Rui Li > lib 下包如下: > flink-csv-1.11.2.jar > flink-dist_2.11-1.11.2.jar > flink-json-1.11.2.jar >

Re: 为什么要关闭calcite的隐式转换功能

隐式转换功能，是一个非常重要的 public API ，需要经过社区仔细地讨论，例如哪些类型之间可以类型转换。 目前社区还没有规划这个功能，如果需要的话，可以在社区中开个 issue。 Best, Jark On Wed, 2 Dec 2020 at 18:33, stgztsw wrote: > 目前flink sql，flink hive >

Re: flink sql 1.11.1 貌似出现bug

看样子是提交作业超时失败了，请确认 1. flink cluster 已经起来了 2. sql client 的环境与 flink cluster 环境连通 3. sql-client-defaults.yaml 中配置了正确的 gateway-address 地址 （如果是本地 cluster，则不用配置） Best, Jark On Wed, 2 Dec 2020 at 14:12, zzy wrote: > 遇到的问题如下， flink版本1.11.1，sql client 中使用flink sql > > > sql语句如下： > CREATE TABLE

Re: Flink TableAPI Issue: cannot assign instance of org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.util.LRUMap to field

检查下提交作业的 flink 版本，和 yarn 集群上部署的 flink 版本是否一致。 或者可能是你集群中有两个不同版本的 flink-shaded-jackson 包。 On Wed, 2 Dec 2020 at 11:55, Zed wrote: > When I submitted a flink-table-sql job to yarn, the following exception > came > out. Wondering how to solve it. Anyone can help me with that? Appreciate > it >

Flink1.9设置TTL不生效

Hi，咨询一个问题 我们生产环境使用flink1.9版本，使用的statebackend为RocksDB，具体代码设置如下： private static final String EV_STATE_FLAG = "EV_EID_FLAG"; StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(Time.minutes(60)) .updateTtlOnCreateAndWrite() .neverReturnExpired()

Re: 关于flink cdc sql转出Stream流问题

row 里面的数据就是你 schema 中定义的字段和顺序，可以按下标取值。 On Tue, 1 Dec 2020 at 13:59, jsqf wrote: > 可以使用这种方式: > DataStream dstream = tableEnv.toAppendStream(sourceTable, > RowData.class); > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink sql client 报错java.net.NoRouteToHostException: 没有到主机的路由

你本地 ping 一下 localhost 看看能不能 ping 通。 另外看看本地有没有开网络代理，有的话关掉试试。 Best, Jark On Tue, 1 Dec 2020 at 09:38, 奚焘 <759928...@qq.com> wrote: > 本人刚学习flink ，下载解压了flink，启动./sql-client.sh embedded ，输入SELECT 'Hello > World';报错 > Flink SQL> SELECT 'Hello World'; > [ERROR] Could not execute SQL statement. Reason:

帮忙推荐下flink是用啥可视化的客户端？



Re: 摄像头视频流采集

适合啊。 On Tue, 1 Dec 2020 at 09:37, Xia(Nate) Qu wrote: > 请教各位： > > > 我们想做多个监控摄像头的视频流采集平台，摄像头的数量大概有1000-5000个，摄像头的流数据直接发到采集平台，之后平台可以将数据写到Hadoop或者用于机器学习消费，不知道flink是不是适合这样的场景呢？谢谢 > > > 屈夏 >

Re: flink cdc 如何保证group agg结果正确性

你的数据源中是不是没有历史全量数据，所以发现结果对不上？ 一般建议同步全量+增量数据到 kafka 中，然后flink 从头消费这个 topic。 另外 mysql-cdc connector [1] 也提供了全量+增量读取的能力。 Best, Jark [1]: https://github.com/ververica/flink-cdc-connectors/wiki/MySQL-CDC-Connector On Mon, 30 Nov 2020 at 22:54, kandy.wang wrote: > insert into

Flink1.9设置TTL不生效

Hi，咨询一个问题 我们生产环境使用flink1.9版本，使用的statebackend为RocksDB，具体代码设置如下： private static final String EV_STATE_FLAG = "EV_EID_FLAG"; StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(Time.minutes(60)) .updateTtlOnCreateAndWrite() .neverReturnExpired()

Re: 用代码执行flink sql 报错 Multiple factories for identifier 'jdbc' that implement

这个错误信息显示问题在后续版本已经修复，新版本发布后升级版本就能直接从错误信息中看到是哪些TableFactory冲突了: https://issues.apache.org/jira/browse/FLINK-20186 > 在 2020年12月3日，20:08，Wei Zhong 写道： > > Hi, > >

Re:Re: flinksql1.11长时间没有数据写入mysql，会报ava.sql.SQLException: No operations allowed after statement closed.

这个应该只是个 error 的日志，方便也发下retry times = 1 和 retry times = 2 的日志看下吗 在 2020-12-03 16:17:27，"yanzi" 写道： >hi Leonard: > >报错信息如下： >[2020-12-02 22:01:03.403] [ERROR] [jdbc-upsert-output-format-thread-1] >[org.apache.flink.connector.jdbc.internal.JdbcBatchingOutputFormat] >>> JDBC >executeBatch error,

Re: Flink CEP 动态加载 pattern

好的，谢谢你的回答。现在在看alex的这两篇文档（ https://flink.apache.org/news/2020/01/15/demo-fraud-detection.html ; https://flink.apache.org/news/2020/03/24/demo-fraud-detection-2.html ），感觉有点儿启发。 On Wed, Dec 2, 2020 at 8:36 PM Wei Zhong wrote: > Hi 你好, > > 现在Flink CEP还不支持动态加载规则。社区现在有一个JIRA来跟踪这个需求： > >

Re: 用代码执行flink sql 报错 Multiple factories for identifier 'jdbc' that implement

Hi, 现在的查找TableFactory的代码在错误信息显示上似乎存在问题，看不到真实的类名，可以先手动执行一下以下代码查看到底是哪些类被判定为JDBC的DynamicTableSinkFactory了： List result = new LinkedList<>(); ServiceLoader .load(Factory.class, Thread.currentThread().getContextClassLoader()) .iterator() .forEachRemaining(result::add); List jdbcResult =

Re:用代码执行flink sql 报错 Multiple factories for identifier 'jdbc' that implement

Hi, 你是用哪个版本的呢？有没有自己继承了 DynamicTableSinkFactory 实现的 factoryIdentifier 方法返回 `JDCB` 的 Connector？ Best, Hailong 在 2020-12-03 14:44:18，"xuzh" 写道： >错误： > > >Caused by: org.apache.flink.table.api.ValidationException: Multiple factories >for identifier 'jdbc' that implement

taskmanager.out配置滚动

想问下社区的大佬，标准输出文件taskmanager.out可以配置成滚动的吗？

Re: zookeeper更换leader对flink的影响

我查了一下，社区目前已经有相关的ticket和PR了，你可以关注一下 https://issues.apache.org/jira/browse/FLINK-10052 https://github.com/apache/flink/pull/11338 Best, Yang Yang Wang 于2020年12月3日周四 下午4:52写道： > 我理解Curator和ZooKeeper的各个节点(包括Leader, Followers)之间都是长连接 > 如果你重启了ZK节点的其中一个，应该会导致和这个节点连着的Curator Client都Suspend， >

Re: flink 1.11.2写hive 2.1.1 orc 遇到的问题

Hi Rui Li lib 下包如下: flink-csv-1.11.2.jar flink-dist_2.11-1.11.2.jar flink-json-1.11.2.jar flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar flink-shaded-zookeeper-3.4.14.jar flink-sql-connector-hive-2.2.0_2.11-1.11.2.jar flink-table_2.11-1.11.2.jar

Re: flinksql1.11长时间没有数据写入mysql，会报ava.sql.SQLException: No operations allowed after statement closed.

hi Leonard: 报错信息如下： [2020-12-02 22:01:03.403] [ERROR] [jdbc-upsert-output-format-thread-1] [org.apache.flink.connector.jdbc.internal.JdbcBatchingOutputFormat] >>> JDBC executeBatch error, retry times = 3 java.sql.SQLException: No operations allowed after statement closed. at

flink使用多个keytab

你好，我在使用flink run提交任务时，由于集群是kerberos化的Hadoop集群，我想为不同的用户提供不同的keytab进行认证，但是我在flink-conf.yaml中看到了的security.kerberos.login.keytab和security.kerberos.login.principal的相关配置，但是这不能动态配置；我尝试了使用 -yD进行配置，但是并不起作用，我想知道如何处理这样的情况？期待您的回复~~~ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 为什么要关闭calcite的隐式转换功能

Hi， 我理解可能是calcite隐式类型转换功能还比较新，暂时没有启用。不过即使开启 了跟hive的隐式转换逻辑也不一定完全一致，比如某些hive允许的转换calcite可能不允许。目前社区也在做hive语法兼容的工作，这个功能有了以后迁移hive任务会更容易。 On Wed, Dec 2, 2020 at 6:43 PM tangshiwei wrote: > 目前flink sql，flink hive >

Re: flink 1.11.2写hive 2.1.1 orc 遇到的问题

Hi， 你的flink lib下都添加了哪些依赖呢，另外出问题的SQL是怎么写的？ On Thu, Dec 3, 2020 at 4:15 PM yang xu <316481...@qq.com> wrote: > flink 版本1.11.2 > hive 版本2.1.1 基于cdh 6.2.1 > 写普通表或parquet没问题，写orc报如下错误: > < > http://apache-flink.147419.n8.nabble.com/file/t1150/flink_hive%E5%8C%85%E5%86%B2%E7%AA%81.png> > > >

Re: zookeeper更换leader对flink的影响

我理解Curator和ZooKeeper的各个节点(包括Leader, Followers)之间都是长连接 如果你重启了ZK节点的其中一个，应该会导致和这个节点连着的Curator Client都Suspend， 进而导致相应的JobManager丢掉leader ship，所以会cancel掉当前任务然后重新运行 你可以验证一下是不是重启一个ZK节点只是特定的连到这台上面的Flink任务Failover，而不是全部的 最后，这个问题目前应该是没有办法通过Flink配置直接解决，除非是Curator#LeaderLatch对Suspend的状态处理可以进行改进

Re: Flink SQL使用Tumble窗口函数报NoSuchMethodError functions/AggregateFunction 异常

hi 从报错信息看应该jar包冲突了,可以贴一下相关的依赖包吗 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink 1.11.2写hive 2.1.1 orc 遇到的问题

flink 版本1.11.2 hive 版本2.1.1 基于cdh 6.2.1 写普通表或parquet没问题，写orc报如下错误: 也看到其它邮件列表说修改: flink-sql-connector-hive-2.2.0_2.11-1.11.2.jar OrcFile： WriterVersion CURRENT_WRITER = WriterVersion.HIVE_13083