Re: GenericRowData与BinaryRowData的转换

hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗？我们业务场景需要对RowData toString，BinaryRowData没有实现该方法QQAQ Benchao Li 于2021年4月9日周五 10:42写道： > GenericRowData和BinaryRowData都是RowData这个接口的具体实现。 > 所以你只需要针对RowData进行编程即可，不能假设它使用哪个具体实现。 > > 关于你的问题，在算子之间数据计算和转换的时候，会有很多地方构造出来BinaryRowData， >

Re: Flink作业算子uid修复

可以尝试解析下作业的Job Graph BIGO 于2022年9月28日周三 14:25写道： > 大家好。 > 我需要为一个之前没有设置算子uid的作业设置uid，并且不能抛弃savepoint数据。 > 我现在的问题是不知道如何确认多个算子和flink为之默认生成的uidHash之间的映射关系。 > 麻烦大佬指教，谢谢。

Re: Flink Kafka e2e exactly once问题询问

假设我的Checkpoint超时时间15min，kafka transcation超时时间10min，在Checkpoint长时间卡住，超过了事务超时时间，这种情况是不是就有问题了 ？ 赵珩 于2021年12月31日周五 21:23写道： > 我的理解是超过kafka transaction > timeout时间重启flink任务才会发生未提交数据丢失的情况， > kafka不会无限期的保存未提交事务数据。 > 正常情况下的flink重启是不会出现数据丢失的。 > > 在 2021/12/31 11:31, zilong xiao 写道: >

Re: Flink Kafka e2e exactly once问题询问

k 重启，重新提交二阶段的事务id （但是由于kakfa > 消息已经丢了，提交无效）猜测：当二阶段commit失败的时候，是否根据重发消息来解决？同时引入幂等保证 > 在 2021-12-31 11:31:49，"zilong xiao" 写道： > >看官方文档中有介绍说当kafka事务超时时，可能会出现数据丢失的情况，那就是说，Flink没办法完全保证端到端exactly > >once是么？想请教下社区大佬，我这么理解是正确的吗？一直都听说Flink 写kafka是可以保证端到端exactly

Flink Kafka e2e exactly once问题询问

看官方文档中有介绍说当kafka事务超时时，可能会出现数据丢失的情况，那就是说，Flink没办法完全保证端到端exactly once是么？想请教下社区大佬，我这么理解是正确的吗？一直都听说Flink 写kafka是可以保证端到端exactly once的，看到文档描述有点懵 文档地址： https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/datastream/kafka/#kafka-producers-and-fault-tolerance 关键字："If the time

Re: hbase async lookup能否保证输出结果有序？

好的，感谢Jark~ Jark Wu 于2021年6月18日周五 上午10:59写道： > 可以看下 AsyncWaitOperator 的源码实现。 > > Best, > Jark > > On Tue, 15 Jun 2021 at 18:53, zilong xiao wrote: > > > 想了解下这块如何保证100%有序的呢，感觉异步查询是不是无法保证查询结果的先后，比如网络原因等等。 > > > > Jingsong Li 于2021年6月15日周二 下午5:07写道： > >

Re: hbase async lookup能否保证输出结果有序？

想了解下这块如何保证100%有序的呢，感觉异步查询是不是无法保证查询结果的先后，比如网络原因等等。 Jingsong Li 于2021年6月15日周二 下午5:07写道： > 是有序的。 > > 无序的mode目前并没有支持， 目前可能会影响流计算的正确性 > > Best, > Jingsong > > On Tue, Jun 15, 2021 at 3:42 PM zilong xiao wrote: > > > hi，社区大佬们好，想问下flink 1.13中hbase async lookup能否保证输出结果

hbase async lookup能否保证输出结果有序？

hi，社区大佬们好，想问下flink 1.13中hbase async lookup能否保证输出结果有序？

Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？

hi，yidan 可以在layout中读取系统环境变量作区分 祝好~ yidan zhao 于2021年6月10日周四 下午2:27写道： > 我觉得还有个头疼的吧，你很多机器，怎么区分每个机器还得。哪个机器的JM/TM的日志。 > > yujianbo <15205029...@163.com> 于2021年6月10日周四 下午1:48写道： > > > > log4j可以，log4j2也可以，现在头疼已经实现打kafka，不知道怎么区分这两边的日志 > > > > > > > > -- > > Sent from:

Re: JDBC异步lookup join有FLIP或者迭代计划吗？

想贡献+1，关注中... Ada Luna 于2021年6月10日周四 下午2:42写道： > 好的后续我会在这个ticket简述方案。 > > Lin Li 于2021年6月10日周四 下午12:02写道： > > > > 社区之前有过基于 legacy source 的 pr > > https://issues.apache.org/jira/browse/FLINK-14902， 不过目前没有进展， 欢迎贡献！ > > cc Guowei Ma > > > > > > Luna Wong 于2021年6月10日周四 上午11:16写道： > > > > >

Re: flink1.12版本，yarn-application模式Flink web ui看不到日志

1.10默认用的log4j1，1.12用log4j2 smq <374060...@qq.com> 于2021年6月2日周三 下午3:26写道： > > 你的意思是在log4j.properties中的配置吗，我门在这个里边配置了生成日志文件的格式，是在安装节点里加的，不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的，但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12，这种情况在1.12出现的 > > > > > > -- 原始邮件 -- > 发件人: r pp 发送时间:

Re: Flink 1.11版本LeaseRenewer线程不释放

并没有定位到具体原因，只能靠重启作业缓解。。。 zhisheng 于2021年5月13日周四 下午4:20写道： > 你好，这个问题后来定位到问题了吗？ > > 我们生产也有一个作业有这样的问题，Flink 版本是 1.10.0，这个作业是 JM 的线程数很多（快 6k），作业是 flink 读取 > Kafka，会关联 HBase ，开启了 Checkpoint，就这个作业有问题，很奇怪 > > https://tva1.sinaimg.cn/large/008i3skNgy1gqgvhdu674j31je0u0795.jpg > >

SQL作业中使用python udfs语法检查报错，作业提交缺没问题

报错内容：Python callback server start failed!

Re: 关于1.12新增的initialize阶段时间较长问题

有截图吗？ 赵一旦 于2021年2月7日周日 下午3:13写道： > 这个问题现在还有个现象，我提交任务，web > UI就类似卡住状态，过一会刷新出来任务，会有4-5个initialize状态的任务，然后几秒之内陆续消失，剩下1个。 > > 目前怀疑是有什么重试机制，导致重复提交N个任务，然后可能还有什么去重机制，然后其中几个陆续自动停掉？ > > 赵一旦 于2021年1月26日周二 上午10:51写道： > > > 如上，目前发现以前很快（10-30s）内能从敲命名到running的任务。现在有时候innitialize阶段就得1-2min。不清楚啥情况。 > > >

Re: Flink 1.11 session cluster相关问题

捞一下自己 zilong xiao 于2021年2月2日周二 上午10:35写道： > 请问社区大佬，1.11版本的session > cluster模式不支持在启动时指定启动taskmanager个数了吗？好像只能动态申请资源了？在1.4版本可以用-n，现在该参数已移除，为什么要这么做呢？我理解在启动一个session > cluster的同时申请好TM个数也是一种常见场景吧？ > > 求社区大佬指点 >

Flink 1.11 session cluster相关问题

请问社区大佬，1.11版本的session cluster模式不支持在启动时指定启动taskmanager个数了吗？好像只能动态申请资源了？在1.4版本可以用-n，现在该参数已移除，为什么要这么做呢？我理解在启动一个session cluster的同时申请好TM个数也是一种常见场景吧？ 求社区大佬指点

Re: Re: flink-sql-gateway稳定性如何，可以在生产环境使用吗？

session-client 作用是什么呢？ session的维护和管理吗？ felixzh 于2021年1月27日周三 下午5:49写道： > 如果使用flink-sql-gateway，建议自己参照jdbc封装一个session-client > > > > > > > > > > > > > > > > > > 在 2021-01-27 14:41:28，"Jeff Zhang" 写道： > >zeppelin 有 rest api 接口， > https://www.yuque.com/jeffzhangjianfeng/gldg8w/pz2xoh > > > >jinsx

Re: flink-sql-gateway相关问题

好的 Lin Li 于2021年1月27日周三 下午5:20写道： > try: "execution.target: yarn-pre-job" -> "execution.target: > yarn-per-job" > > zilong xiao 于2021年1月27日周三 上午10:17写道： > > > 感谢您的回答，我在flink-conf.yaml里指定"execution.target: yarn-pre-job"后，尝试用rest > &g

Re: flink-sql-gateway支持远程吗

如果是yarn-pre-job，是如何提交到yarn集群的呢，跟host * rest port应该没关系了吧？ Sebastian Liu 于2021年1月27日周三 上午12:48写道： > flink-sql-gateway在提交job时，会根据SPI加载executor，然后推断是local mode还是remote mode, > 在remote mode下，根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml， > 其中的host, rest port决定了提交的远端集群 > > 罗显宴

Re: flink-sql-gateway相关问题

usterExecutorFactory，具备向Yarn提交job的能力，这和使用flink > client > 提交job最终是一个调用路径，余下在flink-conf中添加上yarn相关配置我理解就可以了。 > org.apache.flink.yarn.configuration.YarnConfigOptions > > zilong xiao 于2021年1月26日周二 下午4:00写道： > > > 请问有关于flink-sql-gateway rest api以pre job模式提交作业到yarn集群的文档吗？ > >

flink-sql-gateway相关问题

请问有关于flink-sql-gateway rest api以pre job模式提交作业到yarn集群的文档吗？

Re: 咨询关于flink究竟使用的是log4j1还是log4j2.

Hi flink从1.11开始应该支持log4j，logback，log4j2了，1.11之前的版本只支持前两者，log4j2也是可以用.properties配置的，现在1.12里的默认配置就是log4j2 祝好~ 赵一旦 于2021年1月26日周二 下午1:27写道： > > 网上很多人说log4j2是使用.xml配置。但是flink的conf中只有properties，但是官方文档讲默认使用log4j2？搞蒙了，究竟用的哪个呢。 >

Re: Flink CVE补丁会打在1.10版本吗

Hi Luna, 可以找到对应的commit，将其修改cherry pick到自己的工程重新打包 祝好~ Luna Wong 于2021年1月7日周四 上午10:44写道： > Flink 那个两个CVE的Patch 会打在1.10.4这个版本吗。目前修复版本是 1.11.3 1.12.0 ，很多生成还都在1.10 > 不好直接升级的。 >

Re: FlinkSQL 1.10 事件时间声明不能包含系统保留字

没记错这是一个bug，计算列中含有关键字会异常，可以看下这个issue： https://issues.apache.org/jira/browse/FLINK-16068 Robin Zhang 于2020年12月29日周二 下午6:56写道： > -- 定义时间非系统保留字为事件时间字段，能正常运行 > create table events ( > process_time bigint comment '事件时间', > event string comment '事件类型', > ts AS

Re: Re: taskmanager.out配置滚动

为啥1.11可以呢? hdxg1101300123 于2020年12月23日周三 下午1:51写道： > 1.11可以 > > > > 发自vivo智能手机 > > 之前在社区我提过一次redirect的方案，但其他人有一些concerns，可以参考一下 > > > > https://github.com/apache/flink/pull/11839#pullrequestreview-399769862 > > > > zilong xiao 于2020年12月22日周二 下午4:13写

Re: taskmanager.out配置滚动

恩恩，这个场景是有的，目前看是可以通过重定向后实现，follow issue~ 李杰 于2020年12月22日周二 下午3:58写道： > Hi， > 这个功能我们之前做过，可以看下这里。 > https://issues.apache.org/jira/browse/FLINK-20713 > > zilong xiao 于2020年12月3日周四 下午7:50写道： > > > 想问下社区的大佬，标准输出文件taskmanager.out可以配置成滚动的吗？ > > >

Re: Flink 新版本的WEB UI taskmanager没有logs

看样子slf4j最终是绑定到了logback实现，你的任务配置是用的logback吗？如果不是，需要把logback的依赖排除掉 Jacob <17691150...@163.com> 于2020年12月16日周三 下午5:38写道： > 谢谢回复！ > > 1. 在jobmanager.err中发现如下日志绑定，存在冲突。 > > SLF4J: Class path contains multiple SLF4J bindings. > SLF4J: Found binding in > >

Re: Flink 新版本的WEB UI taskmanager没有logs

Hi Jacob 1.可否发现使用的配置？ 2.检查下jobmanager.err日志，看下日志的绑定是否正确 Jacob <17691150...@163.com> 于2020年12月16日周三 下午4:01写道： > > > Hello everyone! > > >

Re: Flink 1.11版本LeaseRenewer线程不释放

作业数据流是 kafka -> flink -> http/prometheus，目前这类型的作业很多，但是就只有那几个有问题，而且是必现，每次都只能重启，然后看着线程数上涨。。 我再debug看看~ Paul Lam 于2020年12月8日周二 下午6:00写道： > Hi, > > 我之前说的多个集群的情况主要指写入数据到 HDFS。如果只有 checkpoint 依赖 HDFS 而出现这种情况的话，的确是非常奇怪。 > > Best, > Paul Lam > > > 2020年12月8日 11:03

Re: Flink 1.11版本LeaseRenewer线程不释放

附一张有问题container的线程监控图 [image: image.png] zilong xiao 于2020年12月8日周二 上午11:03写道： > Hi Paul, > 线程名称是一模一样的，都是user1@cluserA，HDFS client版本对于用户来说是透明的，作业使用的是Flink > 1.11版本，该Flink版本使用HDFS版本好像是2.8.1，在Flink中和集群有持续交互的就只能想到checkpoint，开了DEBUG日志也没能找到root > cause。。 > > 另外 您说的“线程个数应该和用到

Re: Flink 1.11版本LeaseRenewer线程不释放

应该和用到的 HDFS 集群数目相同。 > > 你看看它们具体的线程名是不是完全相同（比如都是 user1@cluserA）？还有 HDFS client 的版本是什么？ > > Best, > Paul Lam > > > 2020年12月7日 18:11，zilong xiao 写道： > > > > 在生产中发现有个别Flink SQL 1.11作业的container线程数很高，查看Thread Dump发现有很多名为LeaseRenewer > > 的线程处于TIMED_W

Flink 1.11版本LeaseRenewer线程不释放

在生产中发现有个别Flink SQL 1.11作业的container线程数很高，查看Thread Dump发现有很多名为LeaseRenewer 的线程处于TIMED_WAITING状态，目前只能复现其现象，但是无法定位原因，不知道社区是否有类似经历的小伙伴呢？ Flink version: 1.11 State backend：filesystem checkpoint interval: 60s

Re: taskmanager.out配置滚动

好的，了解了，感谢您的解答 Yang Wang 于2020年12月4日周五 上午10:33写道： > 目前是支持不了的，因为STDOUT/STDERR本身并不是通过slf4j来写的 > 如果要支持是需要在Flink代码里面将Stdout重定向之后，再配置log4j才能解决 > > Best, > Yang > > zilong xiao 于2020年12月3日周四 下午7:50写道： > > > 想问下社区的大佬，标准输出文件taskmanager.out可以配置成滚动的吗？ > > >

taskmanager.out配置滚动

想问下社区的大佬，标准输出文件taskmanager.out可以配置成滚动的吗？

Re: 请教一下目前flink submit能不能指定额外的依赖jar

原来如此，我觉得是一个不错的想法，但是其实对用户来说，最好除了写SQL之外，其他事情都不要做是最好

Re: 请教一下目前flink submit能不能指定额外的依赖jar

Hi silence, 想问下为什么一定要submit参数呢？我理解如果是做平台的话，用户如果有多个jar依赖，为什么不把这些jar统一打包到任务主jar里呢？，平台可以提供一些公共依赖，比如flink，hadoop等 silence 于2020年11月30日周一 下午5:20写道： > 看了很多同学回复yarn的解决方案 > > 我这再补充一下： > 还是希望可以提供更通用的submit参数来解决此问题， > 包括提交到standalone集群时可以额外指定本地依赖jar > > 有没有cli相关的同学可以跟进下建议 > 谢谢 > > > > -- > Sent from:

测试用例调试问题

本地运行测试用例有时会有一堆Scala文件报错，但是整体工程编译又没问题，求大佬解答这种情况该怎么办呢？能忽略Scala文件吗？

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

过已经有相关issue和讨论了[1] > > [1] https://issues.apache.org/jira/browse/FLINK-18202 > > zilong xiao 于2020年11月24日周二 下午4:46写道： > > > 这是从哪看出来的呢 求指点，另外如果想用DDL写的schema 应该怎么做呢？ > > > > Benchao Li 于2020年11月24日周二 下午4:33写道： > > > > > 看起来这个format是用的自动推导schema，而不是

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

这是从哪看出来的呢 求指点，另外如果想用DDL写的schema 应该怎么做呢？ Benchao Li 于2020年11月24日周二 下午4:33写道： > 看起来这个format是用的自动推导schema，而不是用的DDL写的schema。 > > zilong xiao 于2020年11月24日周二 下午4:13写道： > > > 用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧， > > https://github.com/yangyichao-mango/flink-protobuf >

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧， https://github.com/yangyichao-mango/flink-protobuf Benchao Li 于2020年11月24日周二 下午3:43写道： > 看起来你的DDL写的没有什么问题。 > > 你用的是哪个Flink版本呢？ > 此外就是可以发下更完整的异常栈么？ > > zilong xiao 于2020年11月24日周二 下午2:54写道： > > > Hi Benchao，图片可以看https:/

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~ Benchao Li 于2020年11月24日周二 下午2:49写道： > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。 > > zilong xiao 于2020年11月24日周二 上午10:49写道： > > > [image: image.png] > > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。 > > > > > -- > > Best, > Benchao Li >

Flink SQL Row里嵌套Array该如何用DDL定义?

[image: image.png] 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。

Re: flink web ui 页面按钮控制

Hi 祁洁 * 想问下你是怎么解决的呢？Thanks~* 祁洁 <1241502...@qq.com> 于2020年11月18日周三 下午5:13写道： > 已解决。 > > > > > --原始邮件-- > 发件人: > "祁洁" > < > 1241502...@qq.com; >

Re: SQL从1.9迁移到1.11的问题

关于1.11 获取执行计划，我向社区提了一个issue： https://issues.apache.org/jira/browse/FLINK-19687，我觉得这个应该是需要支持的，可以关注下 izual 于2020年10月30日周五 下午5:04写道： > hi，Community： > > > 我们目前使用的是 flink 1.9.1 执行 SQL 任务，主要使用了以下几种接口： > 1. sqlQuery sqlUpdate: 执行表的创建、查找和写入 > 2. toAppendStream/toRetractStream：将表转换为流后，通过

Re: flink1.10 stop with a savepoint失败

Hi Robin Zhang 你应该是遇到了这个issue报告的问题：https://issues.apache.org/jira/browse/FLINK-16626 ，可以看下这个issue描述，祝好~ Robin Zhang 于2020年10月19日周一 下午3:42写道： > 普通的source -> map -> filter-> sink 测试应用。 > > 触发savepoint的脚本 ： > ${FLINK_HOME} stop -p ${TARGET_DIR} -d ${JOB_ID} > 具体报错信息： > >

Re: Flink SQL 1.11如何获取执行计划 & StreamGraph

？ zilong xiao 于2020年10月16日周五 下午8:56写道： > 1.11好像改了接口，用StreamExecutionEnvironment.getExecutionPlan()会报"No operators > defined in streaming topology. Cannot execute." 1.10是可以正常执行的 >

Flink SQL 1.11如何获取执行计划 & StreamGraph

1.11好像改了接口，用StreamExecutionEnvironment.getExecutionPlan()会报"No operators defined in streaming topology. Cannot execute." 1.10是可以正常执行的

Re: flink基于源码如何编译打包生成flink-table-blink.jar

Hi XiaChang 你可以对整个Flink工程打包，然后在flink-dist/target/flink-${version}-bin/flink-${version}/lib中找到，希望对你有帮助~ 祝好 XiaChang <13628620...@163.com> 于2020年9月29日周二 上午10:46写道： > 基于flink源码 如何编译打包生成flink-table-blink.jar > > 源码中，flink-table是多模块的，正常打包(mvn clean install -DskipTests >

Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上，数据无法输出

Hi Asahi Lee 你需要确认下kafka topic的分区数是多少，如果是1，那就需要设置下rebalance，让每个tm都有数据流入 Asahi Lee <978466...@qq.com> 于2020年9月27日周日 下午6:05写道： > 你好！ > 我使用flink > sql，从kafka中读取数据，然后进行sql聚合操作，然后再输出到kafka中；当我设置并行度为1时，程序执行正常；当我设置并行度为2，甚至更大时；程序可以执行，但是我的kafka中没有看到有数据输出？请问是什么原因呢？ > 使用stream api时，我们可以给每个算子设置并行度，那sql

Re: 关于如何贡献社区

https://mp.weixin.qq.com/s/EYoiqyRHt3ahiL4K4a3CWA 可以看看这个文章 jinhai wang 于2020年9月27日周日 下午5:45写道： > @Kyle Zhang > > 你需要在jira上说明自己的看法或者修复方案 然后commiter会分配给你 > > > > Best Regards > > jinhai...@gmail.com > > > 2020年9月27日 下午5:43，Kyle Zhang 写道： > > > > Hi， > > 我在jira上建了一个issue(FLINK-19433 > >

Re: 怎么样在Flink中使用java代码提交job到yarn

不太了解 YarnClusterDescripto~ xiao cai 于2020年9月25日周五 下午5:28写道： > Hi zilong: > > 这种方式我考虑过，个人认为平台层面如果有业务逻辑的侵入，会影响后续的升级。所以我们是在标注输出中正则匹配出jobId和applicationId。你了解YarnClusterDescripto吗？之前社区看到有人用这个提交的。 > > > 原始邮件 > 发件人: zilong xiao > 收件人: user-zh > 发送时间: 2020年9月25日(周五) 17:12 &g

Re: 怎么样在Flink中使用java代码提交job到yarn

你提交的任务是可以指定job name的呀，你的job name和你的业务主键绑定就可以做到唯一了，然后根据这个关系查询即可，没记错-ynm 是指定job name的 xiao cai 于2020年9月25日周五 下午5:01写道： > hi zilong: > 通过process提交任务以后，通过rest > api，如何知道哪一个是我提交的呢？如果这时有多个请求过来同时都提交了任务，怎么知道rest返回的application应该与哪一次提交对应呢？ > > > 原始邮件 > 发件人: zilong xiao > 收件人: us

Re: 怎么样在Flink中使用java代码提交job到yarn

我知道呀，你不是从输出里抠的嘛？你想要更优雅的方式可以用rest api啊，这些信息都是可以拿到的 xiao cai 于2020年9月25日周五 下午4:53写道： > hi zilong： > 你说的这些信息我目前都能拿到，已经实现了。只是实现的方式很不优雅，而且提交的速度很慢。 > > > 原始邮件 > 发件人: zilong xiao > 收件人: user-zh > 发送时间: 2020年9月25日(周五) 16:48 > 主题: Re: 怎么样在Flink中使用java代码提交job到yarn > &

Re: 怎么样在Flink中使用java代码提交job到yarn

JobId是说Flink的JobId还是yarn上面的application ID呢？containerID可以通过yarn rest api拿到呀 xiao cai 于2020年9月25日周五 下午4:43写道： > > 使用process没办法拿到当前提交任务的JobId和提交到Yarn上的对应的containerId，自能从标准输出中使用正则解析出来。我们目前使用的就是这种方式，已经实现了。但是这样很不优雅，而且提交的速度也会比较慢。 > > > 原始邮件 > 发件人: zilong xiao > 收件人: user-zh >

Re: 怎么样在Flink中使用java代码提交job到yarn

Java程序用process调用脚本提交任务没啥问题吧，获取jobId的问题，我理解可以用yarn rest api & flink rest api来完成，希望对你有帮助，祝好~ xiao cai 于2020年9月25日周五 下午4:23写道： > Hi all： > 大家好，我目前遇到一个flink 任务提交方面的困扰： > 想要在自己的项目中（springboot）提交flink >

Re: flink读取mongo数据本地部署成功，flink-cluster部署找不到类

有可能是依赖冲突了，可以尝试用maven shade jar看看 GeGe 于2020年9月25日周五 下午3:54写道： > > > 您好！ > > > 我用flink从mongo读取数据，在本地运行成功，但是部署到本地flink-cluster中却报错： > > > > java.lang.NoClassDefFoundError: com/mongodb/MongoClient > > at java.lang.Class.getDeclaredMethods0(Native Method) > > at

Re: Submit New Job -> Show Plan源码

在工程里全局搜索关键字找到的代码貌似不是这个功能的，想知道这个接口调用的入口类类名是哪个呢？ zilong xiao 于2020年9月25日周五 下午3:38写道： > [image: image.png] > Hi, 想问下社区有大佬知道Show Plan调用接口的源码在哪块吗？ >

Submit New Job -> Show Plan源码

[image: image.png] Hi, 想问下社区有大佬知道Show Plan调用接口的源码在哪块吗？

Re: 编译Flink时找不到scala-maven-plugin:3.1.4

Hi Natasha, 在mvn命令中加上这两个参数试试看 -Dscala-2.12 -Pscala-2.12 Natasha <13631230...@163.com> 于2020年9月23日周三 下午4:00写道： > Hi All, > 很高兴加入Flink这个大家庭！但是有个问题困扰了我好久！ > 当我导入Flink到IDEA中准备进行编译，输入“mvn clean install -Drat.skip=true > -Dmaven.test.skip=true -Dmaven.javadoc.skip=true

Flink 1.11 datastream写hive parquet表异常

[image: image.png]

Re: 如何在启动taskmanager时传入自定义的java参数

可以在flink-conf.yaml里设置，例如： env.java.opts: -Djob.name={{job_name}} xiao cai 于2020年9月15日周二 下午5:46写道： > Hi： > 我修改了flink的一些源码，需要通过外部-Dkey=value的形式动态将值传入，试了下无法直接通过bin/flink run > 后加-D的方式来添加，有什么好的办法吗？

Re: Flink Plan Visualizer

zh/dev/execution_plans.html > > zilong xiao 于2020年9月8日周二 下午8:00写道： > > > hi，想问下，Flink Plan Visualizer能画job graph吗？网上查貌似只能根据execution plan画steaming > > graph？ > > >

Flink Plan Visualizer

hi，想问下，Flink Plan Visualizer能画job graph吗？网上查貌似只能根据execution plan画steaming graph？

Re: RocksDBStateBackend 问题

可以看下这个文档： https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend guaishushu1...@163.com 于2020年9月7日周一 下午5:47写道： > 想问下关于RocksDBStateBackend > 是直接把状态存在rocksdb数据库，还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库，那岂不是很影响数据处理速度。 > > > >

Re: 请指教一个关于时间窗的问题，非常感谢！

可否发下是哪个配置，有相关的文档吗？ superainbower 于2020年9月4日周五 下午5:24写道： > 1.11的版本已经加入了 新的配置项，避免了数据倾斜导致某个分区没数据 而不触发计算的问题 > > > | | > superainbower > | > | > superainbo...@163.com > | > 签名由网易邮箱大师定制 > > > 在2020年09月4日 15:11，taochanglian 写道： >

Re: 无法savepoint

看官方文档 cancel 语法格式是：Syntax: cancel [OPTIONS] ，所以-yid xxx是不是要放到job id之前？ 另外文档中有提示到Cancel with a savepoint (deprecated)， 建议使用stop语法，见： https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/cli.html 希望对你有帮助，祝好~ x <35907...@qq.com> 于2020年9月3日周四 上午11:30写道： > /flink/flink-1.10.1/bin/flink

Re: flink json ddl解析

问题大概懂了，坐等Flink大佬回复 Dream-底限 于2020年9月1日周二 下午4:43写道： > hi > 就是json数组如果是这种：[1,2,3]，我可以直接array解析 > > 如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array int,b string,c boolean>>,flink做ddl翻译解析json的时候会把row boolean>这一部分映射为解析jsonobject，但是array元素不是jsonobject会导致取不到

Re: flink json ddl解析

基本类型包装一层会导致解析不出来 这个没太明白，可以举个列子吗？ Dream-底限 于2020年9月1日周二 下午2:20写道： > hi、 > 我先前也想这样用，但后来发现ddl中的row对应json中的object，基本类型包装一层会导致解析不出来，感觉应该在ddl加一个类型映射一下这种情况 > > zilong xiao 于2020年9月1日周二 上午11:47写道： > > > like this: ARRAY String>>> > > > > Drea

Re: flink json ddl解析

like this: ARRAY>> Dream-底限 于2020年9月1日周二 上午11:40写道： > hi > > 我正在解析json数组，在解析的时候遇到一个问题，当解析的json数组元素为同一类型的时候，我可以使用ddl的array进行存储，但是当json数组元素为不同类型的时候，我没办法做ddl映射，我查看JsonRowSchemaConverter解析json > array的时候，对于不同类型的数组元素解析后可以用row存储，但请问我在ddl时候要怎么做，因为在DDL用row表示数组会抛出异常 > > > private static TypeInformation

Re: 关于flink任务的日志收集到kafka，可以在logback配置文件中，加如每个job的id或者name吗？

可以用程序来完成的，flink-conf.yaml里可以先用占位符，例如 `env.java.opts: -Djob.name={{job_name}}` 在你提交作业之前，先读到这个模板文件，在代码里去replace该占位符就好，不需要手动去改 Jim Chen 于2020年8月31日周一 下午1:33写道： > 我也是flink1.10.1的版本的，如果按照你的方法，每次启动一个任务，都要在flink-conf.yaml中修改一下`env.java.opts: > -Djob.name=xxx`吗？这样的话，是不是太麻烦了 > > zilong xiao

Re: 关于flink任务的日志收集到kafka，可以在logback配置文件中，加如每个job的id或者name吗？

义的任务名，拿不到 > > > zilong xiao 于2020年8月27日周四 下午7:24写道： > > > 如果是用CLI方式提交作业的话是可以做到的 > > > > Jim Chen 于2020年8月27日周四 下午6:13写道： > > > > > 如果是自动以PatternLayout的话，我有几点疑问： > > > > > > > > > 1、logback加载时机的问题，就是①先会运行logback相关类，②再执行你自定义的Pa

Re: 如何设置FlinkSQL并行度

SQL 算子并行度设置可以自己实现，可以私下交流下，正好在做这块，基本能工作了 JasonLee <17610775...@163.com> 于2020年8月23日周日 下午2:07写道： > hi > checkpoint savepoint的问题可以看下这个 > https://mp.weixin.qq.com/s/Vl6_GsGeG0dK84p9H2Ld0Q > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: 从savepoint 启动以后，无法在checkpoint页面看到last restore的相关信息

图挂了，用图床工具贴链接吧 范超 于2020年8月28日周五 上午11:37写道： > Hi， 大家好 > > Flink版本 1.10.0 > > > > 目前程序的checkpoint使用rocksdb的方式存储在hdfs上，在sink失败的时候能够正常从上一个checkpoint点恢复。 > > 问题是由于升级程序，我使用了命令行 > > *bin/flink stop -p ${hdfsSavepointDir} -d $runningJobId -yid $yarnAppId* > > > > 将savepoint文件保存，然后再使用保存的savepoint来启动程序 >

Re: flink on yarn日志问题

如果是用命令行的方式提交作业，可以在环境变量中获取APP IP，在作业以pre job方式提交到集群时，会执行 launch_container.sh ，里面export了很多变量，其中就有_APP_ID Jim Chen 于2020年8月27日周四 下午6:17写道： > 能分享一下demo吗？ > >

Re: Flink SQL Map类型字段大小写不敏感支持

得这个需求有点违反 map 的行为了，在所有的编程语言中，map 的 key 都是只能对应唯一一个 value 的，大小写要严格匹配的。 > 如果想要实现这种效果，你可以先将原先的 map 转成小写后的 key，value 为原先 'aB', 'Ab' ... 的 value list。 > > > Best, > Jark > > > > > > On Thu, 27 Aug 2020 at 09:56, zilong xiao wrote: > > > 好的，了解了，谢谢啦~ >

Re: 关于flink任务的日志收集到kafka，可以在logback配置文件中，加如每个job的id或者name吗？

该是临时的环境变量吧 > 3、如果是配置的临时环境变量的话，那么在执行bin/flink run的时候，shell中是执行java > -cp的，此时的主类，是org.apache.flink.client.cli.CliFrontend，这种方式，环境变量在传递的时候，会丢吧？ > > zilong xiao 于2020年8月25日周二 下午5:32写道： > > > 1：想加入跟业务相关的字段，例如jobId，jobName，可以继承PatternLayout，重写doLayout即可，在方法中对日志进行填充 > > 2：这些属性有

Re: 关于flink任务的日志收集到kafka，可以在logback配置文件中，加如每个job的id或者name吗？

个应该是临时的环境变量吧 > 3、如果是配置的临时环境变量的话，那么在执行bin/flink run的时候，shell中是执行java > -cp的，此时的主类，是org.apache.flink.client.cli.CliFrontend，这种方式，环境变量在传递的时候，会丢吧？ > > zilong xiao 于2020年8月25日周二 下午5:32写道： > > > 1：想加入跟业务相关的字段，例如jobId，jobName，可以继承PatternLayout，重写doLayout即可，在方法中对日志进行填充 > > 2：这些属性

Re: Flink SQL Map类型字段大小写不敏感支持

FLINK-16175?filter=12347488> > > > 在 2020年8月26日，20:47，zilong xiao 写道： > > > > 这个有相关的issue可以follow吗？ > > > > Danny Chan 于2020年8月26日周三 下午8:42写道： > > > >> 您好 现在 Flink SQL 是大小写敏感的 目前还没有计划开启大小写不敏感。 > >> > >> Best, > >> Danny Chan

Re: Flink SQL Map类型字段大小写不敏感支持

这个有相关的issue可以follow吗？ Danny Chan 于2020年8月26日周三 下午8:42写道： > 您好 现在 Flink SQL 是大小写敏感的 目前还没有计划开启大小写不敏感。 > > Best, > Danny Chan > 在 2020年8月21日 +0800 AM11:04，zilong xiao ，写道： > > 如题，在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况，比如有个Map字段 my_map，里面可能存在key > > aB，ab，Ab，在SQL中取值时能否能

Re: 关于flink任务的日志收集到kafka，可以在logback配置文件中，加如每个job的id或者name吗？

1：想加入跟业务相关的字段，例如jobId，jobName，可以继承PatternLayout，重写doLayout即可，在方法中对日志进行填充 2：这些属性有办法可以从环境变量中获取 Jim Chen 于2020年8月25日周二 下午4:49写道： > 大家好： > 我们在做flink的日志收集到kafak时，使用的logback日志配置文件，目前的pattern是%d{-MM-dd > HH:mm:ss.SSS} [%thread] %-5level %logger{60} - >

Re: flink1.11 sql问题

直接CAST不可以吗？ 酷酷的浑蛋 于2020年8月25日周二 下午3:46写道： > 关键是那个值不是固定的，有时候是json，有时候是json数组，没办法固定写一个，现在我只想把value当做字符串获取到，难道没有办法吗 > > > > > 在2020年08月25日 15:34，taochanglian 写道： > flinksql，处理json ，对象的话用row，数组的话用array获取具体的值。 > > 在 2020/8/25 14:59, 酷酷的浑蛋 写道: > 还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ >

Flink SQL Map类型字段大小写不敏感支持

如题，在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况，比如有个Map字段 my_map，里面可能存在key aB，ab，Ab，在SQL中取值时能否能做到大小写不敏感呢，my_map['ab'] 能取所有相关key的值

Re: Flink 启动问题

-yt应该只能写一个目录，你有什么痛点呢？ guaishushu1...@163.com 于2020年8月20日周四 下午8:40写道： > 大佬们知道 flink 的-yt命令是不支持多个目录吗，而且只能上传到集群.jar文件吗？？？ > > > > guaishushu1...@163.com >

Re: flink 1.11 日志不能正常打印问题

我也是用的properties配置文件，可是日志貌似没收集到，有什么方法可以判断配置文件是否生效吗 ？ caozhen 于2020年8月14日周五 上午10:23写道： > log4j2的配置：我是直接用的flink1.11.1客户端提供的log4j-console.properties。 > > 如果你是用的xml、yaml文件，在客户端提交作业时可能要指定一下日志文件，也可以改下flink启动脚本的日志设置 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 1.11 日志不能正常打印问题

想问下你是用的什么类型的配置 xml、yaml还是properties呢？ caozhen 于2020年8月14日周五 上午9:58写道： > 我最后用的是log4j2。 > > > 之前mainjar中有很多log4j的依赖(slf4j-log4j12)，而flink客户端lib下是log4j2的依赖(log4j-slf4j-impl)，导致了冲突，不能打印日志。 > > 改动:把mainjar中的log4j的依赖改成provided，使用了客户端提供的log4j2依赖 > > > > -- > Sent from:

Re: UDF：Type is not supported: ANY

HashMap<>(); > // ... > return map; >} > >@Override >public TypeInformation getResultType(Class[] signature) { > return Types.MAP(Types.STRING, Types.STRING); >} > > } > > > zilong xiao 于2020年8月6日周四 上午10:24写道： > >

Re: UDF：Type is not supported: ANY

ECT_ARRAY， > 其他类型的type information会被当做any类型来处理。 > 这里应该跟泛型没有关系，就是在实现的时候并没有考虑将Types.LIST(Types.STRING)当做SQL里面的ARRAY类型。 > 支持List作为ARRAY的数据，应该要在1.12才能支持[1]。 > > [1] https://issues.apache.org/jira/browse/FLINK-18417 > > zilong xiao 于2020年8月3日周一 下午8:23写道： > > > 不行的，试过了，遍历map把

Re: UDF：Type is not supported: ANY

不行的，试过了，遍历map把里面的entity全部toString都不行，应该是Java泛型机制的原因，不知道社区大佬怎么看待这个问题 godfrey he 于2020年8月3日周一 下午7:50写道： > 你把Map换为Map试试 > > zilong xiao 于2020年8月3日周一 下午4:56写道： > > > 目前转List可以用数组代替，Map貌似没法成功运行 > > > > zilong xiao 于2020年8月3日周一 上午10:43写道： > > > > > 最近在写F

Re: UDF：Type is not supported: ANY

目前转List可以用数组代替，Map貌似没法成功运行 zilong xiao 于2020年8月3日周一 上午10:43写道： > 最近在写Flink SQL处理数据的时候发现Flink自带的function不太能满足使用，像很常见的Json2Array > Json2Map貌似官方都没有实现，所以需要自定义函数来实现，然后我自己尝试用Jackson来实现时发现在语法检查时总是会报 `Type is not > supported: > ANY`，个人猜想这个是不是和Java泛型的特性有关，由于Java是假泛型，最终泛型会被擦除编程Object才会引发这个异常呢

UDF：Type is not supported: ANY

最近在写Flink SQL处理数据的时候发现Flink自带的function不太能满足使用，像很常见的Json2Array Json2Map貌似官方都没有实现，所以需要自定义函数来实现，然后我自己尝试用Jackson来实现时发现在语法检查时总是会报 `Type is not supported: ANY`，个人猜想这个是不是和Java泛型的特性有关，由于Java是假泛型，最终泛型会被擦除编程Object才会引发这个异常呢？想到Flink本身也有一个字符串转容器的函数

Re: Flink sql 转义字符问题

的。 > U&'\003B' 是 ; 的 unicode编码，所以用这个unicode编码是可以的，但一般这种用法是在需要用不可见字符分割时我们这样使用， > 比如 \n 对应的s是 U&'\\000A’ ，\r 对应的是 U&'\\000D’, > 对于分号这种可见字符来讲，不需要用unicode编码就可以的。 > > 祝好 > Leonard > > > 在 2020年7月31日，20:46，zilong xiao 写道： > > > > U&'\003B'

Re: Flink sql 转义字符问题

U&'\003B' 这么写就可以了 感觉好奇怪啊。。 李奇 <359502...@qq.com> 于2020年7月31日周五 下午8:25写道： > 加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。 > > > 在 2020年7月31日，下午8:13，zilong xiao 写道： > > > > SPLIT_INDEX(${xxx}, ';', > > > 0)，想从字符串中按分号切割，可是分号应该是特殊字符，语法检查总是不能通过，网上查说是可以转义，但是也没太搞懂怎么才能转义，有遇到过类似问题的大佬求指点~~ >

Re: Flink sql 转义字符问题

实测反斜杠好像也不行 李奇 <359502...@qq.com> 于2020年7月31日周五 下午8:25写道： > 加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。 > > > 在 2020年7月31日，下午8:13，zilong xiao 写道： > > > > SPLIT_INDEX(${xxx}, ';', > > > 0)，想从字符串中按分号切割，可是分号应该是特殊字符，语法检查总是不能通过，网上查说是可以转义，但是也没太搞懂怎么才能转义，有遇到过类似问题的大佬求指点~~ >

Flink sql 转义字符问题

SPLIT_INDEX(${xxx}, ';', 0)，想从字符串中按分号切割，可是分号应该是特殊字符，语法检查总是不能通过，网上查说是可以转义，但是也没太搞懂怎么才能转义，有遇到过类似问题的大佬求指点~~

Re: flink1.11日志上报

这个可以用配置文件实现，利用kafka appender将日志打到kafka中，然后自己去消费kafka处理即可，1.11中支持log4j2了，建议使用log4j2 Dream-底限 于2020年7月24日周五 上午10:50写道： > hi、 > > 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪 >

Re: flink-benchmarks使用求助

`-t max`之后出现的~ 改小并发后貌似没问题 Congxian Qiu 于2020年7月13日周一 下午8:14写道： > Hi > > 没有遇到过这个错误，这个错误是在指定 `-t max` 之后出现的，还是说其他情况下也会遇到呢？ > > Best, > Congxian > > > zilong xiao 于2020年7月13日周一 下午2:32写道： > > > 是的，用的 flink-benchmarks 代码，在跑的时候，指定参数-t max(最大工程线程)，在运行中会出现异常：

Re: flink-benchmarks使用求助

H 的的结果，具体的可以阅读 JMH 的相关文档[2] > > [1] https://github.com/dataArtisans/flink-benchmarks > [2] http://openjdk.java.net/projects/code-tools/jmh/ > > Best, > Congxian > > > zilong xiao 于2020年7月10日周五 下午3:54写道： > > > 如题，最近在新机器上跑flink-benchmarks验证下机器性能，但是不太会对跑出的结果进行分析，不知是否有大神也用过这个，可否指点一二 > > >

Re: flink1.10.1 flink sql消费kafka当parallelism大于1时不产生watermark

topic是几个分区呢？如果是一个分区，要加一个rebalance参数吧？ wind.fly@outlook.com 于2020年7月13日周一 上午11:46写道： > Hi, all： > 本人使用的flink版本为flink 1.10.1， flink sql消费kafka， > 当parallelism为1时正常运行，但讲parallelism修改为2时，在yarn-session > web页面看不到watermark的指标信息了，也没有计算结果输出，sql如下： > insert into >

flink-benchmarks使用求助

如题，最近在新机器上跑flink-benchmarks验证下机器性能，但是不太会对跑出的结果进行分析，不知是否有大神也用过这个，可否指点一二

Flink SQL如何将多个表的查询结果(列不同)聚合成一张表

列如下面这样，需要查询table1 & table2，分别查询不同的字段 在最外层做比值，flink貌似语法检查不通过，应该怎么写这样的SQL呢，有前辈可以指导下不~ select a.table_tmp1.r1 / a.table_tmp2.r2 as value0 from ( (SELECT r1 FROM table1) AS table_tmp1, (SELECT r2 FROM table2) AS table_tmp2, )as a

  1   2   >