??????????Blink ????kafka??????????

-- -- ??: "qq??"; : 2019??3??28??(??) 5:02 ??: "user-zh"; : Blink kafka?? ??Blink kafka 30

?????? Flink Job ????

?? flink ui job ?? job ?? -- -- ??: "cheng"; : 2019??3??28??(??) 5:08 ??: "user-zh"; : Re: Flink Job standalone job state

??????Flink Job ????

job created??running??cancelling??canceled??failed??RESTARTING job -- -- ??: "cheng"; : 2019??3??28??(??) 4:38 ??: "user-zh"; : Flink Job

Re: [Discuss] What should the "Data Source" be translated into Chinese

hi， 总感觉还是有点别扭，建议如果没找到合适的中文词语来翻译，那么还是用 Data Sink 来表示可能会更友好些 Kurt Young 于2019年8月13日周二 下午4:16写道： > cc user-zh mailing list, since there are lots of chinese speaking people. > Best, > Kurt > > > On Tue, Aug 13, 2019 at 4:02 PM WangHengwei wrote: > > > Hi all, > > > > > > I'm working on

Re: flink1.10版本连接hive报错

hi 苏欣： 建议先检查一下最后打的 jar 包里面是否包含了 com.hadoop.compression.lzo.LzoCodec 和 com.hadoop.compression.lzo.LzoCodec 苏 欣 于2019年8月9日周五 下午5:41写道： > 使用flink版本为1.10-snapshot，连接hive版本为1.1.0-cdh5.4.7，大数据集群有kerberos认证。 > > 我是用1.2.1的方式连接hive的。hiveCatalog可以取到表结构，但在启动作业的时候报错，Standalone模式和yarn模式都报同样的错。 >

Re: 全局并行度和算子并行度的关系

关于算子的并行度和 slot 可以看下文章 ： http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ ddwcg <3149768...@qq.com> 于2019年8月29日周四 上午10:18写道： > hi， > 请问在作业启动时设置的并行度，和后面算子的并行度是什么关系？ > > 比如启动时设置为1，map算子设置为5，map(...).setParallelism(5)，这个算子并行度的设置会起作用吗（因为它大于全局设置的1）？ >

Re: 一个FlinkJob消费多个kafka topic消息问题

那可以一个 kafka 消息一个 sink 史 正超 于2019年8月29日周四 下午4:11写道： > 1.平常工作中经常会有同一个统计表中会包含多个不同的统计指标,比如：post_count, send_count > 2.然而这些指标来自不同的kafka 消息体 > 3.有没有在不用uninon all的情况下，向sink 表中写入各自topic的数据，因为union all有很多0值来填充 > >

Re: Operate uid自动生成的逻辑

Operator uid 需要自己设置的 越张 于2019年7月30日周二 上午11:44写道： > 代码中哪里可以找到Operate uid自动生成的逻辑

Re: job总是在canceling状态，job取消不掉

可以提供下 flink 版本和相关的日志 庞泳佑 <18511179...@163.com> 于2019年7月30日周二 下午3:58写道： > flink在发送cancel命令时，有一个solt无法释放，job总是在canceling状态，job取消不掉 > > 庞泳佑 > 18511179...@163.com > >

Re: Buffer pool is destroyed

我猜你应该不止有这么个错误，再往日志上面找找，看看日志还有没有其他的报错信息，对了，直接贴错误信息吧，图片邮件里是不显示的。 tangjunli...@huitongjy.com 于 2019年8月5日周一 上午11:52写道： > 图片没显示出来 > > > > tangjunli...@huitongjy.com > > 发件人： 李龙 > 发送时间： 2019-08-05 10:41 > 收件人： user-zh > 主题： Buffer pool is destroyed > 各个老师好，我想请教下如图片所示的问题，找了很久也没有定位到是什么原因导致的，希望老师能解答一下 >

Re: Flink 的 log 文件夹下产生了 44G 日志

尴尬了，之前回复的邮件难道都是空白，Henry 你可以把报错信息放到哪个博客里面，然后再这里提供个链接，邮件看不到你的截图错误信息，你可以先根据错误信息定位问题所在，把错误的问题先解决掉，然后再来合理的配置重启策略。 Biao Liu 于2019年7月18日周四 上午1:15写道： > Hi Henry, > > 邮件列表貌似不能支持直接贴图，所以无法理解“里面不停的在产生 error > 信息，但是也没有看到具体哪里报错”是什么意思。尝试贴图到第三方，然后贴链接上来？不知道还有没有更好的办法 > > To zhisheng2018, 你为什么老回空邮件？ > > >

Re: 请教Flink SQL watermark遇到未来时间的处理问题

的时间，而是用当前系统的时间代替 Best！ From zhisheng 郑 仲尼 于2019年7月24日周三 下午3:44写道： > 各位Flink社区大佬， > 您好！ > 我使用Flink SQL (Flink > 1.8.0)进行一些聚合计算，消费的是Kafka数据，使用的是EventTime，但是有时候，偶然会出现rowtime字段来了一条未来时间的数据（可能是上送的数据时区导致），这样Watermark会直接推到了未来某个时间点，导致这笔错误数据到达后的数据，到未来时间点之间的数据会被丢弃。 > > 这个问题根本确实是业务方面的问

Re: flink kafka相关任务执行出错 导致 taskmanager 退出

hi，rockeycui 你是使用了 flink-metrics-prometheus 去 report metrics 数据吗？看到不少和 metrics 相关的字眼 rockey...@163.com 于2019年7月25日周四 下午5:12写道： > 你好，flink 运行过程中出现以下异常，有何建议指导排除异常， > > 2019-07-23 10:52:01,420 INFO org.apache.kafka.common.utils.AppInfoParser > - Kafka version : 0.9.0.1 >

Re: flink报空指针

hi 九思： 从提供的日志来看是看不出什么问题导致的空指针异常，有更详细的日志或者把你的代码提供出来吗？或者可以简单参考我自己之前写的博客（写入数据到 rabbitmq）：http://1t.click/uh6 希望对你有帮助！ 九思 <1048095...@qq.com> 于2019年7月22日周一 下午1:32写道： > 请教老师，flink on yarn，往rabbitmq写数据 或者 > 消费rabbitmq数据，都会报空指针，啥意思呢？本地idea都是正常的。flink包版本是1.8的，flink环境之前搭的1.7 > > 2019-07-22

Re: [metrics] metrics 中 Availability 和 Checkpointing 这两组没有显示

你是不是在同一台机器上开了 job manager 和 taskmanager？但是只填写了一个端口？ 可以参考官网 https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html#prometheus-orgapacheflinkmetricsprometheusprometheusreporter ，他这里写了端口 port 参数的情况 Biao Liu 于2019年11月5日周二 上午11:37写道： > 你好， > > JM 的 metric 应该也会直接 report。 >

Re: 在 Trigger 里可以知道 Window 中数据的状况吗

可以自定义 trigger，将两者的条件结合起来才fire Utopia 于2019年11月5日周二 下午2:19写道： > 不好意思没有描述清楚，我们业务场景是需要使用 SessionWindow的，不知道能不能在 Trigger 中获取当前 Window 中元素的。 > > Best regards > Utopia > 2019年11月5日 +0800 14:16 Biao Liu ，写道： > > 你好， > > > > countWindow [1] 能满足你的需求吗？ > > > > [1] > > >

Re: Re: 怎样把 state 定时写到外部存储

感觉wanglei更想去获取 state 的数据，只不过是需要将 state 数据额外的存储到外部的系统去，但是这样可能性能不太好。 那么可以换个思路来，直降使用 flink 的 state，你外部的直接获取 flink 的 state 呢？使用 flink-queryable-state 获取。 Biao Liu 于2019年11月5日周二 上午11:10写道： > 你好， > > 对你的问题描述有一些疑问 > > > 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住 > > 有没有什么方式可以定期读 state 写到外部存储？ > >

Flink 整合配置中心（Nacos 和 Apollo）动态更新作业配置

hi，all 在 Flink 中更新作业配置一般是通过重启作业配置或者使用广播流的方式，这里 zhisheng 贡献一种新的方式，整合配置中心来动态的更新 Flink 作业的配置，已达到无需重启作业且满足更新配置的效果，自己本人也分别录了两个视频，都已经放在 B 站了，我本人的博客做了些详细的说明，大家可以参考一下，然后在自己的公司运用起来，也欢迎大家提建议！ Flink 整合 Nacos，让 Flink 作业配置动态更新不再是难事： http://www.54tianzhisheng.cn/2020/02/22/flink-nacos/ Flink 整合 Apollo，动态更新

Re: flink rocksdb反压问题的处理

1、首先定位产生反压的位置（可以在 Flink UI 上查看或者根据 Flink 的 Metric 定位） 2、定位到了反压源之后，处理反压可以先从系统资源/垃圾收集（GC）/线程竞争/负载不平衡 等基本原因去分析 更详细的可以看下之前写的一篇文章 https://gitbook.cn/gitchat/column/5dad4a20669f843a1a37cb4f/topic/5db6bed1f6a6211cb9616645 chanamper 于2020年2月26日周三 上午9:33写道： > hi all, > 我采用flink >

Re: Flink ReduceFunction 没有数据发送到下游

可以发下你的 ReduceFunction 是咋写的 Jimmy Wong 于2020年2月26日周三 上午10:37写道： > Hi，All： > 请教一下，我用一个 Flink ReduceFunction 计算，但是发送到下游的数据不变了，而上游一直有数据过来，请问会是啥原因，谢谢！ > > > > > | | > Jimmy Wong > | > | > wangzmk...@163.com > | > 签名由网易邮箱大师定制 > >

Re: Flink ReduceFunction 没有数据发送到下游

("reduce=>{}", o1); > return new Order(o1.getId(), > o1.getAct() + o2.getAct(), > o1.getTimestamp()); > } > } > > > | | > Jimmy Wong > | > | > wangzmk...@163.com > | > 签名由网易邮箱大师定制 > > > 在202

Re: Flink读写kafka数据聚集任务失败问题

看到异常信息 - Closing TaskExecutor connection container_1578492316659_0830_01_06 because: Container [pid=30031,containerID=container_1578492316659_0830_01_06] is running beyond physical memory limits. Current usage: 10.0 GB of 10 GB physical memory used; 11.8 GB of 21 GB

Re: 怎么使用flink内存替代redis

可以使用 ValueState、ListState、MapState 等存储 sun <1392427...@qq.com> 于2020年1月16日周四 下午5:56写道： > > 以前我们使用flink的时候，用到了redis，将redis作为缓存的中间件，存放一些缓存的数据，好像flink可以把这些缓存的数据放在flink内存里面，请问怎么使用flink内存来替代redis

Re: flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_000002_0 was removed.

应该是你作业之前挂过了 郑 洁锋 于2020年1月22日周三 上午11:16写道： > 大家好， >flink on yarn任务启动时，发现报错了The assigned slot > container_e10_1579661300080_0005_01_02_0 was removed. >环境：flink1.8.1，cdh5.14.2，kafka0.10，jdk1.8.0_241 > > flink版本为1.8.1，yarn上的日志： > > 20/01/22 11:07:53 INFO

Re: java.lang.StackOverflowError

1、建议问题别同时发到三个邮件去 2、找找还有没有更加明显的异常日志 刘建刚 于2020年1月22日周三 上午10:25写道： > I am using flink 1.6.2 on yarn. State backend is rocksdb. > > > 2020年1月22日 上午10:15，刘建刚 写道： > > > > I have a flink job which fails occasionally. I am eager to avoid > this problem. Can anyone help me? The error stacktrace

Re: request for a flink sink

hi，flink don't have facebook faiss connector now, you can custom Sink (implement SinkFunction) 容祖儿 于2020年1月22日周三 下午7:55写道： > Hi members, > > Do you know if there is a sink who writes data to facebook faiss[1]? > I am looking for a sink class like this one [2]. > > [1]

Re: flink savepoint checkpoint

hi，这个参数我理解的作用应该是：作业取消的时候是否清除之前的 checkpoint，但这个 checkpoint 的并不一定是作业最新的状态。而如果你取消命令的时候触发一次 savepoint，那么这次的状态就是最新且最全的。 祝好！ zhisheng Px New <15701181132mr@gmail.com> 于2020年1月10日周五 上午10:58写道： > Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 > --> > > >

Re: 如何获取算子处理一条数据记录的时间

如你截图所示，目前 1.9 版本中第一二个指标应该是有的，后面四个指标建议 check 一下当时讲师说的 Flink 版本号 张江 于2020年1月3日周五 下午3:36写道： > 好的，谢谢。我在flink forward asia 2019上听到马庆祥老师讲flink动态资源调整，他是获取了flink > metrics的指标进行计算的，如截图所示。但我自己获取metrics似乎没有发现这个指标信息，不知道是什么原因？ > > 张江 > 邮箱：zjkingdom2...@163.com > >

Flink Weekly | 每周社区动态更新 - 2019/12/31

81 [10] https://issues.apache.org/jira/browse/FLINK-15370 [11] https://issues.apache.org/jira/browse/FLINK-15361 活动/博客文章/其他 = * 社区钉钉群群直播——《基于 Apache Flink 的监控告警系统》zhisheng PPT 下载地址 [12]直播视频回放地址 [13] * 年度回顾 | 2019 年的 Apache Flink <https://mp.weixin.qq.com/s/0FsRGo

Re: Re: Flink 内存类型相关疑问

hi，xintong，感谢耐心且专业的回答 Xintong Song 于2020年3月10日周二 上午10:04写道： > Hi Zhisheng, > > 1、Non-Heap 那个 UI 上展示的是否是 MetaSpace 和 Overhead 加起来的值？ > > > 从物理含义上来说，Non-Heap 描述的内存开销是包含在 Metaspace + Overhead 里的。 > > > > 2、为什么本地起的 Standalone Flink，为啥 UI 上展示的 Heap 会超过设置的 > >

Re: Flink 内存类型相关疑问

好的，清楚了，感谢 Xintong Song 于2020年3月10日周二 下午12:43写道： > Hi Zhisheng, > > 首先，Flink 官方的内存配置文档 [1] 中明确表示了，不推荐同时配置 > process.size、flink.size、task.heap.size + managed.size 三者中的任意两种或以上。 > > > Explicitly configuring both *total process memory* and *total Flink > > memory* is n

Re: Flink 内存类型相关疑问

hi, xintong 刚才我在 YARN 上分别测试了四种情况，第一种是默认不修改内存的配置，直接运行作业（Per Job 模式，下面的都是这种模式），作业能够启动起来，能正常运行，内存分配是 Flink 自己分配的； 第二种情况是配置文件指定 taskmanager.memory.managed.size 和 taskmanager.memory.task.heap.size 参数的大小，分别是 1024m 和 256m，作业也能够正常启动运行，截图如下： http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-03-10

Re: Re: flink sql join 可以有 state 存储并从 state 恢复数据吗？

http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-03-11-133919.png 我看现在还不支持 per job 模式，哎 zhisheng 于2020年3月11日周三 下午9:31写道： > 好的，我先去 look look，感谢 > > Kurt Young 于2020年3月11日周三 下午9:30写道： > >> https://github.com/ververica/flink-sql-gateway 了解一下 >> >> Best, &

Re: 关于Flink 命令行参数广播的问题

hi，aven.wu 可以使用 ParameterTool 获取到传入的参数，然后通过 env.getConfig().setGlobalJobParameters(parameterTool); 在算子中可以在 open 方法里面通过 getRuntimeContext().getExecutionConfig().getGlobalJobParameters(); 获取到配置 aven.wu 于2020年3月11日周三 下午3:42写道： > Hi，大家好！ > 遇到一个问题，在使用flink run >

Re: Re: flink sql join 可以有 state 存储并从 state 恢复数据吗？

好的，我先去 look look，感谢 Kurt Young 于2020年3月11日周三 下午9:30写道： > https://github.com/ververica/flink-sql-gateway 了解一下 > > Best, > Kurt > > > On Wed, Mar 11, 2020 at 9:26 PM zhisheng wrote: > > > hi, Kurt Young > > > > 除了使用 sql-client 可以使用纯 SQL 来执行，有没有其他的办法来

Re: Re: flink sql join 可以有 state 存储并从 state 恢复数据吗？

hi, Kurt Young 除了使用 sql-client 可以使用纯 SQL 来执行，有没有其他的办法来执行？因为通常不让本地直接连到生产的环境，也不会直接在生产的机器执行 sql-client Kurt Young 于2020年3月11日周三 下午7:59写道： > 那有可能是可以的，你可以试试看 > > Best, > Kurt > > > On Wed, Mar 11, 2020 at 6:57 PM wangl...@geekplus.com.cn < > wangl...@geekplus.com.cn> wrote: > > > Hi Kurt, > > > >

Re: Flink 内存类型相关疑问

hi，xintong， 我是 zhisheng，留意到你在回答 Flink 1.10 中到内存分配的问题，刚好我也继续问一个我的疑问。因为我在 YadongXie <https://cwiki.apache.org/confluence/display/~vthinkxie> 发起的 FLIP-102 中关于 TaskManager UI 内存分配的展示，Non-heap 主要是由 MetaSpace 和 Overhead 组成的，如下图所示： http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-03-09-1527

Re: 关于flink生产日志问题

hi, guanyq 正常来说任务运行的异常日志可以在 flink ui 中的 taskmanager 日志中查看，如果作业挂了或者被 kill 之后的话 ui 上是看不到日志了，但是可以在 yarn 上面找到该 container，查看该 jobmanager 的日志。 更好的做法是使用一些 log agent（比如 filebeat） 统一采集作业的日志，然后收集到 ElasticSearch 中，这样就可以查看历史的所有作业日志了 Best！ zhisheng guanyq 于2020年4月8日周三 下午3:12写道： > 您好： > >

Re: 关于kafka connector通过python链接

hi, 秦寒 暂时还没有 Python 这块的 API，可以去社区 JIRA 提建议 Best zhisheng 秦寒 于2020年4月8日周三 下午4:10写道： > 您好 > >Flink的 kafka connector 文档中只有java 和scala的列子，能否添加python > 调用kafka的列子，包括如何添加kafka connector，kafka client的jar包配置到pyhon > 环境等，谢谢。 > > > >

Re: Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！

应该加了 flink-connector-kafka_2.11-1.10.0.jar 这个就行 wangweigu...@stevegame.cn 于2020年4月13日周一 下午3:09写道： > > 感谢flink道友解答，谢谢！ > > > 目前是通过maven来开发flink程序，只是编译打包到集群运行的时候缺少kafka依赖包，flink-connector-kafka_2.11-1.10.0.jar，flink-connector-kafka-base_2.11-1.10.0.jar，kafka-clients-1.0.1-kafka-3.1.1.jar >

Re: Re: 关于flink 提交job参数不生效的问题

可以试试设置 -ytm 2048m 看看是不是还这样 wangweigu...@stevegame.cn 于2020年4月14日周二 下午2:16写道： > > 应该是你设置的 -ytm 和 -yjm内存大小比yarn container最小容器内存都小吧！ > yarn最小容器内存的参数： yarn.scheduler.minimum-allocation-mb > 容器内存增量： yarn.scheduler.increment-allocation-mb > > 发件人： guanyq > 发送时间： 2020-04-14 14:05 > 收件人： user-zh >

Re: flink java.util.concurrent.TimeoutException

检查一下这个 TM 的 GC 次数和时间吧 Yangze Guo 于2020年4月15日周三 下午3:03写道： > 日志上看是Taskmanager心跳超时了，如果tm还在，是不是网络问题呢？尝试把heartbeat.timeout调大一些试试？ > > Best, > Yangze Guo > > On Mon, Apr 13, 2020 at 10:40 AM 欧阳苗 wrote: > > > > > job运行了两天就挂了，然后抛出如下异常，但是taskManager没有挂，其他的job还能正常在上面跑,请问这个问题是什么原因导致的，有什么好的解决办法吗 > > > > >

Re: FlinkSQL构建流式应用checkpoint设置

也就是说这种 sql cli 作业启动后如果 kill 掉的时候，再次重启的话是不能够从 savepoint 或者 chekcpoint 恢复是吗？ godfrey he 于2020年4月15日周三 下午4:32写道： > Hi Even, > > 1. 目前 SQL CLI 支持通过在 sql-client-default.yaml 里设置 parallelism > 和 max-parallelism 来控制 CLI 任务的默认并发。或者通过 set 命令，如 set > execution.parallelism=10;放方式动态设置。例外，对于如果使用 blink >

Re: ddl es 报错

hi，Leonar Xu 官方 ES DDL 现在不支持填写 ES 集群的用户名和密码，我现在在公司已经做了扩展，加了这个功能，请问社区是否需要这个功能？我该怎么贡献呢？ 效果如图：http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-03-25-053948.png Best Wishes！ zhisheng Leonard Xu 于2020年3月24日周二 下午5:53写道： > Hi, 出发 > 看起来是你缺少了依赖es connector的依赖[1]，所以只能找到内置的filesystem conne

Re: flink背压问题

hi, 数据延迟不一定会产生背压，举个例子，Flink 写 HBase 的作业，Source 并行度为 5，Sink 并行度 10，这种情况下游写入速度很快的，可能写入速度超过 Flink 消费 Kafka 的速度，这种情况就不会出现背压的问题。 1、建议排查一下作业的并行度（可以设置和 Kafka 分区数一样）； 2、背压监控是通过 Flink Web UI 监控查看的，还是通过指标来判断的？ 3、对于数据延迟建议还是得对 Kafka 消费的 Topic 进行消费组的监控，加上 Lag 告警，这样可以及时知道数据延迟情况 Best ！ zhisheng 阿华田 于2020

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

hi, es index 的 mapping 是否提前设置好了？ 我看到异常 : > failed to process cluster event (put-mapping) within 30s 像是自动建 mapping 超时了 Leonard Xu 于2020年4月22日周三 下午4:41写道： > Hi, > > 提前创建的索引的shard配置是怎么样的？集群的reallocation、relocation配置怎样的？ > 可以从这方面找思路排查下看看 > > 祝好， > Leonard Xu > > > > > 在 2020年4月22日，16:10，Oliver

Re: 如何看到他人问题

中文用户邮件列表可以看：http://apache-flink.147419.n8.nabble.com/ 英文开发邮件列表可以看：http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ 英文用户邮件列表可以看： http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/ tison 于2020年4月21日周二 下午5:52写道： > cc > > > Leonard Xu 于2020年4月21日周二 下午5:03写道： > >

Re: 【flink-connector-kafka】是否支持Subscribe模式

可以使用不同的 group.id 消费 i'mpossible <605769...@qq.com> 于2020年4月21日周二 下午6:12写道： > Hi： > Flink支持Subscribe模式吗？用的connector版本是 > flink-connector-kafka-0.11_2.11，0.11x； > 因为业务需要，我想要优雅下线掉TopicB，即不中断事件流；执行结果发现当Flink服务和A服务指定同一个group.id > ，同时消费TopicA时，kafka偏移量提交失败（开启了检查点）； > > > 感谢解答！！！ >

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

 oliver yunchang 于2020年4月23日周四 上午12:32写道： > 非常感谢Leonard Xu和zhisheng的回复 > > > es index 的 mapping 是否提前设置好了？ > 提前设置好了，提前创建索引的mapping如下： > { > "xxx-2020.04.23": { > "mappings": { > "doc": { > "

Re: execution.checkpointing.tolerable-failed-checkpoints 无效

这个参数好像可以作业里面单独设置，可以试试看 env.getCheckpointConfig().setTolerableCheckpointFailureNumber(); 蒋佳成(Jiacheng Jiang) <920334...@qq.com> 于2020年4月30日周四 下午3:07写道： > hi > > 我在flink-conf.yaml中配置execution.checkpointing.tolerable-failed-checkpoints： > 100无效，默认为0，也就是不容忍错误，这样的话一个checkpoint出错，job就要重启，这个值该怎么设置呢？

Re: save point容灾方案咨询

hi 如果做 Checkpoint 或者 Savepoint 的时候可以填两个 HDFS 集群的地址路径（一个是你的主集群/另一个是容灾集群） 是不是就可以解决你现在的问题，达到你想要的需求？ Best zhisheng 请叫我雷锋 <854194...@qq.com> 于2020年5月17日周日 下午7:32写道： > 谢谢关注： > > > savepoint 容灾 是指的，每次执行savepoint生成的文件，能够在容灾集群上做备份。当主集群变得不可用时，可以将任务迁移到容灾 > 集

Re: flink1.10 ddl metric 不显示

是不是因为作业chain在一起了，所以才看不到的？ 了不起的盖茨比 <573693...@qq.com> 于2020年5月15日周五 下午3:22写道： > DDL(source sink 都是kafka-connect) metric 不展示数据，比如接收了多少数据等

Re: Flink-SQL on yarn 的bug

这个应该不是 bug，如果用代码写，在定义了事件时间的时候，也是要加水印的，否则无法触发窗口的 trigger guaishushu1...@163.com 于2020年5月15日周五 下午5:36写道： > insert into t_report_realtime_fangxin2_order1 > > SELECT date_format(TUMBLE_END(w_ts, INTERVAL '60' SECOND),'-MM-dd') as > summary_date, > date_format(TUMBLE_END(w_ts, INTERVAL '60'

Re: 回复：怎么排查taskmanager频繁挂掉的原因?

可以去 yarn 上找找 jobmanager 的日志，挂掉的作业，他的 jobmanager 日志应该还在的 Jeff 于2020年5月15日周五 下午3:28写道： > > > > 不是，是用per-job方式提交的 > > > > > > > > > > > > > > > 在 2020-05-15 14:14:20，"shao.hongxiao" <17611022...@163.com> 写道： > >你的是batch 模式吗 > > > > > > > > > >| | > >邵红晓 > >| > >| > >邮箱：17611022...@163.com > >| > >

Re: Flink1.10.1关于CliFronted命令行解析顺序引发的BUG

可以去提个 Issue 111 于2020年5月15日周五 下午5:19写道： > Hi， > > > 今天再升级Flink1.10.0到Flink1.10.1时，发现我们搭建的开发系统在使用YarnSession模式时无法正常工作，目前的架构是： > > > [自己的平台]—发送sql--> [sql-gateway]—提交jobgraph-->[yarn] > > > 跟踪代码发现，sql-gateway在启动时，需要调用CliFronted的loadCustomCommandLines来解析命令行参数。 > > >

Re: flink 历史数据join

> | > 邮箱：jimandl...@163.com > | > > Signature is customized by Netease Mail Master > > 在2020年05月15日 19:36，zhisheng 写道： > 所以现在纠结的是使用 DataStream 还是 DataSet ？ > > 可以使用 DataStream，作业 join 完了停掉作业就行了。 > > 小黑 于2020年5月15日周五 下午3:28写道： > > > > > 先工作上有一个需求 2个

Re: flink 历史数据join

所以现在纠结的是使用 DataStream 还是 DataSet ？ 可以使用 DataStream，作业 join 完了停掉作业就行了。 小黑 于2020年5月15日周五 下午3:28写道： > > 先工作上有一个需求 2个数据源 一个是mysql 一个是Hbase 2者上 有很多历史数据 这2个数据源上 已经没有数据写入了 都是历史数据 > 现在要把这2个数据源的某两张张表 进行join 生成之后的数据 存在放在hdfs上 导入到hive上去现在就是不知道 > 是用datatream还是dataset 没有一个很好的 解决方案 望给与回复 > > > > >

Field types of query result and registered TableSink [Result] do not match

hi, all 我定义的一个表的一个字段（yidun_score）是 numeric(5,2) 类型，写入 PostgreSQL 的 DDL yidun_score 字段也是定义的 numeric(5,2) 类型，结果会报异常。 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Field types of query result and registered TableSink [Result] do not match. Query result

Re: Field types of query result and registered TableSink [Result] do not match

对的，这是生产的一个 1.9 blink planner 作业，今天我测试一下 1.10 blink planner Jark Wu 于2020年3月18日周三 下午11:47写道： > Hi zhisheng, > > 你用的是1.9吗？ 试过 1.10.0 blink planner 么？ > > On Wed, 18 Mar 2020 at 22:21, zhisheng wrote: > > > hi, all > > > > 我定义的一个表的一个字段（yidun_score）是

Re: Field types of query result and registered TableSink [Result] do not match

好的，了解了，多谢 Jark Jark Wu 于2020年3月19日周四 上午10:39写道： > Hi zhisheng, > > 目前 kafka source & jdbc sink 都是用的 TypeInformation ，所以都只能声明成 38, 18 或者直接写 > DECIMAL ，默认就是 38, 18。 > 这个问题会在升级到 new source/sink interface （FLIP-95）后有效解决。 > > Best, > Jark > > On Thu, 19 Mar 2020 a

Re: flink sql 去重算法

来后，都一个个联系优化后再上线的，后面我再看看怎么在框架层做到加上这种优化的配置。 Best wishes, zhisheng LakeShen 于2020年3月20日周五 下午1:36写道： > Hi zhisheng, > > 我之前也遇到类似的问题，Flink 状态默认永久保留，针对这种 SQL 任务，我想到的就是设置状态空闲保留时间。 > 比如按照天来聚合的，空闲状态的最小保留时间26小时，最大空闲撞他为48小时(具体时间根据业务来设置)， > 总之肯定要设置一个最小和最大的空闲状态保留时间，不可能让状态永久保留。 > >

Re: flink sql 去重算法

hi, LakeShen 那我这边的场景和你还不太一样，我这边主要是 SQL 作业才有这种问题，算法和数仓的同学他们没有使用 DataStream API 开发，自然也用不上 ProcessFunction 和 Timer，另外场景也不太一样，我遇到的这几个大状态作业才开三小时的滑动窗口（一分钟滑一次），没有你的那种（一天/三天）这么长。不过还是感谢你！ Best wishes, zhisheng LakeShen 于2020年3月20日周五 下午3:23写道： > Hi zhisheng, > > 咱们遇到的问题差不多，昨天遇到一个滑动窗口状态很大的问题，由于

Re: flink sql 去重算法

hi， 我发现我们生产有些使用 SQL 的 count distinct 去做去重，当作业跑了很久，作业的 Checkpoint state 很大（我这周就遇到过一个差不多 400G 的，导致 Checkpoint 很容易超时，并且可能会对 HDFS 集群的网卡也有一定的压力），我看官网文档有介绍说使用 query_configuration

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

想获取到的话其实可以通过 REST API 去如下图的 metrics 处获取作业 source 往下 send 的数据量和速度，不过这个是单个并行度的，可以去将每个并行度的累加起来。 http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-10-14-060508.png [image: image.png] Best zhisheng Kevin Liu 于2020年10月14日周三 上午12:35写道： > 可以参考 https://blog.csdn.net/weixin_41608066/arti

Re: Re:HistoryServer完成任务丢失的问题

hi，我使用 1.10 测试过，发现 history server 查到 cancel job 的时间比较长（超过默认的 10s），但是最终还是会出现的。 如图：http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-10-14-033612.png [image: image.png] 刘建刚 于2020年9月28日周一 下午4:13写道： > 修复方案为：https://issues.apache.org/jira/browse/FLINK-18959 > > xiao cai 于2020年9月27日周

Re: 疑问：flink sql 当一个env下多个insert语句共享一个view时，是否会影响view中kafka源表的offset提交

Hi，Benchao http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-05-28-093940.jpg 这张图里面说的 TableEnvironment 不支持 UDAF/UDTF，那么如果想要用的话暂时有什么解决方法吗？社区大概什么时候会支持？ Thanks！ Benchao Li 于2020年5月28日周四 下午5:35写道： > Hi, > > 时间差了13个小时这个比较奇怪，我理解不应该出现这个问题的。你是说不用TableEnvironment就不会出现这个问题么？

Re: 官方后续会有支持kafka lag metric的计划吗

hi, silence 对于你提到的第一种方案，我觉得在 flink 里面是做不到的，因为 flink 只可以拿得到消费数据的 offset 信息，但是拿不到 kafka 里面该 topic 具体分区最新的 offset 值，那么也就无法相减得到每个分区的 lag，从而无法获取整个 topic 的 lag。 对于第二种方案，我觉得是可行的，可以在自己作业里面埋点（当前系统时间与消费到的数据的事件时间的差值），然后每个并行度分别上报，最后监控页面可以看到作业分区延迟最大是多长时间。 Best！ zhisheng silence 于2020年10月28日周三 下午7:55写道

Re: Flink是否可以动态调整任务并行度

应该不支持 ZT.Ren <18668118...@163.com> 于2020年10月28日周三 下午3:53写道： > 印象中，Flink1.9之后的某个版本支持动态调整并行度，但忘记怎么使用了。有没有哪位同学帮忙指点下，多谢

Re: 关于并行下watermark不生成

hi，Benchen 可以考虑在 source 算子后面加一个 rebalance() Best! zhisheng Shubin Ruan 于2020年10月28日周三 下午7:36写道： > 可以考虑在数据源处进行处理: > > > 设置个时间阈值，若检测到某个 key 下的数据超过时间阈值还未更新，则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。 > 在 2020-10-28 18:54:22，"BenChen" 写道： > >Hi > all，在Flink1.11里面

Re: flink1.11日志上报

弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？ Storm☀️ 于2020年10月27日周二 下午8:37写道： > 我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: pyflink和flink版本的兼容性问题

估计可能会有问题，很多变动 whh_960101 于2020年10月23日周五 上午11:41写道： > Hi，各位大佬， > 想请教一下，我的flink的版本是1.10.0，pyflink版本是1.11.1，目前使用pyflink没有兼容性问题，想问一下，马上要更新的flink > 1.12，如果在正式发布后，我只是pip install --upgrade apache-flink==1.12 > 升级pyflink到1.12.0，flink 1.10.0 版本保持不变，会存在很多兼容性问题吗

Re: Re: Re: Flink 读取 Kafka 多个 Partition 问题，

hi 既然你只能消费到一个分区的数据，那么可以肯定的是消费能拿到的只是一个分区的数据，另外看到你说 > 用于本地开发调试 kafka(连到一个堡垒机xxx-b-1,转发 9797 到 xxx-a-1) 建议看看是不是这个转发有问题，只转发了一个节点 Best zhisheng Lynn Chen 于2020年10月23日周五 上午11:01写道： > > > > hi, zhisheng: > > > 我解析 json 后: > (xxx, xxx, xxx, topic, partition, offset) >

Re: Re: flink 高可用问题

hi，Tony 你可以把 Checkpoint 间隔时间稍微设置大一些，看起来像是作业启动的时候 Task 还没 Running，就开始执行 Checkpoint 了，而 Checkpoint 是要求所有的 Task 是处于 Running 状态的，所以就会丢弃掉那次 Checkpoint，BT，就算有这个异常应该问题也不大，只要后面你的作业全启动成功了的话，则 Checkpoint 还是会成功的。 Best！ zhisheng Tony 于2020年6月29日周一 下午8:16写道： > > 你好，我的flink运行环境是在k8s中，我先是打开了checkpoin

Re: 回复: 关于拓展 Tuple元组的问题

可以测试一下 Tianwang Li 于2020年6月29日周一 下午8:13写道： > > > > 用 Row 啊，支持 Int.MAX 个元素，还能支持 null 值，不香么？ > > > 用Row 和 Tuple 性能上会有差别吗？ > > Jark Wu 于2020年6月19日周五 下午3:47写道： > > > 用 Row 啊，支持 Int.MAX 个元素，还能支持 null 值，不香么？ > > > > > > On Fri, 19 Jun 2020 at 15:42, Weixubin <18925434...@163.com> wrote: > > > > >

Re: flinksql流计算任务非正常结束

是不是作业是一个批作业呀？ Yichao Yang <1048262...@qq.com> 于2020年6月29日周一 下午6:58写道： > Hi > > > 看你的日志你的数据源是hive table？可以看下是否是批作业模式而不是流作业模式。 > > > Best, > Yichao Yang > > > > > --原始邮件-- > 发件人:"MuChen"<9329...@qq.com; > 发送时间:2020年6月29日(星期一) 下午4:53 > 收件人:"user-zh" >

Re: 【Flink的transformations】

应该看名字就可以看出来对应关系的 忝忝向仧 <153488...@qq.com> 于2020年6月29日周一 下午10:29写道： > Hi,all: > > > >

Re: flink读取kafka超时问题

hi，阿华田 你可以检查一下作业重启的时候，对应 Kafka 集群的 broker 机器上面的监控信息，看看对应时间是否有负载变高的情况，从而验证一下是否因为机器负载变高导致的读取超时？ Best！ zhisheng Yichao Yang <1048262...@qq.com> 于2020年6月29日周一 下午7:50写道： > Hi > > > 看报错是说 dercd_seeme-3 partition 读取异常，可以检查下上游kafka的该partition是否有异常。 > &g

Re: flink batch on yarn任务容错

hi，张波， 使用 Checkpoint 的方式在遇到错误的时候会 failover，恢复的时候是从上一次完整 Checkpoint 的状态开始恢复，不会让你重新从最开始的数据开始读取计算。 Best ！ zhisheng 张波 <173603...@qq.com> 于2020年6月29日周一 下午10:06写道： > 场景如下: > flink批处理中，如果出现错误，包括网络及其他原因，导致任务失败，此时会将整个任务重新跑一遍，就算只是其中一个tm出现了问题也是如此。 > 我有一个sink > es的操作，由于数据量大，将其分拆成一个独立的b

Re: flink1.10.1在yarn上无法写入kafka的问题

hi，maqi 有完整的日志吗？在这个异常之前还有其他的异常信息吗？如果有，可以提供一下！ Best， zhisheng m...@sinoiov.com 于2020年7月9日周四 下午7:57写道： > > 请教各位： > flink任务在本机写入测试环境kafka集群没问题， > > 但是上传到yarn环境，就是写不进去，其他job运行在yarn可以写入测试环境的kafka > > 异常信息如下： > > 2020-07-09 19:17:33,126 INFO > org.apache.flink.runtime

Re: 回复：在一个 flink operator 中怎样根据消息内容动态生成多个监控指标？

我猜你是想要将 table name 作为一个标签方便后期分组查询过滤？ wangl...@geekplus.com.cn 于2020年7月3日周五 上午10:24写道： > public void invoke(ObjectNode node, Context context) throws Exception { > > String tableName = node.get("metadata").get("topic").asText(); > Meter meter =

Re: Re: flink on yarn日志问题

知道 YARN 的 applicationId，应该也可以去 HDFS 找对应的 taskmanager 的日志（可以拼出路径），然后复制到本地去查看 Yangze Guo 于2020年7月14日周二 上午11:58写道： > Hi, 王松 > > 我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。 > > Best, > Yangze Guo > > On Tue, Jul 14, 2020 at 8:26 AM 王松 wrote: > > > > 我们也有问题 1，和 Yangze Guo

Re: Flink1.10 flinksql 多表join状态ttl不成功的问题

有没有窗口啊？ Robin Zhang 于2020年7月14日周二 上午11:48写道： > > 我用flink sql 设置了 空闲状态的清理时间，但是 状态还是一直增加，里面有 多次 group by 和多次 流表的关联 。 > 代码如下： >tEnv.getConfig() > .setIdleStateRetentionTime(Time.hours(minIdleStateRetentionTime), > >

Re: 代码中如何取消正在运行的Flink Streaming作业

如果是 on yarn 的话，也可以直接调用 yarn 的 kill 命令停止作业 Jeff Zhang 于2020年7月11日周六 下午11:23写道： > Zeppelin 能够帮你提交和cancel job，就是通过上面jianxu说的ClusterClient > api来做到的，对zeppelin感兴趣的话，可以参考这个视频 > > https://www.bilibili.com/video/BV1Te411W73b?p=21 > > > jianxu 于2020年7月11日周六 下午4:52写道： > > > Hi: > > > > >

Re: flink1.9读取阿里Mq问题

hi，guanyq 社区版本的 Flink 应该默认没有和 RocketMQ 连接的 Connector，在 RocketMQ 的社区项目中看到和 Flink 整合的模块： https://github.com/apache/rocketmq-externals/tree/master/rocketmq-flink 你说的 AccessKey，SecretKey 参数应该是 ACL 权限校验，看了代码应该是不支持的，不过可以自己去进行扩展。 Best！ zhisheng guanyq 于2020年7月3日周五 下午11:44写道： > flink1.9读取阿里Rocke

Re: 如何在窗口关闭的时候清除状态

你试试在 clear 方法中清理 18579099...@163.com <18579099...@163.com> 于2020年7月3日周五 下午2:02写道： > > 大家好，我有一个需求，我在ProcessWindowFunction算子中定义了一个valueState，我希望在窗口关闭的时候能够将状态清理。我应该在哪里清理呢？ > > 1.刚开始我选择在ProcessWindowFunction算子的process方法中清理，但是这里会有一个问题，我事件时间窗口开1天，我写了一个trigger，每隔一个小时输出一次结果。 > >

Re: 回复：flink1.10 checkpoint 运行一段时间空指针异常

我们也有遇到过这个异常，但是不是很常见 Congxian Qiu 于2020年7月3日周五 下午2:08写道： > 你可以看看是否 FLINK-17479[1] 和你的问题一样，是的话，可以尝试修改一下 jdk 版本试试 > [1] https://issues.apache.org/jira/browse/FLINK-17479 > Best, > Congxian > > > 程龙 <13162790...@163.com> 于2020年7月1日周三 下午9:09写道： > > > > > > > > > > > > > > > > > > > > > > > > > > >

Re: Flink job不定期就会重启，版本是1.9

我们集群一般出现这种异常大都是因为 Full GC 次数比较多，然后最后伴随着就是 TaskManager 挂掉的异常 Xintong Song 于2020年7月3日周五 上午11:06写道： > 从报错信息看是 Akka 的 RPC 调用超时，因为是 LocalFencedMessage 所以基本上可以排除网络问题。 > 建议看一下 JM 进程的 GC 压力以及线程数量，是否存在压力过大 RPC 来不及响应的情况。 > > Thank you~ > > Xintong Song > > > > On Fri, Jul 3, 2020 at 10:48 AM noon cjihg

Re: 回复：flink1.10 checkpoint 运行一段时间空指针异常

生产集群 JDK 使用的地方比较多，不敢轻易换版本，后面再观察一下，如果频繁出现这种问题再考虑更换版本，感谢 Congxian Best！ zhisheng Congxian Qiu 于2020年7月4日周六 下午3:21写道： > @zhisheng 你们有尝试过更换 jdk 版本吗？更换版本是否能解决这个问题呢？ > > Best, > Congxian > > > zhisheng 于2020年7月4日周六 下午12:27写道： > > > 我们也有遇到过这个异常，但是不是很常见 > > >

Re: 如何快速定位拖慢速度的 operator

Hi 徐骁， 可以在 Flink Web UI 的 metric 那里添加每个算子的 in 和 out 的速度进行对比，然后知道到底是哪个算子处处理较慢，eg： http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-06-25-081928.png 可以看下上面图中的测试就是一个 operator chain 在一起的作业，可以看到每个算子并行度的进出流速。 Best ！ zhisheng 徐骁 于2020年6月25日周四 上午12:51写道： > 两个方法确实可以, 但是要追踪起来很废时间, 对小白太不友好啊 >

Re: flink1.9 on yarn

hi，guanyq 你这种提交方式属于 Flink On YARN 的 per job 模式，机制是这样的，当新提一个作业的时候，AppID 是会变化的。 Best！ zhisheng Yangze Guo 于2020年6月28日周日 上午9:59写道： > 我理解你需要使用session模式，即./bin/yarn-session.sh [1] > > [1] > https://ci.apache.org/projects/flink/flink-docs-master/ops/deployment/yarn_setup.html#flink-

Re: Re: 为什么 flink checkpoint Checkpoint Duration (Async) 阶段耗时很慢

hi，立志： 从你的描述（能跑 10 几天且使用的是 FsStateBackend），可以提供一下 JobManager 和 TaskManager 的 GC 时间和次数的监控信息吗？怀疑是不是因为 Full GC 导致的问题。 Best！ zhisheng 张立志 于2020年6月28日周日 上午10:13写道： > 从监控后台看back presure 是正常的，flatMap 这个任务是存在的，但只是连了一下mysql，没有别的任何操作，而且另一个job > 没有flatmap ,单纯的map reduce > 统计，能跑10几天，到1个多G的时侯就明显变

Re: Flink-1.10.0 source的checkpoint偶尔时间比较长

息，这样才能更好的定位问题。 Best ！ zhisheng Tianwang Li 于2020年6月28日周日 上午10:17写道： > 关于Flink checkpoint偶尔会比较长时间的问题。 > > *环境与背景：* > 版本：flink1.10.0 > 数据量：每秒约10万左右的记录，数据源是kafka > 计算逻辑：滑动窗口统计，每个窗口输出的规模大概1～2千万记录。 > 是否有反压：任务经常会出现反压（特别是在窗口输出的时候）。 > > *问题：* > 大部分时候checkpoint都是在1分钟内

Re: flink11 SQL 如何支持双引号字符串

是跟这个 Issue 有关吗？https://issues.apache.org/jira/browse/FLINK-20537 赵一旦 于2020年12月9日周三 上午10:17写道： > MARK，学习下。等回复。 > > 莫失莫忘 于2020年12月8日周二 下午6:49写道： > > > 我在迁移hive sql 到 flink引擎。原来的很多 hive sql 中 > > 字符串都是用双引号表示，例如select * from table1 where column1 = > > "word"。我如何在不修改SQL的前提下，使flink SQL 支持 双引号字符串。 >

Re: 使用flink sql cli读取postgres-cdc时，Could not find any factory for identifier 'postgres-cdc' that implements 'org.apache.flink.table.factories.DynamicTableSinkFactory' in the classpath.

sql client 也得重启 王敏超 于2020年12月9日周三 下午4:49写道： > 在使用standalone模式，并启动sql > cli后，报错如下。但是我的lib目录是引入了flink-sql-connector-postgres-cdc-1.1.0.jar, > 并且重启过集群。同样方式使用mysql cdc是可以的。 > > Caused by: org.apache.flink.table.api.ValidationException: Could not find > any factory for identifier 'postgres-cdc' that

Re: flink sql es写入时，用户名密码认证不支持

1.12 支持了，参考 https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/elasticsearch.html#username Kyle Zhang 于2020年12月1日周二 上午9:35写道： > Hi,你说的是这个问题么 > > https://issues.apache.org/jira/browse/FLINK-16788 > > On Mon, Nov 30, 2020 at 7:23 PM cljb...@163.com wrote: > > >

Re: flink sql es写入时，用户名密码认证不支持

不需要，设置用户名和密码就行 Best zhisheng HunterXHunter <1356469...@qq.com> 于2020年12月1日周二 上午9:46写道： > 你说的是es的 xpack 认证吗，需要你载入certificate文件是吗 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink-1.11.2 job启动不起来，

hi，正超 建议把作业的日志发一下？ Best zhisheng 神奇哥哥 <759341...@qq.com> 于2020年12月1日周二 上午9:38写道： > 你好，此问题我也遇到。目前已解决。 > 解决办法: > 查看你pom文件中是否引入了hadoop相关依赖，Flink 1.11需要把hadoop相关依赖注释掉。 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 修改topic名称后从Savepoint重启会怎么消费Kafka

这个是正解，参考之前提的一个 Issue https://issues.apache.org/jira/browse/FLINK-16865 Best zhisheng Shuai Xia 于2020年12月2日周三 下午2:03写道： > > hi，实时上并不是你说的这样，从sp重启时因为存在RestoreState，而且Topic名称被修改，会导致restoredState内找不到新的KafkaTopicPartition > 新的消费位置会置为EARLIEST_OFFSET > > > if (res

Re: flink 1.12 RocksDBStateBackend 报错

hi，xintong 有对应的 Issue ID 吗？ Xintong Song 于2020年12月17日周四 下午4:48写道： > 确实是 1.12.0 的 bug。 > 我们在所有用到 state 的地方都应该去声明 ManagedMemoryUseCase.STATE_BACKEND。有一个新添加的 > ReduceTransformation 没有做这个声明，导致所有涉及到这个算子的作业使用 RocksDB 都会出问题。 > 我马上建 issue，这个可能要推动社区加急发一个 bugfix 版本了 > > Thank you~ > > Xintong Song > > >

Re: yarn.provided.lib.dirs在flink1.11 yarn提交不生效

hi 使用 -Dyarn.provided.lib.dirs 试试 Best zhisheng datayangl 于2020年12月22日周二 下午4:56写道： > > > flink1.11 on yarn模式，我提前将flink > lib下的依赖及自定义函数jar上传到hdfs上，提交时使用yarn.provided.lib.dirs > 指定hdfs的依赖路径。原本设想程序中使用反射去寻找自定义函数的类并且实例化，但是提交时报错，程序并没有找到自定义函数的路径 > > 提交命令:/usr/hdp/flink1.11/

  1   2   >