ERROR : RocksDBStateBackend

Hi Team, Getting the following error when using RocksDBStateBackend on yarn/EMR. Am I missing any dependencies? 2020-08-20 04:37:00,713 ERROR org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl - Exception on heartbeat java.lang.NoSuchMethodError:

Re: kafka分区数扩容对flink任务的影响

嗯，你说的这个我知道。跟我的问题不太意义，不过我自己看源码解决了，给大家分享下。 1 无状态启动情况下： （1）首先flink采用的是assign方式，非subscribe方式。 （2）指定offset消费：未指定offset的分区会默认使用group offset消费。 （3）指定timestamp消费：未查询到offset的分区会默认使用latest消费。 （4）指定latest消费/指定earliest消费/指定group offset消费：这几种没啥好说的，按照对应策略消费即可。 2 有状态启动情况下： （1）对于存在状态的部分，按照状态中offset继续消费。

Flink Job cluster in HA mode - recovery vs upgrade

Hello, Let's say I run Flink Job cluster with persistent storage and Zookeeper HA on k8s with single JobManager and use externalized checkpoints. When JM crashes, k8s will restart JM pod, and JM will read JobId and JobGraph from ZK and restore from latest checkpoint. Now let's say I want to

?????? flink 1.11 SQL idea??????????????????

hi, , GROUP BY TUMBLE(ts, INTERVAL '1' HOUR) source??[1],demo ??jark wu ??[2],??app kafka ??. [1]"'scan.startup.mode'='earliest-offset'," [2]https://github.com/wuchong/flink-sql-demo/tree/v1.11-CN; executeSqlTableResult

Orc文件问题请教

使用flink sql写到orc文件，以后，flink能读取出来，但是spark和hive均不能读取出来，impala能读取。 发自我的iPhone

flink1.11启动问题

flink1.11启动后报这个错，然后任务就自己挂了，没有其它错误，也没有报我代码错 org.apache.hadoop.yarn.exceptions.YarnException:Containercontainer_1590424616102_807478_01_02isnothandledbythisNodeManager atsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod)~[?:1.8.0_191]

Re: kafka分区数扩容对flink任务的影响

hi Flink是可以感知到partition的增加的 消费kafka的时候设置一下KEY_PARTITION_DISCOVERY_INTERVAL_MILLIS这个参数 大于0就可以了 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 增量che ckpoint

等其他人正解。下面是我的猜测： 保留2个检查点是web界面保留2个检查点，增量情况下，这2个检查点所有引用到的所有历史检查点肯定都不会被删除。 因此第3个检查点的时候，只有2，3检查点仍然引用了1，则1就不会被删除。 superainbower 于2020年8月20日周四 上午10:46写道： > hi，请教大家一个问题，开启了增量checkpoint，同时checkpoint的个数设置为只保留2个，那么如果当前是第三次checkpoint > 仍然依赖第一次的checkpoint会出现什么情况，会把第一次的copy过来到本次中吗？如过第一次不删除，不是会不满足保留2个的限制吗

增量che ckpoint

hi，请教大家一个问题，开启了增量checkpoint，同时checkpoint的个数设置为只保留2个，那么如果当前是第三次checkpoint 仍然依赖第一次的checkpoint会出现什么情况，会把第一次的copy过来到本次中吗？如过第一次不删除，不是会不满足保留2个的限制吗

?????? flink 1.10.1 ???????? OutOfMemoryError: Metaspace

hi all https://www.yuque.com/codeleven/flink/dgygq2 404 2?? 1. ??10jm?? 2.Metaspace oomMetaspace??13m??dump ??ParentFirstClassLoader100??hdfs

Re: flink kafka 数据丢失

问题123等其他人，问题4：我感觉本质上区别不大，如果你资源也完全对等的话，比如最终总体分配内存量相同。而且也没必要启10个taskmanager，唯一好处是更加隔离，比如某个taskmanager失败不会导致全部slot失败。但感觉10个tm的方式从linux角度估计会稍微浪费部分资源。 steven chen 于2020年8月20日周四 上午9:23写道： > hi： >版本：flink 1.10 +kafka +hive catalog > > >现在我是使用flinkSql ddl 在hivecatalog 注册元数据表，现在启动了4个job ，kafka

kafka分区数扩容对flink任务的影响

如题，flink任务当前从我了解来看，是直接先查询所有分区信息，然后assign方式指定分区消费的。 包括，之前多个任务使用相同group.id消费相同topic并不会相互影响，也是这个原因，因为是通过assign方式消费，而不是分组订阅方式。 当然相关的还有一个分区发现机制（我是开启的）。 在这种情况下，我想知道topic的分区扩容之后，flink能立即感知到分区多了吗？如果不能，我猜测会导致丢失数据，因为等发现新分区的时候，会默认使用kafka配置的latest方式消费。 不清楚我的猜测对不对，看看有没有人清楚，解答下，这俩天计划做分区扩容了，不清楚是否需要提前停flink任务。

回复：flink 1.11 order by rowtime报错

非常感谢，按照您给出的jira，我修改源码后好用了。 -- 发件人：Benchao Li 发送时间：2020年8月19日(星期三) 19:48 收件人：user-zh ; 郑斌斌 主　题：Re: flink 1.11 order by rowtime报错 Hi 斌斌， 感觉你应该是遇到了一个已知的bug[1] [1] https://issues.apache.org/jira/browse/FLINK-16827 郑斌斌

Re: 能否考虑针对检查点和保存点设置不同的超时时间

好的。懂了。我本来以为超时的意义，就是不希望高压情况下继续花太多时间在检查点上。 Yun Tang 于2020年8月20日周四 上午1:27写道： > Hi > > 你的这个需求其实社区早已经有相关ticket [1]了，不过这个需求一直不是很强烈，毕竟大多数时候可以通过增大checkpoint > timeout即可，增大checkpoint timeout不代表着也会增大checkpoint占据的资源。 > > [1] https://issues.apache.org/jira/browse/FLINK-9465 > > 祝好 > 唐云 >

Re: flink 1.10.1 跑批任务 OutOfMemoryError: Metaspace

@胡松 图片显示不出来，你可能需要借助一些第三方的图床工具 Thank you~ Xintong Song On Thu, Aug 20, 2020 at 9:24 AM codeleven wrote: > 你好，不知道你得问题解决了没有 > 我在使用Flink得时候也遇到了类似得问题，主要是mysql重复加载导致的问题。 > 这是我的解决方案，如果对你有帮助，我感到很高兴： > Flink-MetaSpace OOM > > > > -- > Sent from:

Re: flink 1.11 发布sql任务到yarn session报java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer

你好，flink-sql-gateway 升级到1.11.1 需要调整哪些地方呢 谢谢！ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 1.10.1 跑批任务 OutOfMemoryError: Metaspace

你好，不知道你得问题解决了没有 我在使用Flink得时候也遇到了类似得问题，主要是mysql重复加载导致的问题。 这是我的解决方案，如果对你有帮助，我感到很高兴： Flink-MetaSpace OOM -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink kafka 数据丢失

hi： 版本：flink 1.10 +kafka +hive catalog 现在我是使用flinkSql ddl 在hivecatalog 注册元数据表，现在启动了4个job ，kafka 4个分区，然后4job 分别根据自己需求去根据hivecatalog 元数据表进行统计，但是出现其中2个job 丢了1条数据，查看kafka 分区偏移量丢失数据分区的偏移量少1。相当于所有任务都共用一个元数据，但是各个统计的任务比如天统计和时统计最后的总数发生偏移，比如天统计为50，时统计则51 | Partition | Latest Offset | Leader |

答复: Flink on Yarn 启动任务，任务重启后貌似taskmanager中会丢失lib中的jar文件

我之前开启job的failover restart，结果也是发现yarn直接申请新的container且旧的container并没有进一步进行处理，一直导致你这样子的报错，旧的container没有绑定的task executor No TaskExecutor registered under containe_. 我这边干脆写了个脚本通过savepoint的方式来reload应用了 希望对你有帮助 -邮件原件- 发件人: xiao cai [mailto:flin...@163.com] 发送时间: 2020年8月19日 星期三 12:50 收件人:

No space left on device exception

Hi guys, I have a deduplication job that runs on flink 1.7, that has some state which uses FsState backend. My TM heap size is 16 GB. I see the below error while trying to checkpoint a state of size 2GB. There is enough space available in s3, I tried to upload larger files and they were all

Re: 能否考虑针对检查点和保存点设置不同的超时时间

Hi 你的这个需求其实社区早已经有相关ticket [1]了，不过这个需求一直不是很强烈，毕竟大多数时候可以通过增大checkpoint timeout即可，增大checkpoint timeout不代表着也会增大checkpoint占据的资源。 [1] https://issues.apache.org/jira/browse/FLINK-9465 祝好 唐云 From: 赵一旦 Sent: Tuesday, August 18, 2020 14:38 To: user-zh@flink.apache.org

Re:Re: ScalarFunction 访问 state

Hi godfrey he, 非常感谢您的回复，我按照相关的文档进行了测试，这个方案确实能够去掉重复的数据。不过，这个方案的状态实在是太大了。我们每秒是 GB 级别的数据，我就按照20分钟的量来设置 TTL 我的状态将会达到 TB 级别，这个比较难以维护。 我想，携带状态的 ScalarFunction 也是一个比较奇怪的需求，不过，在这个场景下面，如果 ScalarFunction 能够访问状态，那么我就不需要使用 ScalarFunction 去访问 redis 或者 hbase 这样的 kv 系统，能够减少开发者的代码，同时大大的提升系统的稳定性。

Table API Kafka Connector Sink Key Definition

Hi, I'm running Flink 1.9.0 and I'm trying to set the key to be published by the Table API's Kafka Connector. I've searched the documentation by could find no reference for such an ability. Additionally, while browsing the code of the KafkaTableSink, it looks like it creates a

Re: Async IO with SQL API

Thank you Till for your response. We haven't completely evaluated migration to blink planner as it was not prioritized, certainly a task we would look into if we arent able to get a solution using SQL api. On Wed, Aug 19, 2020 at 3:23 AM Till Rohrmann wrote: > Hi Spurthi, > > thanks for

Watermark generation issues with File sources in Flink 1.11.1

Hi, When migrating Stream API based Flink application from 1.9.2 to 1.11.1 the watermark generation has issues with file source alone. It works well with Kafka source. With 1.9.2 a custom watermark generator implementation of AssignerWithPeriodicWatermarks was to be used. Starting 1.11.1 it is

Re: Format for timestamp type in Flink SQL

Thanks Godfrey for the detailed explanation. Youngwoo 2020년 8월 19일 (수) 오후 12:47, godfrey he 님이 작성: > Hi Youngwoo, > > > 1. TIMESTAMP WITH LOCAL TIME ZONE > Currently, SQL client uses legacy types for the collect sink, that means > `TIMESTAMP > WITH LOCAL TIME ZONE` is not supported. > you can

Re: TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

是我自己搞错了。我 debug 日志的逻辑有问题。 --Original-- From: "王磊2"

Re: 有什么方式基于yarn集群直接运行flink任务（仅部署yarn集群，不部署flink）

没太懂，yarn部分没自己部署过，yarn集群部署好（假设5台机器），那么这5台机器上不部署任何flink相关dist包就可以嘛。 比如我从额外一台机器6作为提交任务的机器，向yarn集群提交flink任务。但是我的jar也只包含用户jar呀，yarn容器中运行的jobmanager/taskmanager等进程使用的flink的dist包从哪来呢？ 徐骁 于2020年8月19日周三 下午7:58写道： > flink yarn 有个 job 发布方式, > >

Re: TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

我把 windows 时间设置成了 10s ， 直接用命令行往kafka 发消息 head -100 filename |./bin/kafka-console-producer --broker-list 172.19.78.50:9092,172.19.78.51:9092,172.19.78.52:9092 --topic ods_artemis_out_order --property parse.key=true 在 TemplateMySQLSink log 日志，运行后在 日志中看到的

Re: TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

没搞懂你们说的每一条记录一次入库是如何观察出来的，1s的周期，那么快咋观察的。 aggregate就是每条记录触发一次，但最终输出到下游是1s周期到了才输出的。 王磊2 于2020年8月19日周三 下午7:18写道： > 我改成下面这样还是同样的问题 > 我用 kafka 客户端连续发送了 100 条记录，连续执行了 100 次入库，每次入库的条数 +1 > > > > keyedStream.window(TumblingProcessingTimeWindows.of(Time.seconds(10))).process( > new

How to access state in TimestampAssigner in Flink 1.11?

Hi there, Right now I'm in the process of upgrading our Flink 1.9 jobs to Flink 1.11. In Flink 1.9, I was able to write a AssignerWithperiodicWatermarks which also extended AbstractRichFunction and could thus utilize State and getRuntimeContext() in there. This worked as the

Re: Will the order of message be guaranteed when using asyno IO?

Hi Lei, there is no guarantee in the order of async tasks with asyncIO. It is the very nature of async programming that the tasks are potentially run in different threads and thus may end up overtaking each other. With ordered async I/O, you only get the guarantee that results are fed back into

Re: flink 1.11 web ui请教

Hi， 因为目前的维表Join实现本身是没有用shuffle的，也就是维表算子跟上面的算子的连接方式为forward。 其他的join，都是直接按照join的key进行hash的，所以跟前面的算子的链接方式为hash。 于2020年8月19日周三 下午3:33写道： > 版本:1.11 > 部署：standalone > > 数据从kafka写到kafka > 1.提交的任务包含两个维表join和两条insert > 语句，但是在中间的执行图，只有一个方框。其他有些join任务会有不同的框，用hash连线表示。这是什么原因？ > > 2.底下的 records

Re: How to trigger only once for each window when using TumblingProcessingTimeWindows？

The purpose of the reduce() and aggregate() methods on windows is to allow for incremental computation of window results. This has two principal advantages: (1) the computation of the results is spread out, rather than occurring all in one go at the end of each window, thereby reducing the

Re: UT/IT Table API/SQL streaming job

Thanks Timo, I'll check it out. On Wed, Aug 19, 2020 at 5:14 PM Timo Walther wrote: > Hi, > > this might be helpful as well: > > > https://lists.apache.org/thread.html/rfe3b45a10fc58cf19d2f71c6841515eb7175ba731d5055b06f236b3f%40%3Cuser.flink.apache.org%3E > > First of all, it is important to

Re: UT/IT Table API/SQL streaming job

Hi Till, Yes, I have gone through the Flink testing documentation. In Table API/SQL connectors can be abstracted in the query itself, trying to understand how such pipelines can be tested. Looking for resources around it. On Wed, Aug 19, 2020 at 5:15 PM Till Rohrmann wrote: > Hi Narasimha, >

RE: JobManager refusing connections when running many jobs in parallel?

Hi Robert, following up - I suppose the questions distills into how would tuning a timeout resolve connection refusals? I would think timeout-related failures may go down if the network is hammered. Connection Refused sounds like we’re out of threads or sockets somewhere, no? We’re testing out

Re: flink 1.11 web ui请教

Hi 1. 框图的数量是因为默认启用了operator chain导致的，至于连接线上的文字（例如hash）则是由网络连接方式决定了[2] 2. record received 为0 是因为这个指标表征了数据在Flink 的channel内收到的record数量，由于source节点并没有从Flink channel获取数据（往往是从外部系统获取），所以自然record received为0 [1]

Re: 有什么方式基于yarn集群直接运行flink任务（仅部署yarn集群，不部署flink）

flink yarn 有个 job 发布方式, https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn 提交包就行了, 会自动拉起 Flink 集群运行任务, 任务结束集群自动销毁 赵一旦 于2020年8月19日周三 下午5:54写道： > 如题，我直接5机器部署yarn集群，上边未部署flink。 > 能否直接提交flink任务到该集群呢？ >

Re: flink生产环境使用

无脑上 Yarn 啊 引领 于2020年8月19日周三 上午10:57写道： > > > > 这段时间开始引入flink在生产环境，主要想将sql用起来，有木有大佬推荐一下，在生产环境下，用yarn模式好还是standalone模式，我们spark等大数据都是yarn来管理 > | | > 引领 > | > | > yrx73...@163.com > | > 签名由网易邮箱大师定制 > >

Re: flink 1.11 order by rowtime报错

Hi 斌斌， 感觉你应该是遇到了一个已知的bug[1] [1] https://issues.apache.org/jira/browse/FLINK-16827 郑斌斌 于2020年8月19日周三 下午1:20写道： > > 报下面的这个错误，并行度设置为1就没有问题了，不知道为什么 > > java.lang.NullPointerExcpetion > at > org.apache.flink.runtime.state.heap.StateTable.put(StateTable.java:336) > at >

Re: UT/IT Table API/SQL streaming job

Hi Narasimha, have you taken a look at the testing documentation [1]? This should give you some pointers on how to test Flink jobs. [1] https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/testing.html Cheers, Till On Wed, Aug 19, 2020 at 12:44 PM narasimha wrote: > Hi, > > I'm

Re: TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

我用的是flink 最新版 ： flink-1.11.1 --Original-- From: "王磊2"

Re: UT/IT Table API/SQL streaming job

Hi, this might be helpful as well: https://lists.apache.org/thread.html/rfe3b45a10fc58cf19d2f71c6841515eb7175ba731d5055b06f236b3f%40%3Cuser.flink.apache.org%3E First of all, it is important to know if you are interested in end-to-end tests (incl. connectors) or excluding connectors. If you

Re: Client's documentation for deploy and run remotely.

Hi Jacek and Flavio, I agree that this documentation is quite outdated. Pulling in Klou and Aljoscha who have reworked the client side of Flink quite a bit recently. They might be able to point you towards the updated documentation or the plans on how and when to update it. Cheers, Till On Wed,

Re: TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

我也很纳闷。我在 TemplateMySQLSinkinvoke 方法的 log 里确实是每条记录都会触发。 --Original-- From: "赵一旦"

Re: hive Streaming Reading 无法分组统计

Hi， 你的hint的用法应该不太对，可以参考下文档[1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/sql/hints.html 18579099...@163.com <18579099...@163.com> 于2020年8月19日周三 上午12:17写道： > SELECT > id, > count(1) > FROM >

Re:TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

我改成下面这样还是同样的问题 我用 kafka 客户端连续发送了 100 条记录，连续执行了 100 次入库，每次入库的条数 +1 keyedStream.window(TumblingProcessingTimeWindows.of(Time.seconds(10))).process( new ProcessWindowFunction

Re:TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

依据我的理解，aggregate是增量计算的，在1s窗口触发后，只会一次sink。将一段消息merge成List，可使用ProcessWindowFunction。 在 2020-08-19 18:27:25，"wangl...@geekplus.com" 写道： > >接收 kakka 消息，按消息中代表 tableName 的字段做 keyBy， 然后写到 数据库中 > >keyedStream.window(TumblingProcessingTimeWindows.of(Time.seconds(1))).aggregate(new >

UT/IT Table API/SQL streaming job

Hi, I'm checking on how to do UT/IT of streaming job written using Table API/SQL. I found https://stackoverflow.com/questions/54900843/add-a-unit-test-for-flink-sql this to be useful. Are there any other recommended libs/ways to do this. TIA -- A.Narasimha Swamy

Re: TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

看起来不应该，你这种写法表达的就是1s一次写mysql，不会多次。每条消息触发计算是没问题的，但窗口最终输出是1s窗口结束之后才会输出的吧。 wangl...@geekplus.com 于2020年8月19日周三 下午6:27写道： > > 接收 kakka 消息，按消息中代表 tableName 的字段做 keyBy， 然后写到 数据库中 > > keyedStream.window(TumblingProcessingTimeWindows.of(Time.seconds(1))).aggregate(new > ListAggregate()).addSink(new

TumblingProcessingTimeWindows 每来一条消息就会 trigger aggregate function

接收 kakka 消息，按消息中代表 tableName 的字段做 keyBy， 然后写到 数据库中 keyedStream.window(TumblingProcessingTimeWindows.of(Time.seconds(1))).aggregate(new ListAggregate()).addSink(new TemplateMySQLSink()); ListAggregate 只是做简单的合并，我这样做的目的是把一个表一秒中的所有消息 merge 成一个 List， 后续只操作数据库一次 但我测试发现一秒内来多条消息时候，每一条消息都会触发

Flink StreamingFileSink滚动策略

请问，Flink StreamingFileSink使用批量写Hadoop SequenceFile format，能自定义滚动策略吗？我想指定文件大小、文件最长未更新时间和checponit来进行滚动，可以通过实现RollingPolicy接口来定制吗？谢谢！

How to trigger only once for each window when using TumblingProcessingTimeWindows？

Read Kafka message and keyBy by tableName, then write the message list to DataBase with batchUpdate keyedStream.window(TumblingProcessingTimeWindows.of(Time.seconds(1))).aggregate(new ListAggregate()).addSink(new TemplateMySQLSink()); It seems that for every record comming, the aggregate

Re: Print SQL connector无法正常使用

Hi, 看起来你用的hbase的配置还是老的配置，1.11中已经更新的新的connector配置选项了， 你可以尝试下用新版的connector配置[1]。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/hbase.html xiao cai 于2020年8月17日周一 上午11:52写道： > Hi All: > 目前使用flink sql的Print SQL connector，想要将查询的结果打印出来，结果报错： > Caused by:

回复： flinkSQL eventtime问题

Hi: create table kafka ( nested_field Row(event_time timestamp(3), other_field string), watermark for nested_field.event_time as {watermark_definition} ) with ( ‘connector' = ‘kafka' ) 看看这样能够使用 Best, xiao cai 原始邮件 发件人: ★猛★ 收件人: user-zh 发送时间: 2020年8月19日(周三) 17:48 主题: 回复： flinkSQL eventtime问题

Re: flink任务提交

是的给傻瓜用户用的，开发人员大多不喜欢用 赵一旦 于2020年8月19日周三 下午5:34写道： > 做个任务管理界面，然后点点点，到后台，然后后台通过java程序提交任务，这样吗？高端。 > > Dream-底限 于2020年8月19日周三 下午5:22写道： > > > 想springboot服务化对外报漏接口请求 > > > > 赵一旦 于2020年8月19日周三 下午5:18写道： > > > > > 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？ > > > > > > Dream-底限 于2020年8月19日周三 下午4:41写道： > > > > >

有什么方式基于yarn集群直接运行flink任务（仅部署yarn集群，不部署flink）

如题，我直接5机器部署yarn集群，上边未部署flink。 能否直接提交flink任务到该集群呢？ 类似于打包提交的任务是一个包括了flink完整包的效果。

Re: flink1.9.1用采用-d（分离模式提交）作业报错，但是不加-d是可以正常跑的

好的，感谢大佬解答！！！ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? flinkSQL eventtime????

kafkatablesource avro descriptor.inAppendMode().registerTableSource(source_table_name); ??avroeventime ---- ??:

Re: flink任务提交

做个任务管理界面，然后点点点，到后台，然后后台通过java程序提交任务，这样吗？高端。 Dream-底限 于2020年8月19日周三 下午5:22写道： > 想springboot服务化对外报漏接口请求 > > 赵一旦 于2020年8月19日周三 下午5:18写道： > > > 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？ > > > > Dream-底限 于2020年8月19日周三 下午4:41写道： > > > > > 好的，感谢 > > > > > > Jeff Zhang 于2020年8月19日周三 下午4:31写道： > > > > > > >

Re: flinkSQL eventtime问题

hi 可以在转换为table之前把map的eventtime字段提取出来注册 ★猛★ 于2020年8月19日周三 下午5:23写道： > hi, > > > 咨询一下，我有个table里边有个map字段，我想用map里的某个字段作为eventtime，有没有办法实现？

Re: Re: flink任务提交

可以封装下接口，提交到yarn来做 发自139邮箱 在2020-08-19 17:22:38 米子日匀写道: 发件人:赵一旦 日期:2020-08-19 17:17:52 收件人:user-zh 主题:Re: flink任务提交 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？ Dream-底限于2020年8月19日周三 下午4:41写道： 好的，感谢 Jeff Zhang于2020年8月19日周三 下午4:31写道： Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下

flinkSQL eventtime????

hi, tablemapmapeventtime??

Re: flink任务提交

想springboot服务化对外报漏接口请求 赵一旦 于2020年8月19日周三 下午5:18写道： > 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？ > > Dream-底限 于2020年8月19日周三 下午4:41写道： > > > 好的，感谢 > > > > Jeff Zhang 于2020年8月19日周三 下午4:31写道： > > > > > Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下 > > > > > > > > >

Re: Flink1.11 hive catalog使用

我感觉像是因为你use了hive catalog的原因，因此是默认从这个catalog中搜索。 可不可以直接select * from catalog.db.table 这样试一试呢？ Rui Li 于2020年8月19日周三 下午5:11写道： > 我试了一下确实是有问题，我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。 > > On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 wrote: > > > hi > > 先设置hiveCatalog及默认数据库，然后use hivecatalog > >

Re: Client's documentation for deploy and run remotely.

I agree with you that that part of the docs is quite outdated.. On Thu, Aug 13, 2020 at 4:55 PM Jacek Grzebyta wrote: > It seems the documentation might be outdated. Probably I found what I > wanted in different request: >

Re: Flink1.11 hive catalog使用

我试了一下确实是有问题，我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。 On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 wrote: > hi > 先设置hiveCatalog及默认数据库，然后use hivecatalog > 接下来建表的时候create temporary table test(...)，使用的时候：select ... from test > 这个时候就报错说hivecatalog的默认数据库内无这张表 > > Rui Li 于2020年8月19日周三 下午3:49写道： > > >

Re: flink任务提交

好的，感谢 Jeff Zhang 于2020年8月19日周三 下午4:31写道： > Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下 > > https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307 > > 可以加入钉钉群讨论，钉钉群号：32803524 > > > >

Re: Flink checkpoint recovery time

Could you share the logs with us? This might help to explain why the cancellation takes so long. Flink is no longer using Akka's death watch mechanism. Cheers, Till On Wed, Aug 19, 2020 at 10:01 AM Zhinan Cheng wrote: > Hi Till, > > Thanks for the quick response. > > > for i) the cancellation

Re: flink任务提交

Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下 https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307 可以加入钉钉群讨论，钉钉群号：32803524 Dream-底限 于2020年8月19日周三 下午4:27写道： > hi、 >

Re: flink任务提交

hi、 请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗 我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗 wxpcc 于2020年8月19日周三 下午4:09写道： > 大概可以用，YarnClusterDescriptor > > 命令行方式封装提交对于后续升级更加方便一些，个人建议 > > > > -- > Sent from:

Re: flink 1.11 web ui请教

environment.disableOperatorChaining() -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink任务提交

大概可以用，YarnClusterDescriptor 命令行方式封装提交对于后续升级更加方便一些，个人建议 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink checkpoint recovery time

Hi Till, Thanks for the quick response. > for i) the cancellation depends on the user code. If the user code does a blocking operation, Flink needs to wait until it returns from there before it can move the Task's state to CANCELED. for this, my code just includes a map operation and then

Re: Flink1.11 hive catalog使用

hi 先设置hiveCatalog及默认数据库，然后use hivecatalog 接下来建表的时候create temporary table test(...)，使用的时候：select ... from test 这个时候就报错说hivecatalog的默认数据库内无这张表 Rui Li 于2020年8月19日周三 下午3:49写道： > 是怎么用的啊，我去试试 > > On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 wrote: > > > hi > >

flink任务提交

hi、 我这面想通过java程序使用perJob模式提交一个flink jar任务到yarn集群，我看了一下flink-client和flink-yarn包，感觉是可以做到的，但又有点儿无从入手的感觉，请问flink可以做到吗，具体调用哪个类哪

Re: Flink1.11 hive catalog使用

是怎么用的啊，我去试试 On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 wrote: > hi > 我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪 > >或者用create temporary table的方式应该也可以。 > > Rui Li 于2020年8月19日周三 上午11:11写道： > > > 可以把kafka的表保存在内置的in-memory > catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create > >

Re: The rpc invocation size exceeds the maximum akka framesize when the job was re submitted.

Hi Joshua, this is hard to tell just from the stack trace. One thing I could imagine is that you regenerate the JobGraph by running the main method of the user code again and that the user code contains some non deterministic component which varies in size and influences what you need to ship as

Re: Flink checkpoint recovery time

Hi Zhinan, for i) the cancellation depends on the user code. If the user code does a blocking operation, Flink needs to wait until it returns from there before it can move the Task's state to CANCELED. for ii) I think your observation is correct. Could you please open a JIRA issue for this

flink 1.11 web ui请教

版本:1.11 部署：standalone 数据从kafka写到kafka 1.提交的任务包含两个维表join和两条insert 语句，但是在中间的执行图，只有一个方框。其他有些join任务会有不同的框，用hash连线表示。这是什么原因？ 2.底下的 records received等几个列都是0。怎么样才会统计？

Re: Will the order of message be guaranteed when using asyno IO?

Hi Lei, this really depends on your user code. Flink will give you the guarantee that `asyncInvoke` is called in order (first `update table table1 set a = 1` and then `update table table1 set a = 2`). However, what `CompletableFuture.supplyAsync` does is not under control of Flink. Concretely, it

Re: Async IO with SQL API

Hi Spurthi, thanks for reaching out to the Flink community. Have you tried using the Blink planner where these features are available? Pulling in Jark and Timo who worked on this feature and who might be able to explain to you the rationale behind making the LookupableTableSource and

Flink运行偶尔会报AskTimeoutException等

如题，下面给出了一个异常栈。 有时候提交任务也会导致flink-webui类似卡死一样大概几十秒。任务包50MB左右，提交到远程集群，提交毕竟慢，需要几十秒，快1min提交。 13:10:54.136 [flink-scheduler-1] ERROR org.apache.flink.runtime.rest.handler.job.JobDetailsHandler - Unhandled exception.akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka.tcp://

Re: Flink任务写入kafka 开启了EOS，statebackend为rocksdb，任务反压source端日志量堆积从cp恢复失败

感谢邱老师，这个我查看了一下没有这个文件的，跟现在运行的相同任务的正常执行的chk目录下的文件相比这个chk-167目录下的文件数少了很多，我们当时是看着cp执行完成之后cancel了任务然后 从hdfs上查到这个目录cp路径去重启的任务 Congxian Qiu 于2020年8月19日周三 下午2:39写道： > Hi >1 图挂了 > 2 你到 hdfs 上能找到 hdfs:*xx*/flink/checkpoints/ > 7226f43179649162e6bae2573a952e60/chk-167/_metadata 这个文件吗？ >

The rpc invocation size exceeds the maximum akka framesize when the job was re submitted.

hi, We have a flink job platform which will resubmit the job when the job failed without platform user involvement. Today a resubmit failed because of the error below, I changed the akka.Frameszie, and the resubmit succeed. My question is, there is nothing change to the job, the jar, the program,

Re: Flink checkpoint recovery time

Hi Yun, Thanks a lot for your help. Seems hard to measure the checkpointing restore time currently. I do monitor the "fullRestarts" metric and others like "uptime" and "downtime" to observe some information about failure recovery. Still some confusions: i） I found the time for the jobmanager to

Re: Flink任务写入kafka 开启了EOS，statebackend为rocksdb，任务反压source端日志量堆积从cp恢复失败

Hi 1 图挂了 2 你到 hdfs 上能找到 hdfs:*xx*/flink/checkpoints/ 7226f43179649162e6bae2573a952e60/chk-167/_metadata 这个文件吗？ Best, Congxian Yang Peng 于2020年8月17日周一 下午5:47写道： > 找到了 具体日志如下：2020-08-13 19:45:21,932 ERROR > org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error >

Will the order of message be guaranteed when using asyno IO?

Read kafka message and write the message to MySQL Writing to database is the bottleneck when too much message is sent to kafka with high throughput. So i want to change the operator to asynchronously. public void asyncInvoke(ObjectNode node, ResultFuture resultFuture) throws Exception {

flink1.11.1 SQL任务启动报错

原来任务在flink 1.10.1 跑,是正常没问题的, 跑在1.11.1上启动就报错了, 求帮助啊 2020-08-1914:08:52,172WARN org.apache.flink.runtime.taskmanager.Task [] - Source: KafkaTableSource(userId, catid, brandId, utp, utrp, extendFields, requestTime) -> SourceConversion(table=[default_catalog.default_database.user_visit_trace,

Re: task传输数据时反序列化失败

关于kyro和pojo，我是指通过调整lombok的@Value/@Data注解改变数据对象的模式，从而使用不同的序列化器。 在@Data注解下，满足pojo序列化器要求并使用，但会遭遇异常。 目前发现，需要在MapState中明确指定List的数据类型，pojo序列化器才能正常得到结构，怀疑是MapStateDescriptor中类型信息提取错误导致的。 但奇怪的是，kryo序列化器却没有产生该异常。 我做了个问题复现的demo[1]，有时间的话可以查看一下。 [1]https://github.com/wangwangdaxian/flink-bug-replay