Re: Flink SQL JDBC connector不能checkpoint

hi, 请问使用的Flink版本是什么呢？猜测你应该是写成普通的join方式了，可参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins best, amenhub 发件人： Gengshen Zhao 发送时间： 2021-03-18 16:26 收件人： user-zh@flink.apache.org 主题： Flink SQL JDBC connector不能checkpoint Flink开发者们，你们好： 我

任务运行期间hdfs重启，如何自动恢复？

hi everyone, 版本：Flink-1.12.0目 前有kafka->hdfs的flink任务一直运行，但节前遭遇了hdfs重启，发现flink任务直接异常失败，Connection refused，而配置的restart strategy似乎没有生效。此外，检查点和保存点都是保存在hdfs上。 请问这种情况只能够等待hdfs重启完成后，手动从hdfs重启前最完整的checkpoint处恢复任务吗？是否有其他自动恢复的可配置操作？ best, amenhub

????: ????: ??????????

https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/event_timestamps_watermarks.html#dealing-with-idle-sources best, amenhub ???L ?? 2021-02-01 17:20 user-zh ?? ?? flink1.12, kafka??3??, flink??3??. ??, , ??,, ?

????: ??????????

hi, idle source??[1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/event_timestamps_watermarks.html#dealing-with-idle-sources best, amenhub ???L ?? 2021-02-01 17:20 user-zh ?? ?? flink1.12, kafka

Re: Re: 水印的作用请教

数据会追加而不是丢弃。有一些相关的配置可以调整 commit 也就是落盘的时机，但不影响落盘的数据。 Best, tison. amenhub 于2021年2月1日周一 上午11:07写道： > StreamAPI使用的是StreamingFileSink，SQL就是FileSystem了 > > > > > 发件人： tison > 发送时间： 2021-02-01 11:01 > 收件人： user-zh > 主题： Re: Re: 水印的作用请教 > 请问你使用哪种 SinkConnecto

Re: Re: 水印的作用请教

StreamAPI使用的是StreamingFileSink，SQL就是FileSystem了 发件人： tison 发送时间： 2021-02-01 11:01 收件人： user-zh 主题： Re: Re: 水印的作用请教 请问你使用哪种 SinkConnector 写入 HDFS 呢？ Best, tison. amenhub 于2021年2月1日周一 上午10:58写道： > >>> > 2.如果我在SQL或StreamAPI中使用ForBoundedOutOfOrderness中基于事件时间设置允许5分钟延迟的水印，那么

Re: Re: 水印的作用请教

>>> 2.如果我在SQL或StreamAPI中使用ForBoundedOutOfOrderness中基于事件时间设置允许5分钟延迟的水印，那么Kafka各分区最小时间的水印到达后，比水印晚的数据还会写入HDFS（基于事件时间分区）对应的分区中吗？是丢弃？还是不丢弃它写入对应分区后再重新幂等提交该分区？ 另外还是比较想了解，当指定水印及延迟的时候，比水印晚的数据，在流写HDFS的时候会怎么处理？ 发件人： amenhub 发送时间： 2021-02-01 10:44 收件人： user-zh 主题： Re: Re: 水印的作用请教 谢谢回复！ 也就是说如果

Re: Re: 水印的作用请教

谢谢回复！ 也就是说如果我利用Flink从Kafka （Select *）采集数据到HDFS，不涉及Timer触发逻辑，使用水印的目的就只是为了使用事件时间以及HDFS中基于事件时间进行分区目录创建，对吗？ best, amenhub 发件人： tison 发送时间： 2021-02-01 10:36 收件人： user-zh 主题： Re: 水印的作用请教 取决于你的计算流图，watermark 通常只在以下情况有实际作用 True & cond 1. 使用 EventTime & cond 2. 流图中有 Timer 触发逻辑，例如 Windo

水印的作用请教

的分区中吗？是丢弃？还是不丢弃它写入对应分区后再重新幂等提交该分区？ best, amenhub

Re: Re: Flink 1.10.1版本StreamingFileSink写入HDFS失败

hi, 我现在使用flink1.12写HDFS又重新碰到了这个问题，请问有什么办法可以避免吗？ best, amenhub 发件人： Yu Li 发送时间： 2020-08-11 21:43 收件人： user-zh 主题： Re: Flink 1.10.1版本StreamingFileSink写入HDFS失败 Hi 王剑， 我认为你的分析是正确的，相关代码在超过lease的soft limit之后应该主动调用一下recover lease的逻辑。你是否愿意提交一个patch来fix该问题？我在JIRA上也留言了，后续可以直接在JIRA上讨论。 另外，更正一下JIRA

Re: Re：sql-client配置hive启动不了

-systems On Fri, Jan 8, 2021 at 10:06 AM amenhub wrote: > 啊？确实是带kerberos的hms，那请问有其他的解决办法吗 > > > > > 发件人： 叶贤勋 > 发送时间： 2021-01-08 10:03 > 收件人： user-zh@flink.apache.org > 主题： 回复：sql-client配置hive启动不了 > HMS是不是带kerberos认证的？ > 目前社区hive connector不支持访问Kerberos的HMS > >

Re: 回复：sql-client配置hive启动不了

啊？确实是带kerberos的hms，那请问有其他的解决办法吗 发件人： 叶贤勋 发送时间： 2021-01-08 10:03 收件人： user-zh@flink.apache.org 主题： 回复：sql-client配置hive启动不了 HMS是不是带kerberos认证的？ 目前社区hive connector不支持访问Kerberos的HMS 在2021年01月7日 18:39，amenhub 写道： 在sql-client-defaults.yaml配置hive catalog信息后，无法通过sql-client.sh embedded启动sql

sql-client配置hive启动不了

在sql-client-defaults.yaml配置hive catalog信息后，无法通过sql-client.sh embedded启动sql client 报错信息：https://imgchr.com/i/smQrlj flink 版本，1.12 hive 版本，3.1.0

使用flink sql join临时表，出现异常（Flink-1.10.0）

CAL] 】 请大佬答疑解惑，感谢 祝好，amenhub

Re:Re: flink-1.10.0通过run -m yarn-cluster提交任务时异常

hi, Weihua 如你所说，我想要通过flink on yarn的run方式提交任务到集群上，但是当我运行./bin/flink run -m yarn-cluster ../examples/batch/WordCount.jar ，还是一样的错误， 日志信息只有这么一些；如果按您所说，是因为没有成功加载FlinkYarnSessionCli导致的，那导致没有成功加载的原因有哪些方面呢？谢谢！ 祝好，amenhub 在 2020-02-18 11:29:13，"Weihua Hu" 写道： >Hi, amenhub > >

flink-1.10.0通过run -m yarn-cluster提交任务时异常

各位好， The program finished with the following exception: java.lang.IllegalArgumentException: The given host:port ('yarn-cluster') doesn't contain a valid port at org.apache.flink.util.NetUtils.validateHostPortString(NetUtils.java:108) at

Re:Re: 使用Flink SQL时，碰到的 【Window can only be defined over a time attribute column】

hi Benchao, 刚才了解到，flink1.9版本不支持DDL time以及watermark语义的定义，所以是因此不支持window窗口函数需要的时间属性。期待1.10发布~ 祝好 在 2020-01-06 16:50:03，"Benchao Li" 写道： >hi amenhub, > >这个错误的意思是，窗口内引用的字段需要是一个时间字段，可以是事件时间，也可以是处理时间。你需要check一下你的ts字段是不是定义了时间属性。 > >可以参考下官方文档： >https://ci.apache.o

使用Flink SQL时，碰到的 【Window can only be defined over a time attribute column】

各位好， 在使用Flink SQL时，创建如下DDL，使用窗口时报错： INSERT INTO sql_out SELECT product_id, TUMBLE_END(ts, INTERVAL '2' MINUTE) AS window_end, count(*) AS cnt FROM kafka_out WHERE behavior = 'pv' GROUP BY product_id, TUMBLE(ts, INTERVAL '2' MINUTE) 错误信息：Window can only be defined over a time attribute

使用Flink SQL时，碰到的 【Window can only be defined over a time attribute column】

各位好，

Re:Re: Re: SQL层应用维表join jdbc的时候，请问怎么动态感知维表数据的变化呢？

.org/projects/flink/flink-docs-master/dev/table/sql/create.html > >此外，维表join的场景对mysql没有要求要支持Temporal Table，这个是Flink >SQL负责解析处理的，最终请求mysql的是一个普通的select语句。 > >amenhub 于2020年1月4日周六 下午1:55写道： > >> >> >> hi Benchao， >> >> >> 我明白你的意思，我认真在看官方文档学习flin

Re:Re: SQL层应用维表join jdbc的时候，请问怎么动态感知维表数据的变化呢？

hi Benchao， 我明白你的意思，我认真在看官方文档学习flink相关知识，知道目前temporal table join只支持processing-time， 但是当我使用给出的join sql例子写法时，报出这个异常，[ Column 'proctime' not found in table 'o' ]，这个问题是传统的通过别名 [ o ]去找 [ o ]表中的proctime列，但是显然表中是没有proctime列的， 请问我该怎么解决这个问题呢？我应该去了解熟悉哪方面的知识？Mysql支持ANSI-2011标准的Temporal table语义吧，请赐教~