Re: flink-1.11 集成hive-1.2.1 DDL问题

2020-07-19 文章 Kurt Young
1.11 把默认planner换成blink了,需要添加下blink planner的依赖 Best, Kurt On Mon, Jul 20, 2020 at 11:39 AM Rui Li wrote: > stacktrace上看起来是创建blink planner的时候出错的。检查下依赖的blink planner版本是不是正确? > > On Fri, Jul 17, 2020 at 7:29 PM kcz <573693...@qq.com> wrote: > > > idea 本地测试 > > 跟hive有关pom依赖 > > hive-exec

Re: connector hive依赖冲突

2020-07-19 文章 Rui Li
现在具体是遇到了什么冲突呀?hive connector本身在依赖hive的时候确实也排除了很多传递依赖,才能正常运行UT和IT。也可以参考我们的pom来看排除了哪些依赖: https://github.com/apache/flink/blob/release-1.11.0/flink-connectors/flink-connector-hive/pom.xml On Fri, Jul 17, 2020 at 5:32 PM Dream-底限 wrote: > hi > 我用的是用户定义依赖,没有用捆绑依赖包,捆绑依赖包还要自己下载一次。 > > Dream-底限

Re: (无主题)

2020-07-19 文章 shizk233
Hi, 累计是仅在一天之内累计吗,这样的话可以开个一天的Tumbling Window,然后使用ContinusEventTimeTrigger每小时触发一下输出结果。 Best, shizk233 罗显宴 <15927482...@163.com> 于2020年7月20日周一 上午1:18写道: > > 大家好,怎么实现一个滚动窗口内的连续递增元素个数,比如每小时累计用户登录数,比如说凌晨1点登录了500人,到了两点就累计到1200,到3点累计到这样实现一个递增曲线,在网上看到云邪大佬写的sql但是不会写datastream >

Re: flink1.11写hive

2020-07-19 文章 Rui Li
建表的时候也可以指定Catalog的,创建kafka表指定default_catalog就不会创建到hive Catalog里去了 On Fri, Jul 17, 2020 at 5:13 PM Jingsong Li wrote: > CREATE TEMPORARY TABLE kafka_table... > 好像没文档,我建个JIRA跟踪下 > https://issues.apache.org/jira/browse/FLINK-18624 > > Best, > Jingsong > > On Fri, Jul 17, 2020 at 5:05 PM Dream-底限

?????? Flink Cli ????????

2020-07-19 文章 Z-Z
taskmanagercliwebui?? 2020-07-20 03:29:25,959 WARN org.apache.kafka.clients.consumer.ConsumerConfig - The configuration 'value.serializer' was supplied but isn't a known config. 2020-07-20 03:29:25,959 INFO

Re: flink1.11 Application 模式下启动失败问题

2020-07-19 文章 Yang Wang
你的报错是在Client端还是JM端呢,client/JM的日志以及启动命令最好可以发一下吧 这样方便查问题 Application和Perjob模式本质上的区别是用户main运行的位置不一样,所以会导致JM启动的classpath 也不太一样的 Best, Yang Hito Zhu 于2020年7月16日周四 下午4:26写道: > Hi all > 我把作业提交模式从 yarn-cluster 换成 application 模式,启动失败,报两个错误: > 1、java.lang.ClassNotFoundException: >

Re: Re:回复:flink1.11 set yarn slots failed

2020-07-19 文章 Yang Wang
从长远看,社区是想逐步统一各个deployment下的参数的(Yarn/K8s),所以CLI Config options 会逐渐被废弃,而使用dynamic config options的方式 Best, Yang Zhou Zach 于2020年7月16日周四 下午4:28写道: > nice, 可以不用看Command-Line Interface的文档了 > > > > > > > > > > > > > > > > > > 在 2020-07-16 16:16:00,"xiao cai" 写道: > >可以看这里 >

Re:Re: Re: Re: 回复:flink1.10 checkpoint 运行一段时间空指针异常

2020-07-19 文章 程龙
ok 我过两天试一下 最近有点忙 过两天测试一下1.11 到时候结果同步给大家 ,另外之前测试jdk使用jdk1.8.0_231 也是不行的 会报同样的错误 在 2020-07-13 20:06:01,"Congxian Qiu" 写道: >Hi 程龙 > >如果可以的话,也麻烦使用 1.11.0 测试下看问题是否还存在。 > >Best, >Congxian > > >程龙 <13162790...@163.com> 于2020年7月13日周一 上午10:45写道: > >> >> >> >> >> >> >> 问题不是很常见

回复: flink sink到kafka

2020-07-19 文章 明启 孙
谢谢,我试试 发送自 Windows 10 版邮件应用 发件人: godfrey he 发送时间: 2020年7月19日 23:06 收件人: user-zh 主题: Re: flink sink到kafka 如果你是用flink sql的,可以通过DDL的方式来定义kafka sink,参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html Best, Godfrey smq <374060...@qq.com>

Re: flink sink到kafka

2020-07-19 文章 godfrey he
如果你是用flink sql的,可以通过DDL的方式来定义kafka sink,参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html Best, Godfrey smq <374060...@qq.com> 于2020年7月19日周日 下午9:36写道: > 大家好,我想通过avro格式sink到kafka,请问该怎么实现,官网上没找到相关方法。

flink sink到kafka

2020-07-19 文章 smq
大家好,我想通过avro格式sink到kafka,请问该怎么实现,官网上没找到相关方法。

Re: Flink Cli 部署问题

2020-07-19 文章 Congxian Qiu
Hi 从你给的这部分日志看,是恢复的时候遇到 EOF 了,这个比较奇怪 1 你之前的 savepoint 是使用 RocksDBStateBackend 生成的吗 2 你还有之前在 DFS 上的 savepoint 文件吗?可能需要结合 DFS 上的文件一起看一下这个问题怎么来的 Best, Congxian Z-Z 于2020年7月17日周五 下午11:10写道: > Flink 1.10.0 ,taskmanager报错日志如下: > > > 2020-07-17 15:06:43,913 ERROR >