Re: blink planner的org.apache.flink.table.api.ValidationException报错

2020-01-13 文章 Kevin Liao
我用的是 https://www.apache.org/dyn/closer.lua/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz 官网下载的 您说的 master 最新的版本我稍后试一下,谢谢 JingsongLee 于2020年1月14日周二 上午11:51写道: > 谢谢, > 你可以试下最新的1.9版本或是1.10或是master吗?因为这里修了一些bug,不确定还存在不。 > > Best, > Jingsong Lee > >

Re: blink planner的org.apache.flink.table.api.ValidationException报错

2020-01-13 文章 JingsongLee
谢谢, 你可以试下最新的1.9版本或是1.10或是master吗?因为这里修了一些bug,不确定还存在不。 Best, Jingsong Lee -- From:Kevin Liao Send Time:2020年1月14日(星期二) 11:38 To:user-zh ; JingsongLee Subject:Re: blink planner的org.apache.flink.table.api.ValidationException报错

Re: blink planner的org.apache.flink.table.api.ValidationException报错

2020-01-13 文章 Kevin Liao
flink 版本是 1.9.1 release Doc 完整不太好给因为涉及到业务信息了,抱歉,但可以给一个片段,这就是一个普通Pojo,里面只有一层,所有类型都是基础类型(及衍生)+String,大约 30 多个字段,我理解这跟字段数关系不大 ``` import org.apache.commons.lang3.builder.ToStringBuilder; import org.apache.flink.shaded.jackson2.com.fasterxml.jackson.annotation.JsonIgnoreProperties; /** * @author

Re: 咨询一下 RocksDB 状态后端的调优经验

2020-01-13 文章 Yun Tang
Hi Dong RocksDB无论如何都是要使用native内存的,您的YARN pmem-check相比JVM heap的buffer空间是多少,是否合适呢? FLINK-7289的基本所需task都已经完成在release-1.10 分支中了,您可以直接使用release-1.10 分支打包,最近也要发布1.10的rc版本,欢迎试用该功能。 如果你的所有checkpoint size是50GB,其实不是很大,但是如果单个state backend有50GB的话,对于Flink这种低延迟流式场景是稍大的,建议降低单并发state数据量。

咨询一下 RocksDB 状态后端的调优经验

2020-01-13 文章 DONG, Weike
大家好, 我们在 YARN 容器内运行以 RocksDB 作为 State Backend 的 Flink 作业,状态数据比较大(50G 以上,难以放到内存中)。但是由于 YARN 本身的 pmem-check 限制,经常会因为内存用量的不受控而导致整个 Container 被强制 KILL. 目前调研了 https://issues.apache.org/jira/browse/FLINK-7289 这个提议,但是目前还未完全实现。 也按照 RocksDB 官方的调优指南

Flink Weekly | 每周社区动态更新 - 2020/01/14

2020-01-13 文章 Forward Xu
大家好 2020年已经到来了,本周是2020年1月的第二周,虽然临近春节但 Flink 的活力丝毫没有受到影响。 本周社区主要新闻是 Flink 1.10版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。 Flink开发进展 == * [**Release**] 社区仍在测试和修复*Flink 1.10*的错误。您可以在发布燃尽板[1]上进行操作。 估计第一个 RC 版本很快就来了 [1]。 * [**SQL**] Bowen 建议在Table API中添加* JDBC 和

Re: Flink向量化读取parquet

2020-01-13 文章 Kurt Young
据我所知,已经有这部分的计划了,不出意外的话应该会在 1.11 版本发布: https://issues.apache.org/jira/browse/FLINK-11899 Best, Kurt On Mon, Jan 13, 2020 at 7:50 PM faaron zheng wrote: > > flink使用的是hadoop中的parquetfilereader,这个貌似不支持向量化读取,hive和spark目前都支持向量化读取,请加一下flink有什么计划吗? >

Flink向量化读取parquet

2020-01-13 文章 faaron zheng
flink使用的是hadoop中的parquetfilereader,这个貌似不支持向量化读取,hive和spark目前都支持向量化读取,请加一下flink有什么计划吗?

Re: 回复:flink checkpoint不生成

2020-01-13 文章 Yun Tang
Hi , 你好 恭喜解决问题,不过关于社区邮件列表的使用有几点小建议: 1. 如果是全中文的邮件,就不要抄送英文社区邮件列表 (u...@flink.apache.org)了,毕竟社区有很多看不懂中文的开发者。中文邮件列表(user-zh)还是很活跃的,相信大家可以一起帮助解决问题。 2. 因为开源社区邮件列表对附件图片支持不友好,建议使用超链接的方式,有助于更快收到回复和解答。 祝好 唐云 From: 起子 Sent: Monday, January 13, 2020 18:01 To:

回复:flink checkpoint不生成

2020-01-13 文章 起子
已经解决,因为里面有个算子完成了,状态为finished,所以不会生成checkpoint了 部门 / 数据平台 花名 / 起子 Mobile :159 8810 1848 WeChat :159 8810 1848 Email :q...@dian.so Address :浙江省杭州市余杭区文一西路998号5#705 -- 发件人:起子

flink checkpoint不生成

2020-01-13 文章 起子
各位大佬好: 在执行flink job中发现设置了checkpoint,但是没有checkpoint生成,希望大佬们帮忙指点下,不胜感激,具体描述如下: job 图如下: 算子如下: checkpoint配置如下: 但是结果如下: 没有checkpoint生成 部门 / 数据平台 花名 / 起子 Mobile :159 8810 1848 WeChat :159 8810 1848 Email :q...@dian.so

Re: Fail to deploy flink on k8s in minikube

2020-01-13 文章 Yang Wang
Hi, Jiangang Glad to hear that you are looking to run Flink on Kubernetes. It just because you are using the new Kubernetes version.The extensions/v1beta1 has been removed since v1.16. Please use apps/v1 instead. The apps/v1 is introduced from v1.9.0. I will create a ticket fix the

blink planner的org.apache.flink.table.api.ValidationException报错

2020-01-13 文章 Kevin Liao
tEnv.connect(new Kafka() .version("universal") .topic("xxx") .startFromLatest() .property("bootstrap.servers", "") .property("group.id", "")) .withFormat(new Json().failOnMissingField(false).deriveSchema()) .withSchema(new