我用的是
https://www.apache.org/dyn/closer.lua/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz
官网下载的
您说的 master 最新的版本我稍后试一下,谢谢
JingsongLee 于2020年1月14日周二 上午11:51写道:
> 谢谢,
> 你可以试下最新的1.9版本或是1.10或是master吗?因为这里修了一些bug,不确定还存在不。
>
> Best,
> Jingsong Lee
>
>
谢谢,
你可以试下最新的1.9版本或是1.10或是master吗?因为这里修了一些bug,不确定还存在不。
Best,
Jingsong Lee
--
From:Kevin Liao
Send Time:2020年1月14日(星期二) 11:38
To:user-zh ; JingsongLee
Subject:Re: blink planner的org.apache.flink.table.api.ValidationException报错
flink 版本是 1.9.1 release
Doc
完整不太好给因为涉及到业务信息了,抱歉,但可以给一个片段,这就是一个普通Pojo,里面只有一层,所有类型都是基础类型(及衍生)+String,大约
30 多个字段,我理解这跟字段数关系不大
```
import org.apache.commons.lang3.builder.ToStringBuilder;
import
org.apache.flink.shaded.jackson2.com.fasterxml.jackson.annotation.JsonIgnoreProperties;
/**
* @author
Hi Dong
RocksDB无论如何都是要使用native内存的,您的YARN pmem-check相比JVM heap的buffer空间是多少,是否合适呢?
FLINK-7289的基本所需task都已经完成在release-1.10 分支中了,您可以直接使用release-1.10
分支打包,最近也要发布1.10的rc版本,欢迎试用该功能。
如果你的所有checkpoint size是50GB,其实不是很大,但是如果单个state
backend有50GB的话,对于Flink这种低延迟流式场景是稍大的,建议降低单并发state数据量。
大家好,
我们在 YARN 容器内运行以 RocksDB 作为 State Backend 的 Flink 作业,状态数据比较大(50G
以上,难以放到内存中)。但是由于 YARN 本身的 pmem-check 限制,经常会因为内存用量的不受控而导致整个 Container 被强制
KILL.
目前调研了 https://issues.apache.org/jira/browse/FLINK-7289 这个提议,但是目前还未完全实现。
也按照 RocksDB 官方的调优指南
大家好
2020年已经到来了,本周是2020年1月的第二周,虽然临近春节但 Flink 的活力丝毫没有受到影响。
本周社区主要新闻是 Flink 1.10版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink
Forward 旧金山的演讲邀请。
Flink开发进展
==
* [**Release**] 社区仍在测试和修复*Flink 1.10*的错误。您可以在发布燃尽板[1]上进行操作。 估计第一个 RC
版本很快就来了 [1]。
* [**SQL**] Bowen 建议在Table API中添加* JDBC 和
据我所知,已经有这部分的计划了,不出意外的话应该会在 1.11 版本发布:
https://issues.apache.org/jira/browse/FLINK-11899
Best,
Kurt
On Mon, Jan 13, 2020 at 7:50 PM faaron zheng wrote:
>
> flink使用的是hadoop中的parquetfilereader,这个貌似不支持向量化读取,hive和spark目前都支持向量化读取,请加一下flink有什么计划吗?
>
flink使用的是hadoop中的parquetfilereader,这个貌似不支持向量化读取,hive和spark目前都支持向量化读取,请加一下flink有什么计划吗?
Hi , 你好
恭喜解决问题,不过关于社区邮件列表的使用有几点小建议:
1. 如果是全中文的邮件,就不要抄送英文社区邮件列表
(u...@flink.apache.org)了,毕竟社区有很多看不懂中文的开发者。中文邮件列表(user-zh)还是很活跃的,相信大家可以一起帮助解决问题。
2. 因为开源社区邮件列表对附件图片支持不友好,建议使用超链接的方式,有助于更快收到回复和解答。
祝好
唐云
From: 起子
Sent: Monday, January 13, 2020 18:01
To:
已经解决,因为里面有个算子完成了,状态为finished,所以不会生成checkpoint了
部门 / 数据平台
花名 / 起子
Mobile :159 8810 1848
WeChat :159 8810 1848
Email :q...@dian.so
Address :浙江省杭州市余杭区文一西路998号5#705
--
发件人:起子
各位大佬好:
在执行flink job中发现设置了checkpoint,但是没有checkpoint生成,希望大佬们帮忙指点下,不胜感激,具体描述如下:
job 图如下:
算子如下:
checkpoint配置如下:
但是结果如下:
没有checkpoint生成
部门 / 数据平台
花名 / 起子
Mobile :159 8810 1848
WeChat :159 8810 1848
Email :q...@dian.so
Hi, Jiangang
Glad to hear that you are looking to run Flink on Kubernetes.
It just because you are using the new Kubernetes version.The
extensions/v1beta1
has been removed since v1.16. Please use apps/v1 instead. The apps/v1 is
introduced
from v1.9.0. I will create a ticket fix the
tEnv.connect(new Kafka()
.version("universal")
.topic("xxx")
.startFromLatest()
.property("bootstrap.servers",
"")
.property("group.id", ""))
.withFormat(new Json().failOnMissingField(false).deriveSchema())
.withSchema(new
13 matches
Mail list logo