Hi 猫猫:
在DDL上定义rowtime是刚刚支持的功能,文档正在编写中。[1]
你可以通过master的代码来试用,社区正在准备发布1.10,到时候会有release版本可用。
[2] 中有使用的完整例子,FYI。
[1] https://issues.apache.org/jira/browse/FLINK-14320
[2]
Hi 帅,
- 目前可以通过改写StreamingFileSink的方式来支持Parquet。
(但是目前StreamingFileSink支持ORC比较难)
- BulkWriter和批处理没有关系,它只是StreamingFileSink的一种概念。
- 如果sync hive分区,这需要自定义了,目前StreamingFileSink没有现成的。
在1.11中,Table层会持续深入这方面的处理,实时数仓落hive,在后续会一一解决数据倾斜、分区可见性等问题。[1]
[1] https://issues.apache.org/jira/browse/FLINK-14249
+1 to lucas.wu
Best,
Jingsong Lee
--
From:lucas.wu
Send Time:2019年12月9日(星期一) 11:39
To:user-zh
Subject:Re: Flink RetractStream如何转成AppendStream?
可以使用类似的方式
// val sstream = result4.toRetractStream[Row],filter(_.1==trye).map(_._2)
Hi 帅,
你可以先把RetractStream转成DataStream,这样就出现了Tuple的stream,然后你再写个MapFunc过滤,最后通过DataStream写入Kafka中。
Best,
Jingsong Lee
--
From:Jark Wu
Send Time:2019年12月8日(星期日) 11:54
To:user-zh
Subject:Re: Flink RetractStream如何转成AppendStream?
Hi,
各位好!
关于flink on k8s
看了官网的文档之后Dockerfile,docker-entrypoint.sh,job-cluster-job.yaml.template等文件有以下问题:
1 standalone
启动jobmanager之后是如何知道用户程序的主入口(要执行的main方法时哪个?)如果是通过Maven打包时候设置的,那么如何不在打包时不设置,而通过命令行传入
类似 on yarn 模式下的 -c
2 如果是在 standalone-job.sh 时指定用户程序的主入口,那么如何传入用户自定义参数(在用户主程序args[]中接收)?
发送自 Windows
可以使用类似的方式
// val sstream = result4.toRetractStream[Row],filter(_.1==trye).map(_._2)
// val result5 = tEnv.fromDataStream(sstream)
// result5.toAppendStream[Row].print()
原始邮件
发件人:Jark wuimj...@gmail.com
收件人:user-zhuser...@flink.apache.org
发送时间:2019年12月8日(周日) 11:53
主题:Re: Flink