Re: [flink-sql]使用tableEnv.sqlUpdate(ddl);方式创表,如何指定rowtime?

2019-12-08 文章 JingsongLee
Hi 猫猫: 在DDL上定义rowtime是刚刚支持的功能,文档正在编写中。[1] 你可以通过master的代码来试用,社区正在准备发布1.10,到时候会有release版本可用。 [2] 中有使用的完整例子,FYI。 [1] https://issues.apache.org/jira/browse/FLINK-14320 [2]

Re: Flink实时数仓落Hive一般用哪种方式好?

2019-12-08 文章 JingsongLee
Hi 帅, - 目前可以通过改写StreamingFileSink的方式来支持Parquet。 (但是目前StreamingFileSink支持ORC比较难) - BulkWriter和批处理没有关系,它只是StreamingFileSink的一种概念。 - 如果sync hive分区,这需要自定义了,目前StreamingFileSink没有现成的。 在1.11中,Table层会持续深入这方面的处理,实时数仓落hive,在后续会一一解决数据倾斜、分区可见性等问题。[1] [1] https://issues.apache.org/jira/browse/FLINK-14249

Re: Flink RetractStream如何转成AppendStream?

2019-12-08 文章 JingsongLee
+1 to lucas.wu Best, Jingsong Lee -- From:lucas.wu Send Time:2019年12月9日(星期一) 11:39 To:user-zh Subject:Re: Flink RetractStream如何转成AppendStream? 可以使用类似的方式 // val sstream = result4.toRetractStream[Row],filter(_.1==trye).map(_._2)

Re: Flink RetractStream如何转成AppendStream?

2019-12-08 文章 JingsongLee
Hi 帅, 你可以先把RetractStream转成DataStream,这样就出现了Tuple的stream,然后你再写个MapFunc过滤,最后通过DataStream写入Kafka中。 Best, Jingsong Lee -- From:Jark Wu Send Time:2019年12月8日(星期日) 11:54 To:user-zh Subject:Re: Flink RetractStream如何转成AppendStream? Hi,

flink on k8s 如何指定用户程序的入口

2019-12-08 文章 aven . wu
各位好! 关于flink on k8s 看了官网的文档之后Dockerfile,docker-entrypoint.sh,job-cluster-job.yaml.template等文件有以下问题: 1 standalone 启动jobmanager之后是如何知道用户程序的主入口(要执行的main方法时哪个?)如果是通过Maven打包时候设置的,那么如何不在打包时不设置,而通过命令行传入 类似 on yarn 模式下的 -c 2 如果是在 standalone-job.sh 时指定用户程序的主入口,那么如何传入用户自定义参数(在用户主程序args[]中接收)? 发送自 Windows

Re: Flink RetractStream如何转成AppendStream?

2019-12-08 文章 lucas.wu
可以使用类似的方式 // val sstream = result4.toRetractStream[Row],filter(_.1==trye).map(_._2) // val result5 = tEnv.fromDataStream(sstream) // result5.toAppendStream[Row].print() 原始邮件 发件人:Jark wuimj...@gmail.com 收件人:user-zhuser...@flink.apache.org 发送时间:2019年12月8日(周日) 11:53 主题:Re: Flink