Flink命令提交任务时是否支持配置文件与任务jar包分离

2019-08-09 文章 jinxiaolong_al...@163.com
各位社区大佬: 请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。 比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的,可是有时候只是要调整下配置代码没改动也要重新打包发到环境上,感觉这样不灵活, 所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下,然后提交任务的时候指定配置文件或者是配置目录。 类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑,这样就不用改下配置也要重新打包发到环境上了。

Re: 恢复savepoint,除了命令行,能通过代码获取吗?

2019-08-09 文章 Yun Tang
Hi 中锋 恐怕不能通过代码来回复savepoint,目前一共只有有两个地方可以传入savepoint path,分别是 1. CliFrontendParser#createSavepointRestoreSettings [1] 2. JarRunHandler#getSavepointRestoreSettings [2] 分别对应命令行,网页(REST)提交,没办法在代码里面进行恢复请求,其实我理解REST或者网页提交应该也满足你们的需求。 [1]

答复: 恢复savepoint,除了命令行,能通过代码获取吗?

2019-08-09 文章 戴嘉诚
你好, 可以通过flink的restFul去调用保存savepoint 发件人: liu zhongfeng 发送时间: 2019年8月9日 20:28 收件人: user-zh@flink.apache.org 主题: 恢复savepoint,除了命令行,能通过代码获取吗? 如题,restore savepoint,除了run flink -s savepointpath之外,能通过代码恢复吗,因为公司集群没法输入命令行。如果可以的话,能给个小demo,或者API也可以 谢谢。 Best, Rio Liu, 刘中锋

关于外部请求支持sql的方式。

2019-08-09 文章 白京京
各位commit: 我们现在遇到这么一个需求,请求帮助。 我们需要开发一个web界面支持写sql,做配置,然后提交job的功能。 我们浏览了最新版的flink1.8.1 里面有sql client的客户端,但是也仅仅支持在jobmanage上启动该界面去操作(我是这样理解的,并不支持跨机器通信) 请问下,我们需要的功能,在最新版的功能列表里,是否有相关功能模块,我们可以直接拿来用,然后做一个上层分组即可? 请给点建议 白京京 18201047119 Tel:

恢复savepoint,除了命令行,能通过代码获取吗?

2019-08-09 文章 liu zhongfeng
如题,restore savepoint,除了run flink -s savepointpath之外,能通过代码恢复吗,因为公司集群没法输入命令行。如果可以的话,能给个小demo,或者API也可以 谢谢。 Best, Rio Liu, 刘中锋

Re: 有一些TaskManager的slot不可用,尽管没有任务正在运行

2019-08-09 文章 Xintong Song
Hi, 邮件中的图片显示不出来。Flink邮件列表的图片附件是有点问题的,如果是截图最好上传到其他地方然后把链接贴出来。 Thank you~ Xintong Song On Fri, Aug 9, 2019 at 10:06 AM pengcheng...@bonc.com.cn < pengcheng...@bonc.com.cn> wrote: > 各位大佬: > > 有对这种情况比较了解的吗?任务结束后,一些slot并没有释放掉。 > > > 如图所示: > > > > > -- >

回复: flink 结合canal统计订单gmv

2019-08-09 文章 1101300123
没看到附件啊 | | 1101300123 | | hdxg1101300...@163.com | 签名由网易邮箱大师定制 在2019年8月9日 10:14,王飞 写道: hi 如上图 是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据 我想把arraybuffer解析成一个个order 然后再转换为table api进行产品维度的gmv统计, 原始解析代码 和 数据见附件 谢谢

有一些TaskManager的slot不可用,尽管没有任务正在运行

2019-08-09 文章 pengcheng...@bonc.com.cn
各位大佬: 有对这种情况比较了解的吗?任务结束后,一些slot并没有释放掉。 如图所示: pengcheng...@bonc.com.cn