各位社区大佬:
请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。
比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的,可是有时候只是要调整下配置代码没改动也要重新打包发到环境上,感觉这样不灵活,
所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下,然后提交任务的时候指定配置文件或者是配置目录。
类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑,这样就不用改下配置也要重新打包发到环境上了。
Hi 中锋
恐怕不能通过代码来回复savepoint,目前一共只有有两个地方可以传入savepoint path,分别是
1. CliFrontendParser#createSavepointRestoreSettings [1]
2. JarRunHandler#getSavepointRestoreSettings [2]
分别对应命令行,网页(REST)提交,没办法在代码里面进行恢复请求,其实我理解REST或者网页提交应该也满足你们的需求。
[1]
你好,
可以通过flink的restFul去调用保存savepoint
发件人: liu zhongfeng
发送时间: 2019年8月9日 20:28
收件人: user-zh@flink.apache.org
主题: 恢复savepoint,除了命令行,能通过代码获取吗?
如题,restore savepoint,除了run flink -s
savepointpath之外,能通过代码恢复吗,因为公司集群没法输入命令行。如果可以的话,能给个小demo,或者API也可以
谢谢。
Best,
Rio Liu, 刘中锋
各位commit:
我们现在遇到这么一个需求,请求帮助。
我们需要开发一个web界面支持写sql,做配置,然后提交job的功能。
我们浏览了最新版的flink1.8.1 里面有sql
client的客户端,但是也仅仅支持在jobmanage上启动该界面去操作(我是这样理解的,并不支持跨机器通信)
请问下,我们需要的功能,在最新版的功能列表里,是否有相关功能模块,我们可以直接拿来用,然后做一个上层分组即可?
请给点建议
白京京
18201047119
Tel:
如题,restore savepoint,除了run flink -s
savepointpath之外,能通过代码恢复吗,因为公司集群没法输入命令行。如果可以的话,能给个小demo,或者API也可以
谢谢。
Best,
Rio Liu, 刘中锋
Hi,
邮件中的图片显示不出来。Flink邮件列表的图片附件是有点问题的,如果是截图最好上传到其他地方然后把链接贴出来。
Thank you~
Xintong Song
On Fri, Aug 9, 2019 at 10:06 AM pengcheng...@bonc.com.cn <
pengcheng...@bonc.com.cn> wrote:
> 各位大佬:
>
> 有对这种情况比较了解的吗?任务结束后,一些slot并没有释放掉。
>
>
> 如图所示:
>
>
>
>
> --
>
没看到附件啊
| |
1101300123
|
|
hdxg1101300...@163.com
|
签名由网易邮箱大师定制
在2019年8月9日 10:14,王飞 写道:
hi
如上图 是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据
我想把arraybuffer解析成一个个order 然后再转换为table api进行产品维度的gmv统计,
原始解析代码 和 数据见附件
谢谢
各位大佬:
有对这种情况比较了解的吗?任务结束后,一些slot并没有释放掉。
如图所示:
pengcheng...@bonc.com.cn