用的是perjob的模式,版本是1.12.1,因为我读的是hbase的数据,用的流的模式,是不是数据读完之后任务不会结束啊。下面是我的提交命令:<br/>./flink-1.12.1/bin/flink
 run -t yarn-per-job -m yarn-cluster -ynm historyPhotosConstientHandle -ys 8 
-yjm 4096 -ytm 10240 -c 
com.chinaunicom.audit.photo.history.handle.AuditPhotoHistoryNumberHandleApp 
/mnt/sd02/tglf005/devsoft/data-audit-photo-history-handle-2.1.jar,我发现如果指定了perjob参数的话,那么你在命令中指定的slot数量不起作用,我代码的最大并行度为16,按理来说应该分配2个taskmanager,但是却是分配了16个,每个taskmanager1个slot。如果不指定
 -t yarn-per-job的话,那么提交后就显示的是2个taskmanager,不是很明白,小白一个,望大家指点一二。
在 2021-06-21 18:26:33,"刘建刚" <liujiangangp...@gmail.com> 写道:
>嗨,你使用的是session还是perJob的作业?哪个flink版本?有详细的日志吗?一般不退户,可能是master卡在了哪里,比如我们遇到过卡在handler或者异步执行有问题。
>
>田磊 <totorobabyf...@163.com> 于2021年6月20日周日 上午11:14写道:
>
>>
>> 我用flink跑hbase的数据,flink的界面显示任务已经finished,正在running的任务为0。而yarn的界面显示正在running的状态,一直都结束不了,需要手动kill,是什么情况啊。
>>
>>
>> | |
>> totorobabyfans
>> |
>> |
>> 邮箱:totorobabyf...@163.com
>> |
>>
>> 签名由 网易邮箱大师 定制

回复