你可以试试将第三方包放进你的user jar里,制作一个fat jar.
或者你保证每一个container都存在这个第三方包,不一定是在lib下。然后提交作业的时候使用pipeline.classpath去指定这个路径。
参考https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/python/dependency_management/
> On 25 Apr 2022, at 6:21 PM, 天道酬勤 <1262420...@qq.com.INVALID> wrote:
>
> 我的flink是通过ku
感谢大佬指点,我换到 1.14.4 后这个问题解决了
On Apr 28 2022, at 9:03 pm, huweihua wrote:
> 当 SlotManager 向 TaskExecutor 为作业申请 Slot 后,TaskExecutor 会向 JobMaster offer这些
> Slots。从 TaskExecutor 接受到 SlotManager 的请求后会注册一个定时器,如果在定时器计时结束时仍然没有将 Slots
> offer 给 JobMaster,会触发这个问题。
>
> Slot timeout 的时间配置项为taskmanager.slot.t
Hi??FlinkjaninoJanino[1]??org.codehaus.janino.source_debugging.enable=true??org.codehaus.janino.source_debugging.dir=mypathdebug[1]
http://janino-compiler.github.io/janino/#debugging
?? 2022-04-25 17:04:30??"zhiyezou" <1530130...@qq.com.INVALID>
当 SlotManager 向 TaskExecutor 为作业申请 Slot 后,TaskExecutor 会向 JobMaster offer这些
Slots。从 TaskExecutor 接受到 SlotManager 的请求后会注册一个定时器,如果在定时器计时结束时仍然没有将 Slots offer
给 JobMaster,会触发这个问题。
Slot timeout 的时间配置项为taskmanager.slot.timeout,如果没有单独配置,则使用 akka.ask.timeout
的值(默认为 10s)。
可以尝试增加 taskmanager.slot.timeou
??
-- --
??:
"user-zh"
忘记说了,Flink 版本是 1.13.1
On Apr 28 2022, at 8:04 pm, Pan Junxun wrote:
> 感谢回复!
>
> 日志内容如下:
>
> 2022-04-28 19:58:20
> org.apache.flink.runtime.JobException: Recovery is suppressed by
> NoRestartBackoffTimeStrategy
> at
> org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler
感谢回复!
日志内容如下:
2022-04-28 19:58:20
org.apache.flink.runtime.JobException: Recovery is suppressed by
NoRestartBackoffTimeStrategy
at
org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:138)
at
org.apache.flink.runtime.executio
Hi, Junxun
按照你的说法前半部分是符合预期的,并行度为 5 的作业需要 2 个 slot 数量为 3 的 TaskManager。
这里没看到具体的报错日志,方便提供下完成日志吗?以及对应的 flink 版本信息。
> 2022年4月28日 下午5:28,Pan Junxun 写道:
>
> 您好,
>
> 我最近在尝试使用 native kubernetes 方式部署 flink 集群。我根据官方文档使用 session
> 模式部署了一个集群,并在上面提交了一个并行度为 5 的测试 Job,参数设置了
> -D-Dtaskmanager.numberOfTaskS
万分抱歉!邮件客户端误触发送出去了。。。
请问为什么 slot 总数充足的情况下会出现 slot 不足的异常?如何在 native kubernetes 下正确启动一个多并行度任务?
感谢大家抽空看我的邮件!
Best,
潘
On Apr 28 2022, at 5:28 pm, Pan Junxun wrote:
> 您好,
>
> 我最近在尝试使用 native kubernetes 方式部署 flink 集群。我根据官方文档使用 session
> 模式部署了一个集群,并在上面提交了一个并行度为 5 的测试 Job,参数设置了
> -D-Dtaskmanager.number
您好,
我最近在尝试使用 native kubernetes 方式部署 flink 集群。我根据官方文档使用 session
模式部署了一个集群,并在上面提交了一个并行度为 5 的测试 Job,参数设置了
-D-Dtaskmanager.numberOfTaskSlots=3。提交后可以在前端看到创建了两个 slot 数量为 3 的
Taskmanager,并且其中有一个 Taskmanager 显示 1 slot free。但是 Job 无法正常启动,得到了
has no more allocated slots for job
??
import org.apache.flink.configuration.Configuration;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableConfig;
import org.apache.flink.table.api.TableEnvironment;
public class sql {
public static void main(String[] args) {
Enviro
??
import org.apache.flink.configuration.Configuration;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableConfig;
import org.apache.flink.table.api.TableEnvironment;
public class sql {
public static void main(String[] args) {
Enviro
-- set root path to session config SET 'table-store.path' = '/tmp/table_store';
??flink??config
table sql ??demosql cli
??
-- --
??:
哈喽,感谢你的关注
Tison是对的,Table Store是一个库。我们目前并没有发布maven依赖。
目前你可以有两种方式来调试:
1.在Table Store的工程里调试
2.在拿到flink-table-store-dist下的 pre bundled jar,放到你工程的classpath下来调试
入口类的话是通过SQL的方式:
TableEnvironment.executeSql("CREATE TABLE XX (...)");
当classpath下包含 table store 的 jar 时,会服务发现到 TableStore 的 factory,进而走到
t
14 matches
Mail list logo