Re: flink 任务对接k8s的第三方jar包管理问题

2022-04-28 文章 yu'an huang
你可以试试将第三方包放进你的user jar里,制作一个fat jar. 或者你保证每一个container都存在这个第三方包,不一定是在lib下。然后提交作业的时候使用pipeline.classpath去指定这个路径。 参考https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/python/dependency_management/ > On 25 Apr 2022, at 6:21 PM, 天道酬勤 <1262420...@qq.com.INVALID> wrote: > > 我的flink是通过ku

Re: Flink native kubernetes 下没有足够的 slot 问题

2022-04-28 文章 Pan Junxun
感谢大佬指点,我换到 1.14.4 后这个问题解决了 On Apr 28 2022, at 9:03 pm, huweihua wrote: > 当 SlotManager 向 TaskExecutor 为作业申请 Slot 后,TaskExecutor 会向 JobMaster offer这些 > Slots。从 TaskExecutor 接受到 SlotManager 的请求后会注册一个定时器,如果在定时器计时结束时仍然没有将 Slots > offer 给 JobMaster,会触发这个问题。 > > Slot timeout 的时间配置项为taskmanager.slot.t

Re:Flink SQL??????Java code????debug

2022-04-28 文章 Xuyang
Hi??FlinkjaninoJanino[1]??org.codehaus.janino.source_debugging.enable=true??org.codehaus.janino.source_debugging.dir=mypathdebug[1] http://janino-compiler.github.io/janino/#debugging ?? 2022-04-25 17:04:30??"zhiyezou" <1530130...@qq.com.INVALID>

Re: Flink native kubernetes 下没有足够的 slot 问题

2022-04-28 文章 huweihua
当 SlotManager 向 TaskExecutor 为作业申请 Slot 后,TaskExecutor 会向 JobMaster offer这些 Slots。从 TaskExecutor 接受到 SlotManager 的请求后会注册一个定时器,如果在定时器计时结束时仍然没有将 Slots offer 给 JobMaster,会触发这个问题。 Slot timeout 的时间配置项为taskmanager.slot.timeout,如果没有单独配置,则使用 akka.ask.timeout 的值(默认为 10s)。 可以尝试增加 taskmanager.slot.timeou

?????? ??Flink Table Store????

2022-04-28 文章 ??????
  ??   -- -- ??: "user-zh"

Re: Flink native kubernetes 下没有足够的 slot 问题

2022-04-28 文章 Pan Junxun
忘记说了,Flink 版本是 1.13.1 On Apr 28 2022, at 8:04 pm, Pan Junxun wrote: > 感谢回复! > > 日志内容如下: > > 2022-04-28 19:58:20 > org.apache.flink.runtime.JobException: Recovery is suppressed by > NoRestartBackoffTimeStrategy > at > org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler

Re: Flink native kubernetes 下没有足够的 slot 问题

2022-04-28 文章 Pan Junxun
感谢回复! 日志内容如下: 2022-04-28 19:58:20 org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:138) at org.apache.flink.runtime.executio

Re: Flink native kubernetes 下没有足够的 slot 问题

2022-04-28 文章 huweihua
Hi, Junxun 按照你的说法前半部分是符合预期的,并行度为 5 的作业需要 2 个 slot 数量为 3 的 TaskManager。 这里没看到具体的报错日志,方便提供下完成日志吗?以及对应的 flink 版本信息。 > 2022年4月28日 下午5:28,Pan Junxun 写道: > > 您好, > > 我最近在尝试使用 native kubernetes 方式部署 flink 集群。我根据官方文档使用 session > 模式部署了一个集群,并在上面提交了一个并行度为 5 的测试 Job,参数设置了 > -D-Dtaskmanager.numberOfTaskS

Re: Flink native kubernetes 下没有足够的 slot 问题

2022-04-28 文章 Pan Junxun
万分抱歉!邮件客户端误触发送出去了。。。 请问为什么 slot 总数充足的情况下会出现 slot 不足的异常?如何在 native kubernetes 下正确启动一个多并行度任务? 感谢大家抽空看我的邮件! Best, 潘 On Apr 28 2022, at 5:28 pm, Pan Junxun wrote: > 您好, > > 我最近在尝试使用 native kubernetes 方式部署 flink 集群。我根据官方文档使用 session > 模式部署了一个集群,并在上面提交了一个并行度为 5 的测试 Job,参数设置了 > -D-Dtaskmanager.number

Flink native kubernetes 下没有足够的 slot 问题

2022-04-28 文章 Pan Junxun
您好, 我最近在尝试使用 native kubernetes 方式部署 flink 集群。我根据官方文档使用 session 模式部署了一个集群,并在上面提交了一个并行度为 5 的测试 Job,参数设置了 -D-Dtaskmanager.numberOfTaskSlots=3。提交后可以在前端看到创建了两个 slot 数量为 3 的 Taskmanager,并且其中有一个 Taskmanager 显示 1 slot free。但是 Job 无法正常启动,得到了 has no more allocated slots for job

?????? ??Flink Table Store????

2022-04-28 文章 ??????
?? import org.apache.flink.configuration.Configuration; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.TableConfig; import org.apache.flink.table.api.TableEnvironment; public class sql { public static void main(String[] args) { Enviro

?????? ??Flink Table Store????

2022-04-28 文章 ??????
?? import org.apache.flink.configuration.Configuration; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.TableConfig; import org.apache.flink.table.api.TableEnvironment; public class sql { public static void main(String[] args) { Enviro

?????? ??Flink Table Store????

2022-04-28 文章 ??????
-- set root path to session config SET 'table-store.path' = '/tmp/table_store'; ??flink??config table sql ??demosql cli ??   --  -- ??:

Re: 对Flink Table Store咨询

2022-04-28 文章 Jingsong Li
哈喽,感谢你的关注 Tison是对的,Table Store是一个库。我们目前并没有发布maven依赖。 目前你可以有两种方式来调试: 1.在Table Store的工程里调试 2.在拿到flink-table-store-dist下的 pre bundled jar,放到你工程的classpath下来调试 入口类的话是通过SQL的方式: TableEnvironment.executeSql("CREATE TABLE XX (...)"); 当classpath下包含 table store 的 jar 时,会服务发现到 TableStore 的 factory,进而走到 t