Re: Re: Re: Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 Jark Wu
估计是这个导致的:
https://ci.apache.org/projects/flink/flink-docs-master/release-notes/flink-1.11.html#reversed-dependency-from-flink-streaming-java-to-flink-client-flink-15090

On Wed, 8 Jul 2020 at 09:21, sunfulin  wrote:

> hi, noake
> 感谢分享。我加了这个依赖后也OK了。周知下大家。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-07-07 22:15:05,"noake"  写道:
> >我在1.11.0中遇到了同样的问题, pom中加了下面的依赖就没解决了
> >dependency
> > groupIdorg.apache.flink/groupId
> > artifactIdflink-clients_${scala.binary.version}/artifactId
> > version${flink.version}/version
> >/dependency
> >
> >
> >原始邮件
> >发件人:Congxian qiuqcx978132...@gmail.com
> >收件人:user-zhuser...@flink.apache.org
> >抄送:Jark wuimj...@gmail.com; Jun zhangzhangjunemail...@gmail.com
> >发送时间:2020年7月7日(周二) 19:35
> >主题:Re: Re: Re: Re: flink 1.11 作业执行异常
> >
> >
> >Hi 从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了(找不到),可以看看对应的 module 的
> resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin
> sunfulin0...@163.com 于2020年7月7日周二 下午6:29写道: hi,
> 我的pom文件本地执行时,scope的provided都是去掉的。  dependency
> groupIdorg.apache.flink/groupId
>  artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId
> version${flink.version}/version  /dependency
> 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> 这个异常在啥情况下会触发到。在 2020-07-07 18:10:58,"Jark Wu"
> imj...@gmail.com 写道:  如果是在 IDEA 中运行的话,你看看 blink planner 这个依赖的 scope 是不是被
> provided 掉了? 去掉  provided  再试试看?Best,  JarkOn Tue, 7 Jul 2020 at
> 18:01, sunfulin sunfulin0...@163.com wrote: hi,   @Jun Zhang
> 我一直使用的就是blink planner,这个jar包一直都有的。 @Jark Wu
> 我是在本地idea中直接运行的,还没有打包到集群跑。跟这个有关系么?   在
> 2020-07-07 15:40:17,"Jark Wu" imj...@gmail.com 写道:   Hi,
> 你是作业打包后在集群执行的,还是在 IDEA 中运行的呢?  Best,   Jark  On Tue, 7 Jul 2020 at
> 15:31, Jun Zhang zhangjunemail...@gmail.com   wrote:   hi.sunfulin
> 你有没有导入blink的planner呢,加入这个试试   dependency
> groupIdorg.apache.flink/groupId
>  artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId
> version${flink.version}/version/dependency  sunfulin
> sunfulin0...@163.com 于2020年7月7日周二 下午3:21写道:hi, jark
> 我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
> configuration里的DeployOptions.TARGET
> (execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。
> //构建StreamExecutionEnvironmentpublic static final
> StreamExecutionEnvironment env =
> StreamExecutionEnvironment.getExecutionEnvironment();
>  //构建EnvironmentSettings 并指定Blink Plannerprivate static final
> EnvironmentSettings bsSettings =
>  
> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
>  //构建StreamTableEnvironmentpublic static final
> StreamTableEnvironment tEnv =StreamTableEnvironment.create(env,
> bsSettings);   tEnv.executeSql(“ddl sql”);
> //source注册成表   tEnv.createTemporaryView("test", ds, $("f0").as("id"),
>   $("f1").as("first"), $("p").proctime());//join语句
>  Table table = tEnv.sqlQuery("select b.* from test a left  joinmy_dim
> FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
> //输出   tEnv.toAppendStream(table,  Row.class).print("LookUpJoinJob");
>   env.execute("LookUpJoinJob");在
> 2020-07-06 14:59:17,"Jark Wu" imj...@gmail.com 写道:能分享下复现的作业代码不?
>   Best,JarkOn Mon, 6 Jul 2020 at 11:00, sunfulin
> sunfulin0...@163.com  wrote: Hi, 我使用目前最新的Flink 1.11
> rc4来测试我的作业。报了如下异常: org.apache.flink.table.api.TableExecution: Failed to
> execute sql caused by : java.lang.IlleagalStateException: No
> ExecutorFactory   foundto execute the application. at
>  
> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
>想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。
>


Re:Re: Re: Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 sunfulin
hi, noake
感谢分享。我加了这个依赖后也OK了。周知下大家。

















在 2020-07-07 22:15:05,"noake"  写道:
>我在1.11.0中遇到了同样的问题, pom中加了下面的依赖就没解决了
>dependency
> groupIdorg.apache.flink/groupId
> artifactIdflink-clients_${scala.binary.version}/artifactId
> version${flink.version}/version
>/dependency
>
>
>原始邮件
>发件人:Congxian qiuqcx978132...@gmail.com
>收件人:user-zhuser...@flink.apache.org
>抄送:Jark wuimj...@gmail.com; Jun zhangzhangjunemail...@gmail.com
>发送时间:2020年7月7日(周二) 19:35
>主题:Re: Re: Re: Re: flink 1.11 作业执行异常
>
>
>Hi 从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了(找不到),可以看看对应的 module 的 
>resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin sunfulin0...@163.com 
>于2020年7月7日周二 下午6:29写道: hi,  我的pom文件本地执行时,scope的provided都是去掉的。  dependency  
>groupIdorg.apache.flink/groupId   
>artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId  
>version${flink.version}/version  /dependency
>确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
>  这个异常在啥情况下会触发到。在 2020-07-07 18:10:58,"Jark Wu" 
>imj...@gmail.com 写道:  如果是在 IDEA 中运行的话,你看看 blink planner 这个依赖的 scope 是不是被 
>provided 掉了? 去掉  provided  再试试看?Best,  JarkOn Tue, 7 Jul 2020 at 
>18:01, sunfulin sunfulin0...@163.com wrote: hi,   @Jun Zhang 我一直使用的就是blink 
>planner,这个jar包一直都有的。 @Jark Wu 我是在本地idea中直接运行的,还没有打包到集群跑。跟这个有关系么?   
>在 2020-07-07 15:40:17,"Jark Wu" imj...@gmail.com 
>写道:   Hi,  你是作业打包后在集群执行的,还是在 IDEA 中运行的呢?  Best,   Jark  On Tue, 7 
>Jul 2020 at 15:31, Jun Zhang zhangjunemail...@gmail.com   wrote:   
>hi.sunfulin你有没有导入blink的planner呢,加入这个试试   dependency
>groupIdorg.apache.flink/groupId   
>artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId
>version${flink.version}/version/dependency  sunfulin 
>sunfulin0...@163.com 于2020年7月7日周二 下午3:21写道:hi, jark
>我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
>configuration里的DeployOptions.TARGET
>(execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。  
>//构建StreamExecutionEnvironmentpublic static final 
>StreamExecutionEnvironment env =
>StreamExecutionEnvironment.getExecutionEnvironment();   
>//构建EnvironmentSettings 并指定Blink Plannerprivate static final 
>EnvironmentSettings bsSettings =   
>EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); 
>  //构建StreamTableEnvironmentpublic static final StreamTableEnvironment 
>tEnv =StreamTableEnvironment.create(env, bsSettings);   
>tEnv.executeSql(“ddl sql”);//source注册成表   
>tEnv.createTemporaryView("test", ds, $("f0").as("id"),$("f1").as("first"), 
>$("p").proctime());//join语句   Table table = 
>tEnv.sqlQuery("select b.* from test a left  joinmy_dim FOR SYSTEM_TIME AS 
>OF a.p AS b on a.first = b.userId");//输出   
>tEnv.toAppendStream(table,  Row.class).print("LookUpJoinJob");
>env.execute("LookUpJoinJob");在 2020-07-06 
>14:59:17,"Jark Wu" imj...@gmail.com 写道:能分享下复现的作业代码不?Best,Jark  
>  On Mon, 6 Jul 2020 at 11:00, sunfulin sunfulin0...@163.com  wrote:   
>  Hi, 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常: 
>org.apache.flink.table.api.TableExecution: Failed to execute sql 
>caused by : java.lang.IlleagalStateException: No ExecutorFactory   foundto 
>execute the application. at   
>org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。


Re: Re: Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 noake
我在1.11.0中遇到了同样的问题, pom中加了下面的依赖就没解决了
dependency
 groupIdorg.apache.flink/groupId
 artifactIdflink-clients_${scala.binary.version}/artifactId
 version${flink.version}/version
/dependency


原始邮件
发件人:Congxian qiuqcx978132...@gmail.com
收件人:user-zhuser...@flink.apache.org
抄送:Jark wuimj...@gmail.com; Jun zhangzhangjunemail...@gmail.com
发送时间:2020年7月7日(周二) 19:35
主题:Re: Re: Re: Re: flink 1.11 作业执行异常


Hi 从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了(找不到),可以看看对应的 module 的 
resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin sunfulin0...@163.com 
于2020年7月7日周二 下午6:29写道: hi,  我的pom文件本地执行时,scope的provided都是去掉的。  dependency  
groupIdorg.apache.flink/groupId   
artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId  
version${flink.version}/version  /dependency
确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
  这个异常在啥情况下会触发到。在 2020-07-07 18:10:58,"Jark Wu" 
imj...@gmail.com 写道:  如果是在 IDEA 中运行的话,你看看 blink planner 这个依赖的 scope 是不是被 
provided 掉了? 去掉  provided  再试试看?Best,  JarkOn Tue, 7 Jul 2020 at 18:01, 
sunfulin sunfulin0...@163.com wrote: hi,   @Jun Zhang 我一直使用的就是blink 
planner,这个jar包一直都有的。 @Jark Wu 我是在本地idea中直接运行的,还没有打包到集群跑。跟这个有关系么?
   在 2020-07-07 15:40:17,"Jark Wu" imj...@gmail.com 写道: 
  Hi,  你是作业打包后在集群执行的,还是在 IDEA 中运行的呢?  Best,   Jark  On Tue, 7 Jul 
2020 at 15:31, Jun Zhang zhangjunemail...@gmail.com   wrote:   hi.sunfulin  
  你有没有导入blink的planner呢,加入这个试试   dependency
groupIdorg.apache.flink/groupId   
artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId
version${flink.version}/version/dependency  sunfulin 
sunfulin0...@163.com 于2020年7月7日周二 下午3:21写道:hi, jark
我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
configuration里的DeployOptions.TARGET
(execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。  
//构建StreamExecutionEnvironmentpublic static final 
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();   
//构建EnvironmentSettings 并指定Blink Plannerprivate static final 
EnvironmentSettings bsSettings =   
EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();  
 //构建StreamTableEnvironmentpublic static final StreamTableEnvironment 
tEnv =StreamTableEnvironment.create(env, bsSettings);   
tEnv.executeSql(“ddl sql”);//source注册成表   
tEnv.createTemporaryView("test", ds, $("f0").as("id"),$("f1").as("first"), 
$("p").proctime());//join语句   Table table = 
tEnv.sqlQuery("select b.* from test a left  joinmy_dim FOR SYSTEM_TIME AS 
OF a.p AS b on a.first = b.userId");//输出   
tEnv.toAppendStream(table,  Row.class).print("LookUpJoinJob");
env.execute("LookUpJoinJob");在 2020-07-06 
14:59:17,"Jark Wu" imj...@gmail.com 写道:能分享下复现的作业代码不?Best,Jark   
 On Mon, 6 Jul 2020 at 11:00, sunfulin sunfulin0...@163.com  wrote: 
Hi, 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常: 
org.apache.flink.table.api.TableExecution: Failed to execute sql 
caused by : java.lang.IlleagalStateException: No ExecutorFactory   foundto  
   execute the application. at   
org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。

Re: Re: Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 Congxian Qiu
Hi

从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了(找不到),可以看看对应的 module 的
resources 文件下是否有对应的 resource 文件

Best,
Congxian


sunfulin  于2020年7月7日周二 下午6:29写道:

>
>
>
> hi,
> 我的pom文件本地执行时,scope的provided都是去掉的。
> 
> org.apache.flink
>
>  flink-table-planner-blink_${scala.binary.version}
>${flink.version}
> 
>
>
> 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> 这个异常在啥情况下会触发到。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-07-07 18:10:58,"Jark Wu"  写道:
> >如果是在 IDEA 中运行的话,你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了? 去掉
> provided
> >再试试看?
> >
> >Best,
> >Jark
> >
> >On Tue, 7 Jul 2020 at 18:01, sunfulin  wrote:
> >
> >> hi,
> >>  @Jun Zhang 我一直使用的就是blink planner,这个jar包一直都有的。
> >>
> >>  @Jark Wu 我是在本地idea中直接运行的,还没有打包到集群跑。跟这个有关系么?
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> 在 2020-07-07 15:40:17,"Jark Wu"  写道:
> >> >Hi,
> >> >
> >> >你是作业打包后在集群执行的,还是在 IDEA 中运行的呢?
> >> >
> >> >Best,
> >> >Jark
> >> >
> >> >On Tue, 7 Jul 2020 at 15:31, Jun Zhang 
> >> wrote:
> >> >
> >> >> hi.sunfulin
> >> >> 你有没有导入blink的planner呢,加入这个试试
> >> >>
> >> >> 
> >> >> org.apache.flink
> >> >>
> >>
> flink-table-planner-blink_${scala.binary.version}
> >> >> ${flink.version}
> >> >> 
> >> >>
> >> >>
> >> >> sunfulin  于2020年7月7日周二 下午3:21写道:
> >> >>
> >> >>>
> >> >>>
> >> >>>
> >> >>> hi, jark
> >> >>> 我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
> >> >>> configuration里的DeployOptions.TARGET
> >> >>> (execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。
> >> >>>
> >> >>>
> >> >>> //构建StreamExecutionEnvironment
> >> >>> public static final StreamExecutionEnvironment env =
> >> >>> StreamExecutionEnvironment.getExecutionEnvironment();
> >> >>>
> >> >>> //构建EnvironmentSettings 并指定Blink Planner
> >> >>> private static final EnvironmentSettings bsSettings =
> >> >>>
> >>
> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
> >> >>>
> >> >>> //构建StreamTableEnvironment
> >> >>> public static final StreamTableEnvironment tEnv =
> >> >>> StreamTableEnvironment.create(env, bsSettings);
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>tEnv.executeSql(“ddl sql”);
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> //source注册成表
> >> >>>
> >> >>> tEnv.createTemporaryView("test", ds, $("f0").as("id"),
> >> >>> $("f1").as("first"), $("p").proctime());
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> //join语句
> >> >>>
> >> >>> Table table = tEnv.sqlQuery("select b.* from test a left
> join
> >> >>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> //输出
> >> >>>
> >> >>> tEnv.toAppendStream(table,
> Row.class).print("LookUpJoinJob");
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> env.execute("LookUpJoinJob");
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>>
> >> >>> 在 2020-07-06 14:59:17,"Jark Wu"  写道:
> >> >>> >能分享下复现的作业代码不?
> >> >>> >
> >> >>> >Best,
> >> >>> >Jark
> >> >>> >
> >> >>> >On Mon, 6 Jul 2020 at 11:00, sunfulin 
> wrote:
> >> >>> >
> >> >>> >> Hi,
> >> >>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常:
> >> >>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql
> >> >>> >>
> >> >>> >>
> >> >>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory
> >> found
> >> >>> to
> >> >>> >> execute the application.
> >> >>> >>   at
> >> >>> >>
> >> >>>
> >>
> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> >> >>> >>
> >> >>> >>
> >> >>> >> 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。
> >> >>>
> >> >>
> >>
>


Re:Re: Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 sunfulin



hi,
我的pom文件本地执行时,scope的provided都是去掉的。

org.apache.flink
   flink-table-planner-blink_${scala.binary.version}
   ${flink.version}



确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
 这个异常在啥情况下会触发到。














在 2020-07-07 18:10:58,"Jark Wu"  写道:
>如果是在 IDEA 中运行的话,你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了? 去掉 provided
>再试试看?
>
>Best,
>Jark
>
>On Tue, 7 Jul 2020 at 18:01, sunfulin  wrote:
>
>> hi,
>>  @Jun Zhang 我一直使用的就是blink planner,这个jar包一直都有的。
>>
>>  @Jark Wu 我是在本地idea中直接运行的,还没有打包到集群跑。跟这个有关系么?
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2020-07-07 15:40:17,"Jark Wu"  写道:
>> >Hi,
>> >
>> >你是作业打包后在集群执行的,还是在 IDEA 中运行的呢?
>> >
>> >Best,
>> >Jark
>> >
>> >On Tue, 7 Jul 2020 at 15:31, Jun Zhang 
>> wrote:
>> >
>> >> hi.sunfulin
>> >> 你有没有导入blink的planner呢,加入这个试试
>> >>
>> >> 
>> >> org.apache.flink
>> >>
>>  flink-table-planner-blink_${scala.binary.version}
>> >> ${flink.version}
>> >> 
>> >>
>> >>
>> >> sunfulin  于2020年7月7日周二 下午3:21写道:
>> >>
>> >>>
>> >>>
>> >>>
>> >>> hi, jark
>> >>> 我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
>> >>> configuration里的DeployOptions.TARGET
>> >>> (execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。
>> >>>
>> >>>
>> >>> //构建StreamExecutionEnvironment
>> >>> public static final StreamExecutionEnvironment env =
>> >>> StreamExecutionEnvironment.getExecutionEnvironment();
>> >>>
>> >>> //构建EnvironmentSettings 并指定Blink Planner
>> >>> private static final EnvironmentSettings bsSettings =
>> >>>
>> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
>> >>>
>> >>> //构建StreamTableEnvironment
>> >>> public static final StreamTableEnvironment tEnv =
>> >>> StreamTableEnvironment.create(env, bsSettings);
>> >>>
>> >>>
>> >>>
>> >>>
>> >>>
>> >>>tEnv.executeSql(“ddl sql”);
>> >>>
>> >>>
>> >>>
>> >>>
>> >>> //source注册成表
>> >>>
>> >>> tEnv.createTemporaryView("test", ds, $("f0").as("id"),
>> >>> $("f1").as("first"), $("p").proctime());
>> >>>
>> >>>
>> >>>
>> >>>
>> >>> //join语句
>> >>>
>> >>> Table table = tEnv.sqlQuery("select b.* from test a left join
>> >>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
>> >>>
>> >>>
>> >>>
>> >>>
>> >>> //输出
>> >>>
>> >>> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob");
>> >>>
>> >>>
>> >>>
>> >>>
>> >>> env.execute("LookUpJoinJob");
>> >>>
>> >>>
>> >>>
>> >>>
>> >>>
>> >>>
>> >>>
>> >>>
>> >>> 在 2020-07-06 14:59:17,"Jark Wu"  写道:
>> >>> >能分享下复现的作业代码不?
>> >>> >
>> >>> >Best,
>> >>> >Jark
>> >>> >
>> >>> >On Mon, 6 Jul 2020 at 11:00, sunfulin  wrote:
>> >>> >
>> >>> >> Hi,
>> >>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常:
>> >>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql
>> >>> >>
>> >>> >>
>> >>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory
>> found
>> >>> to
>> >>> >> execute the application.
>> >>> >>   at
>> >>> >>
>> >>>
>> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
>> >>> >>
>> >>> >>
>> >>> >> 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。
>> >>>
>> >>
>>


Re: Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 Jark Wu
如果是在 IDEA 中运行的话,你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了? 去掉 provided
再试试看?

Best,
Jark

On Tue, 7 Jul 2020 at 18:01, sunfulin  wrote:

> hi,
>  @Jun Zhang 我一直使用的就是blink planner,这个jar包一直都有的。
>
>  @Jark Wu 我是在本地idea中直接运行的,还没有打包到集群跑。跟这个有关系么?
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-07-07 15:40:17,"Jark Wu"  写道:
> >Hi,
> >
> >你是作业打包后在集群执行的,还是在 IDEA 中运行的呢?
> >
> >Best,
> >Jark
> >
> >On Tue, 7 Jul 2020 at 15:31, Jun Zhang 
> wrote:
> >
> >> hi.sunfulin
> >> 你有没有导入blink的planner呢,加入这个试试
> >>
> >> 
> >> org.apache.flink
> >>
>  flink-table-planner-blink_${scala.binary.version}
> >> ${flink.version}
> >> 
> >>
> >>
> >> sunfulin  于2020年7月7日周二 下午3:21写道:
> >>
> >>>
> >>>
> >>>
> >>> hi, jark
> >>> 我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
> >>> configuration里的DeployOptions.TARGET
> >>> (execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。
> >>>
> >>>
> >>> //构建StreamExecutionEnvironment
> >>> public static final StreamExecutionEnvironment env =
> >>> StreamExecutionEnvironment.getExecutionEnvironment();
> >>>
> >>> //构建EnvironmentSettings 并指定Blink Planner
> >>> private static final EnvironmentSettings bsSettings =
> >>>
> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
> >>>
> >>> //构建StreamTableEnvironment
> >>> public static final StreamTableEnvironment tEnv =
> >>> StreamTableEnvironment.create(env, bsSettings);
> >>>
> >>>
> >>>
> >>>
> >>>
> >>>tEnv.executeSql(“ddl sql”);
> >>>
> >>>
> >>>
> >>>
> >>> //source注册成表
> >>>
> >>> tEnv.createTemporaryView("test", ds, $("f0").as("id"),
> >>> $("f1").as("first"), $("p").proctime());
> >>>
> >>>
> >>>
> >>>
> >>> //join语句
> >>>
> >>> Table table = tEnv.sqlQuery("select b.* from test a left join
> >>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
> >>>
> >>>
> >>>
> >>>
> >>> //输出
> >>>
> >>> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob");
> >>>
> >>>
> >>>
> >>>
> >>> env.execute("LookUpJoinJob");
> >>>
> >>>
> >>>
> >>>
> >>>
> >>>
> >>>
> >>>
> >>> 在 2020-07-06 14:59:17,"Jark Wu"  写道:
> >>> >能分享下复现的作业代码不?
> >>> >
> >>> >Best,
> >>> >Jark
> >>> >
> >>> >On Mon, 6 Jul 2020 at 11:00, sunfulin  wrote:
> >>> >
> >>> >> Hi,
> >>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常:
> >>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql
> >>> >>
> >>> >>
> >>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory
> found
> >>> to
> >>> >> execute the application.
> >>> >>   at
> >>> >>
> >>>
> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> >>> >>
> >>> >>
> >>> >> 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。
> >>>
> >>
>


Re:Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 sunfulin
hi, 
 @Jun Zhang 我一直使用的就是blink planner,这个jar包一直都有的。

 @Jark Wu 我是在本地idea中直接运行的,还没有打包到集群跑。跟这个有关系么?


















在 2020-07-07 15:40:17,"Jark Wu"  写道:
>Hi,
>
>你是作业打包后在集群执行的,还是在 IDEA 中运行的呢?
>
>Best,
>Jark
>
>On Tue, 7 Jul 2020 at 15:31, Jun Zhang  wrote:
>
>> hi.sunfulin
>> 你有没有导入blink的planner呢,加入这个试试
>>
>> 
>> org.apache.flink
>> 
>> flink-table-planner-blink_${scala.binary.version}
>> ${flink.version}
>> 
>>
>>
>> sunfulin  于2020年7月7日周二 下午3:21写道:
>>
>>>
>>>
>>>
>>> hi, jark
>>> 我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
>>> configuration里的DeployOptions.TARGET
>>> (execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。
>>>
>>>
>>> //构建StreamExecutionEnvironment
>>> public static final StreamExecutionEnvironment env =
>>> StreamExecutionEnvironment.getExecutionEnvironment();
>>>
>>> //构建EnvironmentSettings 并指定Blink Planner
>>> private static final EnvironmentSettings bsSettings =
>>> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
>>>
>>> //构建StreamTableEnvironment
>>> public static final StreamTableEnvironment tEnv =
>>> StreamTableEnvironment.create(env, bsSettings);
>>>
>>>
>>>
>>>
>>>
>>>tEnv.executeSql(“ddl sql”);
>>>
>>>
>>>
>>>
>>> //source注册成表
>>>
>>> tEnv.createTemporaryView("test", ds, $("f0").as("id"),
>>> $("f1").as("first"), $("p").proctime());
>>>
>>>
>>>
>>>
>>> //join语句
>>>
>>> Table table = tEnv.sqlQuery("select b.* from test a left join
>>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
>>>
>>>
>>>
>>>
>>> //输出
>>>
>>> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob");
>>>
>>>
>>>
>>>
>>> env.execute("LookUpJoinJob");
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>> 在 2020-07-06 14:59:17,"Jark Wu"  写道:
>>> >能分享下复现的作业代码不?
>>> >
>>> >Best,
>>> >Jark
>>> >
>>> >On Mon, 6 Jul 2020 at 11:00, sunfulin  wrote:
>>> >
>>> >> Hi,
>>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常:
>>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql
>>> >>
>>> >>
>>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory found
>>> to
>>> >> execute the application.
>>> >>   at
>>> >>
>>> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
>>> >>
>>> >>
>>> >> 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。
>>>
>>


Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 Jark Wu
Hi,

你是作业打包后在集群执行的,还是在 IDEA 中运行的呢?

Best,
Jark

On Tue, 7 Jul 2020 at 15:31, Jun Zhang  wrote:

> hi.sunfulin
> 你有没有导入blink的planner呢,加入这个试试
>
> 
> org.apache.flink
> flink-table-planner-blink_${scala.binary.version}
> ${flink.version}
> 
>
>
> sunfulin  于2020年7月7日周二 下午3:21写道:
>
>>
>>
>>
>> hi, jark
>> 我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
>> configuration里的DeployOptions.TARGET
>> (execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。
>>
>>
>> //构建StreamExecutionEnvironment
>> public static final StreamExecutionEnvironment env =
>> StreamExecutionEnvironment.getExecutionEnvironment();
>>
>> //构建EnvironmentSettings 并指定Blink Planner
>> private static final EnvironmentSettings bsSettings =
>> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
>>
>> //构建StreamTableEnvironment
>> public static final StreamTableEnvironment tEnv =
>> StreamTableEnvironment.create(env, bsSettings);
>>
>>
>>
>>
>>
>>tEnv.executeSql(“ddl sql”);
>>
>>
>>
>>
>> //source注册成表
>>
>> tEnv.createTemporaryView("test", ds, $("f0").as("id"),
>> $("f1").as("first"), $("p").proctime());
>>
>>
>>
>>
>> //join语句
>>
>> Table table = tEnv.sqlQuery("select b.* from test a left join
>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
>>
>>
>>
>>
>> //输出
>>
>> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob");
>>
>>
>>
>>
>> env.execute("LookUpJoinJob");
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2020-07-06 14:59:17,"Jark Wu"  写道:
>> >能分享下复现的作业代码不?
>> >
>> >Best,
>> >Jark
>> >
>> >On Mon, 6 Jul 2020 at 11:00, sunfulin  wrote:
>> >
>> >> Hi,
>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常:
>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql
>> >>
>> >>
>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory found
>> to
>> >> execute the application.
>> >>   at
>> >>
>> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
>> >>
>> >>
>> >> 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。
>>
>


Re: Re: flink 1.11 作业执行异常

2020-07-07 文章 Jun Zhang
hi.sunfulin
你有没有导入blink的planner呢,加入这个试试


org.apache.flink
flink-table-planner-blink_${scala.binary.version}
${flink.version}



sunfulin  于2020年7月7日周二 下午3:21写道:

>
>
>
> hi, jark
> 我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink
> configuration里的DeployOptions.TARGET
> (execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。
>
>
> //构建StreamExecutionEnvironment
> public static final StreamExecutionEnvironment env =
> StreamExecutionEnvironment.getExecutionEnvironment();
>
> //构建EnvironmentSettings 并指定Blink Planner
> private static final EnvironmentSettings bsSettings =
> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
>
> //构建StreamTableEnvironment
> public static final StreamTableEnvironment tEnv =
> StreamTableEnvironment.create(env, bsSettings);
>
>
>
>
>
>tEnv.executeSql(“ddl sql”);
>
>
>
>
> //source注册成表
>
> tEnv.createTemporaryView("test", ds, $("f0").as("id"),
> $("f1").as("first"), $("p").proctime());
>
>
>
>
> //join语句
>
> Table table = tEnv.sqlQuery("select b.* from test a left join
> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");
>
>
>
>
> //输出
>
> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob");
>
>
>
>
> env.execute("LookUpJoinJob");
>
>
>
>
>
>
>
>
> 在 2020-07-06 14:59:17,"Jark Wu"  写道:
> >能分享下复现的作业代码不?
> >
> >Best,
> >Jark
> >
> >On Mon, 6 Jul 2020 at 11:00, sunfulin  wrote:
> >
> >> Hi,
> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常:
> >> org.apache.flink.table.api.TableExecution: Failed to execute sql
> >>
> >>
> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory found
> to
> >> execute the application.
> >>   at
> >>
> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
> >>
> >>
> >> 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。
>


Re:Re: flink 1.11 作业执行异常

2020-07-07 文章 sunfulin



hi, jark
我的执行代码其实很简单,就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行,是说Flink 
configuration里的DeployOptions.TARGET (execution.target)没有匹配到配置?之前貌似从没有关注过这个配置。


//构建StreamExecutionEnvironment
public static final StreamExecutionEnvironment env = 
StreamExecutionEnvironment.getExecutionEnvironment();

//构建EnvironmentSettings 并指定Blink Planner
private static final EnvironmentSettings bsSettings = 
EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();

//构建StreamTableEnvironment
public static final StreamTableEnvironment tEnv = 
StreamTableEnvironment.create(env, bsSettings);





   tEnv.executeSql(“ddl sql”);




//source注册成表

tEnv.createTemporaryView("test", ds, $("f0").as("id"), 
$("f1").as("first"), $("p").proctime());




//join语句

Table table = tEnv.sqlQuery("select b.* from test a left join my_dim 
FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId");




//输出

tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob");




env.execute("LookUpJoinJob");








在 2020-07-06 14:59:17,"Jark Wu"  写道:
>能分享下复现的作业代码不?
>
>Best,
>Jark
>
>On Mon, 6 Jul 2020 at 11:00, sunfulin  wrote:
>
>> Hi,
>> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常:
>> org.apache.flink.table.api.TableExecution: Failed to execute sql
>>
>>
>> caused by : java.lang.IlleagalStateException: No ExecutorFactory found to
>> execute the application.
>>   at
>> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)
>>
>>
>> 想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。


flink 1.11 作业执行异常

2020-07-05 文章 sunfulin
Hi,
我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常:
org.apache.flink.table.api.TableExecution: Failed to execute sql


caused by : java.lang.IlleagalStateException: No ExecutorFactory found to 
execute the application.
  at 
org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84)


想请教下这个异常是啥原因?我使用1.10.1跑同样的逻辑,是没有异常的。