Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-05-06 文章 张锴
  启动yarn-session之后好了,另外这里为什么需要yarn-session呢?

Rui Li  于2021年5月7日周五 上午10:40写道:

> 感觉是提交job时遇到了问题。可以看看本地SQL client的日志有没有更详细的信息。另外可以试试用yarn session模式提交。
>
> On Fri, Apr 30, 2021 at 5:15 PM 张锴  wrote:
>
> > 我没有指定,就是执行了一条查询语句,自己生成的,但是好像没彻底成功,所以日志没说哪里的问题
> >
> > Rui Li  于2021年4月30日周五 下午4:51写道:
> >
> > > 你好,
> > >
> > > 看错误信息是找不到application_1605840182730_29292,这个是你提交任务的时候指定的么?
> > >
> > > On Thu, Apr 29, 2021 at 1:35 PM 张锴  wrote:
> > >
> > > > 我这里生产的hive没有配置Kerberos认证
> > > >
> > > > 张锴  于2021年4月29日周四 上午10:05写道:
> > > >
> > > > > 官网有说吗,你在哪里找到的呢
> > > > >
> > > > > guoyb <861277...@qq.com> 于2021年4月28日周三 上午10:56写道:
> > > > >
> > > > >> 我的也有这种问题,没解决,kerberos认证的hive导致的。
> > > > >>
> > > > >>
> > > > >>
> > > > >> ---原始邮件---
> > > > >> 发件人: "张锴" > > > >> 发送时间: 2021年4月28日(周三) 上午10:41
> > > > >> 收件人: "user-zh" > > > >> 主题: Fwd: flink1.12.2 CLI连接hive出现异常
> > > > >>
> > > > >>
> > > > >> -- Forwarded message -
> > > > >> 发件人: 张锴  > > > >> Date: 2021年4月27日周二 下午1:59
> > > > >> Subject: flink1.12.2 CLI连接hive出现异常
> > > > >> To:  > > > >>
> > > > >>
> > > > >> *使用flink1.12.2
> > > CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
> > > > >> 语句时就出现异常。*
> > > > >> [ERROR] Could not execute SQL statement. Reason:
> > > > >> org.apache.hadoop.ipc.RemoteException: Application with id
> > > > >> 'application_1605840182730_29292' doesn't exist in RM. Please
> check
> > > that
> > > > >> the job submission was suc
> > > > >> at
> > > > >>
> > > > >>
> > > >
> > >
> >
> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
> > > > >> at
> > > > >>
> > > > >>
> > > >
> > >
> >
> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
> > > > >> at
> > > > >>
> > > > >>
> > > >
> > >
> >
> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
> > > > >> at
> > > > >>
> > > > >>
> > > >
> > >
> >
> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
> > > > >> at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
> > > > >> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
> > > > >> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
> > > > >> at java.security.AccessController.doPrivileged(Native Method)
> > > > >> at javax.security.auth.Subject.doAs(Subject.java:422)
> > > > >> at
> > > > >>
> > > > >>
> > > >
> > >
> >
> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
> > > > >> at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
> > > > >>
> > > > >> *使用yarn logs -applicationId application_1605840182730_29292
> > > > >> 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
> > > > >> INFO client.RMProxy: Connecting to ResourceManager at
> > > > >> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> > > > >> Unable to get ApplicationState. Attempting to fetch logs directly
> > from
> > > > the
> > > > >> filesystem.
> > > > >> Can not find the appOwner. Please specify the correct appOwner
> > > > >> Could not locate application logs for
> > application_1605840182730_29292
> > > > >>
> > > > >> 这个如何排查呢,有遇到类似的问题的小伙伴吗
> > > > >
> > > > >
> > > >
> > >
> > >
> > > --
> > > Best regards!
> > > Rui Li
> > >
> >
>
>
> --
> Best regards!
> Rui Li
>


Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-05-06 文章 张锴
启动yarn-session之后好了,另外这里为什么需要yarn-session呢?其他的不行吗?

guoyb <861277...@qq.com> 于2021年5月7日周五 上午10:59写道:

> 看看yarn session是不是被kill掉了。
>
>
>
> ---原始邮件---
> 发件人: "Rui Li" 发送时间: 2021年5月7日(周五) 上午10:39
> 收件人: "user-zh" 主题: Re: Fwd: flink1.12.2 CLI连接hive出现异常
>
>
> 感觉是提交job时遇到了问题。可以看看本地SQL client的日志有没有更详细的信息。另外可以试试用yarn session模式提交。
>
> On Fri, Apr 30, 2021 at 5:15 PM 张锴 
>  我没有指定,就是执行了一条查询语句,自己生成的,但是好像没彻底成功,所以日志没说哪里的问题
> 
>  Rui Li  
>   你好,
>  
>   看错误信息是找不到application_1605840182730_29292,这个是你提交任务的时候指定的么?
>  
>   On Thu, Apr 29, 2021 at 1:35 PM 张锴  wrote:
>  
>我这里生产的hive没有配置Kerberos认证
>   
>张锴
> 官网有说吗,你在哪里找到的呢
>
> guoyb <861277...@qq.com 于2021年4月28日周三 上午10:56写道:
>
> 我的也有这种问题,没解决,kerberos认证的hive导致的。
>
>    
>    
> ---原始邮件---
> 发件人: "张锴" 发送时间: 2021年4月28日(周三) 上午10:41
> 收件人: "user-zh"     主题: Fwd: flink1.12.2 CLI连接hive出现异常
>
>
> -- Forwarded message -
> 发件人: 张锴  Date: 2021年4月27日周二 下午1:59
> Subject: flink1.12.2 CLI连接hive出现异常
> To: 
>
> *使用flink1.12.2
>   CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
> 语句时就出现异常。*
> [ERROR] Could not execute SQL statement. Reason:
> org.apache.hadoop.ipc.RemoteException: Application
> with id
> 'application_1605840182730_29292' doesn't exist in
> RM. Please check
>   that
> the job submission was suc
> at
>
>
>   
>  
> 
> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
> at
>
>
>   
>  
> 
> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
> at
>
>
>   
>  
> 
> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
> at
>
>
>   
>  
> 
> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
> at
> org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
> at
> org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
> at
> org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
> at
> java.security.AccessController.doPrivileged(Native Method)
> at
> javax.security.auth.Subject.doAs(Subject.java:422)
> at
>
>
>   
>  
> 
> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
> at
> org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
>
> *使用yarn logs -applicationIdnbsp;
> application_1605840182730_29292
> 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
> INFO client.RMProxy: Connecting to ResourceManager
> at
> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> Unable to get ApplicationState. Attempting to
> fetch logs directly
>  from
>the
> filesystem.
> Can not find the appOwner. Please specify the
> correct appOwner
> Could not locate application logs for
>  application_1605840182730_29292
>
> 这个如何排查呢,有遇到类似的问题的小伙伴吗
>
>
>   
>  
>  
>   --
>   Best regards!
>   Rui Li
>  
> 
>
>
> --
> Best regards!
> Rui Li


回复:Fwd: flink1.12.2 CLI连接hive出现异常

2021-05-06 文章 guoyb
看看yarn session是不是被kill掉了。



---原始邮件---
发件人: "Rui Li"

Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-05-06 文章 Rui Li
感觉是提交job时遇到了问题。可以看看本地SQL client的日志有没有更详细的信息。另外可以试试用yarn session模式提交。

On Fri, Apr 30, 2021 at 5:15 PM 张锴  wrote:

> 我没有指定,就是执行了一条查询语句,自己生成的,但是好像没彻底成功,所以日志没说哪里的问题
>
> Rui Li  于2021年4月30日周五 下午4:51写道:
>
> > 你好,
> >
> > 看错误信息是找不到application_1605840182730_29292,这个是你提交任务的时候指定的么?
> >
> > On Thu, Apr 29, 2021 at 1:35 PM 张锴  wrote:
> >
> > > 我这里生产的hive没有配置Kerberos认证
> > >
> > > 张锴  于2021年4月29日周四 上午10:05写道:
> > >
> > > > 官网有说吗,你在哪里找到的呢
> > > >
> > > > guoyb <861277...@qq.com> 于2021年4月28日周三 上午10:56写道:
> > > >
> > > >> 我的也有这种问题,没解决,kerberos认证的hive导致的。
> > > >>
> > > >>
> > > >>
> > > >> ---原始邮件---
> > > >> 发件人: "张锴" > > >> 发送时间: 2021年4月28日(周三) 上午10:41
> > > >> 收件人: "user-zh" > > >> 主题: Fwd: flink1.12.2 CLI连接hive出现异常
> > > >>
> > > >>
> > > >> -- Forwarded message -
> > > >> 发件人: 张锴  > > >> Date: 2021年4月27日周二 下午1:59
> > > >> Subject: flink1.12.2 CLI连接hive出现异常
> > > >> To:  > > >>
> > > >>
> > > >> *使用flink1.12.2
> > CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
> > > >> 语句时就出现异常。*
> > > >> [ERROR] Could not execute SQL statement. Reason:
> > > >> org.apache.hadoop.ipc.RemoteException: Application with id
> > > >> 'application_1605840182730_29292' doesn't exist in RM. Please check
> > that
> > > >> the job submission was suc
> > > >> at
> > > >>
> > > >>
> > >
> >
> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
> > > >> at
> > > >>
> > > >>
> > >
> >
> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
> > > >> at
> > > >>
> > > >>
> > >
> >
> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
> > > >> at
> > > >>
> > > >>
> > >
> >
> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
> > > >> at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
> > > >> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
> > > >> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
> > > >> at java.security.AccessController.doPrivileged(Native Method)
> > > >> at javax.security.auth.Subject.doAs(Subject.java:422)
> > > >> at
> > > >>
> > > >>
> > >
> >
> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
> > > >> at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
> > > >>
> > > >> *使用yarn logs -applicationId application_1605840182730_29292
> > > >> 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
> > > >> INFO client.RMProxy: Connecting to ResourceManager at
> > > >> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> > > >> Unable to get ApplicationState. Attempting to fetch logs directly
> from
> > > the
> > > >> filesystem.
> > > >> Can not find the appOwner. Please specify the correct appOwner
> > > >> Could not locate application logs for
> application_1605840182730_29292
> > > >>
> > > >> 这个如何排查呢,有遇到类似的问题的小伙伴吗
> > > >
> > > >
> > >
> >
> >
> > --
> > Best regards!
> > Rui Li
> >
>


-- 
Best regards!
Rui Li


Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-04-30 文章 张锴
我没有指定,就是执行了一条查询语句,自己生成的,但是好像没彻底成功,所以日志没说哪里的问题

Rui Li  于2021年4月30日周五 下午4:51写道:

> 你好,
>
> 看错误信息是找不到application_1605840182730_29292,这个是你提交任务的时候指定的么?
>
> On Thu, Apr 29, 2021 at 1:35 PM 张锴  wrote:
>
> > 我这里生产的hive没有配置Kerberos认证
> >
> > 张锴  于2021年4月29日周四 上午10:05写道:
> >
> > > 官网有说吗,你在哪里找到的呢
> > >
> > > guoyb <861277...@qq.com> 于2021年4月28日周三 上午10:56写道:
> > >
> > >> 我的也有这种问题,没解决,kerberos认证的hive导致的。
> > >>
> > >>
> > >>
> > >> ---原始邮件---
> > >> 发件人: "张锴" > >> 发送时间: 2021年4月28日(周三) 上午10:41
> > >> 收件人: "user-zh" > >> 主题: Fwd: flink1.12.2 CLI连接hive出现异常
> > >>
> > >>
> > >> -- Forwarded message -
> > >> 发件人: 张锴  > >> Date: 2021年4月27日周二 下午1:59
> > >> Subject: flink1.12.2 CLI连接hive出现异常
> > >> To:  > >>
> > >>
> > >> *使用flink1.12.2
> CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
> > >> 语句时就出现异常。*
> > >> [ERROR] Could not execute SQL statement. Reason:
> > >> org.apache.hadoop.ipc.RemoteException: Application with id
> > >> 'application_1605840182730_29292' doesn't exist in RM. Please check
> that
> > >> the job submission was suc
> > >> at
> > >>
> > >>
> >
> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
> > >> at
> > >>
> > >>
> >
> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
> > >> at
> > >>
> > >>
> >
> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
> > >> at
> > >>
> > >>
> >
> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
> > >> at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
> > >> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
> > >> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
> > >> at java.security.AccessController.doPrivileged(Native Method)
> > >> at javax.security.auth.Subject.doAs(Subject.java:422)
> > >> at
> > >>
> > >>
> >
> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
> > >> at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
> > >>
> > >> *使用yarn logs -applicationId application_1605840182730_29292
> > >> 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
> > >> INFO client.RMProxy: Connecting to ResourceManager at
> > >> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> > >> Unable to get ApplicationState. Attempting to fetch logs directly from
> > the
> > >> filesystem.
> > >> Can not find the appOwner. Please specify the correct appOwner
> > >> Could not locate application logs for application_1605840182730_29292
> > >>
> > >> 这个如何排查呢,有遇到类似的问题的小伙伴吗
> > >
> > >
> >
>
>
> --
> Best regards!
> Rui Li
>


Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-04-30 文章 Rui Li
你好,

看错误信息是找不到application_1605840182730_29292,这个是你提交任务的时候指定的么?

On Thu, Apr 29, 2021 at 1:35 PM 张锴  wrote:

> 我这里生产的hive没有配置Kerberos认证
>
> 张锴  于2021年4月29日周四 上午10:05写道:
>
> > 官网有说吗,你在哪里找到的呢
> >
> > guoyb <861277...@qq.com> 于2021年4月28日周三 上午10:56写道:
> >
> >> 我的也有这种问题,没解决,kerberos认证的hive导致的。
> >>
> >>
> >>
> >> ---原始邮件---
> >> 发件人: "张锴" >> 发送时间: 2021年4月28日(周三) 上午10:41
> >> 收件人: "user-zh" >> 主题: Fwd: flink1.12.2 CLI连接hive出现异常
> >>
> >>
> >> -- Forwarded message -
> >> 发件人: 张锴  >> Date: 2021年4月27日周二 下午1:59
> >> Subject: flink1.12.2 CLI连接hive出现异常
> >> To:  >>
> >>
> >> *使用flink1.12.2 CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
> >> 语句时就出现异常。*
> >> [ERROR] Could not execute SQL statement. Reason:
> >> org.apache.hadoop.ipc.RemoteException: Application with id
> >> 'application_1605840182730_29292' doesn't exist in RM. Please check that
> >> the job submission was suc
> >> at
> >>
> >>
> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
> >> at
> >>
> >>
> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
> >> at
> >>
> >>
> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
> >> at
> >>
> >>
> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
> >> at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
> >> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
> >> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
> >> at java.security.AccessController.doPrivileged(Native Method)
> >> at javax.security.auth.Subject.doAs(Subject.java:422)
> >> at
> >>
> >>
> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
> >> at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
> >>
> >> *使用yarn logs -applicationId application_1605840182730_29292
> >> 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
> >> INFO client.RMProxy: Connecting to ResourceManager at
> >> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> >> Unable to get ApplicationState. Attempting to fetch logs directly from
> the
> >> filesystem.
> >> Can not find the appOwner. Please specify the correct appOwner
> >> Could not locate application logs for application_1605840182730_29292
> >>
> >> 这个如何排查呢,有遇到类似的问题的小伙伴吗
> >
> >
>


-- 
Best regards!
Rui Li


Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-04-28 文章 张锴
我这里生产的hive没有配置Kerberos认证

张锴  于2021年4月29日周四 上午10:05写道:

> 官网有说吗,你在哪里找到的呢
>
> guoyb <861277...@qq.com> 于2021年4月28日周三 上午10:56写道:
>
>> 我的也有这种问题,没解决,kerberos认证的hive导致的。
>>
>>
>>
>> ---原始邮件---
>> 发件人: "张锴"> 发送时间: 2021年4月28日(周三) 上午10:41
>> 收件人: "user-zh"> 主题: Fwd: flink1.12.2 CLI连接hive出现异常
>>
>>
>> ------ Forwarded message -
>> 发件人: 张锴 > Date: 2021年4月27日周二 下午1:59
>> Subject: flink1.12.2 CLI连接hive出现异常
>> To: >
>>
>> *使用flink1.12.2 CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
>> 语句时就出现异常。*
>> [ERROR] Could not execute SQL statement. Reason:
>> org.apache.hadoop.ipc.RemoteException: Application with id
>> 'application_1605840182730_29292' doesn't exist in RM. Please check that
>> the job submission was suc
>> at
>>
>> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
>> at
>>
>> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
>> at
>>
>> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
>> at
>>
>> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
>> at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
>> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
>> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
>> at java.security.AccessController.doPrivileged(Native Method)
>> at javax.security.auth.Subject.doAs(Subject.java:422)
>> at
>>
>> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
>> at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
>>
>> *使用yarn logs -applicationId application_1605840182730_29292
>> 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
>> INFO client.RMProxy: Connecting to ResourceManager at
>> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
>> Unable to get ApplicationState. Attempting to fetch logs directly from the
>> filesystem.
>> Can not find the appOwner. Please specify the correct appOwner
>> Could not locate application logs for application_1605840182730_29292
>>
>> 这个如何排查呢,有遇到类似的问题的小伙伴吗
>
>


回复:wd: flink1.12.2 CLI连接hive出现异常

2021-04-28 文章 田向阳
重新启动一个yarn session 集群。


| |
田向阳
|
|
邮箱:lucas_...@163.com
|

签名由 网易邮箱大师 定制

在2021年04月29日 10:05,张锴 写道:
官网有说吗,你在哪里找到的呢

guoyb <861277...@qq.com> 于2021年4月28日周三 上午10:56写道:

> 我的也有这种问题,没解决,kerberos认证的hive导致的。
>
>
>
> ---原始邮件---
> 发件人: "张锴" 发送时间: 2021年4月28日(周三) 上午10:41
> 收件人: "user-zh" 主题: Fwd: flink1.12.2 CLI连接hive出现异常
>
>
> -- Forwarded message -----
> 发件人: 张锴  Date: 2021年4月27日周二 下午1:59
> Subject: flink1.12.2 CLI连接hive出现异常
> To: 
>
> *使用flink1.12.2 CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
> 语句时就出现异常。*
> [ERROR] Could not execute SQL statement. Reason:
> org.apache.hadoop.ipc.RemoteException: Application with id
> 'application_1605840182730_29292' doesn't exist in RM. Please check that
> the job submission was suc
> at
>
> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
> at
>
> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
> at
>
> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
> at
>
> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
> at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
> at java.security.AccessController.doPrivileged(Native Method)
> at javax.security.auth.Subject.doAs(Subject.java:422)
> at
>
> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
> at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
>
> *使用yarn logs -applicationId application_1605840182730_29292
> 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
> INFO client.RMProxy: Connecting to ResourceManager at
> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> Unable to get ApplicationState. Attempting to fetch logs directly from the
> filesystem.
> Can not find the appOwner. Please specify the correct appOwner
> Could not locate application logs for application_1605840182730_29292
>
> 这个如何排查呢,有遇到类似的问题的小伙伴吗


Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-04-28 文章 张锴
官网有说吗,你在哪里找到的呢

guoyb <861277...@qq.com> 于2021年4月28日周三 上午10:56写道:

> 我的也有这种问题,没解决,kerberos认证的hive导致的。
>
>
>
> ---原始邮件---
> 发件人: "张锴" 发送时间: 2021年4月28日(周三) 上午10:41
> 收件人: "user-zh" 主题: Fwd: flink1.12.2 CLI连接hive出现异常
>
>
> -- Forwarded message -----
> 发件人: 张锴  Date: 2021年4月27日周二 下午1:59
> Subject: flink1.12.2 CLI连接hive出现异常
> To: 
>
> *使用flink1.12.2 CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
> 语句时就出现异常。*
> [ERROR] Could not execute SQL statement. Reason:
> org.apache.hadoop.ipc.RemoteException: Application with id
> 'application_1605840182730_29292' doesn't exist in RM. Please check that
> the job submission was suc
> at
>
> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
> at
>
> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
> at
>
> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
> at
>
> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
> at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
> at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
> at java.security.AccessController.doPrivileged(Native Method)
> at javax.security.auth.Subject.doAs(Subject.java:422)
> at
>
> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
> at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
>
> *使用yarn logs -applicationId application_1605840182730_29292
> 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
> INFO client.RMProxy: Connecting to ResourceManager at
> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> Unable to get ApplicationState. Attempting to fetch logs directly from the
> filesystem.
> Can not find the appOwner. Please specify the correct appOwner
> Could not locate application logs for application_1605840182730_29292
>
> 这个如何排查呢,有遇到类似的问题的小伙伴吗


回复:Fwd: flink1.12.2 CLI连接hive出现异常

2021-04-27 文章 guoyb
我的也有这种问题,没解决,kerberos认证的hive导致的。



---原始邮件---
发件人: "张锴"

Fwd: flink1.12.2 CLI连接hive出现异常

2021-04-27 文章 张锴
-- Forwarded message -
发件人: 张锴 
Date: 2021年4月27日周二 下午1:59
Subject: flink1.12.2 CLI连接hive出现异常
To: 


*使用flink1.12.2 CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
语句时就出现异常。*
[ERROR] Could not execute SQL statement. Reason:
org.apache.hadoop.ipc.RemoteException: Application with id
'application_1605840182730_29292' doesn't exist in RM. Please check that
the job submission was suc
at
org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
at
org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
at
org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
at
org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)

*使用yarn logs -applicationId  application_1605840182730_29292
查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
INFO client.RMProxy: Connecting to ResourceManager at
hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
Unable to get ApplicationState. Attempting to fetch logs directly from the
filesystem.
Can not find the appOwner. Please specify the correct appOwner
Could not locate application logs for application_1605840182730_29292

这个如何排查呢,有遇到类似的问题的小伙伴吗


flink1.12.2 CLI连接hive出现异常

2021-04-26 文章 张锴
*使用flink1.12.2 CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
语句时就出现异常。*
[ERROR] Could not execute SQL statement. Reason:
org.apache.hadoop.ipc.RemoteException: Application with id
'application_1605840182730_29292' doesn't exist in RM. Please check that
the job submission was suc
at
org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
at
org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
at
org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
at
org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)

*使用yarn logs -applicationId  application_1605840182730_29292
查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
INFO client.RMProxy: Connecting to ResourceManager at
hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
Unable to get ApplicationState. Attempting to fetch logs directly from the
filesystem.
Can not find the appOwner. Please specify the correct appOwner
Could not locate application logs for application_1605840182730_29292

这个如何排查呢,有遇到类似的问题的小伙伴吗