能不能先用doAs的方式来试一下，比如注册HiveCatalog的部分在UserGroupInformation.getLoginUser().doAs()里做，排查下是不是HiveMetaStoreClient没有用上你登录用户的信息。
另外你的hive版本是2.1.1么？从stacktrace上来看跟2.1.1的代码对不上，比如
HiveMetaStoreClient.java的第562行：
https://github.com/apache/hive/blob/rel/release-2.1.1/metastore/src/java/org/apache/hadoop/hive/met
Hi Zhu Zhu and Abhinav,
I am able to verify the recovery from checkpoint based on your suggestions,
thanks a lot for the help!
Eleanore
On Wed, Mar 4, 2020 at 5:40 PM Bajaj, Abhinav
wrote:
> I implemented a custom function that throws up a runtime exception.
>
>
>
> You can extend from simpler
Hi Eleanore,
You can change your application tasks to throw exceptions in a certain
frequency.
Alternatively, if the application has external dependencies (e.g. source),
you can trigger failures manually by manipulating the status of the
external service (e.g. shutdown the source service, or break
Hi,
I have a flink application and checkpoint is enabled, I am running locally
using miniCluster.
I just wonder if there is a way to simulate the failure, and verify that
flink job restarts from checkpoint?
Thanks a lot!
Eleanore
你好，
datanucleus jar的包的问题已经解决，之前应该是没有通过hive.metastore.uris进行连接访问HMS。
我在HiveCatalog的open方法里面做了Kerberos登录，
UserGroupInformation.loginUserFromKeytab(principal, keytabPath);
并且已经登录成功。按理说Kerberos登录成功后在这个进程就应该有权限访问metastore了吧。但是在创建megastore
client时报了以下错误。
2020-03-04 20:23
我的需求是2，现在我使用的是execEnv.createInput(inputFormat())，
我先去试试 env.addSource(new InputFormatSourceFunction(..)...)。
多谢~
原始邮件
发件人："JingsongLee"< lzljs3620...@aliyun.com.INVALID >;
发件时间：2020/3/4 17:40
收件人："user-zh"< user-zh@flink.apache.org >;
主题： Re: flink 1.8 内的StreamExecutionEnvironment 对于
Hi,
你的需求是什么？下列哪种？
- 1.想用unbounded source，continuous的file source，监控文件夹，发送新文件，且需要支持多文件夹
- 2.只是想用bounded的input format，需要支持多文件
如果是1，现在仍然不支持。
如果是2，那你可以用env.addSource(new InputFormatSourceFunction(..)...)来支持多文件。
Best,
Jingsong Lee
--
Fr
我在使用flink 1.8 自定义 FileInputFormat
的时候遇到了不兼容问题，初步看了源代码，不知道自己得出的结论是否正确，并想了解一下后续趋势和进展，麻烦各位大佬抽空指点一下，先行感谢~~
问题1: StreamExecutionEnvironment 为什么要做这样的限制？ContinuousFileMonitoringFunction
的作用是什么？
相关的代码描述如下
StreamExecutionEnvironment 对 FileInputFormat 对象有特殊的处理逻辑
if (inputFormat instanceof FileInp
