hi all, 我在想如果社区提供一个unified metastore server是不是会解决这个问题，然后写一个（一系列）catalog和这个metastore对应
________________________________ 发件人: Jark Wu <[email protected]> 发送时间: 2020年7月22日 11:22:56 收件人: user-zh 主题: Re: Flink catalog的几个疑问 非常欢迎贡献开源一个轻量的 catalog 实现 :) On Wed, 22 Jul 2020 at 10:53, Jingsong Li <[email protected]> wrote: > Hi, > > HiveCatalog就是官方唯一的可以保存所有表的持久化Catalog，包括kafka，jdbc，hbase等等connectors。 > > > 后续有可能转正为flink 默认的catalog实现吗？ > > 目前不太可能，你看，Flink连Hadoop的依赖都没有打进来。Hive的依赖更不会默认打进来。 依赖都没有，也不会成为默认的。 > > > hive catalog是不支持大小写敏感的 > > 是的，就像Godfrey说的，特别是JDBC对接的某些大小写敏感的db，这可能导致字段名对应不了。 > > Best, > Jingsong > > On Wed, Jul 22, 2020 at 10:39 AM godfrey he <[email protected]> wrote: > > > hi Xingxing, > > > > 1. Flink 提供了一套catalog的接口，提提供了几个内置的实现：in-memory catalog, hive catalog, > > postgres catalog, > > 可以根据自己的需求选择。也可以实现自定义的catalog。参考 [1] > > 2. hive catalog 主要是对接 hive，方便读取现有的hive catalog的meta信息。当然也可以往hive > > catalog写新的meta。 > > 是否会转为默认catalog，据我所知，目前没有。 > > 3. 一般没什么问题。在和其他区分大小写的db对接的时候，可能有问题。 > > > > Best, > > Godfrey > > > > [email protected] <[email protected]> 于2020年7月21日周二 下午11:30写道： > > > > > Hi Flink社区： > > > 有几个疑问希望社区小伙伴们帮忙解答一下： > > > > > > > > > 1.个人感觉Flink很有必要提供一个官方的catalog，用来支持各种connector，比如：kafka，jdbc，hbase等等connector。不知道社区有没有这个打算，目前没有看到对应的flip > > > 2.社区对hive catalog的定位是什么，后续有可能转正为flink 默认的catalog实现吗？ > > > 3.hive catalog是不支持大小写敏感的（字段名都是小写），这个后续会带来哪些问题？想征集下大家的意见避免我们以后踩大坑。 > > > > > > > > > > > > > > > Best, > > > Xingxing Di > > > > > > > > -- > Best, Jingsong Lee >
