Re: 关于flink table store的疑问

[yh z]

你好，从我个人的角度出发，我认为 flink-table-store 与 hudi, iceberg 的定位是不同的。 hudi 和 iceberg
更多的是一种 format 格式，通过这个格式来管理 schema 信息和解决行业痛点，其不与特定计算引擎绑定。其中， hudi 解决了超大数据量下的
upsert 问题， iceberg 解决了 oss
存储和上云的问题，但是他们本质上还是一种存储格式（format），这是其优势也是其劣势，优势在于不受引擎约束，专注于format层本身；缺点是无法参与主流引擎的未来规划，不易扩展，且发展受限，不能很快的参与到
olap等领域。 而 flink-table-store 更类似 spark delta， 是一种与 flink 深度绑定，并服务于 flink
存储的实时数仓方案。其能结合 flink 强大的流计算能力， 来更简单的满足实时数仓相关的需求，也能根据 flink
未来版本的规划，参与到社区中，更能够满足客户的需求。
   综上，flink-table-store 的定位不只是数据湖存储，而是以数据湖存储为基础的实时数仓方案，其与 flink
深度绑定，形成互补。
Kyle Zhang  于2022年9月8日周四 08:37写道：

> Hi all,
>   看table
> store的介绍也是关于数据湖存储以及用于实时流式读取的，那在定位上与iceberg、hudi等项目有什么不一样么，为什么要再开发一个项目？
>
> Best.
>

Re: Re: 关于flink table store的疑问

[Jing Ge]

我理解，目前大的目标是为了流批一体，设计上实际上是对存储进行了抽象，从某种角度上来看可以理解为存储虚拟化，未来的想象空间要大很多。Iceberg，Hudi这些可以作为底层对接的一种具体实现。

On Fri, Sep 9, 2022 at 2:44 PM Xuyang  wrote:

> Hi，我理解Flink table store主要有以下几个优势：
> 1、减少架构复杂性，不需要额外引入多余的组件
> 2、支持Flink计算中直接使用Flink table store的存储
> 3、毫秒级流式查询和olap能力
>
>
>
>
> --
>
> Best！
> Xuyang
>
>
>
>
>
> 在 2022-09-08 16:09:39，"r pp"  写道：
> >应该是为了 流批一体 。不丢数据
> >
> >Kyle Zhang  于2022年9月8日周四 08:37写道：
> >
> >> Hi all,
> >>   看table
> >> store的介绍也是关于数据湖存储以及用于实时流式读取的，那在定位上与iceberg、hudi等项目有什么不一样么，为什么要再开发一个项目？
> >>
> >> Best.
> >>
> >
> >
> >--
> >Best，
> >  pp
>

Re: 关于flink table store的疑问

[r pp]

应该是为了 流批一体 。不丢数据

Kyle Zhang  于2022年9月8日周四 08:37写道：

> Hi all,
>   看table
> store的介绍也是关于数据湖存储以及用于实时流式读取的，那在定位上与iceberg、hudi等项目有什么不一样么，为什么要再开发一个项目？
>
> Best.
>


-- 
Best，
  pp