Re:Re: Re: Re:Re: Re:请问有哪些功能,是 stream api 可以做到,而 table api 无法做到的呢?

2020-11-11 文章 hailongwang
会多一个 outputConversion 类型转换算子 如果是 DataStream 转 Table API,会多一个 inputConversion 类型转换算子 在 2020-11-11 20:25:31,"Luna Wong" 写道: >Table API 转 DataStream为啥会出现性能损耗 > >hailongwang <18868816...@163.com> 于2020年11月11日周三 下午6:28写道: >> >> 我理解是使用 使用 Kafka consumer 时使用 `CanalJsonDeserializationSchema`

Re: Re: Re:Re: Re:请问有哪些功能,是 stream api 可以做到,而 table api 无法做到的呢?

2020-11-11 文章 Luna Wong
Table API 转 DataStream为啥会出现性能损耗 hailongwang <18868816...@163.com> 于2020年11月11日周三 下午6:28写道: > > 我理解是使用 使用 Kafka consumer 时使用 `CanalJsonDeserializationSchema` 序列化类就好了? > 而不是再实现一个 Connector。 > > > > > 在 2020-11-11 16:56:58,"LittleFall" <1578166...@qq.com> 写道: > >明白了,多谢。 > > > >是 Canal-Json 格式的 Kafka

Re:Re: Re:Re: Re:请问有哪些功能,是 stream api 可以做到,而 table api 无法做到的呢?

2020-11-11 文章 hailongwang
我理解是使用 使用 Kafka consumer 时使用 `CanalJsonDeserializationSchema` 序列化类就好了? 而不是再实现一个 Connector。 在 2020-11-11 16:56:58,"LittleFall" <1578166...@qq.com> 写道: >明白了,多谢。 > >是 Canal-Json 格式的 Kafka Connector. > >我们的一个产品 (TiCDC) 已经实现了输出 Canal-Json 格式的 changelog 到 Kafka 中,现在可以方便地使用 table >api 对接 flink。 >

Re: Re:Re: Re:请问有哪些功能,是 stream api 可以做到,而 table api 无法做到的呢?

2020-11-11 文章 LittleFall
明白了,多谢。 是 Canal-Json 格式的 Kafka Connector. 我们的一个产品 (TiCDC) 已经实现了输出 Canal-Json 格式的 changelog 到 Kafka 中,现在可以方便地使用 table api 对接 flink。 现在是因为考虑到 Stream Api 能力比 Table Api 能力要强,所以在评估是否需要再实现一个 Stream Connector. -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re: Re:请问有哪些功能,是 stream api 可以做到,而 table api 无法做到的呢?

2020-11-11 文章 hailongwang
可以的,将 table 转换成 datastream,但是会多一层转换的性能消耗。 方便说下哪个 Connector 有现成的 Table Connector 可以满足需求,但是 Datastream Connector不满足需求呢,具体是什么功能呢 在 2020-11-11 16:08:08,"LittleFall" <1578166...@qq.com> 写道: >非常感谢你的回复! > >问下另一个问题,现在有这样一个场景: > >1. table api 的计算无法满足一些需求,需要使用 stream api 进行计算; >2. 有现成可用的 table api