Hi.
我们也遇到一样的场景，现在您是否有一些具体实施和思考可以交流一下吗？
USERNAME 于2020年8月13日周四 下午3:27写道：
>
>
> 任务流程:
> OGG->KAFKA->FLINK->HIVE
>
>
> KAFKA数据样例：
> 其中会有多个
> "table",所以"before"，"after"中的字段是不一致的，同一个表如果有有DDL变更也会导致"before"，"after"字段的变更。
> {
> "table": "SCOOT.TABLENAME",
> "op_type": "U",
> "op_ts": "2020-0
感谢您的回复，您说的这个方法类似于 “采用通过表结构”如下结构,屏蔽掉
用table分区，每个表的data部分弱化到一个字段中，使用的时候再通过解析json方式来从 "before"或者"after"中获取对应表的字段及数据，
这种方式确实拓展跟灵活性强很多，牺牲掉部分易用性。
看到很多大公司 美团 字节等 都有基于flink的实时数仓，不知道他们是怎么解决这种大量表入仓的 拓展灵活易用性的
create table TABLENAME
(
table STRING,
op_type STRING,
你提到的这三个难点现在的hive
connector确实是支持不了的。前两个也许可以通过把写不同的表变成写同一个表的不同分区来解决。第三个可能可以通过检查数据跟目标schema是不是匹配，来判断是不是需要去跟HMS同步新的schema。
On Thu, Aug 13, 2020 at 3:27 PM USERNAME wrote:
>
>
> 任务流程:
> OGG->KAFKA->FLINK->HIVE
>
>
> KAFKA数据样例：
> 其中会有多个
> "table",所以"before"，"after"中的字段是不一致的，同一个表如果有有DDL变更也会导致"before"，"
任务流程:
OGG->KAFKA->FLINK->HIVE
KAFKA数据样例：
其中会有多个
"table",所以"before"，"after"中的字段是不一致的，同一个表如果有有DDL变更也会导致"before"，"after"字段的变更。
{
"table": "SCOOT.TABLENAME",
"op_type": "U",
"op_ts": "2020-08-11 07:53:40.008001",
"current_ts": "2020-08-11T15:56:41.233000",
"pos": "98011
