回复: flink1.11 sql问题

2020-08-26 文章 酷酷的浑蛋
好吧,谢谢




在2020年08月25日 18:40,Benchao Li 写道:
Hi,

这个功能已经在1.12支持了[1],如果着急使用,可以cherry-pick回去试试看。
用法就是直接把这个字段声明为varchar,json format会帮你自动处理

[1] https://issues.apache.org/jira/browse/FLINK-18002

酷酷的浑蛋  于2020年8月25日周二 下午6:32写道:



还没到udf那一步,直接用create table的方式,过来的数据就是获取不到值的,
CREATE TABLE test (
a VARCHAR,
b INT
) WITH (
'connector' = 'kafka',
'topic' = 'test',
'properties.bootstrap.servers' = 'xxx',
'properties.group.id' = 'groupid',
'scan.startup.mode' = 'group-offsets',
'format'='json'
);




在2020年08月25日 16:14,Jim Chen 写道:
这个需要你自定义UDF

酷酷的浑蛋  于2020年8月25日周二 下午3:46写道:

关键是那个值不是固定的,有时候是json,有时候是json数组,没办法固定写一个,现在我只想把value当做字符串获取到,难道没有办法吗




在2020年08月25日 15:34,taochanglian 写道:
flinksql,处理json ,对象的话用row,数组的话用array获取具体的值。

在 2020/8/25 14:59, 酷酷的浑蛋 写道:
还是这个问题,如果字段的值有时候是json有时候是json数组,那么我只想把它当做字符串显示,该怎么写?




在2020年08月25日 14:05,酷酷的浑蛋 写道:
我知道了




在2020年08月25日 13:58,酷酷的浑蛋 写道:




flink1.11

读取json数据时format=“json”,当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套,flink取到的值就是空,这个怎么处理?



--

Best,
Benchao Li


回复:flink1.11 sql问题

2020-08-25 文章 kcz
这个功能非常好的,因为第三方数据总是搞事情,动不动就加字段,改名字的。





-- 原始邮件 --
发件人: Benchao Li https://issues.apache.org/jira/browse/FLINK-18002

酷酷的浑蛋 

回复: flink1.11 sql问题

2020-08-25 文章 酷酷的浑蛋


还没到udf那一步,直接用create table的方式,过来的数据就是获取不到值的,
CREATE TABLE test (
a VARCHAR, 
b INT
 ) WITH (
'connector' = 'kafka', 
'topic' = 'test', 
'properties.bootstrap.servers' = 'xxx',
'properties.group.id' = 'groupid',
'scan.startup.mode' = 'group-offsets', 
'format'='json'
);




在2020年08月25日 16:14,Jim Chen 写道:
这个需要你自定义UDF

酷酷的浑蛋  于2020年8月25日周二 下午3:46写道:

关键是那个值不是固定的,有时候是json,有时候是json数组,没办法固定写一个,现在我只想把value当做字符串获取到,难道没有办法吗




在2020年08月25日 15:34,taochanglian 写道:
flinksql,处理json ,对象的话用row,数组的话用array获取具体的值。

在 2020/8/25 14:59, 酷酷的浑蛋 写道:
还是这个问题,如果字段的值有时候是json有时候是json数组,那么我只想把它当做字符串显示,该怎么写?




在2020年08月25日 14:05,酷酷的浑蛋 写道:
我知道了




在2020年08月25日 13:58,酷酷的浑蛋 写道:




flink1.11
读取json数据时format=“json”,当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套,flink取到的值就是空,这个怎么处理?



回复: flink1.11 sql问题

2020-08-25 文章 酷酷的浑蛋
CREATE TABLE test (
a VARCHAR, 
b INT
 ) WITH (
'connector'='kafka', 
'topic'='test', 
'properties.bootstrap.servers'='xxx',
'properties.group.id'='groupid',
'scan.startup.mode'='group-offsets', 
'format'='json'
);
我说的是在source阶段,读过来的数据,如果某个key的值是嵌套json或者json数组,那么,format=json是获取不到这个字段值的,直接显示为空


在2020年08月25日 16:23,zilong xiao 写道:
直接CAST不可以吗?

酷酷的浑蛋  于2020年8月25日周二 下午3:46写道:

关键是那个值不是固定的,有时候是json,有时候是json数组,没办法固定写一个,现在我只想把value当做字符串获取到,难道没有办法吗




在2020年08月25日 15:34,taochanglian 写道:
flinksql,处理json ,对象的话用row,数组的话用array获取具体的值。

在 2020/8/25 14:59, 酷酷的浑蛋 写道:
还是这个问题,如果字段的值有时候是json有时候是json数组,那么我只想把它当做字符串显示,该怎么写?




在2020年08月25日 14:05,酷酷的浑蛋 写道:
我知道了




在2020年08月25日 13:58,酷酷的浑蛋 写道:




flink1.11
读取json数据时format=“json”,当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套,flink取到的值就是空,这个怎么处理?



回复: flink1.11 sql问题

2020-08-25 文章 酷酷的浑蛋
关键是那个值不是固定的,有时候是json,有时候是json数组,没办法固定写一个,现在我只想把value当做字符串获取到,难道没有办法吗




在2020年08月25日 15:34,taochanglian 写道:
flinksql,处理json ,对象的话用row,数组的话用array获取具体的值。

在 2020/8/25 14:59, 酷酷的浑蛋 写道:
还是这个问题,如果字段的值有时候是json有时候是json数组,那么我只想把它当做字符串显示,该怎么写?




在2020年08月25日 14:05,酷酷的浑蛋 写道:
我知道了




在2020年08月25日 13:58,酷酷的浑蛋 写道:




flink1.11 
读取json数据时format=“json”,当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套,flink取到的值就是空,这个怎么处理?


回复:flink1.11 sql问题

2020-08-25 文章 酷酷的浑蛋
还是这个问题,如果字段的值有时候是json有时候是json数组,那么我只想把它当做字符串显示,该怎么写?




在2020年08月25日 14:05,酷酷的浑蛋 写道:
我知道了




在2020年08月25日 13:58,酷酷的浑蛋 写道:




flink1.11 
读取json数据时format=“json”,当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套,flink取到的值就是空,这个怎么处理?

回复:flink1.11 sql问题

2020-08-25 文章 酷酷的浑蛋
我知道了




在2020年08月25日 13:58,酷酷的浑蛋 写道:




flink1.11 
读取json数据时format=“json”,当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套,flink取到的值就是空,这个怎么处理?