好勒,这种方案已经成功了,非常感谢。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
可以通过SQL的where条件来过滤吧
chuyuan 于2020年9月21日周一 下午6:48写道:
> 好勒,谢谢,我试试这种方案,之前注册成table,是为了按条件过滤数据;麻烦问下,直接使用ddl,如何过滤kafka中的数据?
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best,
Benchao Li
好勒,谢谢,我试试这种方案,之前注册成table,是为了按条件过滤数据;麻烦问下,直接使用ddl,如何过滤kafka中的数据?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
为什么要用DataStream解析之后再注册成table呢?
可以尝试下直接用DDL声明一个source,用内置的json format来解析。
chuyuan 于2020年9月21日周一 下午4:44写道:
> 我本地依赖的是Flink1.11.1的版本,大概业务是Flink消费kafka中json数据,示例:
> {
> "properties":{
> "platformType":"APP",
> "$os":"iOS",
> "$screen_width":414,
>
我本地依赖的是Flink1.11.1的版本,大概业务是Flink消费kafka中json数据,示例:
{
"properties":{
"platformType":"APP",
"$os":"iOS",
"$screen_width":414,
"$app_version":"1.0",
"$is_first_day":false,
"$model":"x86_64",
我本地依赖的是Flink1.11.1的版本,大概业务是Flink消费kafka中json数据,示例:
{
"properties":{
"platformType":"APP",
"$os":"iOS",
"$screen_width":414,
"$app_version":"1.0",
"$is_first_day":false,
"$model":"x86_64",
Hi chuyuan,
可以详细描述下你遇到的问题么,比如下面这些信息
- 用的是哪个Flink版本
- SQL(包括DDL和query)
- 数据是什么样子的
chuyuan 于2020年9月21日周一 下午2:40写道:
> LEGACY('RAW',
> 'ANY')对应sql中数据类型改为:MAP,仍然报错,异常:
> org.apache.flink.table.api.TableException: A raw type backed by type
> information has no serializable string representation. It
LEGACY('RAW', 'ANY')对应sql中数据类型改为:MAP,仍然报错,异常:
org.apache.flink.table.api.TableException: A raw type backed by type
information has no serializable string representation. It needs to be
resolved into a proper raw type.
方便说下具体实现细节吗?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
mporaryTable("t");
>
> 其次,这种效果我打印了下table的schema如下,其中d的类型是LEGACY('RAW',
> 'ANY'),貌似是某种兼容类型。此处第二个疑问,通过SQL方式如何创建这种结构呢?
> root
> |-- d: LEGACY('RAW', 'ANY')
>
>
> 在 2020/8/11 下午4:23,“zhao liang” 写入:
>
> Hi,你图挂了,换个图床试试呢
>
> 发件人: Zhao,Yi(SEC
: 星期二, 2020年8月11日 16:04
收件人: user-zh@flink.apache.org
主题: 关于FLinkSQL如何创建类json无限扩展的表结构问题
刚刚进一步发现一个方法可以做动态扩展的类型。代码如下:
[cid:image001.png@01D66FF8.F697E2D0]
这种情况下,首先表有一个字段d,然后d是json无限嵌套的类型都可以。
此处有第一个疑问:如何不要d这个字段,让顶层就是一个无限扩展的map结构呢?
其次,这种效果我打印了下table的schema如下,其中d的类型是LEGACY('RAW
Hi,你图挂了,换个图床试试呢
发件人: Zhao,Yi(SEC)
日期: 星期二, 2020年8月11日 16:04
收件人: user-zh@flink.apache.org
主题: 关于FLinkSQL如何创建类json无限扩展的表结构问题
刚刚进一步发现一个方法可以做动态扩展的类型。代码如下:
[cid:image001.png@01D66FF8.F697E2D0]
这种情况下,首先表有一个字段d,然后d是json无限嵌套的类型都可以。
此处有第一个疑问:如何不要d这个字段,让顶层就是一个无限扩展的map结构呢?
其次,这种效果我打印了下table的schema如下,其中
刚刚进一步发现一个方法可以做动态扩展的类型。代码如下:
[cid:image001.png@01D66FF8.F697E2D0]
这种情况下,首先表有一个字段d,然后d是json无限嵌套的类型都可以。
此处有第一个疑问:如何不要d这个字段,让顶层就是一个无限扩展的map结构呢?
其次,这种效果我打印了下table的schema如下,其中d的类型是LEGACY('RAW',
'ANY'),貌似是某种兼容类型。此处第二个疑问,通过SQL方式如何创建这种结构呢?
root
|-- d: LEGACY('RAW', 'ANY')
12 matches
Mail list logo