Re: Flink SQL ddl 中含有关键字 且在ddl中使用TO_TIMESTAMP、TO_DATE函数语法检查异常问题

2020-06-16 Thread zilong xiao
是用的1.10.0版本,我尝试切到1.10.1试试看,请问这个有对应的issue吗?想深入了解下这个问题 Benchao Li 于2020年6月16日周二 下午5:00写道: > 你用的是1.10.0版本么?这个版本的计算列处理有点问题,建议用1.10.1尝试一下。 > > zilong xiao 于2020年6月16日周二 下午4:56写道: > >> 如题,在SQL >> ddl中如含有关键字字段(已用反引号括上),并且在ddl中使用了TO_TIMESTAMP、TO_DATE函数,在进行语法检查的时候

Flink SQL ddl 中含有关键字 且在ddl中使用TO_TIMESTAMP、TO_DATE函数语法检查异常问题

2020-06-16 Thread zilong xiao
如题,在SQL ddl中如含有关键字字段(已用反引号括上),并且在ddl中使用了TO_TIMESTAMP、TO_DATE函数,在进行语法检查的时候会报关键字冲突异常,如果将图中的```itime as TO_TIMESTAMP(time2)```去掉,语法检查正常通过,还麻烦各位大佬帮忙看看~ 代码如下图: [image: image.png] 异常堆栈:

Re: Flink SQL ddl 中含有关键字 且在ddl中使用TO_TIMESTAMP、TO_DATE函数语法检查异常问题

2020-06-16 Thread zilong xiao
看了下issue,跟我描述的问题很相似,我尝试切到1.10.1试试看,谢谢您的解惑 Kurt Young 于2020年6月16日周二 下午5:15写道: > 应该是这个: https://issues.apache.org/jira/browse/FLINK-16068 > > Best, > Kurt > > > On Tue, Jun 16, 2020 at 5:09 PM zilong xiao wrote: > > > 我看了下1.10.1的release note,您说的应该就是这个issue: >

Re: Flink SQL ddl 中含有关键字 且在ddl中使用TO_TIMESTAMP、TO_DATE函数语法检查异常问题

2020-06-16 Thread zilong xiao
我看了下1.10.1的release note,您说的应该就是这个issue: https://issues.apache.org/jira/browse/FLINK-16345 ,但是这个issue所描述的问题貌似和我的不太一样,我的这个问题是在使用TO_TIMESTAMP、TO_ DATE函数且,ddl中含有关键字字段时,语法检测会报错,不知道这个问题是否跟这个issue有关呢? Benchao Li 于2020年6月16日周二 下午5:00写道: > 你用的是1.10.0版本么?这个版本的计算列处理有点问题,建议用1.10.1尝试一下。 > > zilon

flink SQL如何将秒转换为timestamp

2020-06-30 Thread zilong xiao
有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导 TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as TIMESTAMP(3)), '-MM-dd hh:mm:ss'))

Re: flink SQL如何将秒转换为timestamp

2020-06-30 Thread zilong xiao
好的,我试试~ 王松 于2020年6月30日周二 下午5:35写道: > 可以试试这样写: > TO_TIMESTAMP(FROM_UNIXTIME(itime, '-MM-dd HH:mm:ss')) > > zilong xiao 于2020年6月30日周二 下午4:30写道: > > > > 有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导 > > > > TO_TIMESTAMP(DATE_F

Flink SQL如何将多个表的查询结果(列不同)聚合成一张表

2020-07-08 Thread zilong xiao
列如下面这样,需要查询table1 & table2,分别查询不同的字段 在最外层做比值,flink貌似语法检查不通过,应该怎么写这样的SQL呢,有前辈可以指导下不~ select a.table_tmp1.r1 / a.table_tmp2.r2 as value0 from ( (SELECT r1 FROM table1) AS table_tmp1, (SELECT r2 FROM table2) AS table_tmp2, )as a

flink-benchmarks使用求助

2020-07-10 Thread zilong xiao
如题,最近在新机器上跑flink-benchmarks验证下机器性能,但是不太会对跑出的结果进行分析,不知是否有大神也用过这个,可否指点一二

Re: flink-benchmarks使用求助

2020-07-13 Thread zilong xiao
H 的的结果,具体的可以阅读 JMH 的相关文档[2] > > [1] https://github.com/dataArtisans/flink-benchmarks > [2] http://openjdk.java.net/projects/code-tools/jmh/ > > Best, > Congxian > > > zilong xiao 于2020年7月10日周五 下午3:54写道: > > > 如题,最近在新机器上跑flink-benchmarks验证下机器性能,但是不太会对跑出的结果进行分析,不知是否有大神也用过这个,可否指点一二 > > >

Re: flink-benchmarks使用求助

2020-07-13 Thread zilong xiao
`-t max`之后出现的~ 改小并发后貌似没问题 Congxian Qiu 于2020年7月13日周一 下午8:14写道: > Hi > > 没有遇到过这个错误,这个错误是在指定 `-t max` 之后出现的,还是说其他情况下也会遇到呢? > > Best, > Congxian > > > zilong xiao 于2020年7月13日周一 下午2:32写道: > > > 是的,用的 flink-benchmarks 代码,在跑的时候,指定参数-t max(最大工程线程),在运行中会出现异常:

Re: 退订

2020-07-14 Thread zilong xiao
你好 我想问下,想加入flink dev邮件组应该怎么操作呢? Leonard Xu 于2020年7月14日周二 下午5:00写道: > 你好, > > 退订来自user-zh 邮件组的邮件, 请发任意消息到 这个邮箱:user-zh-unsubscr...@flink.apache.org > 即可退订 > > 退订其他邮件可以参考[1] > > 祝好 > > [1] https://flink.apache.org/community.html#mailing-lists < >

Re: flink1.10.1 flink sql消费kafka当parallelism大于1时不产生watermark

2020-07-12 Thread zilong xiao
topic是几个分区呢?如果是一个分区,要加一个rebalance参数吧? wind.fly@outlook.com 于2020年7月13日周一 上午11:46写道: > Hi, all: > 本人使用的flink版本为flink 1.10.1, flink sql消费kafka, > 当parallelism为1时正常运行,但讲parallelism修改为2时,在yarn-session > web页面看不到watermark的指标信息了,也没有计算结果输出,sql如下: > insert into >

Re: flink1.11日志上报

2020-07-23 Thread zilong xiao
这个可以用配置文件实现,利用kafka appender将日志打到kafka中,然后自己去消费kafka处理即可,1.11中支持log4j2了,建议使用log4j2 Dream-底限 于2020年7月24日周五 上午10:50写道: > hi、 > > 我这面想实现一个日志上报的功能,就是flink任务启动后,让flink主动将当前任务日志打到外部存储系统,想问一下flink有对应的接口吗,具体要实现哪一个类哪 >

Re: UDF:Type is not supported: ANY

2020-08-03 Thread zilong xiao
不行的,试过了,遍历map把里面的entity全部toString都不行,应该是Java泛型机制的原因,不知道社区大佬怎么看待这个问题 godfrey he 于2020年8月3日周一 下午7:50写道: > 你把Map换为Map试试 > > zilong xiao 于2020年8月3日周一 下午4:56写道: > > > 目前转List可以用数组代替,Map貌似没法成功运行 > > > > zilong xiao 于2020年8月3日周一 上午10:43写道: > > > > > 最近在写F

Re: Flink sql 转义字符问题

2020-08-01 Thread zilong xiao
的。 > U&'\003B' 是 ; 的 unicode编码,所以用这个unicode编码是可以的,但一般这种用法是在需要用不可见字符分割时我们这样使用, > 比如 \n 对应的s是 U&'\\000A’ ,\r 对应的是 U&'\\000D’, > 对于分号这种可见字符来讲,不需要用unicode编码就可以的。 > > 祝好 > Leonard > > > 在 2020年7月31日,20:46,zilong xiao 写道: > > > > U&'\003B'

Flink sql 转义字符问题

2020-07-31 Thread zilong xiao
SPLIT_INDEX(${xxx}, ';', 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~

Re: Flink sql 转义字符问题

2020-07-31 Thread zilong xiao
U&'\003B' 这么写就可以了 感觉好奇怪啊。。 李奇 <359502...@qq.com> 于2020年7月31日周五 下午8:25写道: > 加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。 > > > 在 2020年7月31日,下午8:13,zilong xiao 写道: > > > > SPLIT_INDEX(${xxx}, ';', > > > 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~ >

Re: Flink sql 转义字符问题

2020-07-31 Thread zilong xiao
实测反斜杠好像也不行 李奇 <359502...@qq.com> 于2020年7月31日周五 下午8:25写道: > 加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。 > > > 在 2020年7月31日,下午8:13,zilong xiao 写道: > > > > SPLIT_INDEX(${xxx}, ';', > > > 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~ >

UDF:Type is not supported: ANY

2020-08-02 Thread zilong xiao
最近在写Flink SQL处理数据的时候发现Flink自带的function不太能满足使用,像很常见的Json2Array Json2Map貌似官方都没有实现,所以需要自定义函数来实现,然后我自己尝试用Jackson来实现时发现在语法检查时总是会报 `Type is not supported: ANY`,个人猜想这个是不是和Java泛型的特性有关,由于Java是假泛型,最终泛型会被擦除编程Object才会引发这个异常呢?想到Flink本身也有一个字符串转容器的函数

Re: UDF:Type is not supported: ANY

2020-08-03 Thread zilong xiao
目前转List可以用数组代替,Map貌似没法成功运行 zilong xiao 于2020年8月3日周一 上午10:43写道: > 最近在写Flink SQL处理数据的时候发现Flink自带的function不太能满足使用,像很常见的Json2Array > Json2Map貌似官方都没有实现,所以需要自定义函数来实现,然后我自己尝试用Jackson来实现时发现在语法检查时总是会报 `Type is not > supported: > ANY`,个人猜想这个是不是和Java泛型的特性有关,由于Java是假泛型,最终泛型会被擦除编程Object才会引发这个异常呢

Re: UDF:Type is not supported: ANY

2020-08-05 Thread zilong xiao
HashMap<>(); > // ... > return map; >} > >@Override >public TypeInformation getResultType(Class[] signature) { > return Types.MAP(Types.STRING, Types.STRING); >} > > } > > > zilong xiao 于2020年8月6日周四 上午10:24写道: > >

Re: UDF:Type is not supported: ANY

2020-08-05 Thread zilong xiao
ECT_ARRAY, > 其他类型的type information会被当做any类型来处理。 > 这里应该跟泛型没有关系,就是在实现的时候并没有考虑将Types.LIST(Types.STRING)当做SQL里面的ARRAY类型。 > 支持List作为ARRAY的数据,应该要在1.12才能支持[1]。 > > [1] https://issues.apache.org/jira/browse/FLINK-18417 > > zilong xiao 于2020年8月3日周一 下午8:23写道: > > > 不行的,试过了,遍历map把