Re: Re:flink sql 处理时间 时区问题

2020-05-11 文章
ableEnvironment = StreamTableEnvironment.create(env, > settings) > > > val t2 = env.fromElements("a", "b", "c") > t2.toTable(tEnv, 'f1, 'proc.proctime).toAppendStream[Row].print() > ``` > > > // 时区上海, 当前时间为 2020-05-01 15点 > // 结果显示 a,20

Re: 回复: 使用sql时候,设置了idle过期时间,但是状态还是一直变大

2020-05-17 文章
> in (200)) as > failureCnt, count(distinct traceId) as > total_cnt from > yy_yapmnetwork_original group by appId, appVer, netType, prototype, url, > statusCode, DATE_FORMAT(ts, '-MM-dd HH:mm'); insert into > request_latency_tbl select * from > request_1minutes_latency; -- 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281

Re: Re: flink1.9 Blink sql 丢失主键+去重和时态表联合使用吞吐量低

2020-05-10 文章
_time FROM (select id,...,proctime from (select > > > data.index0.id,...,proctime,ROW_NUMBER() OVER (PARTITION BY > > data.index0.id > > > ORDER BY es desc) AS rowNum from installmentdb_t_line_item)tmp where > > > rowNum<=1) t1 > > > > > > > > > -- > > > > Benchao Li > > School of Electronics Engineering and Computer Science, Peking University > > Tel:+86-15650713730 > > Email: libenc...@gmail.com; libenc...@pku.edu.cn > > -- 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281

Re: 1.10 使用 flinkSQL 的row_number()函数实现top1 出现数组越界,求助社区大佬

2020-05-13 文章
kmanager.Task.doRun(Task.java:707) > at org.apache.flink.runtime.taskmanager.Task.run(Task.java:532) > at java.lang.Thread.run(Thread.java:748) > [flink-akka.actor.default-dispatcher-8695] INFO > org.apache.flink.runtime.executiongraph.failover.flip1.RestartPipelinedRegionStrategy > - Calculating tasks to restart to recover the failed task > 28aa070d07f48addbf378d6ee01a29c6_0. > > > topn函数flinkSQL已经支持很久了,我不清楚为什么会产生这种错误,希望各位老师给出意见 > -- 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281

Re: Re: 可撤回流是否可以进行双流 Join?

2020-05-09 文章
不能 Join 了。 > > > > 期望你的回复。 > > > > Best, > > LakeShen > > > > > -- > > Benchao Li > School of Electronics Engineering and Computer Science, Peking University > Tel:+86-15650713730 > Email: libenc...@gmail.com; libenc...@pku.edu.cn -- 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281

Re: flink1.10怎么获得flink-shaded-hadoop包以支持hadoop3.2.1?

2020-05-19 文章
? > > hi all, > 在mvnrepository里没找到支持hadoop3.2.1的flink-shaded-hadoop包, > 在单独的flink-shaded项目里也没找到相应hadoop模块,请问我要怎么获得这个包呢? ------ 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281

Re: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive

2020-09-15 文章
CDC数据Hive本身目前不支持更新,需要看一下数据湖方案,比如Hudi或Iceberg > -原始邮件- > 发件人: MuChen <9329...@qq.com> > 发送时间: 2020-09-15 17:00:45 (星期二) > 收件人: user-zh > 抄送: > 主题: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive > > hi,all: > 如题:flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive? > > >

Re: Re: JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

2020-08-20 文章
f_id, > > stuff_base_id, stuff_name from gen_stuff"); > > } > > } > > ``` > > > > 然而,mysql 每秒大约只多 1 条数据。如果按一条数据 20B 来算,写入速度是 200KB/s,这无法满足我的需求。。。 > > > > 请问,是我哪里的配置有问题,还是有其它更好的写入数据库的方案,谢谢给出任何建议的人。 > > > > 我使用的和 jdbc 有关的依赖如下: > > > > ```xml > > > > org.apache.flink > > > > flink-connector-jdbc_${scala.binary.version} > > ${flink.version} > > > > > > mysql > > mysql-connector-java > > 8.0.21 > > > > ``` > > > > (作为对比,在我的电脑上使用 datagen 生成数据,写入文件系统 sinker 的效率大约是 23MB/s) > > > > > > > > -- > > Sent from: http://apache-flink.147419.n8.nabble.com/ > > > > > -- > > Best, > Benchao Li -- 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281

Re: Re: 回复: BLinkPlanner sql join状态清理

2020-09-29 文章
Hi, MiniBatch Agg目前没有实现State TTl,我提了个PR修复这个问题,参考https://github.com/apache/flink/pull/11830 @Jark,辛苦有空时帮忙reveiw一下代码,这个问题越来越多用户用户遇到了。 > -原始邮件- > 发件人: "刘建刚" > 发送时间: 2020-09-29 18:27:47 (星期二) > 收件人: user-zh > 抄送: > 主题: Re: 回复: BLinkPlanner sql join状态清理 > >

Re: Re: group agg 开启了mini batch之后,state ttl不生效的问题

2020-09-30 文章
e retention in ms > > > min-idle-state-retention: 0 > > > # maximum idle state retention in ms > > > max-idle-state-retention: 0 > > > 这个现在进展如何了,这个社区打算什么时候支持 > > > > > > > > > > > > > > > > > -- > ** > tivanli > ** -- 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281

Re: 回复: flink sql状态清理问题

2020-08-10 文章
; nbsp;nbsp;config.setString("table.exec.mini-batch.size", "20") > > > 无论使用FsStateBackend还是RocksDBStateBackend都无法清理掉空闲状态,运行时可以观察到checkpoint目录下状态大小持续增长; > 同一套代码,把这几个配置删掉后,运行时观察checkpoint目录下状态大小不会一直增长,能保持在一个范围内请问这是什么原因?谢谢 > > > > -- > > Best, > Benchao Li > -- 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281

Re: Re: 回复: 关于拓展 Tuple元组的问题

2020-06-19 文章
特别香! > -原始邮件- > 发件人: "Jark Wu" > 发送时间: 2020-06-19 15:46:42 (星期五) > 收件人: user-zh > 抄送: > 主题: Re: 回复: 关于拓展 Tuple元组的问题 > > 用 Row 啊,支持 Int.MAX 个元素,还能支持 null 值,不香么? > > > On Fri, 19 Jun 2020 at 15:42, Weixubin <18925434...@163.com> wrote: > > > 感谢你的回答,请问可否举一个参照例子? > > > > > > > > > > >

Re: minibatch+状态ttl设置不生效问题如何优化

2020-10-31 文章
目前看1.9应该没有补救方案了,可以试试master分支,把这个PR merge进去,编译一下 > -原始邮件- > 发件人: "雨后彩虹" <2968969...@qq.com> > 发送时间: 2020-10-30 11:45:21 (星期五) > 收件人: "user-zh@flink.apache.org" > 抄送: > 主题: minibatch+状态ttl设置不生效问题如何优化 > > hi, all ! > flink版本:1.9需求:统计用户每天的订单数据(订单可以修改,导致同一个订单会有条数据,最终根据时间排序取最新的一条来做统计)。 >