Re: flink多表延迟关联问题

2021-06-22 文章 zhuxiaoshang
我们是改造了kakfa-sql-connector实现的,用优先队列缓存数据 到达一定时间再发出来 datastream可以用窗口+side output来实现,但是sql没有side output实现,所以存在丢数据的情况 > 2021年6月23日 上午8:27,casel.chen 写道: > > 上游有多个流需要经过flink作近实时关联,数据流有先到和后到问题,为了尽可能关联上,有什么办法可以实现延迟关联吗?每个流开个1分钟窗口再关联相同key的元素可以吗?用flink > sql如何实现?谢谢!

Re: flink-1.13.1 sql error

2021-06-20 文章 zhuxiaoshang
Json反序列化失败了,像是数据问题 {\n \"app_time\": \"2021-06-14 10:00:00\",\n \"category_id\": 1,\n \"item_id\": 1,\n \"user_id\": 1,\n \"behavior\": \"pv\"\n} > 2021年6月20日 下午9:08,kcz <573693...@qq.com.INVALID> 写道: > > 大佬们 帮看下这个是为什么提示那个错误 > > > > -- > Sent from:

Re: flinksql引入flink-parquet_2.11任务提交失败

2021-02-05 文章 zhuxiaoshang
Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'kafka' that implements 'org.apache.flink.table.factories.DynamicTableSourceFactory' in the classpath. 看着像是缺少kafka-connector的依赖 > 2020年10月14日 下午4:55,奔跑的小飞袁 写道: > > hello, >

Re: flink 写hive的并行度只能为1

2021-01-20 文章 zhuxiaoshang
hi, 并行度为1的是discard sink,实际写数据的是filewriter算子 > 2021年1月20日 下午4:29,高函 写道: > > > 为什么目前flink写hive的并行度只能设置为1呢?

Re: Flink-1.11.1流写filesystem分区提交问题

2020-12-25 文章 zhuxiaoshang
Hi, 文件数是和并发有关的,一个并发一次至少写一个文件,还和文件滚动大小有关。 > 2020年12月25日 下午2:10,amen...@163.com 写道: > > 想请问下,写filesystem的时候依赖checkpoint进行commit,那么做完一次checkpoint的时候可提交的文件数是由并行度parallelism数决定的吗?我发现我的文件提交数都是3个3个的当每次chk结束后。 > > > > > 发件人: amen...@163.com > 发送时间: 2020-12-24 18:47 > 收件人: user-zh > 主题: Re: Re:

Re: Flink TaskManager失败的日志关键词

2020-12-25 文章 zhuxiaoshang
Hi, 一般搜索Exception、Error、Fail之类的吧,如果是TM因为内存超用被kill的话 可以搜索container、kill之类的关键字 > 2020年12月25日 下午1:43,赵一旦 写道: > > 如题,有人知道关键词吗,每次失败日志太多哦。 > 显示各种task的cancel等。 > 最后突然就失败了。。。 > > 目前感觉经常是因为cancel(180s)。导致Task did not exit gracefully within 180 + seconds。 > > >