我们是改造了kakfa-sql-connector实现的,用优先队列缓存数据 到达一定时间再发出来
datastream可以用窗口+side output来实现,但是sql没有side output实现,所以存在丢数据的情况
> 2021年6月23日 上午8:27,casel.chen 写道:
>
> 上游有多个流需要经过flink作近实时关联,数据流有先到和后到问题,为了尽可能关联上,有什么办法可以实现延迟关联吗?每个流开个1分钟窗口再关联相同key的元素可以吗?用flink
> sql如何实现?谢谢!
Json反序列化失败了,像是数据问题
{\n \"app_time\": \"2021-06-14 10:00:00\",\n
\"category_id\": 1,\n \"item_id\": 1,\n \"user_id\":
1,\n \"behavior\": \"pv\"\n}
> 2021年6月20日 下午9:08,kcz <573693...@qq.com.INVALID> 写道:
>
> 大佬们 帮看下这个是为什么提示那个错误
>
>
>
> --
> Sent from:
Caused by: org.apache.flink.table.api.ValidationException: Could not find
any factory for identifier 'kafka' that implements
'org.apache.flink.table.factories.DynamicTableSourceFactory' in the
classpath.
看着像是缺少kafka-connector的依赖
> 2020年10月14日 下午4:55,奔跑的小飞袁 写道:
>
> hello,
>
hi,
并行度为1的是discard sink,实际写数据的是filewriter算子
> 2021年1月20日 下午4:29,高函 写道:
>
>
> 为什么目前flink写hive的并行度只能设置为1呢?
Hi,
文件数是和并发有关的,一个并发一次至少写一个文件,还和文件滚动大小有关。
> 2020年12月25日 下午2:10,amen...@163.com 写道:
>
> 想请问下,写filesystem的时候依赖checkpoint进行commit,那么做完一次checkpoint的时候可提交的文件数是由并行度parallelism数决定的吗?我发现我的文件提交数都是3个3个的当每次chk结束后。
>
>
>
>
> 发件人: amen...@163.com
> 发送时间: 2020-12-24 18:47
> 收件人: user-zh
> 主题: Re: Re:
Hi,
一般搜索Exception、Error、Fail之类的吧,如果是TM因为内存超用被kill的话 可以搜索container、kill之类的关键字
> 2020年12月25日 下午1:43,赵一旦 写道:
>
> 如题,有人知道关键词吗,每次失败日志太多哦。
> 显示各种task的cancel等。
> 最后突然就失败了。。。
>
> 目前感觉经常是因为cancel(180s)。导致Task did not exit gracefully within 180 + seconds。
>
>
>